Resumen Técnico: Wan-Streamer v0.1

Planteamiento del Problema

Los sistemas artificiales actuales para la interacción humana suelen depender de canales modulares en cascada (por ejemplo, módulos separados para la detección de actividad de voz, ASR, modelos de lenguaje, TTS y generación de video). Estas arquitecturas introducen una latencia significativa en los límites de los módulos, acumulan errores de reconocimiento y sincronización, y tienen dificultades para aprender comportamientos complejos como la gestión de turnos, el manejo de interrupciones y la consistencia cross-modal como un comportamiento unificado.

Además, la interacción humana en el mundo real es fundamentalmente streaming y full-duplex: la percepción y la expresión se superponen en el tiempo. Un sistema que espera a terminar de percibir antes de razonar, o que termina de razonar antes de generar una respuesta, no logra replicar la interacción natural. Los modelos multimodales existentes suelen tratar las modalidades de forma asimétrica (por ejemplo, aceptando video de entrada pero solo produciendo texto) o dependen del texto como una representación intermedia oculta entre componentes entrenados por separado. El desafío central es crear un sistema donde el habla y el video entrantes afecten inmediatamente al habla y al movimiento salientes, y donde los estados de audio y visual generados estén acoplados antes de la decodificación, todo dentro de un proceso causal de baja latencia.

Metodología

Arquitectura: Modelo End-to-End de Streaming Nativo

Wan-Streamer está diseñado desde sus cimientos como un modelo fundacional interactivo, de extremo a extremo (end-to-end) y de streaming nativo. Modela el lenguaje, el audio y el video tanto como entradas como salidas dentro de un único Transformer.

• Secuencia Unificada: El modelo procesa una secuencia intercalada de tokens visuales, de audio y de texto (tanto de entrada como de salida).
• Restricciones Causales: Todo el stack es estrictamente causal para soportar el streaming:
  • VAEs estrictamente causales: Los Autoencoders Variacionales (VAEs) de audio y video están entrenados para la codificación de latentes en streaming.
  • Codificadores/Decodificadores Causales: Los codificadores y decodificadores de audio y visual operan de forma causal.
  • Atención de Bloque Causal: El Transformer utiliza atención de bloque causal para coordinar la generación incremental de streaming.
• Objetivos de Entrenamiento:
  • Lenguaje: Optimizado mediante la predicción del siguiente token (entropía cruzada).
  • Audio/Video: Representados en espacios latentes continuos y generados conjuntamente mediante flow matching condicional. El modelo estima campos de velocidad para latentes de audio y video ruidosos, condicionados al contexto de streaming limpio (observaciones pasadas del usuario y respuestas comprometidas del agente).

Estrategia de Datos y Entrenamiento

El modelo se entrena con una amplia mezcla de datos en tres etapas:

1. Preentrenamiento de Tareas Independientes: El Transformer unificado se inicializa a partir de un modelo de lenguaje y se entrena en una mezcla de tareas de comprensión (imagen, audio, video, diálogo) y generación (imagen, audio, video, audio-visual conjunto). Esto alinea la percepción, el razonamiento y la generación de latentes en un único modelo de secuencia.
2. Entrenamiento de Interacción End-to-End: El modelo se ajusta (fine-tuning) con datos de interacción dúplex donde las entradas/salidas del usuario y del agente (texto, audio, video) están intercaladas en la misma corriente causal. Esto enseña al modelo a actualizar su estado basándose en las observaciones actuales, generar respuestas sincronizadas y gestionar la temporización de la respuesta y las interrupciones.
3. Destilación para Baja Latencia: Un modelo maestro más fuerte (que utiliza Classifier-Free Guidance y más pasos de flow-matching) se destila en un estudiante eficiente. Se emplea destilación rodante (rolling distillation) para mitigar la degradación de largo horizonte, entrenando al estudiante con su propio historial generado.

Inferencia: Pipeline Thinker-Performer

Para maximizar la utilización del hardware y el solapamiento, el modelo end-to-end único se despliega como un pipeline Thinker-Performer:

• Thinker (Pensador): Maneja la codificación causal de audio/video, la decodificación de tokens causales para lenguaje y actualizaciones de estado, la construcción del KV-cache y la decodificación causal de latentes previos.
• Performer (Ejecutor): Maneja únicamente el costoso solver de flow-matching para generar los siguientes latentes de audio-visual limpios.
• Solapamiento: El sistema pone en pipeline la percepción del frame actual, la decodificación del frame anterior, la comunicación KV/latente y el denoising del siguiente frame. El Thinker actualiza el estado y decodifica la salida de la unidad anterior mientras el Performer genera el latente de la siguiente unidad. Esto permite que el sistema funcione en tiempo real siempre que el tiempo de generación del Performer quepa dentro de la duración de la unidad de streaming (160 ms).

Contribuciones Clave

1. Modelo Wan-Streamer: Un modelo fundacional de streaming nativo, end-to-end, que soporta texto, audio y video como entradas y salidas dentro de un solo Transformer, eliminando la dependencia de módulos externos de VAD, ASR, TTS o animación.
2. Arquitectura Multimodal Totalmente Causal: Una arquitectura novedosa que comprende VAEs de audio/video estrictamente causales, codificadores/decodificadores causales, atención multimodal de bloque causal y streaming autorregresivo de historial completo.
3. Sistema de Inferencia de Baja Latencia: Una estrategia de despliegue Thinker-Performer que preserva el estado unificado del modelo mediante el intercambio de KV-cache mientras se solapan la comprensión y la generación, logiendo una latencia de interacción sub-segundo.

Resultados y Rendimiento

• Latencia:
  • Latencia de Respuesta del Modelo: Aproximadamente 200 ms (medidos desde la recepción de una unidad de streaming de usuario de 160 ms hasta la decodificación de la respuesta de audio-video correspondiente).
  • Latencia Total de Interacción: Aproximadamente 550 ms cuando se combina con un presupuesto de red bidireccional de 350 ms.
  • Unidad de Streaming: Soporta unidades de streaming de tan solo 160 ms a 25 FPS.
• Naturalidad y Comportamiento:
  • El modelo mantiene la identidad, la mirada, la postura y movimientos faciales sutiles durante los estados de inactividad.
  • Produce retroalimentación no verbal responsiva (asentimientos, microexpresiones) temporalmente acoplada al habla del usuario.
  • Soporta interrupción full-duplex: el modelo puede detener, acortar o redirigir el habla cuando el usuario interrumpe, ya que continúa consumiendo las observaciones del usuario mientras genera su propia respuesta.
  • Permite el habla proactiva, iniciando comentarios basados en eventos visuales en el flujo de entrada sin prompts explícitos del usuario.
• Validación: Los resultados actuales (v0.1) se validan a una resolución de salida de 192p, sirviendo como prueba de concepto para el diseño de streaming end-to-end.

Significado y Reivindicaciones

El artículo posiciona a Wan-Streamer como un modelo fundacional interactivo, multimodal, end-to-end y unificado que aborda las limitaciones de los sistemas en cascada. Su principal significancia radica en demostrar que el streamability es una restricción de modelado y no solo una optimización de servicio.

Al aprender la percepción, el razonamiento, la generación, la temporización de respuesta, la gestión de turnos y la sincronización cross-modal de forma conjunta dentro de un estado de interacción persistente, Wan-Streamer logra una comunicación audiovisual full-duplex de sub-segundo. Los autores argumentan que los agentes multimodales en tiempo real deben diseñarse como sistemas full-duplex nativos donde escuchar, ver, hablar y la respuesta visible se aprenden conjuntamente, en lugar de ensamblarse como módulos post-hoc. Este enfoque reduce la latencia del pipeline, evita la acumulación de errores y permite una interacción continua y más humana.