Wan-Streamer v0.2: Higher Resolution, Same Latency

Resumen Técnico: Wan-Streamer v0.2

Planteamiento del Problema
Wan-Streamer v0.1 estableció un modelo de interacción audiovisual end-to-end de transmisión nativa, donde las modalidades de usuario y agente (texto, audio, video) se modelan en una única línea de tiempo causal. Sin embargo, la resolución de salida de v0.1 de 192×336 píxeles limitaba el alcance visual a un encuadre de videollamada de primer plano. Esta resolución comprimía la postura corporal, la mirada, las manos y los objetos cercanos, así como el contexto de la escena, dificultando la interacción "situada en la escena" (scene-grounded). El desafío para v0.2 era actualizar la resolución de salida para soportar composiciones de plano medio más amplias, preservando estrictamente la latencia de señal a señal de aproximadamente 200 ms requerida por el modelo para un diálogo dúplex completo y en tiempo real. Aumentar el tamaño del flujo visual suele incrementar la carga computacional y el tiempo de inferencia, amenazando el estricto presupuesto de latencia necesario para una interacción natural.

Metodología
Para lograr una mayor resolución sin aumentar la latencia, v0.2 conserva la formulación estable de transmisión nativa de v0.1, pero altera fundamentalmente la topología de servicio y la estrategia de despliegue. El sistema se divide en dos roles distintos:

1. El Pensador (Ruta de una sola GPU):

   • Permanece en una sola GPU para asegurar una ruta de control de baja latencia.
   • Gestiona la percepción de transmisión (codificación de audio/video), las actualizaciones de lenguaje y estado, la construcción del KV-cache y la decodificación causal final.
   • Produce porciones (slices) de K/V (Key/Value) compactas y compatibles con el ejecutor que condicionan el proceso de generación.
   • Esta ruta garantiza que el ciclo crítico de interacción (percepción a emisión de respuesta) se mantenga rápido.

2. El Ejecutor (Ruta de múltiples GPUs):

   • Utiliza un grupo de paralelismo de contexto al estilo de Ulysses a través de múltiples GPUs para gestionar la costosa generación latente del video de alta resolución.
   • Manejo de K/V: Los rangos (ranks) del Ejecutor reciben las porciones de K/V del Pensador y las escriben en cachés locales pre-fragmentadas.
   • Paralelismo de Secuencia: La larga secuencia de video latente de alta resolución (640×368) se divide entre los rangos para el proceso de denoise (reducción de ruido). Se utiliza la comunicación all-to-all y gather de Ulysses dentro del grupo del ejecutor para sincronizar los mecanismos de atención.
   • Manejo de Audio: Dado que las secuencias latentes de audio son significativamente más cortas que las de video, se generan sin fragmentación de secuencia para evitar sobrecargas innecesarias.
   • Desacoplamiento: El cómputo de lenguaje/estado se integra totalmente en las porciones de K/V producidas por el Pensador. En consecuencia, no es necesario comunicar ninguna secuencia de lenguaje separada dentro del grupo del Ejecutor, aislando el costo añadido de la generación visual de la ruta de control crítica de latencia.

Contribuciones Clave

• Actualización de Resolución: Actualizó con éxito el flujo de salida interactivo de 192×336 a 640×368 a 25 FPS.
• Preservación de la Latencia: Mantuvo la latencia de señal a señal del modelo de aproximadamente 200 ms a pesar del aumento en la carga computacional del flujo de mayor resolución.
• Nueva Topología de Servicio: Introdujo una arquitectura híbrida que presenta un "Pensador" de una sola GPU para la percepción y gestión de estado, emparejado con un "Ejecutor" de estilo Ulysses de múltiples GPUs para la generación de latencia con paralelismo de contexto. Esto utiliza cachés K/V pre-fragmentadas y paralelismo de secuencia específicamente para la ruta de denoise del video de alta resolución.
• Alcance Visual Expandido: Permitió agentes de plano medio situados en la escena, donde la postura, la mirada, las manos y la disposición de la escena local permanecen legibles durante la conversación en tiempo real, superando las limitaciones del encuadre de primer plano.

Resultados

• Métricas de Rendimiento: El sistema logra una salida de video de 640×368 a 25 FPS con una latencia del modelo de aproximadamente 200 ms.
• Latencia de Interacción Total: Al combinarse con un presupuesto de red bidireccional estándar de 350 ms, la latencia de interacción remota total se mantiene en aproximadamente 550 ms, idéntica al objetivo de v0.1.
• Calidad Visual: Las observaciones cualitativas confirman que el formato actualizado soporta interacciones de primer plano más claras y agentes de plano medio situados en la escena. El modelo preserva con éxito la identidad, la mirada, el movimiento de la boca y la postura corporal dentro de las restricciones de transmisión en tiempo real.

Significancia
El artículo sostiene que Wan-Streamer v0.2 demuestra que es posible lograr una interacción audiovisual de alta fidelidad y situada en la escena sin sacrificar los requisitos de baja latencia de un diálogo natural. Al desacoplar el pesado costo computacional de la generación de video de alta resolución de la ruta crítica de latencia mediante una arquitectura especializada de Pensador-Ejecutor, el sistema expande el alcance de la interacción visual desde simples videollamadas hasta conversaciones situadas donde el agente está visiblemente integrado en su entorno. Este enfoque valida que las formulaciones de transmisión nativa pueden escalar en resolución manteniendo las estrictas restricciones temporales necesarias para la interacción multimodal de dúplex completo.