Resumen Técnico: StreamChar

Enunciado del Problema

El artículo aborda el desafío de la generación en tiempo real de audio y video en streaming conjunta para la animación de personajes. Esta tarea requiere un sistema que satisfaga simultáneamente tres restricciones conflictivas:

1. Fidelidad del Guion: El audio generado debe adherirse estrictamente a un guion de entrada largo, sin omisiones, repeticiones ni deriva semántica.
2. Identidad y Coherencia Visual: La apariencia e identidad del personaje deben mantenerse consistentes a lo largo de duraciones extendidas (horizonte largo), evitando la deriva visual o cambios de identidad.
3. Latencia Interactiva: El sistema debe generar contenido más rápido que su duración de reproducción (en tiempo real), lo que requiere una inferencia de baja latencia.

Los enfoques existentes luchan por equilibrar estos requisitos. Los modelos monolíticos de Transformador de Difusión (DiT) a menudo sufren de competencia de capacidad, donde la misma columna vertebral debe manejar la comprensión global del guion, la memoria entre fragmentos y la eliminación de ruido espacio-temporal local, lo que conduce a la propagación de errores. Además, la reducción agresiva de pasos mediante destilación para lograr baja latencia a menudo causa colapso de modos (reducción de la diversidad espacial) y acumulación de errores en las ejecuciones autoregresivas, degradando la calidad a largo plazo.

Metodología

StreamChar propone una arquitectura desacoplada y una tubería de destilación de dos etapas para separar la orquestación de horizonte largo de la eliminación de ruido de ventana corta.

1. Arquitectura Desacoplada (LLM + DiT)

• Orquestador LLM: Un modelo de lenguaje causal actúa como planificador. Lee el guion, el contexto histórico y el audio de referencia para producir condiciones de audio continuas alineadas con fotogramas ($c_a$). Se encarga de la planificación semántica global y la alineación del guion, descargando esta carga de la columna vertebral generativa.
• DiT de Audio-Video Conjunto: Un Transformador de Difusión realiza eliminación de ruido conjunta de ventana corta. Toma como entrada las condiciones de audio ($c_a$), incrustaciones de indicación, fotogramas de referencia y fotogramas de movimiento (de fragmentos anteriores).
  • Atención Bidireccional: A diferencia de los modelos de streaming causales, el DiT utiliza atención bidireccional completa dentro de cada fragmento para aprovechar el contexto temporal global, mejorando la calidad de la planificación del movimiento.
  • MoE Consciente de la Modalidad: La arquitectura emplea un mecanismo de atención compartido con una red de alimentación hacia adelante de Mezcla de Expertos (MoE), enrutando los tokens de video y audio a expertos distintos para equilibrar la interacción entre modalidades con el aprendizaje específico de cada modalidad.
  • Mecanismo de Fotograma Sumidero: El primer fragmento generado sirve como una memoria persistente de "sumidero", a la que acceden todos los fragmentos subsiguientes para suprimir la deriva visual a largo plazo.

2. Destilación Desacoplada de Dos Etapas

Para lograr un rendimiento en tiempo real sin sacrificar la estabilidad, los autores proponen una estrategia de optimización secuencial:

• Etapa I (Reducción de Pasos): Utiliza Destilación de Coincidencia de Distribución (DMD) para comprimir el modelo docente (típicamente 50 pasos) en un estudiante de pocos pasos (4 pasos). Esta etapa se centra puramente en la calidad de la generación de un solo fragmento.
• Etapa II (Consistencia de Ejecución): Ajusta finamente al estudiante utilizando simulación de ejecución en línea. El modelo genera múltiples fragmentos consecutivos de forma autoregresiva.
  • Puntero Consciente del Progreso (PAP): Un módulo integrado en el Orquestador que predice el punto final del guion para cada fragmento, asegurando una alineación precisa entre el rango de audio generado y el guion truncado.
  • Objetivo de Entrenamiento: El estudiante se optimiza sobre sus propias salidas (auto-fuerza) utilizando una pérdida DMD calculada en fragmentos concatenados, estrechando la brecha entre entrenamiento y prueba.

3. Eficiencia de Inferencia

El sistema genera 9 fotogramas latentes de video por fragmento (decodificando a 33 fotogramas RGB a 24 fps). Al reutilizar los latentes de movimiento del fragmento anterior y superponer el preprocesamiento con la decodificación VAE, la latencia total por fragmento es de aproximadamente 1.34 segundos, ajustándose dentro del presupuesto de reproducción de 1.38 segundos en una sola GPU H100.

Contribuciones Clave

1. Arquitectura Desacoplada LLM + DiT: Un diseño que separa la planificación global del guion (LLM) de la síntesis local de audio-video (DiT), utilizando la condición de fotogramas de movimiento para la continuidad entre fragmentos.
2. Estrategia de Destilación de Dos Etapas: Una tubería que desacopla la compresión de pasos (Etapa I) del entrenamiento de consistencia de ejecución (Etapa II), abordando los desafíos acoplados de colapso de modos y acumulación de errores.
3. Mecanismos de Estabilidad: La introducción del Puntero Consciente del Progreso (PAP) para la alineación del guion y el mecanismo de Fotograma Sumidero para suprimir la deriva visual a largo plazo.
4. Validación Empírica: Demostración de que el sistema soporta streaming de horizonte largo en tiempo real en una sola GPU, manteniendo un rendimiento competitivo en fidelidad del guion, sincronización y calidad visual.

Resultados

Los experimentos se realizaron en protocolos de clips cortos y horizonte largo utilizando el conjunto de datos EMTD.

• Fidelidad del Guion: StreamChar logró una Tasa de Error de Palabras (WER) del 3.65% después de la destilación, superando significativamente a las líneas base de audio-video conjuntas (por ejemplo, LTX-2 en 4.55%, OVI en 10.46%).
• Calidad Visual: El método logró una puntuación líder en Anatomía Humana (0.941) y el FID más bajo (18.96) entre las líneas base conjuntas, demostrando una alta fidelidad perceptiva a pesar de utilizar una columna vertebral de 5 mil millones de parámetros.
• Estabilidad a Largo Plazo: StreamChar exhibió una Deriva de Calidad insignificante de 0.0067 en transmisiones de 5 minutos, en comparación con 0.0304 para la versión ablatada sin el fragmento sumidero. Mantuvo una puntuación máxima VBench Dynamic de 1.0, indicando diversidad de movimiento preservada.
• Eficiencia: El sistema se ejecuta en tiempo real (aproximadamente 1.34s de latencia por fragmento) en una sola GPU H100.

Significado

El artículo afirma que StreamChar ofrece un compromiso favorable a nivel de sistema entre la fidelidad del guion, la sincronización audio-visual, la calidad visual y la estabilidad del streaming. Al desacoplar las responsabilidades de la planificación semántica y la eliminación de ruido espacio-temporal, y al resolver secuencialmente la reducción de pasos y la consistencia de la ejecución, el marco supera las limitaciones de los DiT monolíticos y la destilación agresiva. Permite la generación de animaciones de personajes interactivas de varios minutos con una adherencia estricta a los guiones de entrada, una capacidad que anteriormente era difícil de lograr en entornos de tiempo real.