Resumen Técnico: InteractiveAvatar

Planteamiento del Problema

Los modelos basados en difusión recientes han avanzado la generación de avatares impulsados por audio, permitiendo una sincronización labial y una apariencia realistas. Sin embargo, los enfoques actuales enfrentan dos limitaciones fundamentales en escenarios de transmisión en tiempo real:

1. Inconsistencia Temporal Visual: Los métodos actuales suelen depender de la atención causal con un campo receptivo limitado (pocos fragmentos previos y una imagen de referencia). A medida que la generación se extiende durante largas duraciones, esto conduce a una "deriva temporal", donde los fragmentos de video adyacentes divergen, causando inconsistencias en la identidad, los objetos y la estabilidad de la escena.
2. Falta de Interacción Consciente de la Intención: La mayoría de los sistemas siguen un paradigma simple de conducción por audio donde los Modelos de Lenguaje Grande (LLM) generan el habla, y el avatar anima los labios y gestos toscos basados en correlaciones audio-movimiento. Estos sistemas no logran percibir explícitamente la intención del usuario para generar acciones finamente alineadas semánticamente (por ejemplo, mirar un reloj cuando se pregunta la hora) o para adaptar la escena dinámicamente, lo que limita el realismo del comportamiento interactivo.

Metodología

Los autores proponen InteractiveAvatar, un marco de generación de video de transmisión infinita en tiempo real diseñado para abordar estos desafíos a través de tres componentes principales:

1. Memoria Visual Largo-Corto (LSVM)

Para mantener la consistencia visual durante duraciones arbitrariamente largas, los autores introducen un mecanismo de memoria que comprime flexiblemente la información visual histórica:

• Estructura de Memoria Dual: El sistema mantiene una Memoria a Corto Plazo ($M_s$) que contiene representaciones densas de fotogramas recientes (por ejemplo, los últimos 5 segundos) para asegurar la coherencia temporal local. También mantiene una Memoria a Largo Plazo ($M_l$) con una capacidad fija de tokens compactos que representan estados visuales globalmente salientes.
• Compresión de Memoria: Un modelo ligero comprime los latentes de video en tokens compactos sin submuestreo temporal, preservando la capacidad de separar y actualizar los latentes durante la transmisión.
• Selección Dinámica de Fotogramas Clave (DKFS): Durante la inferencia, cuando un fotograma sale de la ventana de corto plazo, se evalúa para su retención a largo plazo. El sistema utiliza SigLIP2 para extraer características semánticas y calcula una puntuación de redundancia global. Un fotograma candidato se inserta en la memoria a largo plazo solo si reduce la redundancia semántica general, asegurando que la memoria almacene fotogramas clave diversos y representativos en lugar de fotogramas con muestreo temporal uniforme.

2. Módulo de Razonamiento-Reacción (RRM)

Para permitir interacciones conscientes de la intención, el marco integra un centro de razonamiento basado en LLM:

• Estrategia de Ciclo de Estado (State-Cycling): El LLM procesa la entrada del usuario y el estado estable actual para producir tres componentes: un Prompt de Acción (que guía el movimiento/pose del cuerpo), Audio de Respuesta y un Prompt de Estado Estable (que define la condición visual estática post-acción). El modelo de difusión condiciona la acción y el audio durante la respuesta, luego cambia al prompt estable una vez que el audio termina, asegurando que el avatar regrese a un estado consistente sin deriva de movimiento.
• Mecanismo de Cambio de Caché (Cache-Switching): Para reducir la latencia durante las transiciones de estado, el sistema vuelve a codificar las condiciones de texto actualizadas y recomputa los cachés de Clave-Valor (KV) para los fragmentos inmediatamente precedentes. Esto permite que el modelo se realinee rápidamente con nuevos prompts de acción sin esperar a la regeneración completa.

3. Adaptación de Destilación Autorregresiva

Para lograr un rendimiento en tiempo real, los autores adaptan un núcleo de Transformador de Difusión (DiT) preentrenado (Wan 2.2 5B) a través de un flujo de entrenamiento de cuatro etapas:

1. Preentrenamiento AI2V: Entrenamiento en datos audiovisual a gran escala con atención bidireccional.
2. Preentrenamiento de Compresión de Memoria: Entrenamiento del módulo de compresión mediante reconstrucción de video.
3. Inicialización ODE: Entrenamiento con atención causal por bloques para aproximar las trayectorias ODE del modelo profesor.
4. Autodestilación DMD (Self-Forcing DMD): Aplicación de la Destilación de Coincidencia de Distribución (DMD) para destilar el modelo de difusión en un generador autorregresivo de pocos pasos. Esto minimiza la divergencia KL inversa entre las distribuciones del estudiante y el profesor, permitiendo una inferencia estable de pocos pasos.

Contribuciones Clave

1. Marco InteractiveAvatar: Un novedoso sistema de generación de avatares impulsados por audio en transmisión en tiempo real capaz de síntesis de larga duración con fuerte consistencia visual e interacción consciente de la intención.
2. Memoria Visual Largo-Corto (LSVM): Un mecanismo que preserva las representaciones visuales históricas mediante la selección dinámica de fotogramas clave, mejorando significativamente la coherencia visual y previniendo la deriva temporal en secuencias largas.
3. Módulo de Razonamiento-Reacción (RRM): Un módulo equipado con Ciclo de Estado y Cambio de Caché que permite al avatar interpretar la intención del usuario, generar habla y acciones coordinadas, y ejecutar comandos con latencia reducida.

Resultados Experimentales

Los autores evaluaron InteractiveAvatar contra métodos de vanguardia (por ejemplo, OmniAvatar, WanS2V, LiveAvatar) a través de 500 casos de prueba de video que involucran diversos escenarios de interacción.

• Desempeño Cuantitativo: InteractiveAvatar logró resultados de vanguardia en Consistencia a nivel de Objeto (OBJ) (85.2) y Alineación Texto-Video (TV) (25.93), con una preservación de Identidad (ID) competitiva. Mientras que las métricas de calidad de video (IQA, FID) fueron comparables a las de los modelos base, el método demostró una estabilidad temporal superior.
• Eficiencia en Tiempo Real: Aprovechando el modelo ligero de 5B y la destilación, el sistema alcanzó 26.68 FPS, superando a todos los modelos base (el segundo más rápido, LiveAvatar, alcanzó 21.94 FPS).
• Análisis Cualitativo: Las comparaciones visuales mostraron que, mientras los modelos base sufrían cambios en la forma/color de los objetos, cambios abruptos de cámara o fallos al seguir instrucciones de acción, InteractiveAvatar mantuvo la apariencia consistente de los objetos (por ejemplo, un reloj) y ejecutó correctamente acciones complejas (por ejemplo, sentarse, revisar un reloj) alineadas con la intención del usuario.
• Estudios de Ablación: Eliminar el módulo LSVM causó una caída significativa en la consistencia de objetos (OBJ bajó de 85.2 a 78.4). Eliminar los componentes del RRM resultó en una pérdida de acciones conscientes de la intención, revirtiendo el sistema a respuestas verbales simples. Eliminar la destilación DMD causó que la velocidad de inferencia cayera drásticamente a 1.27 FPS.

Significancia

El artículo afirma que InteractiveAvatar cierra la brecha entre la generación de avatares de alta calidad y los humanos digitales interactivos y realistas. Al resolver conjuntamente los desafíos de la consistencia visual de largo alcance y la capacidad de respuesta consciente de la intención, el marco proporciona una base práctica para aplicaciones inmersivas de próxima generación. Los autores enfatizan que su enfoque permite que los avatares no solo hablen, sino que también realicen acciones contextualmente relevantes y mantengan la estabilidad visual durante interacciones extendidas, moviéndose más allá de los simples sistemas reactivos hacia agentes digitales plenamente conscientes de la intención.