Resumen Técnico: OmniMate

Planteamiento del Problema

Los avances recientes en los modelos generativos basados en difusión han permitido la generación de avatares impulsados por audio de alta fidelidad y en tiempo real, así como la síntesis audiovisual unificada. Sin embargo, extender estas capacidades a la transmisión interactiva de código abierto (open-ended, real-time interactive streaming) presenta dos desafíos críticos:

1. Horizonte de Generación Desconocido: A diferencia de la generación convencional con segmentos de habla predefinidos, la transmisión interactiva requiere que el modelo genere respuestas basadas en instrucciones de ejecución sin saber de antemano cuándo se completa el contenido. Las duraciones fijas corren el riesgo de truncar las respuestas o generar redundancia, mientras que la detección explícita de finalización introduce latencia, lo que dificulta la interacción en tiempo real.
2. Deriva de Identidad Multimodal a Largo Plazo: En escenarios de transmisión con contexto temporal limitado, las pistas de identidad visual (apariencia, pose) y las pistas de identidad del hablante (timbre de voz) tienden a desvanecerse con el tiempo. Los enfoques de referencia única tienen dificultades para mantener la consistencia a través de poses, puntos de vista y múltiples turnos de conversación no vistos, lo que conduce a una deriva de identidad.

Metodología

Los autores proponen OmniMate, un marco unificado diseñado para la generación de avatares audiovisuales interactivos de código abierto y en tiempo real. El sistema sintetiza conjuntamente el habla, los movimientos faciales, los gestos corporales y los efectos de sonido relacionados con la acción, manteniendo transiciones fluidas entre los estados de "escucha" y "ejecución". El marco se basa en el modelo fundacional LTX2.3 e incorpora dos módulos novedosos:

1. Controlador de Progreso de Generación (GPC)

El GPC aborda el desafío de la terminación adaptativa de la respuesta y las transiciones de estado fluidas.

• Mecanismo: Modela explícitamente el progreso de la generación de cada fragmento de transmisión. Dado un tiempo de ejecución estimado de un LLM, el GPC mapea el progreso alineado con el latente a incrustaciones de tiempo continuo (que van de 1 a 1000 para la ejecución, y 0 para la escucha).
• Inyección: Estas señales de progreso se inyectan en las representaciones latentes a través de un Perceptrón de Capa Múltiple (MLP) y una Codificación Posicional Sinusoidal.
• Estrategia de Entrenamiento: Los autores construyen datos de transición de estado utilizando un modelo profesor bidireccional destilado mediante DMD. Este profesor genera secuencias con transiciones explícitas entre los estados de ejecución y escucha. Se aplica una máscara de atención cruzada de texto por segmento para asegurar que el modelo estudiante aprenda a atender a prompts específicos (ejecución vs. escucha) basándose en la señal de progreso inyectada, evitando la filtración semántica a través de los límites de estado.

2. Módulo de Condicionamiento de Referencia Múltiple (MRCM)

El MRCM aborda la preservación de la identidad a largo plazo aprovechando pistas persistentes.

• Condicionamiento Visual: En lugar de una única referencia, el módulo concatena múltiples imágenes de referencia (hasta cuatro) con los latentes de video ruidosos a lo largo de la dimensión temporal. Se aplican Embeddings Posicionales Rotatorios (RoPE) negativos a estos tokens de referencia para evitar que interfieran con las posiciones temporales de los fotogramas generados.
• Condicionamiento del Hablante: Se emplea una estrategia libre de entrenamiento donde un segmento de audio de referencia (o una locución de calentamiento generada por el modelo) se utiliza para reemplazar los latentes de audio generados durante el proceso de eliminación de ruido (denoising). Esto asegura un timbre de voz y características de hablante consistentes durante toda la interacción.

Pipeline de Entrenamiento e Inferencia

El proceso de entrenamiento involucra cuatro etapas:

1. Ajuste fino (fine-tuning) de LTX2.3 con condicionamiento de identidad visual.
2. Destilación de un modelo profesor bidireccional de pocos pasos utilizando Destilación de Coincidencia de Distribución (DMD) y construcción de trayectorias de ODE de transición de estado.
3. Inicialización de ODE: Optimización conjunta del GPC y el modelo causal estudiante.
4. DMD de Auto-Forzado (Self-Forcing DMD): Destilación adicional del modelo para forzar el comportamiento autorregresivo, donde cada fragmento atiende solo a fragmentos de referencia, al primer fragmento y a fragmentos adyacentes.

Durante la inferencia, el sistema utiliza un LLM para generar el contenido de la respuesta y la duración estimada. El GPC convierte esta duración en señales de progreso para guiar la generación por transmisión, mientras que el MRCM mantiene la consistencia de la identidad.

Contribuciones Clave

1. Marco OmniMate: Un marco de generación de avatares audiovisuales interactivos en tiempo real y de código abierto capaz de sintetizar conjuntamente habla, expresiones, gestos y sonidos ambientales con baja latencia.
2. Controlador de Progreso de Generación (GPC): Un controlador novedoso que modela explícitamente el progreso de la generación, permitiendo que el modelo siga esquemas de ejecución deseados, logre transiciones fluidas entre los estados de escucha y ejecución, y responda a nuevas instrucciones con una latencia mínima.
3. Módulo de Condicionamiento de Referencia Múltiple (MRCM): Un módulo que utiliza múltiples imágenes de referencia y un segmento de audio de referencia para preservar la consistencia de la identidad visual y del hablante a largo plazo durante interacciones de transmisión extendidas.

Resultados Experimentales

Los autores evaluaron OmniMate en una adaptación orientada a la interacción de VerseBench, comparándolo con modelos de vanguardia tanto offline (p. ej., Ovi-1.1, MOVA, UniVerse-1) como en tiempo real (p. ej., OmniForcing, Hallo-Live).

• Métricas de Rendimiento: OmniMate alcanzó la mayor velocidad de generación (27.64 FPS) y el menor Tiempo al Primer Fotograma (3.49s) entre los métodos en tiempo real, manteniendo una calidad visual y precisión de sincronía labial competitivas.
• Consistencia: El modelo demostró una consistencia audiovisual (IB-Score) superior y una fuerte preservación de la identidad de audio (A-ID) y la identidad visual (V-ID) durante periodos prolongados.
• Estudios de Ablación: Los experimentos confirmaron que eliminar el GPC conducía a transiciones de estado inexactas y habla repetitiva, mientras que eliminar los componentes del MRCM resultaba en una degradación de la identidad visual bajo diferentes puntos de vista y características de hablante inconsistentes.
• Estabilidad de Larga Duración: Las evaluaciones a 30s, 60s y 240s no mostraron una degradación significativa en la calidad o la consistencia, validando la capacidad del marco para interacciones extendidas.

Significado y Reivindicaciones

El artículo afirma que OmniMate proporciona una solución robusta para los sistemas de avatares interactivos en tiempo real al resolver los compromisos fundamentales entre la incertidumbre del horizonte de generación y la preservación de la identidad a largo plazo. Al integrar el control de progreso adaptativo y el condicionamiento de referencia múltiple, el marco permite conversaciones multivuelta naturales, inmersivas y coherentes donde el avatar puede cambiar de forma fluida entre escuchar y hablar sin deriva de identidad o torpeza inducida por la latencia. Los autores posicionan a OmniMate como un paso hacia comportamientos conversacionales de usuario-avatar realistas y responsivos que mantienen una alta fidelidad durante periodos prolongados.

Limitaciones

Los autores reconocen que las respuestas extremadamente largas o la estimación inexacta de la duración pueden ocasionalmente provocar omisiones o repeticiones de palabras. Además, los mecanismos actuales de preservación de identidad limitan la generación de acciones que impliquen cambios de apariencia o de escena de gran escala. Se propone un trabajo futuro centrado en mejorar el modelado del progreso y extender el marco hacia interacciones de largo horizonte autónomas.