Resumen Técnico: Omni-Customizer

Enunciado del Problema

El panorama de la generación conjunta de audio y video ha sido transformado por modelos fundacionales como Ovi y LTX-2. Sin embargo, lograr una personalización multimodal cohesiva—específicamente la preservación simultánea de identidades visuales y timbres vocales a través de múltiples sujetos interactuantes—sigue siendo un desafío significativo y poco explorado. Los enfoques existentes enfrentan tres limitaciones principales:

1. Incompatibilidad Arquitectónica: La personalización de video unimodal y las pipelines de conducción cross-modal requieren cambios arquitectónicos no triviales (por ejemplo, torres de audio separadas) para funcionar en la generación conjunta, a menudo quedando fuera de su alcance de diseño original.
2. Unión de Identidad Débil: Modelos unificados como DreamID-Omni utilizan mecanismos (por ejemplo, Syn-RoPE) que no logran una unión de identidad cross-modal robusta, dejando las señales de identidad vulnerables al decaimiento posicional y causando confusión en escenarios de múltiples sujetos.
3. Cuellos de Botella Inherentes y Anomalías: Los marcos actuales construidos sobre backbones de código abierto sufren de capacidad limitada de reconstrucción de habla en los VAE de audio y una granularidad fonética multilingüe desequilibrada. Críticamente, son propensos a una anomalía de "Vocalización de Subtítulos", donde la torre de audio sintetiza erróneamente subtítulos descriptivos no hablados en audio hablado.

Metodología

Omni-Customizer es un marco de extremo a extremo construido sobre una arquitectura simétrica de Transformador de Difusión de Flujo Dual (DiT), inicializada a partir del backbone preentrenado Ovi. Aborda los desafíos mencionados anteriormente mediante cuatro innovaciones centrales:

1. Subtítulos Omni-Estructurados

El marco utiliza Modelos de Lenguaje Grandes Multimodales (MLLM) para re-etiquetar los datos en un formato estandarizado. Esta estructura de prompt vincula explícitamente la identidad visual (FaceID) y la identidad vocal (SpeakerID) utilizando tokens de anclaje (por ejemplo, <sub1>). El prompt incluye:

• Descriptores de Sujeto: Descripciones visuales y acústicas para cada sujeto.
• Contexto Global: Descripciones del entorno y la acción.
• Contenido de Habla: Diálogo estrictamente encerrado entre las etiquetas <S> y <E>, asegurando una delimitación clara entre el texto narrativo y las expresiones habladas.

2. Módulos Arquitectónicos Centrales

• Fusión de Contexto Omni (OCF): En lugar de depender del backbone de difusión para resolver alineaciones complejas, OCF eleva el codificador de texto a un motor activo de alineación cross-modal. Concatena las incrustaciones de texto, los tokens de referencia visual, los tokens de referencia de audio y las incrustaciones fonémicas de TTS en una secuencia unificada. Mediante el procesamiento iterativo de transformadores con conexiones residuales, enriquece las representaciones de texto con señales multimodales densas, facilitando una unión de identidad precisa.
• RoPE Multimodal Anclado Semánticamente (SA-MRoPE): Para resolver la discrepancia estructural entre los tokens de texto 1D, imagen 2D y audio temporal, SA-MRoPE ancla los tokens de referencia a sus descripciones de sujeto semántico correspondientes dentro de un espacio posicional 3D unificado. Esto asegura que las referencias visuales y de audio estén rígidamente unidas a sus anclajes textuales específicos (por ejemplo, <sub1>), previniendo el enredo de identidad en escenas de múltiples sujetos.
• Atención Cruzada TTS Enmascarada (MTP-CA): Para eliminar la anomalía de "Vocalización de Subtítulos", MTP-CA emplea un mecanismo de puerta dura. Inyecta priores fonémicos estrictamente en los tokens de texto ubicados dentro del rango <S>...<E>, asegurando que las regiones narrativas no habladas reciban cero excitación a nivel fonémico. Esto confina la mejora de pronunciación exclusivamente a los rangos de diálogo previstos.

3. Estrategia de Entrenamiento

Los autores diseñan una estrategia de entrenamiento integral para manejar distribuciones de lenguaje sesgadas (por ejemplo, datos predominantemente en chino) y prevenir la degradación de los priores fundamentales:

• Entrenamiento Entrelazado de Modos Desacoplados: El entrenamiento alterna entre pasos de Generación Conjunta de Audio-Video (JAVG) y pasos solo TTS. Los pasos solo TTS expanden el tamaño del lote de audio y congelan las vías cross-modal, actuando como un regularizador que permite que la rama de audio adquiera rápidamente capacidades multilingües sin comprometer los priores de sincronización labial o alineación cross-modal.
• Currículo Progresivo de Pareja Intra a Pareja Inter: El entrenamiento comienza con la alineación de un solo sujeto (datos de pareja intra) para establecer capacidades básicas de personalización. Luego escala al desentrelazamiento de múltiples sujetos (datos de pareja inter), donde las referencias se desacoplan de la generación objetivo para forzar el aprendizaje de características de identidad de alto nivel y robustas.

Contribuciones Clave

1. Marco Omni-Customizer: Un sistema de extremo a extremo para la personalización conjunta de audio-video centrada en humanos que logra una unión de identidad multimodal precisa.
2. Módulos Novedosos: La introducción de OCF para el enriquecimiento de señales densas, SA-MRoPE para el anclaje semántico estructurado y MTP-CA para prevenir la fuga de habla.
3. Estrategia de Entrenamiento Avanzada: Un enfoque de entrenamiento entrelazado y un currículo progresivo que permiten una adaptación multilingüe rápida y un desentrelazamiento de identidad robusto sin sacrificar la alineación.
4. OC-Bench: Una evaluación integral que comprende 300 casos de prueba en escenarios de un solo sujeto, diálogo de dos personas y escenarios complejos de múltiples sujetos, acompañada de un conjunto de datos multimodal diverso de múltiples sujetos.

Resultados

Experimentos extensos en OC-Bench demuestran que Omni-Customizer logra un rendimiento State-of-the-Art (SOTA) en múltiples métricas:

• Preservación de Identidad: Supera a las líneas base en Similitud Facial (0.812) y Similitud de Timbre (0.514), reduciendo significativamente la confusión de identidad en interacciones de múltiples sujetos.
• Sincronización: Logra una sincronización audio-video superior (Sync-C/D) y la Tasa de Error de Palabra (WER) más baja, indicando una alta fidelidad de habla.
• Calidad: Mantiene una alta calidad estética e de imagen en el video, y alta calidad perceptual en el audio.
• Estudios de Ablación: Confirman que eliminar cualquier módulo propuesto (OCF, SA-MRoPE, MTP-CA) o estrategia (Currículo, Entrenamiento entrelazado) conduce a caídas significativas en el rendimiento, como deriva de identidad, errores de habla simultánea o la reaparición de la vocalización de subtítulos.

Significado

El artículo afirma que Omni-Customizer cierra una brecha crítica en la IA generativa al habilitar una personalización conjunta de audio-video robusta y de alta fidelidad en escenarios complejos centrados en humanos. Al resolver los problemas de enredo de identidad y fuga de habla, el marco permite la generación conversacional realista de múltiples sujetos, previamente inalcanzable con modelos de código abierto. El trabajo establece un nuevo paradigma para la personalización multimodal, demostrando que el anclaje semántico estructurado y las estrategias de entrenamiento desacoplado son esenciales para escalar la generación conjunta a aplicaciones interactivas de múltiples personajes.

Nota: Los autores reconocen las limitaciones actuales, señalando que las generaciones están actualmente limitadas a una resolución de 720P y duraciones de 10 segundos, con trabajos futuros enfocados en escalar a resoluciones más altas y secuencias más largas.