Dynin-Omni: Omnimodal Unified Large Diffusion Language Model

1. El Problema

El campo de los modelos fundacionales ha evolucionado desde el razonamiento puramente textual hacia la percepción multimodal. Sin embargo, los modelos unificados actuales (que combinan comprensión y generación) presentan limitaciones significativas:

• Restricciones Autoregresivas (AR): La mayoría de los modelos unificados se basan en la generación autoregresiva, que impone un orden causal estricto (token a token). Esto es inherentemente incompatible con modalidades no secuenciales como las imágenes o el video, donde los elementos no dependen de un orden izquierda-derecha, limitando la paralelización y la refinación global.
• Arquitecturas Compuestas: Las soluciones de vanguardia a menudo utilizan diseños híbridos que combinan un backbone autoregresivo con generadores externos (difusión o flujo) para modalidades específicas. Esto introduce objetivos de entrenamiento heterogéneos, cuellos de botella en la orquestación y fragmenta la integración nativa entre modalidades.
• Falta de Unificación Nativa: Existen pocos modelos que integren nativamente texto, imagen, video y habla (comprensión y generación) en una sola arquitectura sin depender de decodificadores externos o múltiples etapas de generación. Además, muchos modelos unificados sacrifican la capacidad de razonamiento textual en favor de la percepción multimodal.

2. Metodología

Dynin-Omni es el primer modelo fundacional de escala 8B basado en difusión enmascarada que unifica nativamente la comprensión y generación de texto, imagen, habla y video en una sola arquitectura.

Arquitectura y Tokenización

• Espacio de Tokens Compartido: El modelo opera sobre un espacio de tokens discretos compartido ($V = V_{texto} \cup V_{visual} \cup V_{habla}$).
  • Texto: Utiliza el tokenizador de LLaDA.
  • Imagen/Video: Utiliza un tokenizador vectorial cuantizado (estilo MAGVIT-v2) que mapea imágenes y frames de video a un código discreto compartido.
  • Habla: Utiliza un tokenizador de "unidad de habla" (S2U) basado en EMOVA, que discretiza el contenido semántico en unidades discretas, separando el estilo acústico.
• Backbone Único: Todos los tokens se procesan a través de un único Transformer basado en difusión enmascarada, sin subredes específicas por modalidad. La generación se realiza mediante la predicción iterativa de tokens enmascarados, seguida de un "detokenizador" ligero y determinista (no generativo) para reconstruir la salida en el espacio de la modalidad (píxeles o audio).

Estrategia de Entrenamiento Multi-etapa

Para estabilizar el entrenamiento conjunto de datos heterogéneos y evitar el olvido catastrófico, se propone un enfoque de tres etapas:

1. Etapa 1: Adaptación de Modalidades: Se alinean las nuevas modalidades (video y habla) con el backbone existente (texto e imagen) utilizando tareas centradas en texto (ej. ASR, TTS, descripción de video). Se introduce una técnica de "aprendizaje de relleno programado" (scheduled padding learning), donde el token de fin de secuencia () no se predice inicialmente para centrarse en la alineación semántica.
2. Etapa 2: Ajuste Fino Supervisado (SFT) Omnimodal: Se realiza una fusión de modelos (Model Merging) para combinar el backbone original con el modelo adaptado en la Etapa 1.
   • Fusión Desentrelazada por Modalidad: Dado que el vocabulario se expande (añadiendo tokens de habla), no se puede promediar directamente los parámetros. Se utiliza una estrategia que retiene las dimensiones originales del backbone y añade las nuevas dimensiones de la expansión, interpolando linealmente los parámetros compartidos. Esto preserva el conocimiento previo mientras se integra la nueva capacidad.
   • Se entrena conjuntamente en todas las modalidades (texto, imagen, video, habla) mezclando los datos en cada lote.
3. Etapa 3: Aprendizaje de Capacidades Avanzadas: Se refina el modelo para mejorar el razonamiento (con mecanismos de "modo de pensamiento"), la generación de imágenes de alta resolución y la síntesis de habla de larga duración (hasta 21 segundos).

Inferencia

El modelo utiliza difusión enmascarada inversa. A diferencia de los modelos AR, Dynin-Omni predice múltiples tokens en paralelo en cada paso de refinamiento.

• Estrategias de Decodificación: Se adapta la estrategia de decodificación según la modalidad:
  • Texto y Habla: Decodificación por bloques (block-wise) para respetar el orden temporal.
  • Imágenes: Decodificación totalmente paralela, ya que no hay orden temporal intrínseco.

3. Contribuciones Clave

1. Backbone Nativo de Difusión Omnimodal: Presentación del primer modelo de código abierto (8B) que unifica texto, imagen, habla y video en una sola arquitectura de difusión enmascarada, eliminando la necesidad de generadores externos o orquestación compleja.
2. Estrategia de Entrenamiento Desentrelazada: Propuesta de un paradigma de entrenamiento escalable que desacopla la expansión de modalidades de la escalabilidad de capacidades, utilizando fusión de modelos desentrelazada y aprendizaje de relleno programado para mantener la consistencia semántica.
3. Rendimiento Equilibrado: Demostración de que un modelo unificado puede lograr un rendimiento competitivo e incluso superior en tareas de razonamiento, comprensión multimodal, generación de imágenes y síntesis de habla, cerrando la brecha con los sistemas expertos especializados en una sola modalidad.

4. Resultados

Dynin-Omni fue evaluado en 19 benchmarks multimodales, superando consistentemente a otros modelos unificados de código abierto (como Show-o2, HyperCLOVAX-8B-Omni, NExT-OMNI) y compitiendo con sistemas expertos especializados:

• Razonamiento Textual: 87.6 en GSM8K (superando a HyperCLOVAX-8B-Omni con 87.3 y modelos de difusión como LLaDA).
• Comprensión Multimodal (Imágenes): 1733.6 en MME-P y 63.5 en GQA, superando a la mayoría de los modelos unificados.
• Comprensión de Video: 61.4 en VideoMME, superando a Show-o2 (57.4) y HyperCLOVAX (58.2).
• Generación de Imágenes: 0.87 en GenEval y 86.3 en DPG-Bench, mostrando una calidad de generación robusta sin etapas de generación especializadas.
• Edición de Imágenes: 3.77 en ImgEdit, compitiendo con sistemas de edición especializados.
• Habla (ASR/TTS): 2.1 de Tasa de Error de Palabras (WER) en LibriSpeech test-clean para ASR y 2.1 para TTS, superando significativamente a otros modelos unificados y acercándose a los expertos especializados.

5. Significado e Impacto

El trabajo de Dynin-Omni demuestra que la difusión enmascarada es un paradigma viable y escalable para la unificación nativa de cualquier modalidad (any-to-any).

• Eficiencia y Flexibilidad: Al evitar la serialización estricta de los modelos AR, permite una refinación iterativa global y paralela, lo cual es crucial para modalidades como imágenes y video.
• Simplificación Arquitectónica: Elimina la complejidad de los sistemas compuestos que requieren múltiples decodificadores externos, ofreciendo una arquitectura unificada más limpia y eficiente.
• Futuro de los Agentes: Proporciona una base sólida para sistemas omnimodales en tiempo real, recuperación cruzada unificada y agentes multimodales incorporados, donde la capacidad de razonamiento y generación deben coexistir en un solo modelo sin compromisos significativos de rendimiento.

En resumen, Dynin-Omni establece un nuevo estado del arte en modelos fundacionales unificados, demostrando que es posible lograr una integración profunda y nativa de múltiples modalidades sin sacrificar la capacidad de razonamiento ni la calidad de generación.