MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings

1. El Problema

El campo de la generación multimodal enfrenta un desafío fundamental: integrar la capacidad de razonamiento semántico de los Modelos de Lenguaje Multimodales (MLLMs) con la alta fidelidad visual de los modelos de difusión (o flow-matching).

• Limitaciones de los enfoques unificados actuales: Los modelos que intentan fusionar arquitecturas autoregresivas (AR) y de difusión en un solo marco de entrenamiento (como Transfusion o BAGEL) sufren de ineficiencia. La modelación visual basada en difusión requiere alternar entre características limpias (para comprensión) y ruidosas (para generación), lo que impide la optimización simultánea en una sola pasada y encarece el entrenamiento.
• Limitaciones de los enfoques desacoplados: Métodos que utilizan MLLMs congelados con conectores ligeros (como MetaQueries) a menudo resultan en una alineación débil entre las representaciones latentes y el espacio visual objetivo, además de tener presupuestos de contexto fijos que no escalan bien con instrucciones complejas.
• Costo Computacional: Entrenar modelos unificados desde cero o con pesos duplicados requiere recursos masivos y datos privados, limitando la accesibilidad de la investigación.

2. Metodología: MMCORE

MMCORE propone un marco unificado pero eficiente que desacopla la comprensión semántica de la generación de píxeles, conectándolos mediante embeddings latentes alineados. La arquitectura se divide en dos etapas principales de entrenamiento:

A. Arquitectura del Modelo

1. MLLM Base (Comprensión y Predicción Semántica):

   • Utiliza un MLLM preentrenado que se afina completamente (no congelado) para generar tokens de consulta (query tokens) latentes visuales.
   • Alineación Semántica: Se introduce una pérdida de distilación explícita. Los tokens generados por el MLLM se alinean con las representaciones de un codificador visual de estado del arte (como SigLIP o ViT) mediante una pérdida de similitud coseno. Esto actúa como un "andamio" para asegurar que los tokens capturen semántica visual robusta antes de llegar al generador.
   • Condicionamiento de Doble Vía: Para evitar cuellos de botella de información, el modelo utiliza dos vías:
     • Tokens visuales aprendidos: Capturan la semántica global y la anclaje multimodal.
     • Embeddings de texto completos: Preservan detalles léxicos finos y restricciones de instrucciones.

2. Cabeza de Difusión (Generación de Píxeles):

   • Utiliza un transformador de difusión preentrenado (MMDiT) como columna vertebral generativa.
   • Máscara de Atención Causal: Para la generación intercalada (múltiples imágenes), la generación del fotograma actual se condiciona en:
     1. Las representaciones latentes VAE de todas las imágenes anteriores (para detalles históricos densos).
     2. Los embeddings de texto y visuales latentes del fotograma actual.
        Nota crítica: Se excluyen explícitamente los tokens visuales latentes de los fotogramas anteriores del contexto de atención para evitar inestabilidad en la optimización.

B. Estrategia de Entrenamiento

• Entrenamiento en Dos Etapas:
  1. Ajuste Fino del MLLM: Se entrena el MLLM con una combinación de pérdida de lenguaje (LLM) y pérdida de alineación visual (distilación), sin usar pérdida de flujo de difusión en esta etapa.
  2. Entrenamiento Continuo (CPT) de la Cabeza de Difusión: Se entrena el generador de difusión sobre los tokens alineados, manteniendo el MLLM congelado. Se utiliza una estrategia de dropout independiente en los canales de texto y visual para forzar al modelo a depender de las señales visuales del MLLM.
• SFT y RLHF: Se aplica un breve periodo de Ajuste Fino Supervisado (SFT) en datos de instrucciones de alta calidad y, finalmente, Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) para alinear el modelo con preferencias estéticas humanas.

3. Contribuciones Clave

• Eficiencia sin Sacrificar Calidad: Logra un rendimiento comparable a arquitecturas unificadas nativas (que requieren entrenar desde cero) utilizando solo ~30% del presupuesto computacional, al evitar la fusión profunda de paradigmas en una sola red.
• Alineación de Representaciones Latentes: Introduce una distilación explícita hacia encoders visuales (ViT/SigLIP) para superar la alineación débil de los métodos basados solo en query tokens.
• Condicionamiento Híbrido: La combinación de tokens visuales compactos y embeddings de texto completos permite manejar contextos largos y complejos sin perder detalles ni incurrir en redundancia computacional excesiva.
• Escalabilidad: El marco demuestra mejoras consistentes al escalar el tamaño del lote y la longitud de la secuencia, siguiendo las leyes de escalado de los grandes modelos.

4. Resultados

El modelo fue evaluado en el conjunto de pruebas interno DreamBench y comparado contra modelos de vanguardia como Seedream 4.0, GPT-Image-1, Gemini 2.5 y Flux Kontext.

• Evaluación Cuantitativa:
  • Alineación Texto-Imagen: MMCORE obtuvo el puntaje más alto (84.42% en precisión promedio) en la alineación texto-imagen, superando significativamente a Seedream 4.0 (78.2%) y otros modelos.
  • Edición de Imágenes: Demostró superioridad en la alineación de instrucciones de edición (81.2%) y consistencia en la edición (70.62%), manteniendo la identidad y el fondo mejor que los competidores.
• Evaluación Cualitativa:
  • Razonamiento Espacial y Lógico: El modelo maneja mejor instrucciones complejas y contrafactuales (ej. "un hombre con los ojos a la altura de la boca de una mujer", "una pelota de baloncesto más pequeña que una pelota de fútbol").
  • Edición de Múltiples Imágenes: Capacidad para procesar contextos con más de 10 imágenes de entrada manteniendo un control localizado fino, algo donde los modelos basales fallan.
• Estudios de Ablación:
  • Se demostró que el ajuste fino completo del MLLM (vs. congelado) y el uso de un conector profundo (6 capas vs. 2) son críticos para el rendimiento.
  • El SFT de alta calidad (2k pasos) fue identificado como esencial para saltar de un rendimiento de ~0.82 a ~0.86 en métricas de alineación.

5. Significado y Limitaciones

Significado:
MMCORE valida que es posible lograr una generación multimodal de alta fidelidad combinando el modelado semántico autoregresivo con la síntesis visual basada en difusión, sin necesidad de acoplarlos estrechamente en una sola red. Esto reduce drásticamente las barreras de entrada para la investigación en modelos unificados y ofrece un camino viable para la edición y generación de imágenes complejas con razonamiento profundo.

Limitaciones y Futuro:

• Compensación Comprensión-Generación: Al igual que otros modelos unificados, existe una ligera degradación en tareas puras de comprensión (VQA, OCR) tras el ajuste fino para generación, aunque se mitiga con el entrenamiento conjunto.
• Redundancia Semántica: Actualmente, los tokens visuales aprendidos actúan como un complemento a la codificación de texto y no como un reemplazo total. El modelo aún depende de un codificador ViT externo y un decodificador VAE.
• Dirección Futura: Los autores proponen desarrollar un "Omni-Tokenizer" unificado que pueda realizar tanto reconstrucción de píxeles perfecta como razonamiento semántico de alto nivel, eliminando la necesidad de múltiples encoders y desacoplando aún más la arquitectura.