MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings

Resumo Técnico: MMCORE

1. O Problema

A geração multimodal de alta fidelidade enfrenta um dilema fundamental entre dois paradigmas de modelos:

• Modelos Autoregressivos (AR): Excelentes em raciocínio semântico, compreensão de linguagem e modelos de linguagem grandes (LLMs/VLMs), mas historicamente inferiores na geração visual de alta qualidade devido a problemas de quantização e priores não sequenciais.
• Modelos de Difusão (ou Flow-Matching): Dominantes na síntese visual de alta fidelidade (imagens e vídeos), mas frequentemente carecem da capacidade de raciocínio profundo e compreensão contextual complexa dos modelos AR.

Integrar esses dois paradigmas em um único framework de treinamento é desafiador. Métodos anteriores que tentam fundi-los diretamente (como Transfusion ou BAGEL) exigem custos computacionais proibitivos e grandes volumes de dados privados. Alternativas que usam LLMs congelados com conectores leves muitas vezes resultam em alinhamento fraco entre a representação semântica do texto e o espaço latente visual, levando a uma eficiência de treinamento reduzida e qualidade de geração inferior.

2. Metodologia

O MMCORE propõe um framework unificado e eficiente que desacopla a compreensão semântica da geração visual, mas os conecta de forma otimizada através de embeddings latentes visuais alinhados. A arquitetura segue um processo de treinamento em duas etapas principais:

A. Arquitetura Geral:
O sistema consiste em um MLLM (Multimodal Large Language Model) na base, que infere embeddings latentes visuais semânticos a partir de entradas multimodais, e um gerador baseado em Difusão (especificamente um Transformer de Difusão ou MMDiT) no topo para a síntese de pixels.

B. Etapa 1: Ajuste Fino do MLLM e Alinhamento Semântico
Ao invés de usar apenas tokens de consulta (query tokens) fixos e um conector leve (como no MetaQueries), o MMCORE introduz três modificações críticas:

1. Ajuste Fino Conjunto (Joint Fine-tuning): O backbone do MLLM é totalmente ajustado (não congelado) em dados de compreensão e geração, permitindo que o modelo adapte seus pesos especificamente para a síntese de tokens visuais.
2. Alinhamento Visual via Destilação: Para resolver o problema de sinal de supervisão esparsa da perda de difusão, o modelo usa um codificador visual de ponta (ex: SigLIP ou ViT) congelado como "professor". Os tokens gerados pelo MLLM são otimizados para se alinharem com as representações latentes densas e semanticamente ricas deste codificador visual, utilizando uma perda de similaridade cosseno.
3. Condicionamento de Duplo Caminho (Dual-Pathway Conditioning): Para evitar gargalos de informação, o sistema mantém dois caminhos de entrada para o gerador de difusão:
   • Tokens Visuais Aprendidos: Capturam semântica global e grounding multimodal.
   • Embeddings de Texto Completos: Preservam detalhes léxicos finos e instruções complexas que tokens visuais fixos poderiam perder.

C. Etapa 2: Treinamento do Cabeça de Difusão
Um modelo de difusão pré-treinado (MMDiT) é adaptado para suportar geração intercalada (texto e múltiplas imagens).

• Máscara de Atenção Causal: O modelo gera quadros de imagem condicionados aos latentes VAE de imagens anteriores e aos embeddings atuais (texto + latente visual), mas exclui os tokens latentes visuais semânticos de quadros anteriores da atenção para evitar instabilidade.
• Dropout Independente: Durante o treinamento, aplica-se uma taxa de dropout mais alta nos embeddings de texto nas fases iniciais para forçar o modelo a depender dos embeddings visuais aprendidos pelo MLLM, equilibrando gradualmente as duas modalidades.

3. Contribuições Principais

• Framework Unificado Eficiente: Demonstra que é possível aliar o raciocínio de LLMs à geração de alta fidelidade sem a necessidade de treinar um modelo unificado massivo do zero ou fundir pesadamente as arquiteturas AR e de Difusão.
• Alinhamento de Representação Latente: A introdução de uma perda de distilação explícita contra codificadores visuais (ViT/SigLIP) garante que os tokens visuais aprendidos capturem semântica robusta, superando a limitação de alinhamento fraco de métodos anteriores.
• Condicionamento Híbrido: A estratégia de "duplo caminho" (tokens visuais + texto completo) resolve o trade-off entre a necessidade de semântica global e detalhes instrucionais finos.
• Redução de Custo Computacional: O método alcança desempenho comparável a arquiteturas unificadas nativas (como Transfusion) utilizando apenas ~30% do orçamento computacional típico de treinamento from scratch.

4. Resultados

O MMCORE foi avaliado em benchmarks internos (DreamBench) e comparado com modelos de ponta como Seedream 4.0, GPT-Image-1, Gemini 2.5 e Flux Kontext.

• Avaliação Quantitativa: O modelo superou consistentemente os baselines em métricas de alinhamento texto-imagem, fidelidade visual e consistência em edição de imagens.
  • Em avaliação humana (7 métricas), o MMCORE obteve 84.42% de precisão média em alinhamento texto-imagem, superando o GPT-Image-1 (80.69%) e o Seedream 4.0 (78.2%).
  • Na edição de imagens, alcançou 81.2% de alinhamento e 70.62% de consistência, liderando todos os concorrentes.
• Avaliação Qualitativa: O modelo demonstrou superioridade em:
  • Raciocínio Espacial e Lógico: Segue instruções complexas de relações espaciais (ex: "olho do homem alinhado com a boca da mulher") que outros modelos falham.
  • Edição de Múltiplas Imagens: Capacidade de manipular contextos com mais de 10 imagens de entrada com controle localizado fino.
  • Fidelidade a Instruções: Melhor interpretação de frases literais e não literais e manutenção de detalhes finos em cenários complexos.
• Estudos de Ablação:
  • O ajuste fino completo do MLLM (vs. LoRA ou backbone congelado) foi crucial para a qualidade.
  • A fase de Supervised Fine-Tuning (SFT) curta em dados de alta qualidade foi essencial para elevar a pontuação de alinhamento de ~0.82 para ~0.86.
  • Aumentar o orçamento de tokens visuais para N=64 mostrou o melhor equilíbrio entre expressividade e eficiência.

5. Significado e Limitações

Significado:
O MMCORE valida que a combinação de modelagem semântica autoregressiva com síntese visual baseada em difusão, mediada por embeddings latentes alinhados, é uma via superior para a geração multimodal. Ele oferece um caminho escalável e economicamente viável para criar modelos que entendem e geram com alta fidelidade, sem os custos exorbitantes de treinamento unificado massivo.

Limitações e Futuro:

• Trade-off Compreensão-Geração: Como em outros modelos unificados, o ajuste fino para geração causa uma leve regressão nas capacidades puras de compreensão (VQA, OCR), embora mitigada pelo treinamento conjunto.
• Redundância Semântica: Atualmente, os tokens visuais aprendidos atuam mais como um complemento ao condicionamento de texto do que como um substituto completo. O trabalho futuro visa desenvolver um "Omni-Tokenizer" unificado que possa realizar tanto a reconstrução de pixels quanto o raciocínio semântico em uma única representação, eliminando a necessidade de codificadores visuais separados (VAE/ViT) e unificando totalmente as vias de compreensão e geração.