MMCORE: MultiModal COnnection with Representation Aligned Latent Embeddings

1. Il Problema

La generazione multimodale di immagini di alta qualità richiede la combinazione di due paradigmi distinti:

• Modelli Autoregressivi (AR) / VLM: Eccellono nel ragionamento semantico, nella comprensione del contesto e nel seguire istruzioni complesse, ma spesso producono immagini di qualità inferiore rispetto ai modelli basati su diffusione a causa della quantizzazione delle rappresentazioni visive e della mancanza di priors non sequenziali.
• Modelli Diffusion / Flow-Matching (FM): Sono lo stato dell'arte per la sintesi visiva ad alta fedeltà, ma faticano a integrare un ragionamento semantico profondo e contestuale senza un addestramento massiccio.

Le sfide principali nell'unificare questi due approcci in un singolo framework includono:

• Inefficienza nell'addestramento: Integrare direttamente la modellazione visiva basata su diffusione all'interno di un'architettura AR degrada l'efficienza, poiché richiede l'alternanza tra feature pulite (per la comprensione) e feature rumorose (per la generazione), impedendo l'ottimizzazione simultanea in un singolo passaggio.
• Costi computazionali: I modelli unificati che fondono pesantemente AR e FM richiedono spesso risorse di addestramento proibitive e grandi quantità di dati privati.
• Allineamento debole: I metodi esistenti che usano VLM congelati con connettori leggeri spesso soffrono di un allineamento insufficiente tra le rappresentazioni semantiche del linguaggio e lo spazio latente visivo, portando a una generazione di bassa qualità o a un'instabilità nell'addestramento.

2. Metodologia: MMCORE

MMCORE propone un framework unificato ma deaccoppiato che sfrutta un Modello Linguistico Multimodale (MLLM) pre-addestrato per generare embedding latenti visivi semantici, che fungono poi da segnali di condizionamento per un modello di diffusione. L'architettura si basa su tre pilastri fondamentali:

A. Previsione Semantica Visiva con MLLM (Fase 1)

Invece di usare un VLM congelato, MMCORE adotta una strategia di fine-tuning congiunto dell'MLLM:

• Token Query Apprendibili: Vengono introdotti token query ($Q$) che estraggono informazioni multimodali rilevanti dal flusso di token.
• Allineamento Semantico per Distillazione: Per superare la scarsità del segnale di supervisione fornito solo dalla loss di diffusione, l'MLLM viene addestrato per allineare i token query generati con le feature latenti di un encoder visivo stato dell'arte (es. SigLIP o ViT) congelato. Questo fornisce un target stabile e a bassa varianza.
• Condizionamento a Doppio Percorso: Per evitare colli di bottiglia informativi, il sistema mantiene due percorsi:
  1. I token visivi latenti (query) che catturano la semantica globale e il grounding cross-modale.
  2. Le embedding testuali originali a lunghezza variabile che preservano i dettagli lessicali fini e i vincoli delle istruzioni.
• Obiettivo di Addestramento: Una combinazione di loss linguistica ($L_{llm}$) e loss di allineamento visivo ($L_{vis}$) basata sulla similarità del coseno.

B. Generazione con Testa Diffusion (Fase 2)

Un modello di diffusione basato su Transformer (MMDiT) viene addestrato per generare immagini condizionato sia dal testo che dai nuovi embedding visivi latenti:

• Attenzione Causale per Sequenze Interleaved: Per gestire la generazione di immagini multiple o editing, viene implementata una maschera di attenzione "block-causal". La generazione del frame corrente è condizionata dalle latenti VAE delle immagini precedenti e dalle embedding testuali/visive correnti, ma esclude i token visivi semantici dei frame precedenti per evitare instabilità nell'ottimizzazione.
• Dropout Indipendente: Durante l'addestramento, si applica un dropout indipendente sui percorsi di conditioning testuale e visivo. Inizialmente, si usa un dropout più alto sul testo per forzare il modello a dipendere dalle embedding visive derivate dall'MLLM, migliorando l'uso di queste informazioni.

C. Strategia di Addestramento

Il framework utilizza un approccio a più stadi:

1. Pre-training congiunto dell'MLLM con loss di allineamento visivo.
2. Continued Pre-Training (CPT) della testa di diffusione con dati misti (Text-to-Image e interleaved), mantenendo l'MLLM congelato.
3. Supervised Fine-Tuning (SFT) su dataset di istruzioni multimodali curati per migliorare la fedeltà al testo.
4. Reinforcement Learning (RLHF) per allineare il modello ai gusti umani.

3. Contributi Chiave

• Efficienza Computazionale: MMCORE elimina la necessità di un addestramento end-to-end massiccio o di connettori pesanti, riducendo il budget computazionale richiesto rispetto a modelli unificati nativi (come Transfusion o BAGEL) di circa il 70% (utilizzando solo ~30% del budget).
• Architettura Pulita e Scalabile: La rimozione di moduli di fusione espliciti complessi rende l'architettura più adatta a tecniche di post-training come SFT e RL.
• Superiorità nel Reasoning Spaziale e Grounding: Grazie all'allineamento diretto con encoder visivi potenti, il modello gestisce meglio compiti complessi come il ragionamento spaziale, il grounding visivo e le istruzioni di editing multi-immagine.
• Gestione del Contesto Lungo: Il modello dimostra capacità di mantenere un controllo granulare anche con contesti di input superiori a 10 immagini.

4. Risultati

Le valutazioni sono state condotte su benchmark interni (DreamBench) e confrontate con modelli stato dell'arte come Seedream 4.0, GPT-Image-1, e Gemini 2.5.

• Allineamento Testo-Immagine: MMCORE supera tutti i baselines nella coerenza prompt-immagine, ottenendo un punteggio medio di 84.42% (vs 80.69% di GPT-Image-1 e 78.2% di Seedream 4.0) nelle valutazioni umane.
• Editing e Coerenza: Nel task di editing, il modello mostra una maggiore fedeltà alle istruzioni e una migliore conservazione dell'identità e dello sfondo (81.2% di accuratezza media).
• Qualità Qualitativa: Il modello eccelle in prompt complessi che richiedono ragionamento controfattuale, relazioni asimmetriche (es. "l'occhio dell'uomo all'altezza della bocca della donna") e dettagli localizzati, dove i modelli baselines tendono a fallire o a ricorrere a stereotipi.
• Ablation Study:
  • Il fine-tuning completo dell'MLLM (invece di usare solo adapter) è cruciale per la qualità.
  • Un connettore profondo (6 layer) è necessario per allineare gli spazi latenti diversi.
  • Una fase breve di SFT (2k step) su dati di alta qualità porta a miglioramenti drastici rispetto al solo pre-training esteso.
  • L'aggiunta di embedding visivi latenti alle feature VAE del diffusion head ha mostrato risultati negativi, suggerendo che la fusione diretta di feature dense (VAE) e semantiche (ViT) crea conflitti di ottimizzazione.

5. Significato e Limitazioni

Significato:
MMCORE dimostra che è possibile ottenere una generazione multimodale di alta qualità unendo la potenza semantica degli LLM con la fedeltà visiva dei modelli diffusion, senza doverli accoppiare strettamente in un'unica rete monolitica. Offre un percorso scalabile ed economicamente efficiente per costruire modelli unificati, rendendo accessibili capacità di generazione avanzate che altrimenti richiederebbero risorse proibitive.

Limitazioni e Futuro:

• Trade-off Comprensione-Generazione: Come molti modelli unificati, l'adattamento per la generazione comporta un leggero degrado nelle capacità pure di comprensione (es. VQA, OCR), sebbene mitigato rispetto ad altri approcci.
• Ridondanza Semantica: Attualmente, i token visivi appresi agiscono come un complemento al testo piuttosto che come una rappresentazione visiva completa. Il lavoro futuro punta a sviluppare un "Omni-Tokenizer" unificato che possa supportare sia la ricostruzione pixel-perfect (come un VAE) che il ragionamento semantico (come un ViT) in un'unica rappresentazione, eliminando la necessità di encoder separati.