MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data

1. Il Problema

La generazione di immagini condizionata da riferimenti visivi multipli (in-context generation) è fondamentale per applicazioni reali come la composizione multi-soggetto, l'illustrazione narrativa e la sintesi di nuove viste. Tuttavia, i modelli attuali soffrono di un degrado severo delle prestazioni all'aumentare del numero di immagini di riferimento.

• Collo di bottiglia dei dati: I dataset esistenti sono dominati da coppie "singolo-riferimento" o "pochi riferimenti" (massimo 3-5 immagini). Mancano dati strutturati e a lungo contesto necessari per apprendere le dipendenze dense tra più riferimenti (es. coerenza temporale, consistenza spaziale, preservazione dell'identità).
• Limiti dei modelli: Anche i modelli open-source più avanzati (es. Bagel, OmniGen2) mostrano un crollo delle prestazioni quando il numero di input supera le 3-5 immagini, a causa della mancanza di segnali di addestramento specifici per contesti complessi.
• Mancanza di standardizzazione: Non esistono protocolli di valutazione standardizzati per testare la coerenza generativa su scale di input variabili (da 1 a 10 immagini) e su diversi tipi di compiti.

2. Metodologia

Gli autori propongono un approccio incentrato sui dati per colmare questo divario, introducendo un nuovo dataset e un benchmark.

A. MacroData (Il Dataset)

MacroData è un dataset su larga scala composto da 400.000 campioni, ciascuno contenente fino a 10 immagini di riferimento. Per garantire la qualità e la coerenza logica, il dataset è strutturato in quattro dimensioni complementari (100k campioni ciascuna):

1. Customization: Composizione di più soggetti (umani, oggetti, scene, vestiti, stili) in scene originali coerenti.
2. Illustrazione: Generazione di immagini contestuali basate su narrazioni testuali e sequenze immagine-testo intercalate.
3. Spatial (Spaziale): Sintesi di nuove viste (novel view synthesis) partendo da multiple viste di input, divise in "Outside-in" (oggetti 3D) e "Inside-out" (panorami).
4. Temporal (Temporale): Previsione di fotogrammi futuri basata su sequenze video storiche.

Pipeline di Costruzione:

• Non si basa su dati grezzi scaricati dal web, ma utilizza una pipeline robusta che distilla conoscenze da modelli closed-source avanzati e filtra i corpus reali.
• Utilizza modelli VLM (Vision-Language Models) per la verifica bidirezionale (coerenza input-output), il filtraggio estetico e la riorganizzazione del contesto testuale.
• Include strategie di campionamento progressive per bilanciare la difficoltà dei compiti in base al numero di immagini di input.

B. MacroBench (Il Benchmark)

Per valutare le prestazioni, gli autori introducono MacroBench, un benchmark di 4.000 campioni (1.000 per ogni compito).

• Struttura: Valuta la coerenza generativa attraverso due dimensioni: il tipo di compito (Customization, Illustration, Spatial, Temporal) e la scala di input (1-3, 4-5, 6-7, 8-10 immagini).
• Valutazione: Adotta il paradigma "LLM-as-Judge" (utilizzando Gemini-3-Flash come modello giudice, selezionato per la sua superiorità rispetto a GPT-4.1 nel ragionamento spaziale e multi-immagine).
• Metriche: Definisce metriche specifiche per compito (es. Image Consistency Score, View Transformation Score, Temporal Coherence) aggregandole tramite media geometrica per penalizzare i fallimenti critici in una singola dimensione.

3. Contributi Chiave

1. MacroData: Il primo dataset su larga scala strutturato specificamente per la generazione multi-riferimento a lungo contesto, coprendo fino a 10 input e quattro domini di compito distinti.
2. MacroBench: Un benchmark standardizzato che riempie il vuoto nella valutazione della coerenza generativa su scale di input variabili e compiti complessi.
3. Analisi Sperimentale: Dimostrazione che il fine-tuning su MacroData riduce significativamente il divario tra modelli open-source e closed-source, fornendo linee guida pratiche su strategie di addestramento (es. co-training cross-task, selezione dei token).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli open-source di stato dell'arte (Bagel, OmniGen2, Qwen-Image-Edit) fine-tunati su MacroData.

• Prestazioni Generali: I modelli addestrati su MacroData superano costantemente tutti i baseline open-source su MacroBench. Ad esempio, Bagel + MacroData raggiunge un punteggio medio di 5.71, posizionandosi terzo in assoluto dietro solo a modelli closed-source (Nano Banana Pro e GPT-Image-1.5) e migliorando drasticamente rispetto al Bagel base (3.03).
• Robustezza a Lungo Contesto: Mentre i modelli base crollano quando il numero di input sale da 1-5 a 6-10, i modelli addestrati su MacroData mostrano una degradazione molto più contenuta, mantenendo prestazioni elevate anche con 10 immagini di riferimento.
• Generalizzazione: Il dataset migliora le prestazioni anche su benchmark esistenti come OmniContext, superando dataset specifici per quel compito (es. Echo4o), dimostrando che la diversità dei compiti in MacroData favorisce un apprendimento più robusto.
• Analisi Ablativa:
  • Il co-training su tutti i compiti (non solo su uno specifico) offre benefici sinergici.
  • L'uso di strategie di selezione dei token (es. Text-aligned selection) permette di gestire l'efficienza computazionale mantenendo le informazioni critiche, superando i limiti di capacità dei modelli.
  • Strategie come "Think-before-generation" o l'uso di collage (unire le immagini in un'unica griglia) si sono rivelate meno efficaci rispetto all'input diretto multi-immagine.

5. Significato e Impatto

Il lavoro di MACRO rappresenta un passo fondamentale verso la generazione di immagini contestuale di alta qualità su larga scala.

• Superamento del limite dei riferimenti: Dimostra che la scarsità di dati strutturati, e non solo l'architettura del modello, è la causa principale del fallimento dei modelli multi-riferimento.
• Standardizzazione: Fornisce un framework di valutazione solido (MacroBench) che permetterà alla comunità di ricerca di confrontare oggettivamente i progressi in questo settore.
• Futuro della Generazione: Apre la strada a sistemi capaci di comprendere e integrare complesse relazioni visive (temporali, spaziali, identitarie) necessarie per applicazioni creative avanzate, riducendo il divario tra modelli open-source e soluzioni proprietarie chiuse.

In sintesi, MACRO stabilisce un nuovo standard per la generazione di immagini basata su contesto, fornendo sia i dati necessari per l'addestramento che gli strumenti per valutarne l'efficacia in scenari reali complessi.