MACRO: Advancing Multi-Reference Image Generation with Structured Long-Context Data

Probleemstelling

Het genereren van afbeeldingen die zijn geconditioneerd op meerdere visuele referenties (multi-reference image generation) is cruciaal voor real-world toepassingen zoals het samenstellen van meerdere onderwerpen, het maken van narratieve illustraties en het synthetiseren van nieuwe gezichtspunten (novel view synthesis). Huidige modellen, zelfs de meest geavanceerde open-source modellen zoals Bagel en OmniGen2, lijden echter onder een ernstige prestatiedaling naarmate het aantal invoerreferenties toeneemt.

De auteurs identificeren de fundamentele oorzaak als een data-bottleneck:

1. Bestaande datasets zijn gedomineerd door paren met één of slechts een paar referenties.
2. Er ontbreekt gestructureerde, lange-context supervisie die nodig is om dichte inter-referentie-afhankelijkheden (zoals temporele dynamiek, ruimtelijke consistentie en identiteitsbehoud) te leren.
3. Modellen kunnen maximaal 3 tot 5 invoerbeelden verwerken voordat de kwaliteit drastisch verslechtert, wat beperkend is voor complexe composities.

Methodologie

Om dit probleem aan te pakken, introduceren de auteurs twee hoofdcomponenten: MacroData (een dataset) en MacroBench (een benchmark).

1. MacroData (De Dataset)

MacroData is een grote-scale dataset van 400.000 hoogwaardige samples, waarbij elk sample tot 10 referentieafbeeldingen kan bevatten. De dataset is systematisch opgebouwd rond vier complementaire dimensies om verschillende aspecten van multi-reference generatie te dekken:

• Customization (Aanpassing): Het samenstellen van meerdere referenties (mensen, objecten, scènes, kleding, stijl) in coherente originele scènes. De data komt van bronnen zoals OpenSubject, MVImgNet en WikiArt, met strikte filtering om identiteitslekken te voorkomen.
• Illustration: Het genereren van contextbewuste afbeeldingen die multimodale narratieven aanvullen. De data is afkomstig van interleaved tekst-afbeelding sequenties (OmniCorpus), waarbij VLM's (Vision-Language Models) worden gebruikt om "anchor images" te identificeren en de context te herschrijven voor coherentie.
• Spatial (Ruimtelijk): Het voorspellen van nieuwe gezichtspunten op basis van meerdere invoerweergaven. Dit omvat:
  • Outside-in: Objecten bekijken vanuit verschillende hoeken.
  • Inside-out: Panoramische scènes (binnen- en buitenruimtes).
    De data is zorgvuldig gefilterd op ruimtelijke overlapping en fysieke plausibiliteit.
• Temporal (Temporeel): Het voorspellen van toekomstige frames op basis van historische videosequenties. Video's worden opgesplitst in clips, keyframes worden geëxtraheerd en gesorteerd op visuele coherentie.

Data Constructie: In plaats van roestige web-scraped data te gebruiken, gebruiken de auteurs een robuust pijplijnproces waarbij kennis wordt gedistilleerd van geavanceerde gesloten bronmodellen (zoals Nano Banana Pro) en real-world corpora worden gefilterd met VLM's om logische consistentie en visuele kwaliteit te garanderen.

2. MacroBench (De Benchmark)

Om de evaluatie te standaardiseren, stellen de auteurs MacroBench voor, bestaande uit 4.000 samples.

• Structuur: Het evalueert prestaties over de vier taakdimensies en verschillende invoerschalen (1-3, 4-5, 6-7, en 8-10 afbeeldingen).
• Evaluatiemethode: Ze gebruiken een "LLM-as-Judge" mechanisme (specifiek Gemini-3-Flash, geselecteerd vanwege zijn superioriteit in het beoordelen van meerdere referenties vergeleken met GPT-4.1).
• Metrics: Per taak worden specifieke scores gebruikt (bijv. Image Consistency Score, Prompt Following Score, View Transformation Score) die worden samengevoegd via een geometrisch gemiddelde om straffe straffen voor inconsistentie toe te passen.

3. Training en Technieken

De auteurs fine-tunen state-of-the-art open-source modellen (Bagel, OmniGen2, Qwen-Image-Edit) op MacroData. Ze onderzoeken ook strategieën voor lange context:

• Cross-task co-training: Het trainen op alle vier de taken tegelijk levert betere resultaten op dan het trainen op subsets.
• Token Selectie: Om de rekenefficiëntie te verbeteren bij lange sequenties, testen ze strategieën zoals Block-wise en Text-aligned selectie. Text-aligned selectie (het behouden van de meest informatieve tokens per afbeelding gebaseerd op tekst-afbeelding aandacht) bleek het meest effectief zonder kwaliteitsverlies.

Belangrijkste Resultaten

De experimenten tonen aan dat fine-tuning op MacroData aanzienlijke verbeteringen oplevert:

1. Prestatieverbetering: Modellen getraind op MacroData overtreffen alle bestaande open-source baselines op MacroBench.
   • Bagel + MacroData bereikt een gemiddelde score van 5.71, wat een enorme sprong is ten opzichte van de basis Bagel (3.03) en zelfs dicht in de buurt komt van gesloten bronmodellen zoals Nano Banana Pro (7.12) en GPT-Image-1.5 (7.50).
2. Robuustheid bij Lange Context: Waar andere modellen sterk dalen bij 6-10 invoerafbeeldingen, behoudt MacroData-getrainde modellen een hoge consistentie. Bijvoorbeeld, bij de Customization taak daalt de score van de basis Bagel van 5.37 (1-5 afbeeldingen) naar 2.53 (6-10 afbeeldingen), terwijl de MacroData-versie slechts daalt van 8.92 naar 7.12.
3. Generalisatie: Zelfs op de bestaande OmniContext benchmark (gericht op 1-3 afbeeldingen) presteert MacroData beter dan datasets die specifiek voor dat doel zijn ontworpen (zoals Echo4o), wat de kwaliteit van de data-pijplijn bevestigt.
4. Ablatie Studies:
   • Cross-task training is superieur aan single-task training.
   • Een data-ratio van 2:2:3:3 (voor 1-3, 4-5, 6-7, 8-10 afbeeldingen) werkt het beste voor progressieve taken zoals Customization.
   • Token-selectie strategieën kunnen de contextlengte effectief beheren zonder de kwaliteit van de generatie te schaden.

Significantie en Impact

Dit paper is een mijlpaal in het veld van in-context beeldgeneratie:

• Oplossing voor Data Schaarste: Het adresseert de fundamentele tekortkoming in bestaande datasets door een gestructureerde, lange-context dataset te bieden die modellen in staat stelt complexe inter-referentie-afhankelijkheden te leren.
• Standaardisatie: Met MacroBench wordt een gebrek aan gestandaardiseerde evaluatieprotocollen voor multi-reference generatie opgevuld, wat essentieel is voor toekomstig onderzoek.
• Sluiting van de Kloof: Het bewijst dat open-source modellen, wanneer ze worden getraind op de juiste data, kunnen concurreren met gesloten bronmodellen in complexe, multi-reference scenario's.
• Toekomstige Richting: Het biedt een blauwdruk voor het hanteren van lange visuele contexten en identificeert token-selectie als een veelbelovende techniek voor efficiëntie.

Kortom, MACRO verschuift de grenzen van wat mogelijk is in multi-reference beeldgeneratie door de focus te verleggen van modelarchitectuur alleen naar een data-gedreven aanpak met gestructureerde lange-context supervisie.