MultiBanana: A Challenging Benchmark for Multi-Reference Text-to-Image Generation

Titel: MultiBanana: Een Uitdagende Benchmark voor Multi-Reference Text-to-Image Generatie

1. Het Probleem

Recente doorbraken in tekst-naar-beeld generatiemodellen hebben de capaciteit ontwikkeld om meerdere referentieafbeeldingen te gebruiken om onderwerpen te herinterpreteren in nieuwe contexten. Echter, de huidige benchmarks voor deze taak vertonen twee fundamentele beperkingen:

• Beperkt aantal referenties: Bestaande datasets focussen zich meestal op slechts 1 tot 4 referentieafbeeldingen en testen niet hoe modellen presteren bij complexere instructies met meer referenties (tot 8).
• Vage taakdefinities: De huidige evaluaties zijn beperkt tot eenvoudige assen zoals "wat moet er bewerkt worden" of "hoeveel referenties zijn er". Ze missen de nuance van het combineren van heterogene referenties (bijv. een mix van foto's en anime, schaalverschillen, zeldzame concepten of meertalige tekst).

Dit leidt tot een gebrek aan inzicht in de echte grenzen van huidige modellen en hun faalmodi bij complexe, multi-referentie taken.

2. Methodologie: De MultiBanana Benchmark

De auteurs introduceren MultiBanana, een uitgebreid evaluatiekader dat specifiek is ontworpen om de randen van modelcapaciteiten te testen in multi-referentie settings.

• Dataverzameling en Constructie:

  • De dataset bevat 3.769 hoogwaardige taken, opgebouwd uit zowel echte afbeeldingen (uit LAION-5B) als synthetische data (gegenereerd door Nano Banana en GPT-Image-1) om bias te corrigeren.
  • Een gefilterde en hiërarchisch geclassificeerde set van afbeeldingen wordt gebruikt, met categorieën zoals personen, objecten, achtergronden, licht, toon en stijl.
  • Instructies worden gegenereerd en gevalideerd door VLM's (Gemini) en menselijke annotatoren om visuele breuken te voorkomen.

• Taaktypes:

  • Enkele en Twee Referenties: Dekt standaard bewerkingsopdrachten (object toevoegen, vervangen, achtergrond wijzigen, kleurstijl, etc.).
  • Multi-Referentie (3 tot 8 referenties): Definieert vier complexe structuren:
    1. X Objecten: Composeer X objecten uit de referenties.
    2. X-1 Objecten + Achtergrond: Plaats objecten in een specifieke achtergrond.
    3. X-1 Objecten + Lokaal: Pas een lokale wijziging toe op één object.
    4. X-1 Objecten + Globaal: Rangschik objecten en pas de algehele sfeer/stijl aan.

• Uitdagende Dimensies (Diversity Factors):
  De benchmark introduceert specifiek moeilijke combinaties die eerder werden genegeerd:

  1. Cross-domain: Mix van verschillende domeinen (bijv. foto + anime).
  2. Schaal en perspectief: Verschillen in objectgrootte en camerahoek.
  3. Zeldzame concepten: Ongebruikelijke onderwerpen (bijv. een rode banaan).
  4. Meertalige tekst: Rendering van tekst in verschillende talen (Engels, Chinees, Japans).

• Evaluatie:

  • Gebruik van VLM-judges (Gemini 2.5 en GPT-5) voor schaalbare evaluatie, geverifieerd door menselijke beoordeling.
  • 5 Evaluatiecriteria (10-puntsschaal): Tekst-instructie uitlijning, Referentieconsistentie, Achtergrond-Subject Match, Fysiek Realisme en Visuele Kwaliteit.
  • Een gewogen totaalscore wordt berekend om prestaties te vergelijken.

3. Belangrijkste Resultaten

De auteurs hebben diverse gesloten (Nano Banana, GPT-Image-1) en open-source modellen (Qwen-Image, DreamOmni2, OmniGen2) geëvalueerd.

• Prestatieverval bij meer referenties: Alle modellen tonen een daling in totale score naarmate het aantal referenties toeneemt.
• Gesloten vs. Open Source Modellen:
  • Gesloten Modellen (bijv. Nano Banana, GPT-Image-1): Hebben sterke instructie-opvolging en referentieconsistentie, maar lijden onder compositional distortion (visuele vervorming, overvolle scènes) wanneer ze proberen alle referenties strikt na te bootsen. Ze overfitten vaak op details ten koste van de algehele samenhang.
  • Open Source Modellen (bijv. Qwen-Image, DreamOmni2): Genereren visueel schonere en coherenter beelden, maar ** negeren vaak meerdere referentieonderwerpen** volledig bij complexe taken. Ze slagen er niet in om alle instructies tegelijkertijd te vervullen.
• Specifieke Uitdagingen:
  • Taken met achtergrondvervanging presteren over het algemeen slecht bij alle modellen.
  • Cross-domain taken en taken met zeldzame concepten leiden tot significante dalingen in consistentie en fysiek realisme.
  • Meertalige tekst is een zwak punt, vooral voor modellen die minder goed zijn in niet-Engelse tekstrendering.

4. Bijdragen

1. MultiBanana Dataset: Een open-source benchmark met bijna 4.000 taken die systematisch de schaalbaarheid (tot 8 referenties) en de complexiteit van heterogene referenties test.
2. Nieuwe Evaluatieassen: De introductie van specifieke moeilijkheidsfactoren (schalen, domeinverschillen, zeldzame concepten, meertaligheid) die ontbreken in bestaande benchmarks.
3. Gedetailleerde Analyse: Een diepgaand inzicht in de trade-off tussen strikte referentievastheid en algehele beeldcoherentie, en het identificeren van karakteristieke faalmodi bij state-of-the-art modellen.
4. Validatie van VLM-judges: Bewijs dat geavanceerde VLM's (zoals Gemini en GPT-5) betrouwbare proxies zijn voor menselijke evaluatie in deze complexe context.

5. Betekenis en Toekomstperspectief

MultiBanana vult een kritieke leemte in het veld van controllable image generation. Het toont aan dat bestaande benchmarks snel verzadigd raken door moderne modellen en dat er een nieuwe standaard nodig is om de volgende generatie modellen te testen.

De benchmark benadrukt dat het combineren van meerdere, vaak tegenstrijdige visuele cues een fundamentele uitdaging blijft voor huidige AI-modellen. Het biedt een gestandaardiseerde basis voor eerlijke vergelijkingen en zal onderzoekers helpen om modellen te ontwikkelen die niet alleen instructies volgen, maar ook complexe, multi-referentie scènes coherent en realistisch kunnen construeren. De dataset en code zijn openbaar beschikbaar om verdere vooruitgang in dit domein te versnellen.