Order Is Not Layout: Order-to-Space Bias in Image Generation

Dit onderzoek identificeert en kwantificeert de Order-to-Space Bias, een veelvoorkomende vertekening in moderne beeldgeneratiemodellen waarbij de volgorde van entiteiten in de tekst de ruimtelijke indeling onterecht bepaalt, en presenteert effectieve strategieën om dit probleem te verminderen zonder in te leveren op de generatiekwaliteit.

De kern

De Volgorde is niet de Opstelling: Waarom AI-Beelden soms verwarrend zijn

Stel je voor dat je een kunstenaar vraagt om een schilderij te maken. Je zegt: "Teken een kat en een hond." Je verwacht dat de kunstenaar de kat links en de hond rechts zet, of misschien andersom, afhankelijk van wat er het mooist staat.

Maar wat als die kunstenaar een heel rare regel heeft onthouden? Een regel die zegt: "Wat je als eerste noemt, komt altijd links. Wat je als tweede noemt, komt altijd rechts."

Dat is precies wat deze paper ontdekt bij moderne AI-beeldgeneratoren (zoals DALL-E, Midjourney of Stable Diffusion). De onderzoekers noemen dit het OTS-probleem (Order-to-Space Bias).

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Eerste is Links"-Regel

AI-modellen zijn getraind op miljarden foto's met beschrijvingen. De onderzoekers hebben ontdekt dat deze modellen een slechte gewoonte hebben ontwikkeld: ze kijken niet echt naar de betekenis van de woorden, maar naar de volgorde waarin je ze zegt.

• Vergelijking: Stel je voor dat je een uitnodiging voor een feestje stuurt. Je schrijft: "Er zijn een pizza en een cola."
  • Een normaal mens denkt: "Oké, er is eten en drinken."
  • De AI denkt: "De pizza is de eerste, dus die moet links staan. De cola is de tweede, dus die moet rechts staan."
  • Zelfs als je zegt: "Een pizza en een cola op een tafel," zonder te zeggen waar ze staan, plaatst de AI de pizza automatisch links.

Dit werkt zelfs als het belachelijk is. Als je vraagt om een klok met de cijfers 3 en 9, en je zegt "3 en 9", plaatst de AI de 3 links en de 9 rechts. Maar op een echte klok staat de 9 links en de 3 rechts! De AI negeert de logica van de klok en volgt blindelings de volgorde van je tekst.

2. Het Experiment: De "Spiegel-Test"

Om dit te bewijzen, hebben de onderzoekers een nieuwe testbank gemaakt, genaamd OTS-BENCH.

• Hoe werkt het? Ze sturen de AI twee keer dezelfde opdracht, maar dan in omgekeerde volgorde.
  • Opdracht A: "Een kat en een hond."
  • Opdracht B: "Een hond en een kat."
• Het resultaat: Als de AI eerlijk is, zou hij beide combinaties (kat-hond én hond-kat) moeten kunnen maken. Maar de AI doet bijna altijd hetzelfde: hij plaatst de eerste noemer links en de tweede rechts. Het is alsof de AI een automatische "links-rechts" knop heeft die alleen door de volgorde van je zinnen wordt bediend.

3. Waarom gebeurt dit? (De Oorzaak)

De onderzoekers hebben gekeken waar dit vandaan komt. Het is geen fout in de code van de AI, maar een fout in de data waarmee ze zijn getraind.

• Vergelijking: Stel je voor dat je een kind leert lezen met een boekje waarin elke zin begint met het linkerobject. "De auto staat links van de boom." "De kat zit links van de hond."
  Als je dit kind duizenden keren dit boekje laat lezen, gaat het kind denken dat "eerste woord" altijd betekent "links".
  De AI heeft zoiets geleerd van internet. Mensen schrijven vaak: "Een man en een vrouw" (en de man staat vaak links op de foto). De AI heeft deze statistische correlatie geleerd als een harde wet, terwijl het eigenlijk toeval is.

4. De Oplossing: De AI "Opleiden"

De goed nieuws is dat de onderzoekers een oplossing hebben gevonden om dit gedrag te corrigeren, zonder dat de AI minder mooie plaatjes maakt.

Ze hebben twee methoden gebruikt:

1. De Spiegel-Techniek (Fine-tuning):
   Ze hebben de AI extra getraind met foto's waarbij ze de tekst en de foto bewust hebben "omgedraaid".

   • Normaal: Tekst "Man en Vrouw" -> Foto: Man links, Vrouw rechts.
   • Extra training: Tekst "Man en Vrouw" -> Foto: Vrouw links, Man rechts (gespiegeld).
     Door de AI te laten zien dat dezelfde tekst ook met de andere volgorde kan werken, breekt ze de vaste regel. Het is alsof je het kind leert dat "eerste woord" niet altijd "links" betekent.

2. De "Vertraging"-Truc (Tijdinterventie):
   AI's maken plaatjes stap voor stap, van een wazige vlek naar een scherp beeld. De onderzoekers ontdekten dat de AI in de eerste paar seconden van het maken van het plaatje de volgorde van de tekst gebruikt om de lay-out te bepalen.

   • De truc: Ze laten de AI eerst een plaatje maken met een neutrale tekst (bijv. "Twee mensen in een park"), zodat de basislay-out (links/rechts) willekeurig wordt bepaald. Pas op het laatste moment voegen ze de specifieke namen toe ("Man en Vrouw").
   • Zo wordt de lay-out al vastgelegd voordat de AI de "eerste is links"-regel kan toepassen.

Conclusie

Deze paper laat zien dat AI's soms heel slimmerds lijken, maar eigenlijk heel domme gewoontes hebben. Ze volgen de volgorde van je zinnen als een robot, in plaats van naar de werkelijkheid te kijken.

De onderzoekers hebben bewezen dat dit een groot probleem is, maar ook dat het oplosbaar is. Door de AI bewust te laten oefenen met omgekeerde situaties, kunnen we zorgen dat ze eindelijk leren dat de volgorde van je woorden niet bepaalt hoe de wereld eruit ziet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Order Is Not Layout: Order-to-Space Bias in Image Generation", vertaald en samengevat in het Nederlands.

Probleemstelling: Order-to-Space Bias (OTS)

Het paper identificeert een systematische en schadelijke bias in moderne beeldgeneratiemodellen (zowel Text-to-Image/T2I als Image-to-Image/I2I). Deze bias, genaamd Order-to-Space Bias (OTS), doet modellen de volgorde van vermelding in een tekstprompt foutief interpreteren als een ruimtelijke regel.

• Het fenomeen: Als een prompt twee entiteiten noemt (bijv. "een kat en een hond"), neigen modellen ertoe om de eerstgenoemde entiteit automatisch links en de tweede rechts te plaatsen, ongeacht de werkelijke context of visuele grondslagen.
• Gevolgen: Dit leidt tot onjuiste lay-outs en omgekeerde rollen. Bijvoorbeeld: in een I2I-taak waarbij een prompt zegt "een leraar wijst naar een leerling" op een afbeelding met twee figuren, wijst het model vaak de actie naar de linkerfiguur (die in de tekst eerst genoemd wordt), zelfs als de visuele context aangeeft dat de rechterfiguur de leraar is.
• Oorzaak: De auteurs stellen dat dit voornamelijk data-gedreven is. Analyse van web-schaal datasets (zoals LAION) toont aan dat er een sterke statistische correlatie bestaat tussen de volgorde van vermelding in bijschriften en de linker-rechts positie in de bijbehorende afbeeldingen. Modellen leren deze correlatie als een "shortcut" (korte weg) tijdens het trainen.

Methodologie: OTS-BENCH

Om dit fenomeen kwantitatief te meten, introduceren de auteurs OTS-BENCH, een gestructureerde benchmark bestaande uit 4.300 testcases.

1. Opbouw van de Benchmark:
   • Gebaseerd op een bibliotheek van 138 entiteiten (mensen, dieren, objecten) en 172 acties/staten.
   • Testcases zijn gepaard: prompts verschillen alleen in de volgorde van de entiteiten, maar hebben dezelfde intentie.
2. Twee Evaluatie-dimensies:
   • Homogenisatie (Homogenization): Meet de mate waarin modellen onder neutrale prompts (zonder ruimtelijke aanwijzingen) consistent de eerstgenoemde entiteit links plaatsen. Een hoge score betekent een sterke bias.
   • Correctheid (Correctness): Meet of modellen de werkelijke wereldregels of visuele grondslagen volgen wanneer deze in conflict staan met de tekstvolgorde.
     • T2I: Bijvoorbeeld, op een klok moet het getal 3 rechts van 9 staan (of andersom afhankelijk van het tijdstip), ongeacht of de prompt "3 en 9" of "9 en 3" zegt.
     • I2I: Bij een seed-afbeelding met twee dieren, wordt getest of een ongespecificeerde actie (bijv. "slaapt") correct wordt toegewezen aan het juiste dier en niet automatisch aan de linkerzijde.
3. Automatische Evaluatie:
   • Er wordt gebruikgemaakt van Vision-Language Models (VLMs), specifiek geselecteerd op basis van overeenstemming met menselijke annotaties (Qwen3-VL-8B-Instruct bleek het meest accuraat), om de output afbeeldingen te beoordelen op entiteit-positie en actie-toewijzing.

Belangrijkste Resultaten

De auteurs hebben negen state-of-the-art modellen geëvalueerd (waaronder DALL-E 3, Midjourney v7, Stable Diffusion 3, FLUX, en Qwen-Image).

• Alomtegenwoordigheid van OTS: De bias is wijdverspreid. In T2I-scenario's ligt de homogenisatie vaak boven de 70%, wat betekent dat modellen bijna altijd de eerstgenoemde entiteit links plaatsen.
• Kritieke Daling in Correctheid: Wanneer de tekstvolgorde in strijd is met de werkelijke wereldregels (Reverse-setting), daalt de correctheid drastisch. Bijvoorbeeld, bij T2I daalt de correctheid van ~90% (Aligned) naar slechts ~20% (Reverse) in sommige modellen.
• Data-herkomst: Analyse van web-datasets bevestigt dat ~89% van de caption-image paren de "eerstgenoemde-links" correlatie volgt, wat de oorsprong van de bias in de trainingsdata verklaart.
• Temporele Lokalisatie: Door interventies tijdens het diffusion-sampling proces (het veranderen van de prompt-volgorde op verschillende tijdstippen), ontdekten de auteurs dat de bias voornamelijk wordt bepaald in de vroege stadia van de generatie (waar de globale lay-out wordt gevormd). Later in het proces heeft de volgorde van de tekst weinig invloed meer op de ruimtelijke structuur.

Mitigatie Strategieën

Het paper toont aan dat OTS effectief kan worden verminderd zonder de algehele beeldkwaliteit te verlagen:

1. Gestuurde Fine-tuning (LoRA-SFT):
   • Door het trainen van modellen op een dataset waarbij afbeeldingen horizontaal worden gespiegeld terwijl de tekstcapituleer gelijk blijft (dus dezelfde tekst wordt gekoppeld aan zowel "A links, B rechts" als "B links, A rechts"), wordt de correlatie tussen tekstvolgorde en ruimtelijke positie verbroken.
   • Resultaat: Significant lagere homogenisatie-scores en verbeterde correctheid, met behoud van beeldkwaliteit (gemeten via ImageReward en menselijke evaluatie).
2. Vertraging van Order-Conditioning:
   • Een strategie waarbij de generatie begint met een "neutrale" prompt (zonder specifieke entiteitsnamen of volgorde) om de lay-out te vormen, en pas later overschakelt naar de "rijke" prompt met de specifieke entiteiten.
   • Resultaat: Dit voorkomt dat de tekstvolgorde de initiële lay-out-determinatie beïnvloedt, wat de bias aanzienlijk vermindert.

Bijdrage en Betekenis

• Nieuw Inzicht: Het paper verschuift de focus van traditionele bias (zoals demografische stereotypen) naar een fundamenteel probleem in ruimtelijk redeneren: het verwarren van syntactische volgorde met visuele ruimtelijke verdeling.
• Benchmark: OTS-BENCH biedt de eerste gestandaardiseerde manier om deze specifieke bias te meten en te vergelijken tussen modellen.
• Praktische Impact: De bevindingen tonen aan dat zelfs geavanceerde modellen fundamenteel falen in het begrijpen van ruimtelijke relaties wanneer tekstuele hints (zoals volgorde) dominant worden. De voorgestelde mitigatiestrategieën bieden directe, implementeerbare oplossingen voor ontwikkelaars om generatieve systemen betrouwbaarder te maken voor toepassingen waar ruimtelijke nauwkeurigheid cruciaal is (bijv. robotica, architectuurvisualisatie, of educatieve tools).
• Toekomst: De auteurs wijzen erop dat dit slechts het topje van de ijsberg is en dat vergelijkbare "sequence-induced" priors waarschijnlijk ook voorkomen in video-generatie en complexe multi-entiteit composities.

Kortom, het paper demonstreert dat "orde niet layout is", en biedt een robuust kader om dit probleem te diagnosticeren en op te lossen in de volgende generatie beeldgeneratiemodellen.