DivCon: Divide and Conquer for Complex Numerical and Spatial Reasoning in Text-to-Image Generation

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een kunstenaar bent die een schilderij moet maken op basis van een beschrijving die je iemand vertelt. De moderne "kunstenaars" (de AI-modellen) zijn geweldig in het maken van mooie plaatjes, maar ze hebben een groot probleem: ze zijn vaak slecht in tellend en ruimtelijk inzicht.

Als je zegt: "Teken drie katten die op een matras zitten, met een hond links ervan en een vogel rechts," dan tekent een standaard AI vaak één kat, of misschien vijf, en de hond staat soms bovenop de vogel. Ze begrijpen de "rekenkunde" en de "ruimte" van je zin niet goed.

Dit paper introduceert DivCon (een afkorting voor Divide and Conquer, oftewel: Verdeel en Heers). Het is een slimme truc om dit probleem op te lossen, zonder dat je superduurzame computers nodig hebt.

Hier is hoe het werkt, uitgelegd met een paar creatieve vergelijkingen:

1. Het Probleem: De "Alles-in-Één" Chef

Stel je een kok voor die een gigantisch buffet moet klaarmaken. Als je hem vraagt om 50 verschillende gerechten tegelijk te bereiden, gaat het vaak mis. Hij vergeet ingrediënten, zet de soep op de verkeerde plek, of verbrandt de taart.
De oude AI-modellen doen precies dit: ze proberen het hele plaatje in één keer te "koken". Ze kijken naar de tekst en proberen direct een beeld te maken, maar ze raken de draad kwijt bij complexe instructies.

2. De Oplossing: De Slimme Chef en de Assistent

DivCon splitst het werk op in twee duidelijke fases, net als een professionele keuken met een chef en een assistent.

Fase 1: De "Schets" (Layout Prediction)

In plaats van direct te tekenen, maakt DivCon eerst een schets of een bouwtekening.

De Slimme Assistent: In plaats van een superkrachtige (en dure) AI (zoals GPT-4) te gebruiken, gebruikt DivCon een kleinere, lichtere AI. Maar hier is de truc: ze laten deze kleine AI niet direct het plaatje maken.
De Twee Stappen:
1. Tellen en Plannen: De kleine AI krijgt de opdracht: "Tel eerst hoeveel katten er zijn en waar ze ongeveer moeten staan." Het antwoord is puur tekst: "3 katten, 1 hond, links, rechts."
2. De Tekening: Pas daarna krijgt de AI de opdracht: "Oké, nu teken je precies die katten op die plekken."
De Analogie: Het is alsof je eerst een architect vraagt om een plattegrond te maken met de maten, en pas daarna de aannemer de muren laat bouwen. Door dit te splitsen, kan zelfs een "kleine" AI (die goedkoop en snel is) net zo goed plannen als een "grote" AI.

Fase 2: Het "Bouwen" (Image Generation)

Nu hebben we de tekening. De AI moet nu het echte plaatje maken. Maar niet alle onderdelen zijn even makkelijk te tekenen. Een bloem is makkelijk, een complex mechanisch horloge is lastig.

De "Eerst Makkelijk, Dan Moeilijk" Strategie:
1. Ronde 1: De AI maakt eerst het hele plaatje.
2. De Controle: De AI kijkt naar zijn eigen werk en zegt: "Hé, die bloemen zien er goed uit, maar die hond lijkt meer op een tas. Die hond is 'moeilijk'."
3. Ronde 2: De AI neemt de goede bloemen en laat ze staan. Dan concentreert hij zich alleen op die ene moeilijke hond en probeert die opnieuw te tekenen, terwijl hij de rest van het plaatje intact houdt.
De Analogie: Stel je voor dat je een puzzel legt. Je legt eerst de rand en de makkelijke stukjes. Als je merkt dat een stukje in het midden niet past, haal je dat ene stukje eruit en probeer je het opnieuw, zonder de rest van de puzzel te verstoren. Zo krijg je een veel mooier eindresultaat.

Waarom is dit zo cool?

Het is goedkoper: Je hebt geen dure, enorme computers nodig. Een kleine, open-source AI werkt net zo goed omdat hij slim wordt geleid.
Het is nauwkeuriger: Doordat de AI eerst "denkt" (tellen/plannen) en dan "doet" (tekenen), maakt hij veel minder fouten.
Het is flexibel: Het werkt zelfs als je vraagt om 10 verschillende objecten met ingewikkelde posities.

Samenvatting in één zin

DivCon is als het geven van een bouwtekening en een stap-voor-stap instructie aan een kunstenaar, in plaats van alleen maar te zeggen: "Maak een mooi plaatje!" Hierdoor worden de resultaten veel nauwkeuriger, zelfs met minder krachtige computers.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het paper "DivCon: Divide and Conquer for Complex Numerical and Spatial Reasoning in Text-to-Image Generation" in het Nederlands.

Probleemstelling

Hoewel text-naar-beeld (T2I) generatiemodellen, gedreven door diffusie, aanzienlijke vooruitgang hebben geboekt, kampen ze nog steeds met beperkingen bij het genereren van afbeeldingen uit prompts die specifieke objectaantallen, variërende groottes, rijke details en complexe ruimtelijke relaties bevatten. Bestaande methoden die Large Language Models (LLMs) combineren met layout-gebaseerde diffusiemodellen om deze problemen op te lossen, hebben twee belangrijke nadelen:

Afhankelijkheid van gesloten, grote LLMs: De meeste methoden vertrouwen op krachtige, gesloten bronnen zoals GPT-4 voor het voorspellen van layouts. Dit beperkt de toegankelijkheid en schaalbaarheid vanwege de hoge rekenkosten.
Moeilijkheid bij complexe prompts: Bestaande methoden genereren vaak alle objecten gelijktijdig. Hierdoor worstelen ze met prompts die veel objecten of ingewikkelde ruimtelijke relaties bevatten, wat leidt tot inconsistenties in aantal, positie en visuele kwaliteit.

Methodologie: DivCon

De auteurs introduceren DivCon, een trainingsvrije aanpak die de "Divide and Conquer" (verdeel en heers) strategie toepast op twee hoofdfasen van de generatiepijplijn: layout-voorspelling en layout-naar-beeld generatie.

1. Fase 1: Text-naar-Layout Voorspelling

In plaats van een LLM direct te laten decoderen naar een volledige layout, wordt deze taak ontkoppeld in twee subtaken:

Numeriek en Ruimtelijk Redeneren: Een lichtgewicht, open-source LLM (bijv. TinyLlama, Phi-2, Mistral) wordt geprompt om eerst objectinformatie te extraheren. Dit resulteert in gestructureerde strings met objectaantallen (bijv. "5 appels") of ruimtelijke relaties (bijv. "links van de stoel").
Visuele Planning met Beperkte Decoding (Constrained Decoding): De redeneringsresultaten worden gebruikt als strikte constraints voor een tweede generatiestap. Door middel van voorvoegsel-tokens (prefix tokens) wordt de LLM gedwongen om precies het juiste aantal objecten te genereren en de ruimtelijke positie te respecteren voordat de coördinaten van de bounding boxes worden gegenereerd.
- Voorbeeld: Voor een numerieke constraint wordt een prefix-token herhaaldelijk ingevoegd om te garanderen dat een categorie precies $q$ keer voorkomt.

2. Fase 2: Layout-naar-Beeld Generatie

De diffusiemodellen hebben moeite met het gelijktijdig genereren van objecten met verschillende complexiteit (bijv. een "toaster" is makkelijker dan een "pizza" met specifieke details). DivCon lost dit op door de generatie in twee stappen te verdelen:

Eerste Ronde (Generatie): De diffusiemodel genereert een afbeelding op basis van de volledige layout.
Consistentie Evaluatie: De gegenereerde objecten worden afgesneden en vergeleken met de tekstprompt via CLIP-similariteit. Objecten met een hoge consistentie worden als "makkelijk" (goed genoeg) gemarkeerd; objecten met lage consistentie worden als "moeilijk" gemarkeerd.
Tweede Ronde (Refinement): De diffusiemodel wordt opnieuw uitgevoerd, maar nu met een binair masker. De "makkelijke" objecten worden behouden (hun latent representation wordt vastgehouden), terwijl de "moeilijke" objecten opnieuw worden gegenereerd. Dit dwingt het netwerk om zich te concentreren op de complexe delen van de afbeelding zonder de reeds geslaagde delen te verstoren.

Belangrijkste Bijdragen

DivCon Framework: Een nieuwe architectuur die complexe T2I-taken splitst in beheersbare subtaken voor zowel layout-voorspelling als beeldgeneratie.
Efficiënte Layout-voorspelling: Door redeneren en visuele planning te scheiden, kunnen zelfs lichtgewicht, open-source LLMs (zoals 1.1B of 2.7B parameters) prestaties bereiken die vergelijkbaar zijn met grote modellen zoals GPT-4, maar met veel lagere rekenkosten.
Progressieve Beeldgeneratie: Een strategie om objecten van "makkelijk naar moeilijk" te synthetiseren, wat de visuele consistentie en het aantal correcte objecten verbetert zonder de rekenkosten van meerdere volledige forward passes voor elk object te verhogen.
State-of-the-Art Resultaten: De methode overtreft bestaande SOTA-modellen op benchmarks voor numeriek en ruimtelijk redeneren.

Resultaten

De methode is geëvalueerd op de HRS en NSR-1K benchmarks.

Layout Voorspelling:
- DivCon met een gequantiseerde Qwen3-8B presteert beter dan GPT-4 op numerieke redenering (F1-score +0.94%, Accuratie +0.72%) en is vergelijkbaar op ruimtelijke redenering.
- Lichtgewicht modellen zoals Mistral-7B zien een enorme verbetering: +24.56% in numerieke nauwkeurigheid op HRS wanneer ze met DivCon worden gebruikt.
Beeldgeneratie:
- Op HRS verbetert DivCon de numerieke F1-score met >8% en de ruimtelijke nauwkeurigheid met >40% ten opzichte van basismodellen.
- Het presteert significant beter dan recente SOTA-methoden zoals Attention-Refocusing en LayoutLLM-T2I.
Efficiëntie:
- Hoewel DivCon twee forward passes vereist voor de beeldgeneratie (in tegenstelling tot één pass bij sommige methoden), is het aanzienlijk sneller dan methoden die meerdere passes nodig hebben voor verschillende objectgroepen (bijv. LLM-Grounded is 1.87x sneller).
Kwaliteit:
- De FID-scores (Frechet Inception Distance) zijn vergelijkbaar met Stable Diffusion en beter dan Attention-Refocusing.
- Een user study bevestigde dat DivCon de hoogste perceptuele kwaliteit en prompt-accuraatheid heeft.

Betekenis en Impact

DivCon is een doorbraak omdat het de afhankelijkheid van dure, gesloten LLMs (zoals GPT-4) voor complexe T2I-taken elimineert. Het bewijst dat goedkope, open-source modellen, wanneer ze worden gebruikt in een slimme "divide and conquer" structuur, net zo goed kunnen redeneren als grote modellen. Daarnaast lost het het probleem op van het genereren van afbeeldingen met veel objecten en complexe relaties, wat een cruciale stap is voor de praktische toepasbaarheid van text-naar-beeld generatie in real-world scenario's. De methode biedt een schaalbare, kosteneffectieve oplossing die de toegankelijkheid van geavanceerde generatieve AI vergroot.