OSPO: Object-Centric Self-Improving Preference Optimization for Text-to-Image Generation

Deze paper introduceert OSPO, een zelfverbeterend framework dat objectgerichte voorkeuroptimalisatie en op aandacht gebaseerde maskers combineert om de nauwkeurigheid van tekst-naar-beeldgeneratie op objectniveau te verbeteren en objecthallucinaties te verminderen zonder afhankelijkheid van externe data of modellen.

De kern

OSPO: De Slimme Kunstenaar die Zichzelf Leert

Stel je voor dat je een kunstenaar hebt die fantastisch kan tekenen, maar soms een beetje verward is. Als je zegt: "Teken een rode auto met blauwe wielen," tekent hij misschien een blauwe auto met rode wielen, of hij vergeet de wielen helemaal. Dit noemen we in de vaktaal "object-hallucinaties" of "slordige details".

Deze paper introduceert een nieuwe methode genaamd OSPO (Object-centric Self-improving Preference Optimization). Laten we dit uitleggen alsof we een school voor kunstenaars opzetten, maar dan voor een computer.

1. Het Probleem: De "Beste van N" Methode is Slordig

Vroeger leerden we deze kunstenaars door ze 10 keer dezelfde opdracht te geven ("Teken een rode auto") en dan de beste tekening te kiezen en de slechtste te verwijderen. Dit noemen ze "Best-of-N".

Het probleem? De kunstenaar maakt vaak 10 tekeningen die allemaal ongeveer even goed (of even slecht) zijn. Het is alsof je een leerling vraagt om 10 keer "A" te schrijven, en je kiest er één omdat hij net iets minder krom staat. De leerling leert hier niet echt van, want het verschil tussen de "goede" en "slechte" tekening is te klein.

2. De Oplossing: OSPO als een Slimme Oefenmeester

OSPO is een nieuw trainingsprogramma dat de kunstenaar zichzelf laat oefenen, zonder hulp van buitenaf. Het werkt in 5 stappen, zoals een goed georganiseerde les:

Stap 1: De Opdracht (Prompt Generatie)

De computer bedenkt zelf een lijst met opdrachten, zoals "Een gele hond op een blauwe bank" of "Een roze kasteel met een groene toren".

Stap 2: De Verwarring (Perturbatie)

Hier wordt het slim. De computer neemt de opdracht en maakt er twee versies van:

• Versie A: "Een rode auto."
• Versie B: "Een blauwe auto."
  Ze lijken op elkaar (beide zijn auto's), maar het belangrijkste detail (de kleur) is anders. Dit dwingt de kunstenaar om echt goed te kijken naar de details, in plaats van gewoon een auto te tekenen.

Stap 3: Tekenen en Kijken (Afbeelding en Maskers)

De kunstenaar tekent nu een plaatje bij Versie A en een plaatje bij Versie B.
Tegelijkertijd gebruikt de computer een speciale bril (gebaseerd op "aandacht") om te zien: "Waar in het plaatje zit de auto?" Hij maakt een masker (een schaduw) om precies de auto heen. Zo weet hij precies welk deel van het plaatje belangrijk is.

Stap 4: De Quiz (Self-VQA)

Nu komt de echte test. De computer stelt zichzelf vragen over de tekeningen, zoals een strenge leraar:

• "Is de auto rood?"
• "Zitten er wielen aan?"
• "Is de auto links of rechts?"

Als de tekening van Versie A (rode auto) een rode auto toont, krijgt hij een "Ja" en punten. Als Versie B (blauwe auto) per ongeluk een rode auto toont, krijgt hij een "Nee" en geen punten.
Alleen de paren waarbij de kunstenaar duidelijk de juiste opdracht heeft uitgevoerd, worden geselecteerd als "goede voorbeelden". De rest wordt weggegooid.

Stap 5: De Les (Optimalisatie)

De kunstenaar kijkt naar de goede voorbeelden. Maar hier is het trucje: hij leert niet alleen dat "dit plaatje goed is". Hij leert specifiek op de objecten.
Stel je voor dat de leraar zegt: "Kijk goed naar de auto in dit plaatje. Die moet rood zijn. De achtergrond maakt minder uit."
Dit zorgt ervoor dat de kunstenaar zich concentreert op de details die er echt toe doen, in plaats van op de hele afbeelding.

Waarom is dit zo speciaal?

1. Geen Hulp van Buitenaf: De computer leert zichzelf. Hij hoeft geen duizenden mensen te vragen om te beoordelen of een plaatje goed is. Dat bespaart enorm veel tijd en geld.
2. Geen Verwarring: Door de "verwarringstap" (Stap 2) en de "quiz" (Stap 4) zorgt OSPO ervoor dat de computer echt leert het verschil te zien tussen een rode en een blauwe auto, in plaats van zomaar een auto te tekenen.
3. Beter dan de Rest: De tests tonen aan dat deze methode veel beter werkt dan eerdere methoden. De kunstenaar maakt veel minder fouten met kleuren, vormen en posities. Hij kan zelfs beter tekenen dan gespecialiseerde systemen die alleen maar voor tekenen zijn gemaakt!

Samenvatting in één zin

OSPO is als een slimme kunstleerling die zichzelf oefent door twee bijna-identieke opdrachten te krijgen, zichzelf een strenge quiz te geven over de details, en zich vervolgens alleen te focussen op de objecten die hij moet tekenen, zodat hij nooit meer een rode auto verward met een blauwe.

Technische samenvatting

Probleemstelling

Hoewel Multimodale Grootte Taalmodellen (MLLMs) grote stappen hebben gezet in het begrijpen en genereren van beelden, kampen ze nog steeds met ernstige tekortkomingen in fijnmazige tekst-afbeelding uitlijning. Specifiek hebben deze modellen moeite om objecten correct weer te geven met de juiste attributen (zoals kleur, vorm) en ruimtelijke relaties. Een kritieke foutmodus is objecthallucinatie, waarbij niet-bestaande objecten worden gegenereerd of beschreven objecten worden weggelaten of vervormd.

Bestaande oplossingen, zoals Direct Preference Optimization (DPO) of GRPO, vereisen vaak grote hoeveelheden door mensen of andere AI-modellen gecurateerde voorkeursdata. Dit is kostbaar, schaalt slecht en introduceert een distributiemismatch tussen de externe data en de output van het model zelf. Zelfverbeterende methoden (self-improving) die interne data genereren, bestaan al, maar deze negeren vaak object-niveau semantiek, waardoor objecthallucinaties blijven bestaan.

Methodologie: OSPO Framework

De auteurs stellen OSPO (Object-centric Self-improving Preference Optimization) voor. Dit is een volledig zelfstandig framework dat geen externe datasets of hulpmodellen nodig heeft. Het doel is om fijnmazige, objectgerichte voorkeursparen te construeren en het model te optimaliseren op basis daarvan.

OSPO werkt in vijf fasen:

1. Prompt Generatie: Het model genereert een basisset van prompts, ingedeeld in vier semantische categorieën: Attributen (kleur, vorm, textuur), Lay-out (2D/3D ruimtelijke relaties), Niet-ruimtelijke relaties en Complexe composities.
2. Prompt Perturbatie en Verdichting (Densification):
   • Voor elke basisprompt worden meerdere geperturbeerde varianten gegenereerd via strategieën zoals Replace (vervanging), Swap (uitwisselen) en Drop (verwijderen).
   • De originele en geperturbeerde prompts worden vervolgens "verdicht" (densified) door het model om context toe te voegen. Dit zorgt ervoor dat de gepaarde prompts dezelfde globale context delen, maar verschillen in fijnmazige objectdetails.
3. Afbeelding en Object Mask Generatie:
   • Het model genereert kandidaat-afbeeldingsparen voor de verdichte prompts.
   • Cruciaal is de extractie van een Object Mask (objectmasker) op token-niveau. Dit masker wordt afgeleid uit de attentie-weights van de intermediate lagen van het MLLM. Hierdoor wordt bepaald welke visuele tokens tot een specifiek object behoren, zonder een extern segmentatiemodel te gebruiken.
4. VQA-gebaseerde Voorkeurspaar Constructie:
   • Om ruis te filteren, gebruikt het model Self-VQA (Visual Question Answering). Het model genereert atomische ja/nee-vragen over de objecten in de prompt en evalueert de gegenereerde afbeeldingen hierop.
   • Alleen paren waarbij het "voorkeursbeeld" een hoge uitlijningsscore heeft en het "niet-voorkeursbeeld" duidelijke fouten vertoont, worden geselecteerd. Dit elimineert "preference-null" (beide beelden even goed) en "preference-false" (foutief gelabeld) paren.
5. Voorkeursoptimalisatie (Training):
   • Het model wordt gefinetuned met een combinatie van twee loss-functies:
     • Object-gewogen SimPO Loss: Een aanpassing van de SimPO-loss waarbij visuele tokens die relevant zijn voor het object (gebaseerd op het gegenereerde masker) zwaarder wegen. Dit richt de leerkracht specifiek op object-gerelateerde fouten.
     • SFT Loss (Supervised Fine-Tuning): Een standaard loss die zorgt voor globale coherentie en structuur van de gegenereerde afbeelding.

Belangrijkste Bijdragen

• OSPO Framework: Een vijf-fasen zelfverbeterend framework dat objecthallucinaties aanpakt zonder externe data of modellen.
• Object-Centric Data Constructie: Een pipeline die hoogwaardige voorkeursdata creëert met gedeelde globale semantiek maar fijne lokale verschillen, gekoppeld aan objectbewuste supervisie via attentie-masks.
• Object-gewogen Loss: Introductie van een nieuwe loss-functie die de gradienten versterkt op tokens die relevant zijn voor de beschreven objecten, wat leidt tot scherpere voorkeursignalen.

Resultaten

OSPO is geëvalueerd op drie benchmarks voor compositional image generation: T2I-CompBench++, DPGBench en GenEval.

• Prestaties: Het OSPO-getrainde model (gebaseerd op Janus-Pro 1B en 7B) presteert significant beter dan bestaande zelfverbeterende methoden (zoals SILMM en SUDER) en overtreft zelfs gespecialiseerde diffusion-modellen (zoals SD-XL en DALL-E 3) in fijnmazige uitlijning.
• Verbetering: Er is een aanzienlijke verbetering gezien in de categorieën "Attributen" (kleur, vorm) en "Lay-out" (ruimtelijke relaties).
• Efficiëntie: In vergelijking met andere methoden (zoals T2I-R1 of FocusDiff) bereikt OSPO vergelijkbare of betere prestaties met een aanzienlijk lagere rekenkosten, omdat het geen externe reward-modellen nodig heeft en gerichte datasets genereert.

Betekenis en Impact

Deze studie is significant omdat het een oplossing biedt voor het hardnekkige probleem van objecthallucinaties in generatieve MLLMs. Door de afhankelijkheid van externe, dure datasets te doorbreken en in plaats daarvan gebruik te maken van het model's eigen vermogen tot zelfevaluatie (via Self-VQA) en interne attentie-mechanismen (voor objectmasks), maakt OSPO schaalbare en kostenefficiënte zelfverbetering mogelijk. Het bewijst dat MLLMs hun eigen generatieve vaardigheden kunnen verbeteren door hun sterke begrijpende vermogens te koppelen aan een objectgerichte optimalisatiestrategie. Dit opent de weg voor betrouwbaardere en nauwkeurigere tekst-naar-beeld generatie in complexe scenario's.