💬 NLP

FoR-SALE: Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing

Het artikel introduceert FoR-SALE, een nieuw framework dat tekst-naar-afbeelding-bewerking verbetert door ruimtelijke misalignementen tussen tekstbeschrijvingen en gegenereerde afbeeldingen te evalueren en te corrigeren via frame-of-reference-gestuurde perspectiefmapping en aanpassingen in de latente ruimte, wat de prestaties van state-of-the-art modellen op benchmarks voor ruimtelijk begrip aanzienlijk verbetert.

Oorspronkelijke auteurs: Tanawan Premsri, Parisa Kordjamshidi

Gepubliceerd 2026-08-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tanawan Premsri, Parisa Kordjamshidi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een scène probeert te beschrijven aan een vriend die deze voor je tekent. Als je zegt: "De kat staat links van de hond," tekent je vriend waarschijnlijk de kat aan de linkerkant van het papier. Dat is makkelijk omdat jullie beide naar de scène kijken vanuit dezelfde hoek: die van jullie eigen ogen. Maar wat als je zegt: "De kat staat links van de hond, vanuit het perspectief van de hond"? Plotseling wordt de tekening lastig. Als de hond naar rechts kijkt, is zijn "links" eigenlijk aan de rechterkant van jouw papier. Als de hond van je af kijkt, is zijn "links" aan jouw linkerzijde. Deze mentale gymnastiek wordt het begrijpen van het "Referentiekader" genoemd. Het is het verschil tussen het beschrijven van de wereld vanuit het oog van je camera versus het perspectief van de objecten zelf.

Lange tijd waren computers erg goed in het opvolgen van eenvoudige instructies zoals "zet de kat aan de linkerkant." Maar als het gaat om deze lastige, object-gecentreerde perspectieven, raken zelfs de slimste kunstmatige intelligentie (AI)-kunstenaars in de war. Ze negeren vaak het standpunt van het object en tekenen alles vanuit het perspectief van de camera, wat leidt tot slordige, onjuiste afbeeldingen. Dit artikel behandelt die specifieke verwarring. Het introduceert een nieuw systeem dat is ontworpen om te fungeren als een super-slimme editor die niet alleen een plaatje tekent, maar ook begrijpt wie naar wat kijkt, en de tekening corrigeert als het perspectief fout is.

Het Probleem: De "Camera-alleen" Blinde Vlek van AI

Huidige AI-modellen die tekst in afbeeldingen omzetten zijn ongelooflijk getalenteerd, maar ze hebben een blinde vlek. Ze zijn als kunstenaars die alleen weten hoe ze vanuit één vaste camerahoek moeten schilderen. Als je hen vraagt een scène te tekenen op basis van een beschrijving zoals "De bal is achter de stoel vanuit het perspectief van de stoel," krijgt de AI het vaak fout. De AI kan de bal achter de stoel plaatsen vanuit jouw gezichtspunt, waarbij het aspect dat de stoel een andere kant op kan staan, wordt genegeerd. Het artikel merkt op dat zelfs de meest geavanceerde modellen van vandaag aanzienlijk worstelen met deze "niet-camera" perspectieven, en vaak falen in het correct weergeven van ruimtelijke relaties.

De Oplossing: FoR-SALE (De Perspectiefdetective)

De auteurs stellen een nieuw framework voor genaamd FoR-SALE (Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing). Zie FoR-SALE niet als een nieuwe kunstenaar, maar als een briljante kunstcriticus en editor die ingrijpt nadat de AI een eerste concept heeft gemaakt.

Zo werkt het proces, stap voor stap:

Het Eerste Concept: De AI genereert een afbeelding op basis van jouw tekst. Stel dat je vroeg om een rode kip aan de linkerkant van een stoel, maar dan vanuit het perspectief van de stoel. De AI tekent een kip, maar misschien staat deze aan de verkeerde kant omdat de AI is vergeten te controleren welke kant de stoel op wijst.
Het Detectiewerk: FoR-SALE gebruikt een "Visual Perception Module" om naar de gegenereerde afbeelding te kijken. Het werkt als een scanner die identificeert waar de objecten zich bevinden, hoe diep ze zijn en, het belangrijkste, welke kant ze op wijzen. Het is alsof de editor een 3D-bril opzet om de oriëntatie van elk object te zien.
De Vertaling: Dit is het magische deel. Het systeem gebruikt een "FoR Interpreter" om jouw lastige instructie te vertalen naar een taal die de AI beter begrijpt. Als je zei: "Vanuit het perspectief van de stoel staat de kip aan de linkerkant," en de stoel kijkt naar rechts, dan vertaalt de interpreter dit naar: "Vanuit het perspectief van de camera staat de kip eigenlijk aan de rechterkant." Het zet het perspectief van het object om naar het perspectief van de camera, zodat de computer niet de weg kwijtraakt.
De Correctie: Zodra het systeem weet hoe de afbeelding eruit zou moeten zien, gebruikt het speciale "latent-space operaties" om de afbeelding te bewerken. Het wist niet zomaar en tekent opnieuw; het voert uiterst precieze chirurgische aanpassingen uit. Het kan de richting van een object veranderen (de stoel laten omdraaien) of de diepte aanpassen (het dichterbij of verder weg plaatsen) om overeen te komen met het gecorrigeerde plan.

Wat Ze Vonden: Een Significante Verbetering

De onderzoekers hebben dit systeem getest op verschillende benchmarks die ontworpen zijn om AI te misleiden met ruimtelijke puzzels. Ze ontdekten dat FoR-SALE opmerkelijk goed werkt, vooral bij de moeilijkste gevallen waarbij het perspectief toebehoort aan een object in plaats van aan een camera.

De Cijfers: Wanneer ze slechts één ronde van correctie toepasten, verbeterde het systeem de nauwkeurigheid van state-of-the-art beeldgeneratoren met wel 7,0 procentpunten. Als ze het systeem lieten draaien voor drie rondes aan correcties, sprong de verbetering naar 13,1 procentpunten.
De "Intrinsieke" Uitdaging: Het systeem presteerde het sterkst bij "intrinsieke" referentiekaders (waar het perspectief toebehoort aan een object). Bijvoorbeeld, met het GPT-4o model verhoogde FoR-SALE de nauwkeurigheid van intrinsieke ruimtelijke beschrijvingen van een lage 24,35% naar 35,42% in één enkele ronde.
Generalisatie: Het systeem werkte niet alleen op eenvoudige scènes met twee objecten. Toen het werd getest op complexere scènes met meerdere objecten en variërende taal, bleef het effectief, wat suggereert dat het een robuust hulpmiddel is voor het begrijpen van ruimtelijke relaties.

De Limieten: Het Is Nog Geen Magie

Hoewel FoR-SALE een grote stap voorwaarts is, merken de auteurs voorzichtig op dat het geen perfecte oplossing is. Het systeem heeft nog steeds moeite met bepaalde 3D-aspecten, met name wanneer het de diepte of de kijkrichting van een object in één stap moet veranderen. Soms kan het bewerkingsproces per ongeluk extra objecten creëren of er zelfs een volledig missen, hoewel dit minder vaak voorkomt dan bij eerdere methoden. Het artikel suggereert dat hoewel het "brein" (het redeneergedeelte) heel goed wordt in het begrijpen van perspectief, de "handen" (de tools voor het bewerken van afbeeldingen) nog steeds wat moeite hebben met het perfect uitvoeren van die complexe 3D-veranderingen.

Kortom, FoR-SALE leert AI om te stoppen met ervan uitgaan dat iedereen de wereld vanuit dezelfde hoek ziet. Door te fungeren als een perspectief-vertaler en een precieze editor, helpt het AI om afbeeldingen te genereren die het standpunt van de objecten binnen hen echt respecteren, waardoor de digitale wereld een beetje meer in lijn komt met hoe wij mensen de wereld werkelijk zien.

Technische Samenvatting: FoR-SALE

Probleemstelling

Huidige text-to-image (T2I) generatiemodellen, inclusief state-of-the-art (SOTA) systemen zoals GPT-4o en FLUX.1, vertonen een significante prestatiekloof bij het interpreteren van ruimtelijke uitdrukkingen die afgeleid zijn van niet-camera-perspectieven. Hoewel deze modellen vaak succesvol zijn met camera-centrische (relatieve) beschrijvingen, hebben ze moeite met het accuraat renderen van scènes waarbij ruimtelijke relaties worden gedefinieerd vanuit het perspectief van een object (bijv. "links van de stoel vanuit het gezichtspunt van de stoel"). Deze beperking komt voort uit een gebrek aan robuuste redenering met betrekking tot het Frame of Reference (FoR), een concept dat goed bestudeerd is in de cognitieve taalkunde maar onderbelicht blijft in Multimodale Large Language Models (MLLM's) en diffusie-gebaseerde generatie. Bestaande zelfcorrigerende frameworks, zoals Self-correcting LLM-controlled Diffusion (SLD), verbeteren de ruimtelijke uitlijning, maar slagen er niet in om rekening te houden met FoR, wat hun vermogen om prompts te verwerken die geworteld zijn in niet-camera-perspectieven beperkt.

Methodologie: FoR-SALE

De auteurs stellen FoR-SALE voor (Frame of Reference-guided Spatial Adjustment in LLM-based Diffusion Editing), een uitbreiding van de SLD-pipeline die is ontworpen om FoR-misalignments expliciet te modelleren en te corrigeren. Het framework werkt via een meerfasige pipeline:

Initiële Generatie & Perceptie:
- Een input tekstprompt ( $T_1$ ) wordt naar een T2I-model gestuurd om een initiële afbeelding ( $I_1$ ) te genereren.
- Een LLM Parser extraheert sleutelobjecten en attributen uit $T_1$ .
- Een Visual Perception Module analyseert $I_1$ om visuele eigenschappen te extraheren: object bounding boxes, dieptekaarten en oriëntatiehoeken. Deze module maakt gebruik van open-vocabulary objectdetectie (OWLv2), diepteschatting (DPT) en oriëntatiedetectie (OrientAnything) om een gestructureerde visuele lijst ($VL$) te produceren met objectattributen, coördinaten, diepte en kijkrichtingen.
FoR Interpretatie & Layout Revisie:
- FoR Interpreter: Deze nieuwe LLM-component neemt de originele tekst ( $T_1$ ) en de visuele staat ($VL$) als input. De primaire functie is het identificeren van de FoR in de prompt en het converteren van ruimtelijke uitdrukkingen van het object-gecentreerde perspectief naar een uniform camera-perspectief. Het maakt gebruik van een set van 32 handmatig gedefinieerde regels (dekend over 8 kijkrichtingen en 4 ruimtelijke relaties) om deze conversie uit te voeren, waarbij een herschreven prompt ( $T'$ ) wordt gegenereerd.
- Layout Interpreter: Een tweede LLM analyseert $T'$ tegenover de huidige visuele staat ($VL$) om de uitlijning te bepalen. Indien een misalignment wordt gedetecteerd, stelt het een herziene layout ( $\tilde{VL}$ ) voor die voldoet aan de ruimtelijke beperkingen onder het camera-perspectief.
Latent-Space Editing:
- Het systeem vergelijkt de initiële layout ($VL$) met de herziene layout ( $\tilde{VL}$ ) om specifieke discrepanties te identificeren.
- Op basis van deze discrepanties wordt een sequentie van bewerkingsoperaties gegenereerd en toegepast in de latent space van het diffusiemodel (met gebruik van Stable Diffusion 1.5 als basis).
- Nieuwe Operaties: Naast standaard operaties (Toevoeging, Verwijdering, Herpositionering, Attribuutmodificatie), introduceert FoR-SALE twee FoR-specifieke operaties:
  - Facing Direction Modification: Gebruikt segmentatie en diffusie om de oriëntatie van een object te wijzigen zodat deze overeenkomt met de vereiste kijkrichting.
  - Depth Modification: Sinthetiseert een nieuwe dieptekaart voor een object op basis van doel-dieptewaarden en gebruikt ControlNet om het object met de gespecificeerde diepte te regenereren.
Iteratie: Het proces kan worden herhaald voor meerdere ronden van correctie om de afbeelding verder te verfijnen.

Belangrijkste Bijdragen

Eerste FoR-bewuste Zelfcorrigerende Framework: Het paper introduceert het eerste framework dat expliciet Frame of Reference-redenering integreert in de text-to-image generatie en editing pipeline.
Nieuwe Latent Editing Operaties: De auteurs ontwikkelen specifieke latent-space operaties voor het wijzigen van de kijkrichting en diepte van objecten, die cruciaal zijn voor het oplossen van FoR-gebaseerde ruimtelijke fouten.
Verbeterde Benchmarking: Het werk breidt bestaande benchmarks (LMD en FoREST) uit om FoR-LMD en FoREST-G te creëren. Deze datasets bevatten diagnostische subsets die multi-object scènes, uitgebreide relatietypes (diagonaal/verticaal) en genaturaliseerde prompts om de generalisatie buiten eenvoudige twee-object settings rigoureus te testen.

Resultaten

Het framework werd geëvalueerd op drie benchmarks (FoR-LMD, FoREST en FoREST-G) met diverse base T2I-modellen, waaronder FLUX.1, Nano-Banana-Pro en GPT-4o.

Prestatiewinst: FoR-SALE verbetert de ruimtelijke uitlijning van SOTA T2I-modellen met tot wel 7,0 procentpunten (pp) in een enkele correctieronde en tot wel 13,1 pp na drie ronden.
Intrinsic FoR Handling: Het framework toont bijzondere effectiviteit in intrinsieke FoR-gevallen, waar baseline modellen doorgaans falen. Bijvoorbeeld, op de FoREST-benchmark verbeterde FoR-SALE de intrinsieke nauwkeurigheid van GPT-4o van 35,56% naar 42,22% in drie ronden, en verhoogde het de prestaties van FLUX.1 aanzienlijk in vergelijkbare settings.
Generalisatie: Op de FoREST-G diagnostische subsets (Complex, Relation-Augmented, Language-Variation) behaalde FoR-SALE consistent de hoogste intrinsieke-FoR nauwkeurigheid over alle subsets, wat robuustheid aantoont in complexe scènes en met variërende prompt-formuleringen.
Ablatie-studies: Het verwijderen van de FoR Interpreter of de nieuwe bewerkingsoperaties (Facing Direction en Depth Modification) resulteerde in significante prestatiedalingen, wat de noodzaak van zowel componenten voor effectieve FoR-redenering bevestigt.

Betekenis en Claims

Het paper claimt dat FoR-SALE een fundamentele beperking in huidige generatieve AI aanpakt: het onvermogen om over ruimtelijke relaties te redeneren vanuit perspectieven andere dan die van de camera. Door de kloof tussen cognitieve taalkunde (FoR) en diffusie-editing te overbruggen, maakt het framework een nauwkeurigere en flexibelere text-to-image generatie mogelijk. De auteurs benadrukken dat hoewel huidige diffusiemodellen moeite hebben met 3D ruimtelijke configuraties (oriëntatie en diepte), FoR-SALE een modulaire aanpak biedt om deze problemen te verzachten door middel van expliciete redenering en gerichte aanpassingen in de latent space. Het werk vestigt een nieuwe baseline voor FoR-bewuste ruimtelijke redenering in T2I-systemen, en toont aan dat expliciete perspectiefconversie en gespecialiseerde bewerkingsoperaties de ruimtelijke getrouwheid van gegenereerde afbeeldingen aanzienlijk kunnen verbeteren.