SpatialReward: Bridging the Perception Gap in Online RL for Image Editing via Explicit Spatial Reasoning

Het paper introduceert SpatialReward, een beloningsmodel dat de perceptiekloof in online versterkingsleer voor beeldbewerking overbrugt door expliciete ruimtelijke redenering te gebruiken voor nauwkeurigere evaluatie en verbeterde prestaties.

De kern

Stel je voor dat je een digitale schilder bent die een foto moet aanpassen. Misschien wil je de jas van iemand in de foto veranderen in zijde, of een hondje toevoegen aan een park. Dit klinkt makkelijk, maar voor een kunstmatige intelligentie (AI) is dit een enorme uitdaging. De AI moet precies doen wat je vraagt, maar mag tegelijkertijd niets veranderen aan de rest van de foto (zoals de achtergrond of de houding van de persoon).

Het probleem is: wie controleert of de AI het goed doet?

In dit paper presenteren de auteurs een nieuwe methode genaamd SpatialReward. Laten we dit uitleggen met een paar simpele vergelijkingen.

1. Het Probleem: De "Blinde" Beoordelaar

Stel je voor dat je een schilderij laat maken en een criticus vraagt om het te beoordelen.

• De oude manier (EditScore): De criticus kijkt alleen naar het nieuwe schilderij. Hij zegt: "Oh, wat een mooie zijdejas! Prachtig!" Hij vergeet echter om terug te kijken naar het originele schilderij. Hij ziet niet dat de AI per ongeluk de neus van de persoon heeft veranderd of dat de achtergrond is verdwenen.
• De term uit het paper: Dit noemen ze "Attention Collapse" (Aandachtinstorting). De AI kijkt niet meer naar de bron, maar kijkt "blind" alleen naar het eindresultaat. Het is alsof je een verslag schrijft over een vergadering, maar je vergeet de notulen van de vorige vergadering te raadplegen.

2. De Oplossing: De "Bordjes" Methode (SpatialReward)

De auteurs hebben een slimme oplossing bedacht: SpatialReward.
In plaats van de AI te laten gissen, dwingen ze haar om eerst borden te plaatsen op de foto.

• De Analogie: Stel je voor dat je een detective bent die een foto bekijkt. In plaats van alleen naar de hele foto te kijken, plakt de detective rode post-its (borden) op de plekken waar iets is veranderd.
  • Post-it 1: "Hier was de jas."
  • Post-it 2: "Hier was de achtergrond."
• Hoe het werkt: De AI moet eerst zeggen: "Ik ga kijken naar dit specifieke stukje stof (het bordje)." Pas daarna mag ze oordelen: "Is dit nu echt zijde? En is de rest van de foto nog hetzelfde?"
• Het resultaat: Door deze "borden" te gebruiken, kan de AI niet meer "wegkijken" naar de originele foto. Ze wordt gedwongen om pixel-perfect te vergelijken. Dit noemen ze "Think-with-Boxes" (Denk met dozen/borden).

3. Waarom is dit zo belangrijk? (Online RL)

De paper gaat over Online Reinforcement Learning. Dit is een beetje zoals het trainen van een hond.

• De AI probeert een foto te bewerken.
• De "trainer" (de beoordelaar) geeft een punt.
• Als de punt goed is, leert de AI. Als de punt slecht is, probeert ze het opnieuw.

Het probleem met de oude trainers: Ze gaven vaak te hoge punten voor slecht werk omdat ze de fouten in de originele foto niet zagen. De AI leerde dan dat ze dingen mocht veranderen die ze niet mocht veranderen.
De nieuwe trainer (SpatialReward): Omdat deze trainer eerst de "borden" plakt en precies kijkt, geeft hij eerlijke punten. Hij ziet direct als de AI per ongeluk de neus van de persoon heeft veranderd. Hierdoor leert de AI veel sneller en beter.

4. De Resultaten in het Dagelijkse Leven

De auteurs hebben hun nieuwe trainer getest op een enorme verzameling foto's (260.000 stuks) en tegen de beste bestaande systemen.

• Bij het testen: Hun systeem (SpatialReward) scoorde veel beter dan dure, gesloten systemen van grote techbedrijven.
• Bij het trainen: Toen ze hun eigen foto-generator (OmniGen2) trainden met deze nieuwe trainer, werd de generator twee keer zo goed als wanneer ze de oude trainer gebruikten.

Samenvatting in één zin

SpatialReward is een slimme "controleur" voor AI-foto's die eerst rode borden plakt op de plekken die moeten veranderen, zodat de AI niet meer "blind" oordeelt, maar precies weet wat er goed en fout is gegaan, net als een ervaren leraar die met een rode pen in de hand een proefwerk nakijkt.

Dit zorgt ervoor dat AI's in de toekomst foto's kunnen bewerken die er niet alleen mooi uitzien, maar ook perfect zijn, zonder dat er ongewenste dingen veranderen.

Technische samenvatting

Probleemstelling: De Waarnemingskloof en "Attention Collapse"

Het paper identificeert een kritiek probleem bij het gebruik van Online Reinforcement Learning (RL) voor instructie-gestuurde beeldbewerking. Hoewel online RL veelbelovend is voor het afstemmen van generatieve modellen op menselijke voorkeuren, wordt het gehinderd door het gebrek aan betrouwbare, fijnmazige beloningssignalen (reward signals).

De auteurs introduceren het concept "Attention Collapse" (Aandachtinstorting). Bestaande evaluatiemodellen (zowel discriminatieve als generatieve "LLM-as-a-judge" modellen) hebben moeite om kruisgewijze vergelijkingen tussen het originele en het bewerkte beeld te maken. In plaats van te focussen op de specifieke gebieden die zijn gewijzigd, negeert het model vaak de broncontext. Dit leidt tot:

• Blind oordelen: Het model beoordeelt het bewerkte beeld als een geïsoleerd object, zonder te controleren of de niet-gewijzigde delen intact zijn gebleven.
• Hallucinaties: Het model ziet veranderingen die er niet zijn, of mist subtiele inconsistenties (zoals een veranderde houding of kleurafwijkingen).
• Onnauwkeurige scores: De resulterende beloningssignalen zijn slecht gekalibreerd, wat leidt tot suboptimale convergentie of "reward hacking" tijdens het trainen van het beleid (policy).

Methodologie: SpatialReward

Om deze kloof te dichten, stellen de auteurs SpatialReward voor, het eerste framework dat expliciete ruimtelijke redenering integreert in de generatieve puntsgewijze evaluatie voor beeldbewerking.

1. Architectuur: "Think-with-Boxes"
In tegenstelling tot traditionele modellen die direct een score voorspellen, gebruikt SpatialReward een gestructureerde aanpak die de redenering "verankert" in fysieke pixels:

• Stap 1: Lokalisatie: Het model voorspelt eerst bounding boxes (coördinaten) voor de objecten die bewerkt zijn.
• Stap 2: Verankerde Verificatie: De modeloutput bevat speciale tokens (bijv. <|bbox_id|>) die verwijzen naar deze voorspelde gebieden. Dit dwingt het model om zijn tekstuele redenering te koppelen aan specifieke pixelgebieden in zowel het originele als het bewerkte beeld.
• Stap 3: Scoring: Pas na deze verificatie worden scores gegenereerd voor Semantic Consistency (SC) en Perceptual Quality (PQ).
• SC vs. PQ Streams: Voor SC wordt gebruikgemaakt van de bron- en bewerkte afbeelding (cross-image). Voor PQ (visuele kwaliteit) wordt alleen de bewerkte afbeelding gebruikt om een referentievrije beoordeling te krijgen.

2. Datapipeline: SPATIALREWARD-260K
Om dit model te trainen, hebben de auteurs een nieuw dataset-constructieproces ontwikkeld:

• Ruimtelijke Grounding: Een krachtig VLM (Qwen-3-VL) genereert eerst de bounding boxes.
• Expert Routing: Afhankelijk van het type bewerking (menselijk vs. algemeen) worden verschillende grote modellen (Gemini-2.5-Pro, GPT-5) ingezet om redeneringen en scores te genereren, met specifieke prompts die focussen op details.
• Validatie: Een consistentiecheck verwijdert hallucinaties waarbij de redenering niet overeenkomt met de visuele bewijzen in de bounding boxes.
• Het resultaat is een dataset van 260.000 samples met hoogwaardige, ruimtelijk verankerde redeneersporen.

3. Trainingsstrategie

• Stap 1 (SFT): Supervised Fine-Tuning op de 260k dataset om het model de "Think-with-Boxes" methode te leren.
• Stap 2 (Online RL): Groepsrelatieve beleidsoptimalisatie (GRPO) wordt gebruikt om hallucinaties te onderdrukken en de stabiliteit van de redenering te verbeteren, met een externe "Oracle" (Gemini-3.0-Flash) als supervisor voor consistentie.

Belangrijkste Bijdragen

1. Identificatie van "Attention Collapse": Het paper demonstreert dat het ontbreken van ruimtelijke ankers leidt tot het negeren van de broncontext, wat de basis is voor onbetrouwbare evaluatie in complexe bewerkingsopdrachten.
2. SpatialReward Framework: Een nieuw model dat expliciete ruimtelijke redenering (bounding boxes) gebruikt om de perceptie te verankeren, waardoor kruisgewijze verificatie mogelijk wordt.
3. SPATIALREWARD-260K: Een grote, zorgvuldig samengestelde dataset met ruimtelijk verankerde redeneringssporen.
4. MultiEditReward-Bench (MER-Bench): Een nieuw benchmark dat complexe, meervoudige bewerkingen test om de ruimtelijke waarneming en verificatiecapaciteiten van beloningsmodellen streng te evalueren.

Resultaten

SpatialReward presteert state-of-the-art op meerdere benchmarks en verbetert downstream taken aanzienlijk:

• Benchmark Prestaties:

  • Op EditReward-Bench en MMRB2 overtreft SpatialReward (8B) de beste open-source baselines (EditScore-8B) met respectievelijk +11,3% en +9,1%.
  • Het presteert beter dan gespecialiseerde discriminatieve modellen (EditReward) en concurrerend met gesloten bronmodellen zoals GPT-4.1 en GPT-5.
  • Op de nieuwe MER-Bench (complexe multi-constraint taken) behaalt het 48,3% nauwkeurigheid, wat aanzienlijk hoger is dan de baselines en zelfs beter presteert dan GPT-5 in moeilijke 4-paar vergelijkingen.

• Online RL Toepassing:

  • Wanneer SpatialReward wordt gebruikt als beloningsfunctie voor het trainen van OmniGen2 via Flow-GRPO, stijgt de prestatie op GEdit-Bench met +0,90.
  • Dit is een verdubbeling van het verbeteringseffect van GPT-4.1 (+0,45) en overtreft de beste discriminatieve baselines aanzienlijk.
  • Kwalitatieve analyses tonen aan dat SpatialReward voorkomt dat het beleid "content drift" ondergaat (onbedoelde veranderingen van niet-gewenste gebieden), wat vaak voorkomt bij modellen die door EditReward worden getraind.

• Efficiëntie:

  • Ondanks dat het een generatief model is, is SpatialReward 1,5x sneller dan EditReward dankzij integratie met vLLM en PagedAttention, wat cruciaal is voor de efficiëntie van online RL-lussen.

Betekenis en Conclusie

Dit werk onderstreept dat expliciete ruimtelijke redenering essentieel is voor het slagen van Online RL in beeldbewerking. Zonder de mogelijkheid om de modelredenering te verankeren in specifieke pixelgebieden, blijven evaluatiemodellen vatbaar voor "Attention Collapse", wat leidt tot misleidende beloningen en slechte afstemming op menselijke voorkeuren.

SpatialReward biedt een robuust, schaalbaar en nauwkeurig alternatief dat niet alleen de evaluatie verbetert, maar ook direct de kwaliteit van generatieve modellen verhoogt wanneer deze worden getraind met RL. Het paper stelt een nieuwe standaard voor hoe beloningsmodellen voor visuele taken moeten worden ontworpen: niet alleen door te kijken naar het eindresultaat, maar door actief te redeneren over waar en hoe veranderingen hebben plaatsgevonden.