🤖 AI

Edit-R2: Context-Aware Reinforcement Learning for Multi-Turn Image Editing

Dit artikel introduceert Edit-R2, een reinforcement learning-framework dat multi-turn beeldbewerking verbetert door sessie-intentie te reconstrueren om contextverwatering en staat-contaminatie te beperken, samen met de MICE-Bench benchmark voor systematische evaluatie.

Oorspronkelijke auteurs: Yuxiao Ye, Haoran He, Fangyuan Kong, Xintao Wang, Pengfei Wan, Kun Gai, Ling Pan

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuxiao Ye, Haoran He, Fangyuan Kong, Xintao Wang, Pengfei Wan, Kun Gai, Ling Pan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je werkt met een zeer getalenteerde maar ietwat vergeetachtige digitale kunstenaar. Je wilt een foto bewerken, dus je geeft een eenvoudige instructie: "Verander de halsband van de hond naar blauw." De kunstenaar doet het perfect.

Maar dan wil je doorgaan. Je zegt: "Maak nu de riem van de hond paars." Dat doet de kunstenaar ook. Daarna zeg je: "Verander eigenlijk de ogen van de hond naar groen."

Hier is het probleem: de meeste huidige AI-kunstenaars raken in de war naarmate het gesprek langer wordt. Ze kunnen vergeten dat je eerder om een paarse riem vroeg, of ze kunnen denken dat "het" in je laatste zin verwijst naar de hele afbeelding in plaats van alleen naar de hond. Ze verliezen de draad van het gesprek uit het oog, en het eindresultaat wordt een rommelige mix van jouw instructies en hun eigen fouten.

Dit artikel introduceert een nieuw systeem genaamd Edit-R2 dat dit probleem oplost. Zie het als het geven van een superkrachtig notitieblok en een strenge coach aan die digitale kunstenaar.

De twee grote problemen

De auteurs identificeerden twee belangrijke redenen waarom AI faalt tijdens lange bewerkingssessies:

"Long-Context Dilution" (De vergeetachtige kunstenaar): Naarmate je meer instructies en afbeeldingen toevoegt, raakt de AI overweldigd. Het is alsof je een boodschappenlijstje probeert te onthouden terwijl iemand je elke seconde nieuwe items toeschreeuwt. De vroege instructies (zoals "maak alles paars") worden overstemd door het lawaai van de nieuwe instructies.
"State Contamination" (Het sneeuwbaleffect): Als de AI een kleine fout maakt in stap één (bijvoorbeeld het verandert het verkeerde object), dan werkt die fout door in stap twee. Bij stap drie is de afbeelding zo verpest dat de AI niet meer kan herstellen, en mislukt de hele sessie.

De oplossing: Edit-R2

De auteurs hebben Edit-R2 ontwikkeld, dat gebruikmaakt van een techniek genaamd Reinforcement Learning (denk aan een videogame waarbij de AI leert door te spelen, te falen en opnieuw te proberen tot hij wint).

Zo werkt Edit-R2, met behulp van een eenvoudige analogie:

1. Het "Notitieblok" (IC-CoT)

Voordat de AI aan de afbeelding raakt, moet hij een notitie schrijven. Dit wordt In-Context Chain-of-Thought genoemd.

Wat het doet: In plaats van alleen naar de laatste instructie te kijken, pauzeert de AI en vat de volledige conversie tot nu toe samen.
De analogie: Stel je voor dat je een foto bewerkt, en voordat je een wijziging aanbrengt, lees je een samenvattende notitie die zegt: "Onthoud dat de gebruiker wil dat alles wat wordt toegevoegd paars is. Het vorige object was een lint. De huidige instructie is om een boek toe te voegen."
Het resultaat: Deze notitie "destilleert" de verspreide geschiedenis tot één heldere, compacte instructie. Dit voorkomt dat de AI de "paarse regel" vergeet of in de war raakt over waar "het" naar verwijst.

2. De "Coach" (Trajectory Filtering)

Tijdens het trainingsproces probeert de AI vele verschillende manieren om de foto te bewerken. Soms maakt hij vroeg in het proces een enorme fout.

Wat het doet: Het systeem heeft een veiligheidsmechanisme. Als de AI een fout maakt die de "regels" van de sessie overtreedt (zoals het negeren van de paarse kleurregel), stopt het systeem die poging onmiddellijk. Het gooit de slechte poging weg en laat de AI niet leren van die specifieke fout.
De analogie: Het is als een coach die een basketbalspeler observeert. Als de speler bij de eerste stap struikelt, blaast de coach op de fluit en zegt: "Stop. Die loop is voorbij. Laten we opnieuw beginnen vanaf het begin." Dit voorkomt dat de speler slechte gewoontes aanleert.

3. Het "Verenigde Doel"

Meestal worden AI-modellen getraind om apart goed te zijn in denken (het schrijven van de notitie) en doen (het tekenen van de afbeelding). Edit-R2 traint hen samen.

De analogie: Het is als het trainen van een schrijver en een illustrator om als één enkel team te werken. De schrijver weet dat als hij een verwarrende notitie schrijft, de illustrator zal falen. De illustrator weet dat als hij het verkeerde tekent, de notitie van de schrijver nutteloos was. Ze leren te optimaliseren voor de volledige sessie, niet alleen voor de huidige beurt.

De nieuwe test: MICE-Bench

Om te bewijzen dat hun systeem werkt, hebben de auteurs een nieuwe test gebouwd genaamd MICE-Bench.

De analogie: Voorheen waren tests als het vragen aan de AI: "Kun je een kat tekenen?" (Enkele beurt). MICE-Bench is als een sollicitatiegesprek met meerdere rondes: "Teken een kat. Maak hem nu blauw. Zet nu een hoed op de blauwe kat. Verwijder de hoed maar behoud de blauwe kleur."
De test meet drie dingen:
- Instruction Following: Hebben ze gedaan wat je vroeg?
- Content Consistency: Hebben ze de onderdelen van de afbeelding die je niet hebt aangeraakt, intact gelaten?
- Global Awareness: Hebben ze de "regels" onthouden die je aan het begin van de sessie hebt ingesteld (zoals "alles moet paars zijn")?

De resultaten

Toen ze Edit-R2 testten tegenover andere top AI-modellen:

Het herinnerde beter: Het vergat de "paarse regel" niet en raakte niet in de war door voornaamwoorden zoals "het" of "hen".
Het bleef consistent: Zelfs na drie of vier rondes van bewerking zag de afbeelding er nog steeds uit als de originele foto, met alleen de gevraagde wijzigingen.
Het presteerde beter dan de concurrentie: Het versloeg andere sterke modellen, inclus�els van grote technologiebedrijven, vooral in die lange, meerstapsige bewerkingssessies.

Samenvattend

Het artikel betoogt dat voor AI om echt een nuttig bewerkingsinstrument te zijn, het moet stoppen met elke instructie als een nieuw begin te behandelen. Edit-R2 leert de AI om het gesprek te onthouden, zijn eigen gedachten samen te vatten voordat hij handelt, en te leren van zijn fouten zonder dat die fouten het hele project verpesten. Het verandert een vergeetachtige eenmanskip in een betrouwbare, langdurige creatieve partner.

Technische Samenvatting: Edit-R2 – Context-bewust Reinforcement Learning voor Multi-turn Beeldbewerking

Probleemstelling

Huidige tekstgestuurde beeldbewerkingssystemen, gedreven door diffusie en uniforme multimodale fundamentele modellen, opereren voornamelijk in single-turn scenario's. In deze scenario's ontvangt een model een invoerbeeld en een enkele instructie om één bewerkte output te produceren. Deze formulering slaagt er niet in om realistische multi-turn in-context bewerkingsworkflows te vatten, waarbij gebruikers een afbeelding iteratief verfijnen via een reeks instructies.

In dergelijke multi-turn sessies wordt een model geconfronteerd met twee gekoppelde faalmodi:

Long-Context Dilution (Verwatering van de lange context): Naarmate de sessie vordert, groeit de geïntellecteerde geschiedenis van afbeeldingen en tekst. Spatiale tekstuele beperkingen uit eerdere beurten worden moeilijk te herstellen door aandacht-decay (attention decay) en het zware visuele token-budget dat nodig is om gegenereerde afbeeldingen te coderen.
State Contamination (Toestandsverontreiniging): Fouten die in vroege beurten zijn gemaakt (bijv. onjuiste objectplaatsing of attribuutwijziging) worden voortgevoerd, wat daaropvolgende generaties verslechtert en de training-rollout onbetrouwbaar maakt.

Bestaande benchmarks en trainingsparadigma's zijn grotendeels geschiedenis-agnostisch, waarbij elke beurt wordt behandeld als een geïsoleerde taak die alleen afhankelijk is van de direct voorafgaande afbeelding en de huidige instructie, waarbij de geaccumuleerde sessie-niveau beperkingen worden genegeerd.

Methodologie: Edit-R2

De auteurs stellen Edit-R2 voor, een nieuw reinforcement learning (RL) post-training framework ontworpen voor uniforme multimodale modellen (specifiek gebouwd op BAGEL). Edit-R2 formuleert multi-turn in-context bewerking als een sessie-niveau Markov Decision Process (MDP) en introduceert drie kernmechanismen om contextverlies en toestandsverontreiniging aan te pakken:

1. Sessie-toestand Reconstructie via In-Context Chain-of-Thought (IC-CoT)

Om long-context dilutie te mitigeren, stuurt Edit-R2 de ruwe geïntegreerde geschiedenis niet direct door naar de generator. In plaats daarvan gebruikt het een IC-CoT module (een "begrips-expert") die redenering uitvoert over de volledige sessiegeschiedenis vóór elke generatiestap.

Functie: De module reconstrueert de operationele sessie-intentie, door verspreide historische beperkingen (bijv. globale regels zoals "alle toegevoegde objecten moeten paars zijn") te consolideren en voornaamwoorden op te lossen (bijv. "verander de kleur ervan") in een expliciete, verbeterde instructie ( $\tilde{T}_t$ ).
Voordeel: Dit creëert een compact redeneerspoor dat de afstand tussen de generatiemodule en de cruciale informatie die het nodig heeft verkort, wat een stabiele toestand-representatie biedt.

2. Uniform Multi-Turn RL Objectief

Edit-R2 optimaliseert gezamenlijk het IC-CoT redeneerspoor en het visuele generatieproces.

Gekoppelde Ruimtes: Het framework koppelt de discrete tekstruimte van intentie-reconstructie aan de continue latente ruimte van de flow-matching beeldgenerator.
Reward Structuur: Een samengestelde beloningsfunctie ( $r_t$ $r_{t}$ ) wordt gedefinieerd bij elke beurt, die de volgende combineert:
- Instruction Following (IF - Instructie-opvolging): Heeft het model de huidige instructie uitgevoerd?
- Content Consistency (CC - Inhoudelijke Consistentie): Is niet-doelgerichte inhoud behouden gebleven?
- Global Awareness (GA - Globale Bewustheid): Voldoet de output aan de sessie-niveau beperkingen die in eerdere beurten zijn vastgesteld?
Optimalisatie: Het beleid wordt bijgewerkt met behulp van Unified-GRPO, die de CoT token-sequentie en de flow-traject als een gezamenlijke beslissing behandelt, waardoor de redeneermodule specifiek wordt geoptimaliseerd voor de downstream visuele generatiecapaciteiten.

3. Traject Filtering (Prefix-Valid Advantage Refinement)

Om state contamination aan te pakken, implementeert Edit-R2 een traject-filteringsmechanisme.

Mechanisme: Als de beloning voor een specifieke beurt onder een drempelwaarde ( $\delta$ ) valt, wordt de rollout onmiddellijk beëindigd. Opvolgende beurten in dat traject worden weggegooid.
Advantage Refinement: De advantage-schattingen voor beleidsupdates worden uitsluitend genormaliseerd over actieve rollouts (die niet zijn beëindigd). Dit voorkomt dat gecorrumpeerde, kwalitatief slechte trajecten de normalisatie-baseline verstoren en de trainingssignalen verontreinigen.

Benchmark: MICE-Bench

Om systematische evaluatie mogelijk te maken, introduceren de auteurs MICE-Bench (Multi-turn In-Context Editing Benchmark), een grootschalige dataset bestaande uit 720 multi-turn instanties (elk 3 beurten).

Taken:
- Content Memory (Inhoudsgeheugen): Test de naleving van sessie-niveau beperkingen (bijv. "alle toegevoegde objecten moeten rood zijn").
- Content Understanding (Inhoudelijk Begrip): Test de resolutie van pronominale coreferenties over beurten heen (bijv. "verwijder het").
Metrieken: Introduceert Global Awareness (GA) als een nieuwe metriek om de naleving van geaccumuleerde sessie-niveau beperkingen te kwantificeren, naast standaard Instruction Following (IF) en Content Consistency (CC).

Belangrijkste Resultaten

Experimenten op MICE-Bench tonen aan dat Edit-R2 bestaande open-source en closed-source baselines aanzienlijk overtreft:

Prestatiewinst: Vergeleken met het basismodel BAGEL bereikt Edit-R2 significante verbeteringen, met name in latere beurten waar contextverlies het meest ernstig is:
- Beurt 2: +18% IF, +18% GA.
- Beurt 3: +8% IF, +15% GA.
Ablatie-studies:
- Het verwijderen van IC-CoT leidt tot prestatieverslechtering in Beurt 2 en 3, wat bevestigt dat het dient om contextdilutie te mitigeren.
- Het verwijderen van Text-GRPO (gezamenlijke optimalisatie) vermindert de winst, wat het belang benadrukt van het gezamenlijk optimaliseren van de redeneer- en generatiemodules.
- Het verwijderen van Prefix-Valid Advantage Refinement resulteert in lagere algehele prestaties, wat het belang van het filteren van gecorrumpeerde rollouts valideert.
Kwalitatieve Analyse: Aandachtsvisualisaties laten zien dat Edit-R2 de aandacht scherp gericht houdt op belangrijke object-tokens uit eerdere beurten, terwijl baseline-modellen (zoals BAGEL) diffuse, verkeerd gerichte aandacht vertonen door RoPE distance decay.

Betekenis en Claims

Het artikel claimt dat Edit-R2 een belangrijke stap voorwaarts is in het in staat stellen van beeldbewerkingssystemen tot sessie-niveau consistentie.

Paradigmaverschuiving: Het beweegt voorbij geïsoleerde lokale bewerkingen naar een sessie-niveau RL-probleem, waarbij erkend wordt dat de waarde van een bewerking afhangt van het vermogen om context te bewaren voor toekomstige beurten.
Eerste in zijn soort: Edit-R2 wordt gepresenteerd als een van de eerste RL post-training frameworks die specifiek is ontworpen voor in-context bewerking, waarbij de unieke uitdagingen van long-horizon afhankelijkheden en toestandsverontreiniging worden aangepakt.
Evaluatiestandaard: Door MICE-Bench en de GA-metriek te introduceren, biedt het werk het eerste systematische, geautomatiseerde protocol voor het evalueren van multi-turn in-context bewerking, een capaciteit die voorheen onderbelicht was in zowel modellen als datasets.

De auteurs concluderen dat hoewel MICE-Bench twee representatieve scenario's dekt, het framework de basis legt voor verdere verkenning van bredere gebruikersintenties in real-world interactieve bewerking. Ze erkennen de risico's van controleerbare beeldgeneratie (bijv. desinformatie) en verbinden zich aan het vrijgeven van gebruiksvoorwaarden samen met de modelgewichten.