MIRA: Multimodal Iterative Reasoning Agent for Image Editing

Het paper introduceert MIRA, een lichtgewicht multimodaal agent dat complexe beeldbewerkingsopdrachten succesvol uitvoert door een iteratieve cyclus van waarneming, redenering en actie te doorlopen, wat leidt tot een aanzienlijke verbetering in semantische consistentie en visuele kwaliteit ten opzichte van bestaande modellen.

De kern

Stel je voor dat je een digitale schilder bent die een foto wilt aanpassen. Je zegt tegen de computer: "Maak de vloer van hout, verander de kast in bruin en zet de fornuis zwart."

In het verleden was het antwoord van de computer vaak een teleurstelling. De computer zou de vloer misschien wel hout maken, maar per ongeluk ook de kast bruin maken (terwijl die wit moest blijven) en het fornuis vergeten. Het was alsof je een opdracht gaf aan iemand die maar één zin tegelijk kan onthouden en dan direct doorwerkt zonder te kijken of het resultaat klopt.

MIRA is de oplossing voor dit probleem. Het is geen nieuwe "schilder" die zelf de verf op het doek brengt, maar een slimme regisseur die tussen jou en de schilder staat.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Regisseur in plaats van de Schilder

Stel je voor dat de huidige beeld-editing programma's (zoals Flux of Qwen) de schilders zijn. Ze zijn heel goed in het uitvoeren van een opdracht, maar ze zijn soms verward door complexe zinnen.

MIRA is de regisseur. In plaats van de schilder direct een lange, ingewikkelde opdracht te geven, breekt MIRA die opdracht op in kleine, simpele stapjes.

• Stap 1: "Kijk naar de foto. Wat moet er nu gebeuren? Ah, de vloer. Zeg tegen de schilder: 'Maak de vloer van hout'."
• Stap 2: De schilder doet het. MIRA kijkt naar het resultaat. "Hmm, de vloer is goed, maar de kast is per ongeluk ook bruin geworden. Dat was niet de bedoeling."
• Stap 3: MIRA zegt tegen de schilder: "Wacht, corrigeer dat. Maak de kast weer wit."
• Stap 4: De schilder doet het opnieuw. MIRA kijkt weer. "Perfect. Nu nog het fornuis zwart maken."

MIRA blijft dit doen, stap voor stap, tot de foto precies is zoals jij het wilde. Het is een cyclus van kijken, denken en doen.

2. De "Proef- en Fout"-methode (Iteratief Denken)

De meeste oude systemen werken als een automatische kassa: je gooit je boodschappen erin, en de kassa geeft direct een bonnetje zonder te controleren of je wel de juiste producten hebt. Als er een fout in zit, is die er voor altijd.

MIRA werkt als een kwaliteitscontroleur in een fabriek.

• Hij maakt een product (een foto).
• Hij kijkt er direct naar: "Ziet dit eruit zoals de klant wilde?"
• Zo niet? Hij gooit het product niet weg, maar corrigeert het direct.
• Hij kijkt weer. Is het nu goed? Zo ja, dan stopt hij.

Dit betekent dat MIRA fouten die de "schilder" maakt, direct opmerkt en herstelt. Als de schilder per ongeluk de koelkast bruin maakt terwijl die wit moet blijven, ziet MIRA dit en zegt: "Nee, doe de koelkast weer wit."

3. De Grote Verzameling Oefeningen (De Dataset)

Om MIRA zo slim te maken, hebben de onderzoekers hem niet zomaar geleerd. Ze hebben een enorme bibliotheek met 150.000 oefeningen gemaakt (de MIRA-EDITING dataset).
Stel je voor dat ze duizenden voorbeelden hebben gemaakt van:

• Een ingewikkelde opdracht.
• Hoe een mens die opdracht in kleine stukjes zou opsplitsen.
• Hoe de foto eruitzag na elke kleine stap.
• En hoe je een fout kon zien en corrigeren.

MIRA heeft deze bibliotheek bestudeerd en geleerd: "Als de gebruiker dit zegt, moet ik eerst dit doen, dan kijken, en pas dan het volgende doen."

4. Waarom is dit zo speciaal?

Vroeger moesten mensen betalen voor dure, gesloten systemen (zoals die van grote tech-bedrijven) om foto's goed aan te passen. Open-source systemen (gratis software) waren vaak niet slim genoeg voor moeilijke opdrachten.

MIRA is als een gratis upgrade die je op die gratis software kunt zetten. Het maakt de gratis systemen zo slim dat ze zelfs beter kunnen presteren dan de dure, betaalde systemen. Het is alsof je een gewone fiets krijgt met een elektrische motor erop: je rijdt nog steeds op je fiets, maar je komt veel verder en sneller.

Samenvattend

MIRA is een slimme tussenpersoon die complexe foto-opdrachten opbreekt in kleine, beheersbare stukjes. Hij kijkt na elke stap of het resultaat klopt, corrigeert fouten direct, en zorgt ervoor dat de uiteindelijke foto precies is zoals jij het in gedachten had. Het is de overgang van "een opdracht geven en hopen dat het lukt" naar "een gesprek voeren met de computer tot het perfect is."

Technische samenvatting

Probleemstelling

Bestaande instructie-gestuurde beeldbewerkingsmodellen, voornamelijk gebaseerd op diffusie, kampen met significante beperkingen bij het verwerken van complexe gebruikersinstructies. Hoewel ze goed presteren bij eenvoudige taken, hebben ze moeite met:

• Compositionaliteit: Het correct hanteren van relaties tussen meerdere objecten.
• Contextuele aanwijzingen: Het begrijpen van contextafhankelijke manipulaties.
• Verwijzende uitdrukkingen: Het nauwkeurig identificeren van specifieke objecten binnen een scène.

Dit leidt vaak tot semantische afwijkingen (de output komt niet overeen met de intentie) of visuele inconsistenties. Bestaande oplossingen die proberen instructies vooraf te verfijnen (static prompt refinement) of complexe werkstromen te plannen, zijn vaak statisch, rekenkundig intensief of afhankelijk van gesloten, proprietaire systemen die moeilijk te schalen zijn binnen open-source ecosystemen.

Methodologie: MIRA

De auteurs introduceren MIRA (Multimodal Iterative Reasoning Agent), een lichtgewicht, plug-and-play agent die beeldbewerking niet als een eenmalige taak, maar als een iteratief perceptie-reasoning-actie-lus benadert.

1. Architectuur en Loop:

• Agent: MIRA is gebaseerd op het vision-language model Qwen2.5-VL.
• Iteratief Proces: In plaats van één grote prompt te genereren, voert MIRA de bewerking stap voor stap uit:
  1. Perceptie: De agent observeert de originele afbeelding ($I_0$), de gebruikersinstructie ($C$) en de huidige tussenresultaat ($I_{t-1}$).
  2. Redenering: De agent analyseert de visuele discrepantie tussen de huidige staat en de doelstelling.
  3. Actie: De agent voorspelt één atomaire bewerkingsinstructie ($u_t$) of beslist om te stoppen.
  4. Feedback: Een externe diffusie-editor (bijv. Flux.1-Kontext, Step1X-Edit) voert deze atomaire instructie uit en genereert een nieuwe afbeelding ($I_t$).
  5. Herhaling: Het nieuwe beeld wordt teruggevoerd naar de agent totdat de taak voltooid is.

2. Trainingsdata: MIRA-EDITING
Om deze agent te trainen, hebben de auteurs een nieuw dataset van 150.000 paren samengesteld:

• Data Curation: Gebaseerd op het SeedEdit-dataset, waarbij multi-turn bewerkingen worden samengevoegd tot complexe instructies.
• Verrijking: Instructies worden herschreven op twee niveaus (atomaire en globale herschrijving) om linguïstische diversiteit te creëren.
• Selectie: Kandidaat-bewerkingen worden gegenereerd en gesorteerd op semantische consistentie met de originele instructie (met behulp van ViScore en grote VLM's), waarbij alleen de beste trajecten worden behouden.
• Structuur: De data is opgedeeld in drie types: Start (eerste stap), Continue (iteratieve verfijning op basis van feedback) en Stop (detectie van taakvoltooiing).

3. Trainingspipeline (SFT + GRPO)
MIRA wordt getraind in twee fasen:

• Fase 1: Supervised Fine-Tuning (SFT): Het model leert atomaire bewerkingen te genereren door imitatie van de hoogwaardige data-paren.
• Fase 2: Reinforcement Learning (GRPO): Er wordt Group Relative Policy Optimization toegepast. Een samengestelde beloningssfunctie (composite reward) combineert een beeldbewerkingsmodel met een beloningssmodel om zowel semantische consistentie als perceptuele kwaliteit te beoordelen. Dit stelt het model in staat om zijn beleid te optimaliseren voor betere resultaten, niet alleen voor het volgen van instructies.

Belangrijkste Bijdragen

1. MIRA Framework: Een lichtgewicht, plug-and-play agent die open-source beeldbewerkingsmodellen kan versterken door iteratieve redenering, waardoor de prestatiekloof met proprietaire systemen wordt verkleind.
2. MIRA-EDITING Dataset: Een schaalbaar, hoogwaardig dataset van 150k voorbeelden specifiek ontworpen voor het trainen van modellen in automatisch tool-gebruik voor beeldbewerking.
3. Twee-fase Trainingspipeline: Een combinatie van SFT en GRPO met een innovatieve samengestelde beloningssfunctie die semantische en visuele kwaliteit gelijktijdig optimaliseert.

Resultaten

De evaluatie toont aan dat MIRA de prestaties van bestaande open-source modellen aanzienlijk verbetert:

• Semantische Consistentie: Modellen zoals Flux.1-Kontext en Qwen-Image-Edit, wanneer gecombineerd met MIRA, behalen scores die vergelijkbaar zijn met of zelfs hoger zijn dan die van gesloten systemen zoals GPT-Image en Nano-Banana.
  • Bijvoorbeeld: Flux.1-Kontext + MIRA toonde een stijging van 13,41% in semantische consistentie (EditScore-SC) ten opzichte van de basis.
• Perceptuele Kwaliteit: Er is een duidelijke verbetering in visuele kwaliteit (gemeten via ARNIQA en TOPIQ), wat aantoont dat de iteratieve aanpak hallucinaties en artefacten reduceert in plaats van verergert.
• Vergelijking met andere VLM's: MIRA (7B) presteert beter dan grotere generieke VLM's (zoals Qwen3-VL-30B en GPT-5) in de specifieke taak van instructie-gestuurde beeldbewerking, wat wijst op de superioriteit van de gestructureerde, iteratieve redeneringsarchitectuur.
• Foutmitigatie: De case studies tonen aan dat MIRA fouten van de onderliggende editor kan detecteren en corrigeren in latere stappen (bijv. een onbedoeld gewijzigd object terugzetten naar de juiste kleur), wat een robuustheid biedt die statische systemen missen.

Betekenis en Impact

Het paper introduceert een paradigmaverschuiving in beeldbewerking: van statische "one-shot" prompt-executie naar een dynamisch, feedback-gedreven agentiek proces.

• Open Source Versterking: Het bewijst dat open-source diffusiemodellen, wanneer gekoppeld aan een slimme redeneerlaag, kunnen concurreren met dure, proprietaire systemen.
• Efficiëntie en Schaalbaarheid: In tegenstelling tot complexe multi-tool frameworks, is MIRA lichtgewicht en plug-and-play, waardoor het eenvoudig kan worden geïntegreerd in bestaande pipelines.
• Robuustheid: De iteratieve lus biedt een natuurlijke manier om fouten op te vangen en de precisie van complexe bewerkingen te verhogen, wat essentieel is voor professionele toepassingen.

Kortom, MIRA demonstreert dat iteratieve multimodale redenering een krachtige en schaalbare aanpak is voor het realiseren van hoge kwaliteit, controleerbare en semantisch accurate beeldbewerking.