MIRA: Multimodal Iterative Reasoning Agent for Image Editing

Die Arbeit stellt MIRA vor, einen leichten multimodalen Agenten, der durch einen iterativen Wahrnehmungs- und Denkprozess komplexe Bildbearbeitungsaufgaben präziser löst und damit die Leistung proprietärer Systeme erreicht oder übertrifft.

Das Wesentliche

Stell dir vor, du möchtest ein Foto bearbeiten, aber statt mit Pinseln und Werkzeugen sprichst du einfach mit dem Computer: „Mach den Himmel blauer und setz einen Hund auf die Wiese."

Bei herkömmlichen KI-Systemen ist das oft wie ein Gespräch mit einem sehr eifrigen, aber etwas chaotischen Praktikanten. Du sagst etwas, er versucht es sofort umzusetzen, macht aber vielleicht den Hund zu groß oder die Wiese zu grün. Wenn du dann sagst: „Nein, kleiner!", korrigiert er das, verwirrt aber vielleicht wieder den Himmel. Oft ist das Endergebnis eine Mischung aus allem, aber nicht genau das, was du wolltest.

MIRA (Multimodal Iterative Reasoning Agent) ist wie ein erfahrener Chef-Redakteur, der diesen Praktikanten anleitet.

Hier ist, wie MIRA funktioniert, ganz einfach erklärt:

1. Der „Ein-Schritt-ist-nicht-genug"-Ansatz

Frühere KIs versuchten, deine ganze komplexe Anweisung auf einmal zu verstehen und in einem einzigen Rutsch umzusetzen. Das ist wie wenn du jemandem sagst: „Baue mir ein Haus!" und er versucht, sofort das Dach, die Wände und den Garten gleichzeitig zu bauen – das Ergebnis sieht oft seltsam aus.

MIRA hingegen denkt: „Okay, lass uns das Schritt für Schritt machen."

• Schritt 1: Der Chef-Redakteur (MIRA) schaut sich das Bild an und sagt: „Zuerst machen wir den Boden aus Holz."
• Schritt 2: Der Praktikant (die eigentliche Bild-KI) macht das.
• Schritt 3: Der Chef-Redakteur schaut sich das neue Bild an. „Hmm, der Boden ist gut, aber der Kühlschrank wurde versehentlich braun. Das war nicht befohlen!"
• Schritt 4: Er gibt eine neue, kleine Anweisung: „Mach den Kühlschrank wieder weiß."

Dieser Kreislauf aus Schauen (Wahrnehmung) -> Nachdenken (Logik) -> Handeln (Befehl) wiederholt sich so lange, bis das Bild perfekt ist.

2. Die „Fehler-Reparatur"-Maschine

Das Geniale an MIRA ist, dass es nicht annimmt, dass jeder Schritt perfekt war. Es ist wie ein Korrektor, der den Text immer wieder liest.
Stell dir vor, du schreibst einen Brief. Wenn du einen Satz schreibst, liest du ihn sofort. Wenn du merkst: „Oh, ich habe das falsche Wort benutzt", streichst du es sofort aus und schreibst das Richtige, bevor du weitermachst.
In dem Papier gibt es ein Beispiel: Die KI sollte einen Herd schwarz machen. Aber beim nächsten Schritt wurde der Herd aus Versehen weiß. MIRA merkte das sofort im nächsten Zyklus und sagte: „Moment, der Herd ist wieder weiß! Mach ihn wieder schwarz." So verhindert MIRA, dass kleine Fehler sich aufaddieren und das ganze Bild ruinieren.

3. Der neue Trainings-Coach (MIRA-EDITING)

Damit MIRA so gut wird, hat die Forscher-Gruppe eine riesige Bibliothek mit 150.000 Beispielen erstellt. Stell dir das wie ein Trainingslager für einen Sportler vor.

• Sie haben dem System gezeigt, wie man komplexe Aufgaben in kleine, logische Schritte zerlegt.
• Sie haben ihm beigebracht, nicht nur zu „raten", sondern zu prüfen: „Sieht das Ergebnis so aus, wie ich es mir vorgestellt habe?"
• Wenn das Ergebnis gut war, gab es Lob (Belohnung). Wenn nicht, musste es es nochmal versuchen.

4. Warum ist das so wichtig?

Bisher waren die wirklich guten Bild-Editoren (wie die von großen Tech-Firmen) oft teuer, geheim oder nur für wenige zugänglich. Die kostenlosen, offenen Modelle waren oft etwas „dümmer" oder ungenauer.

MIRA ist wie ein universeller Adapter.
Du kannst MIRA mit fast jedem kostenlosen Bild-Editor verbinden. Es nimmt die „dumme" KI und macht sie durch sein Nachdenken und Überprüfen so schlau, dass sie Ergebnisse liefert, die fast so gut sind wie die der teuersten, proprietären Systeme.

Zusammenfassung in einer Metapher

• Alte KI: Ein Maler, der versucht, ein komplexes Gemälde in einem einzigen, schnellen Pinselstrich zu vollenden. Das Ergebnis ist oft chaotisch.
• MIRA: Ein Meister-Koch, der ein Rezept liest. Er kocht nicht alles auf einmal. Er schmeckt die Suppe, fügt Salz hinzu, schmeckt wieder, nimmt etwas heraus, wenn es zu salzig ist, und gibt erst dann den Teller ab. Er arbeitet iterativ (schrittweise) und korrigiert sich selbst.

Das Ziel von MIRA ist es, dass jeder Nutzer mit einfachen Worten Bilder erstellen kann, die genau das zeigen, was er im Kopf hat, ohne dass die KI „halluziniert" oder Dinge verpasst. Es bringt die Magie der komplexen Bildbearbeitung in die Hände von Open-Source-Modellen.

Technische Zusammenfassung

1. Problemstellung

Instruction-guided Image Editing (bildgesteuerte Bildbearbeitung mittels natürlicher Sprache) zielt darauf ab, Bilder intuitiv durch Textbefehle zu verändern. Aktuelle diffusion-basierte Modelle (z. B. Qwen-Image-Edit, Flux.1-Kontext) zeigen zwar Fortschritte, scheitern jedoch oft bei komplexen Anweisungen, die kompositionelle Beziehungen, kontextabhängige Hinweise oder Referenzausdrücke erfordern.

• Hauptprobleme: Semantisches Abdriften (der Inhalt ändert sich ungewollt), mangelnde Feinabstimmung bei Mehr-Objekt-Interaktionen und die Unfähigkeit, mehrstufige Aufgaben in einem einzigen Durchlauf („One-Shot") korrekt auszuführen.
• Limitationen bestehender Ansätze: Bisherige Lösungen basieren oft auf statischer Prompt-Verfeinerung oder komplexen, schwer skalierbaren Tool-Chains. Proprietäre Systeme (wie GPT-Image) sind zwar leistungsfähiger, aber für die Open-Source-Community nicht zugänglich.

2. Methodik: Der MIRA-Ansatz

MIRA (Multimodal Iterative Reasoning Agent) ist ein leichtgewichtiges, „Plug-and-Play"-fähiges Vision-Language-Agent-System, das Bildbearbeitung als iterativen Wahrnehmungs-Reasoning-Aktions-Zyklus neu definiert, anstatt als statische Pipeline.

Kernarchitektur

• Iterativer Loop: MIRA führt keine einmalige Vorhersage einer gesamten Bearbeitungssequenz durch. Stattdessen durchläuft es in jedem Schritt einen Zyklus:
  1. Wahrnehmung: Der Agent beobachtet das Originalbild ($I_0$), die Benutzeranweisung ($C$) und den aktuellen Bearbeitungszustand ($I_{t-1}$).
  2. Reasoning: Er analysiert die verbleibende semantische Diskrepanz zwischen Ziel und Ergebnis.
  3. Aktion: Er generiert eine atomare Bearbeitungsinstruktion ($u_t$), die von einem externen Diffusions-Modell (z. B. Flux.1, Step1X-Edit) ausgeführt wird.
  4. Feedback: Das aktualisierte Bild wird zurückgespeist, um den nächsten Schritt zu informieren.
• Stop-Mechanismus: Ein trainierter Controller entscheidet in jedem Schritt, ob der Prozess fortgesetzt oder beendet werden soll ($\text{stop}$), um Überbearbeitung zu vermeiden.

Trainingspipeline (Zwei-Stufen-Ansatz)

1. Supervised Fine-Tuning (SFT): Das Basismodell (Qwen2.5-VL-7B-Instruct) wird auf einem kuratierten Datensatz trainiert, um atomare Bearbeitungsschritte aus Bild-Anweisungs-Tripeln vorherzusagen.
2. Reinforcement Learning (GRPO): Group Relative Policy Optimization wird angewendet, um die Politik weiter zu verfeinern.
   • Composite Reward Model: Ein neuartiger Belohnungsmechanismus kombiniert ein Bildbearbeitungs-Modell mit einem Reward-Modell (z. B. EditScore), um sowohl semantische Konsistenz als auch perceptuelle Qualität zu bewerten. Dies ermöglicht eine optimierungsgesteuerte Anpassung an menschliche Präferenzen.

3. Schlüsselbeiträge

1. MIRA-Agent: Ein leichtgewichtiges, agentices Vision-Language-Modell, das nahtlos mit bestehenden Open-Source-Bildbearbeitungs-Backbones kombiniert werden kann. Es schließt die Leistungslücke zwischen Open-Source- und proprietären Systemen.
2. MIRA-EDITING-Datensatz: Ein neu erstellter, großskaliger Datensatz mit 150.000 multimodalen Paaren.
   • Erstellung: Durch Hierarchische Aggregation von Anweisungen, semantisches Umformulieren (Rewriting) und Ranking-basiertes Filtern (unter Nutzung von ViScore und starken VLMs wie Gemini-2.5-Flash).
   • Struktur: Die Daten sind in drei Typen unterteilt: Start (erster Schritt), Continue (iterative Verfeinerung basierend auf visuellem Feedback) und Stop (Erkennung der Aufgabenabschluss).
3. Trainingspipeline: Die Kombination aus SFT und GRPO mit einem spezialisierten Composite-Reward-Modell, das eine tiefere, semantisch fundierte Optimierung ermöglicht.

4. Ergebnisse

Die Evaluation erfolgte auf einem Benchmark von 500 komplexen Anweisungen (basierend auf MagicBrush und CompBench).

• Quantitative Verbesserungen:
  • MIRA verbessert signifikant sowohl die semantische Konsistenz (gemessen durch GPT-SC, Gemini-SC, Qwen3VL-SC) als auch die perzeptuelle Qualität (ARNIQA, TOPIQ, EditScore).
  • Beispiel: Bei Kombination mit Flux.1-Kontext steigerte MIRA den GPT-SC um ca. 5%, Gemini-SC um 6% und EditScore-SC um über 13%.
  • Vergleich mit Proprietären Systemen: MIRA in Kombination mit Open-Source-Modellen erreicht Leistungen, die mit oder sogar denen von proprietären Systemen wie GPT-Image und Nano-Banana entsprechen oder diese übertreffen.
• Vergleich mit anderen VLMs: MIRA (7B Parameter) übertrifft größere allgemeine VLMs (wie Qwen3-VL-30B oder GPT-5), wenn diese als reine Prompt-Optimierer eingesetzt werden. Dies zeigt, dass die spezifische, iterative Reasoning-Architektur von MIRA für Bildbearbeitung effektiver ist als reine Größe oder generelle Reasoning-Fähigkeiten.
• Fehlerkorrektur: MIRA zeigt inhärente Robustheit. Wenn ein Bearbeitungsschritt fehlerhaft ist (z. B. falsche Farbe eines Objekts), erkennt MIRA dies im nächsten Zyklus und gibt eine korrigierende atomare Anweisung aus, anstatt den Fehler fortzuschreiben.

5. Bedeutung und Fazit

• Paradigmenwechsel: Das Paper etabliert Bildbearbeitung nicht als einmalige Generierung, sondern als interaktiven, geschlossenen Regelkreis. Dies ermöglicht Open-Source-Modellen, komplexe, mehrstufige Aufgaben zu bewältigen, für die sie bisher nicht ausgelegt waren.
• Skalierbarkeit: Da MIRA als leichtgewichtige Schicht über existierenden Diffusionsmodellen läuft, ist es einfach zu integrieren und erfordert keine Neuentwicklung der gesamten Bildgenerierungsarchitektur.
• Effizienz vs. Qualität: Obwohl der iterative Ansatz eine höhere Latenz verursacht (ca. 48 Sekunden pro Bild vs. 12–71 Sekunden bei Propriärem), bietet er eine überlegene Kontrolle und Qualität zu einem deutlich geringeren Kostenpunkt (da Open-Source).
• Zukunftsausblick: MIRA demonstriert, dass multimodales Reasoning in Kombination mit schrittweisem Feedback der Schlüssel zu präziser, kontrollierbarer und hochwertiger visueller Generierung ist.

Zusammenfassend stellt MIRA einen bedeutenden Fortschritt dar, der Open-Source-Ökosysteme in die Lage versetzt, mit den besten proprietären Bildbearbeitungssystemen gleichzuziehen, indem es die Lücke zwischen Benutzerintention und pixelgenauer Ausführung durch iteratives Reasoning schließt.