RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

Das Paper stellt RetouchIQ vor, ein Framework, das Multimodal Large Language Model (MLLM)-Agenten mithilfe eines generalistischen Belohnungsmodells nutzt, um instruktionsbasierte Bildretuschen mit hoher semantischer Konsistenz und visueller Qualität durchzuführen und dabei die Herausforderung subjektiver kreativer Bewertungen zu überwinden.

Das Wesentliche

📸 Das Problem: Der „Magier", der keine Sprache spricht

Stell dir vor, du hast ein wunderschönes Foto gemacht – vielleicht einen Sonnenuntergang oder ein Porträt. Du möchtest es bearbeiten, aber nicht einfach nur einen Filter draufklatschen. Du willst sagen: „Mach es so, als wäre es ein epischer, stimmungsvoller Ozean mit dramatischem Kino-Licht."

Das ist für normale Bildbearbeitungsprogramme (wie Photoshop oder Lightroom) schwierig. Sie verstehen keine Sätze, sondern nur Zahlen: „Erhöhe den Kontrast um 15", „Mache die Temperatur wärmer".

Bisherige KI-Modelle waren wie blinde Maler. Sie konnten zwar Bilder malen, aber wenn man sie bat, ein bestehendes Foto zu bearbeiten, veränderten sie oft das Gesicht der Person oder den Hintergrund komplett (wie ein ungeduldiger Koch, der das ganze Gericht neu erfindet, statt nur die Gewürze anzupassen). Andere Modelle waren wie sture Roboter, die nur genau das taten, was in einer Anleitung stand, aber keine kreative Intuition hatten.

🚀 Die Lösung: RETOUCHIQ – Der „Fotografen-Assistent"

Die Forscher von Adobe und der UC Santa Barbara haben RETOUCHIQ entwickelt. Stell dir das wie einen super-intelligenten Fotografen-Assistenten vor, der drei Dinge kann:

1. Er versteht deine Sprache: Er hört dir zu, wenn du sagst: „Ich möchte, dass die Blumen lebendiger und frischer wirken."
2. Er denkt nach (wie ein Profi): Bevor er etwas tut, überlegt er: „Okay, um die Blumen lebendiger zu machen, muss ich die Sättigung leicht erhöhen und vielleicht einen Hauch mehr Schärfe hinzufügen." Er schreibt sich diese Gedanken auf.
3. Er bedient die Werkzeuge: Er öffnet das Profi-Programm (wie Lightroom) und dreht die Regler genau so, wie er es sich überlegt hat.

🎓 Wie lernt er das? (Die zwei Phasen)

Damit dieser Assistent wirklich gut wird, hat er zwei Lernphasen durchlaufen:

Phase 1: Der Schulunterricht (Supervised Fine-Tuning)

Zuerst hat der Assistent Tausende von Beispielen gesehen: Ein Originalfoto, ein bearbeitetes Foto und die Notizen des Fotografen, der es gemacht hat.

• Die Analogie: Es ist wie ein Lehrling, der einem Meister über die Schulter schaut. Der Meister sagt: „Ich mache das Foto wärmer, weil der Abendsonne fehlt." Der Lehrling merkt sich: „Aha, wenn der Kunde 'warme Abendstimmung' will, drehe ich den Regler 'Temperatur' nach rechts."

Phase 2: Der Meister-Coach (Reinforcement Learning mit dem „Generalist Reward")

Hier wird es spannend. Normalerweise lernt eine KI, indem man ihr sagt: „Das Ergebnis sieht genau wie das Original aus – gut!" oder „Das sieht anders aus – schlecht!"
Aber bei Kunst und Fotos gibt es kein einziges „richtiges" Ergebnis. Ein Foto kann auf hundert verschiedene Arten „schön" sein. Wenn die KI nur auf ein festes Ziel hinarbeitet, wird sie steif und langweilig.

Die Innovation von RETOUCHIQ:
Statt eines starren Maßstabs haben sie einen „Generalist Reward Model" (einen allgemeinen Belohnungs-Coach) entwickelt.

• Die Analogie: Stell dir vor, du hast einen sehr erfahrenen Kunstkritiker (den Coach). Du zeigst ihm dein bearbeitetes Foto und sagst: „Ich wollte es stimmungsvoll machen."
• Der Coach schaut sich das Bild an und denkt nicht: „Passt es zu Bild X?"
• Sondern er fragt sich: „Wie gut passt das Bild zu deiner Beschreibung? Ist es wirklich stimmungsvoll? Ist der Himmel dramatisch genug?"
• Er erstellt sich seine eigene Checkliste für dieses spezifische Bild (z.B. „Himmel muss dunkelblau sein", „Wellen müssen glänzen") und gibt dir eine Punktzahl.

Wenn die Punktzahl niedrig ist, versucht die KI es nochmal und überlegt anders. So lernt sie, nicht nur Regeln zu befolgen, sondern Geschmack zu entwickeln.

🛠️ Das Geheimnis: PGRT (Der „Echte" Trainer)

Ein kleines Problem gab es noch: Der Coach wurde zuerst an künstlich „verdorbenen" Bildern trainiert (als hätte jemand die Regler zufällig verstellt). Aber die KI von RETOUCHIQ macht oft sehr komplexe, kombinierte Änderungen. Der Coach war also verwirrt, wenn er echte Ergebnisse der KI sah.

Die Lösung hieß PGRT (Policy-Guided Reward Training).

• Die Analogie: Der Coach hat gelernt, nur an „künstlichen Fehlern" zu üben. Aber um wirklich gut zu werden, hat man ihn gezwungen, sich die echten Versuche der KI anzusehen. Er hat gelernt, die Nuancen zwischen einem „guten Versuch" und einem „perfekten Versuch" der KI selbst zu erkennen. So wurde er zum perfekten Trainer für genau diese Art von KI.

🏆 Das Ergebnis

Wenn man RETOUCHIQ mit anderen Systemen vergleicht:

• Diffusions-Modelle (die Bilder neu erfinden) verzerren oft Gesichter.
• Normale Chatbots (wie GPT-5) wissen oft nicht, welche Regler sie drehen müssen.
• RETOUCHIQ hingegen behält das Originalfoto bei, verändert aber die Stimmung genau so, wie du es wolltest – mit dem Gefühl eines professionellen Fotografen.

Zusammengefasst:
RETOUCHIQ ist wie ein KI-Assistent, der nicht nur deine Worte versteht, sondern auch die Kunst der Fotografie. Er denkt nach, nutzt Profi-Werkzeuge und hat einen intelligenten Coach an der Seite, der ihm hilft, nicht nur „richtig", sondern auch schön zu arbeiten.

Technische Zusammenfassung

Titel: RETOUCHIQ: MLLM-Agenten für instruktionsbasierte Bildretusche mit Generalist Reward

1. Problemstellung

Die Arbeit adressiert die Herausforderung, Multimodale Large Language Models (MLLMs) so zu trainieren, dass sie professionelle Bildbearbeitungssoftware (wie Adobe Lightroom) basierend auf natürlichen Sprachanweisungen steuern können.

• Subjektivität der Ästhetik: Im Gegensatz zu objektiven Aufgaben (z. B. Mathematik) ist Bildretusche stark subjektiv. Für dieselbe Anweisung (z. B. "mache es stimmungsvoller") gibt es viele gleichwertige, aber unterschiedliche Lösungen.
• Versagen herkömmlicher Belohnungssignale: Herkömmliche Reinforcement-Learning-Ansätze (RL) nutzen oft regelbasierte Belohnungen, die auf dem Vergleich mit einem festen Referenzbild (Ground Truth) basieren (z. B. Pixel-Differenzen). Da es jedoch kein einziges "richtiges" Ergebnis gibt, sind diese Metriken unzuverlässig und führen zu suboptimalen Modellen, die die Nutzerabsicht nicht korrekt erfassen.
• Lücke in der Tool-Nutzung: Bestehende MLLM-Agenten oder Diffusionsmodelle können entweder keine präzisen Parameter steuern oder verändern den Bildinhalt ungewollt (Halluzinationen), anstatt nur die Bearbeitungseinstellungen anzupassen.

2. Methodik

RETOUCHIQ ist ein Framework, das einen MLLM-Agenten nutzt, um Sprachanweisungen in ausführbare Bearbeitungsschritte (Parameter-Änderungen in professioneller Software) zu übersetzen. Der Ansatz besteht aus drei Hauptkomponenten:

A. Zwei-Phasen-Trainingspipeline:

1. Supervised Fine-Tuning (SFT): Das Modell lernt aus einem Datensatz von 190.000 Paaren (Bild vor/nach + Anweisung), wie man eine logische "Reasoning"-Kette (Begründung) und die entsprechenden technischen Parameter (z. B. Belichtung, Temperatur) generiert. Die Daten stammen von echten menschlichen Bearbeitungen, nicht nur von synthetischen Presets.
2. Reinforcement Learning (RL): Das Modell wird durch Exploration verbessert, um bessere Bearbeitungsstrategien zu finden, die über die demonstrierten Beispiele hinausgehen.

B. Generalist Reward Model (GRM):
Um das Problem der fehlenden Ground-Truth-Lösung zu lösen, wird ein Generalist Reward Model eingeführt.

• Funktionsweise: Anstatt ein festes Referenzbild zu vergleichen, generiert das GRM (ein feinabgestimmtes MLLM) dynamisch eine Reihe von Bewertungsmetriken, die spezifisch für die gegebene Anweisung und das Bild sind (z. B. "Die Farben sollten warm sein", "Schatten sollten weich sein").
• Bewertung: Basierend auf diesen generierten Metriken vergibt das GRM einen skalaren Belohnungswert für das bearbeitete Bild. Dies ermöglicht eine kontextbewusste, menschliche Bewertung der Ästhetik.

C. Policy-Guided Reward Training (PGRT):
Ein zentrales technisches Problem ist die Verteilungsverschiebung (Distribution Shift). Wenn das Reward-Modell nur mit künstlich gestörten ("perturbed") Bildern trainiert wird, ist es nicht gut darin, die komplexen, kombinierten Bearbeitungen zu bewerten, die das eigentliche Policy-Modell erzeugt.

• Lösung: PGRT ist ein Trainingsverfahren, bei dem das Reward-Modell nicht nur mit gestörten Daten, sondern auch mit Ausgaben des Policy-Modells selbst trainiert wird. Dies aligniert die Datenverteilung von Reward-Critic und Policy-Editor, was zu stabileren und stärkeren Ergebnissen führt.

3. Schlüsselbeiträge

1. RETOUCHIQ Framework: Das erste System, das die Subjektivität der Bildretusche durch ein Generalist Reward Model adressiert, das flexible, kontextsensitive Supervision bietet, anstatt sich auf starre Pixel-Metriken zu verlassen.
2. Policy-Guided Reward Training (PGRT): Ein neues RL-Paradigma, das Signale des Policy-Modells nutzt, um die Reward-Schätzung zu verfeinern und die Diskrepanz zwischen synthetischen Trainingsdaten und realen Policy-Ausgaben zu überbrücken.
3. Neuer Datensatz und Benchmark: Erstellung eines Datensatzes mit 190k Anweisungs-Reasoning-Paaren und Einführung von RETOUCHEVAL, einem neuen Benchmark für instruktionsbasierte Bildbearbeitung mit professionellen Tools.

4. Ergebnisse

Die Experimente zeigen, dass RETOUCHIQ signifikant besser abschneidet als bestehende State-of-the-Art-Methoden:

• Vergleichsgruppen: Das Modell wurde gegen allgemeine MLLMs (GPT-5, Gemini), spezialisierte MLLM-Agenten (JarvisArt, MonetGPT) und Diffusionsmodelle (Flux-Pro) getestet.
• Quantitative Leistung: Auf dem RETOUCHEVAL-Benchmark (Kategorien: Qualitätsverbesserung, Stiltransformation, lokale Retusche) und dem MIT-Adobe5K-Datensatz erzielt RETOUCHIQ die besten Werte in Bezug auf semantische Konsistenz (Semantic Consistency) und wahrgenommene Qualität (Perceptual Quality).
• Qualitative Ergebnisse: Im Gegensatz zu Diffusionsmodellen, die oft den Bildinhalt verzerren, oder anderen Agenten, die falsche Parameter wählen, erzeugt RETOUCHIQ professionelle, stilistisch konsistente Ergebnisse, die die ursprüngliche Bildstruktur bewahren.
• Effektivität von PGRT: Die Analyse zeigt, dass Modelle, die mit PGRT trainiert wurden, sowohl das Reward-Modell (höhere Genauigkeit bei der Bewertung) als auch das Policy-Modell (bessere Endresultate) deutlich verbessern.

5. Bedeutung und Ausblick

RETOUCHIQ demonstriert das Potenzial von Generalist Reward-driven MLLM Agents als flexible, erklärbare und ausführbare Assistenten für die professionelle Bildbearbeitung.

• Brückenschlag: Es verbindet hochlevelige ästhetische Ziele (Sprache) mit präziser Parameterkontrolle (Software).
• Zukunft: Der Ansatz überwindet die Grenzen von "Black-Box"-Diffusionsmodellen, indem er transparente Bearbeitungsschritte ermöglicht. Er legt den Grundstein für KI-Systeme, die nicht nur Bilder generieren, sondern komplexe, subjektive Designaufgaben in professionellen Umgebungen zuverlässig lösen können.

Zusammenfassend stellt RETOUCHIQ einen Paradigmenwechsel dar: Weg von starren, regelbasierten Belohnungen hin zu dynamischen, MLLM-gesteuerten Bewertungssystemen, die die menschliche Kreativität und Subjektivität in der Bildbearbeitung besser nachbilden.