Technische Zusammenfassung: Von Plänen zu Pixeln: Lernen zum Planen und Orchestrieren für offene Bildbearbeitung

Problemstellung

Moderne diffusionsbasierte Modelle zur Bildbearbeitung glänzen bei klar definierten, konkreten Transformationen (z. B. „Ändere die Farbe des Autos in Rot"), haben jedoch Schwierigkeiten mit abstrakten, offenen und langfristigen Anweisungen (z. B. „Passen Sie diese Werbung für ein ländliches Publikum an"). Solche Aufgaben erfordern koordinierte Änderungen an Bildern, Text, Layout und Kontext, die oft mehrere Teilaufgaben und heterogene Werkzeuge beinhalten. Frühere agentenbasierte Ansätze versuchen, diese Aufgaben zu zerlegen, verlassen sich jedoch auf handgefertigte Pipelines oder Lehrer-Imitation. Diese Methoden fixieren Ausführungsreihenfolgen und Heuristiken, versagen darin, den Planer auf seiner eigenen Verteilung zu trainieren oder die Werkzeugauswahl basierend auf tatsächlichen Bearbeitungsergebnissen zu optimieren. Dies führt zu Verteilungsverschiebungen, eingeschränkter Generalisierung und schlechter Skalierbarkeit für offene Anweisungen.

Methodik

Die Autoren schlagen ein Lernframework auf Erfahrungsbasis vor, das die langfristige Bildbearbeitung in zwei eng gekoppelte Phasen zerlegt: Planung und Orchestrierung. Das System interagiert mit Bearbeitungswerkzeugen und erhält feedbackbasiertes Feedback von einem Vision-Language-Model (VLM)-Richter, um seine Strategien zu verfeinern.

1. Phase 1: Checklisten-gesteuerter Planer (Selbstüberwacht)

Gegeben ein Eingabebild $x$ und eine hochrangige Anweisung $I$ generiert ein multimodales LLM (Planer) eine strukturierte, geordnete Sequenz atomarer Teilaufgaben $P = \{s_1, \dots, s_T\}$.

• Checklisten-Erstellung: Um eine umfassende Abdeckung ohne reliance auf brüchige handgefertigte Vorlagen sicherzustellen, wird der Planer mit einer Checkliste $C$ aufgefordert, die Kriterien festzulegen, die eine zufriedenstellende Bearbeitung erfüllen muss (z. B. Produktersatz, semantische Ausrichtung).
• Selbstüberwachtes Feinabstimmen: Anstatt ein Lehrermodell nachzuahmen (was zu Verteilungsverschiebungen führt), wird der Planer durch Selbstdistillation feinabgestimmt. Er lernt, Pläne zu reproduzieren, die er selbst unter Checklisten-Prompting generiert, und ist dabei nur von $(x, I)$ abhängig. Dies richtet das Training an der nativen Generierungsverteilung des Modells aus und verbessert Stabilität und Generalisierung.
• Inferenz: Zum Testzeitpunkt wird die Checkliste entfernt; der feinabgestimmte Planer generiert direkt strukturierte Mehrschrittpläne aus $(x, I)$.

2. Phase 2: Belohnungsgesteuerte Orchestrierung

Bedingt durch den Plan $P$ wählt ein Orchestrator (ein weiteres multimodales LLM) für jede Teilaufgabe das geeignete Werkzeug $a_t$ und die Region $r_t$ aus.

• Werkzeugsatz: Das Framework nutzt einen modularen Satz von Werkzeugen, einschließlich Analysetools (SAM-2, DeepSeek-OCR, Qwen-Layered, Qwen-BBox) zur Regionsentdeckung, Ganzbild-Editoren (Flux Kontext, Qwen-Image-Edit) und regionenbasierte Editoren (Flux Inpaint).
• Belohnungsfunktion: Ein starker VLM-Richter bewertet das bearbeitete Bild $\hat{x}$ anhand dreier Kriterien: Anweisungsbezug, Identitätserhaltung und Visuelle Qualität.
• Strategieoptimierung: Der Orchestrator wird trainiert, die erwartete Trajektorienbelohnung zu maximieren. Da die Bewertung vollständiger Trajektorien rechenintensiv ist, führen die Autoren zwei Approximationen ein:
  1. Additive Belohnungsapproximation: Die Trajektorienbelohnung wird als Summe unabhängiger Teilaufgabenbelohnungen angenähert.
  2. Unabhängigkeit vom Originalbild: Werkzeugbeiträge werden geschätzt, indem sie auf dem Originalbild statt auf Zwischenbearbeitungen bewertet werden.
     Diese Approximationen ermöglichen die Vorausberechnung von Belohnungen für Werkzeug-Region-Paare und erlauben eine handhabbare Strategieoptimierung.

3. Geschlossenes Regelkreis-Refinement und Inferenz

• Planverfeinerung: Vor dem Training des Orchestrators werden nicht durchführbare Teilaufgaben (jene mit maximal erreichbaren Belohnungen unterhalb eines Schwellenwerts $\tau$) entfernt. Der Planer wird dann auf diesen verfeinerten Plänen neu trainiert, um hochrangiges Reasoning mit dem ausführbaren Aktionsraum in Einklang zu bringen.
• Verifizierer-gesteuerte Auswahl: Während der Inferenz schlägt der Orchestrator Top-$k$ Werkzeug-Region-Kandidaten vor. Ein leichter Verifizierer (aus dem VLM-Richter distilliert) bewertet diese Zwischenbearbeitungen, und die am höchsten bewertete Bearbeitung wird für den nächsten Schritt ausgewählt. Dies reduziert die Fehlerakkumulation bei gleichzeitiger Aufrechterhaltung der Effizienz.

Hauptbeiträge

1. Framework für langfristige Bildbearbeitung: Die Arbeit stellt abstrakte Bearbeitung als koordiniertes Planungs- und Orchestrierungsproblem dar und ermöglicht Mehrschritten-Reasoning über die Ein-Schritt-Generierung hinaus.
2. Selbstüberwachtes Checklisten-gesteuertes Planen: Ein strukturierter Planer lernt Zerlegungen aus seinen eigenen checklisten-gesteuerten Stichproben und reduziert so die Verteilungsverschiebung im Vergleich zur Lehrer-Imitation.
3. Erfahrungsbasierter Orchestrator: Eine belohnungsgesteuerte Strategie lernt Werkzeug- und Regionsauswahl direkt aus bewerteten Bearbeitungsergebnissen anstatt aus handgefertigten Regeln oder statischen Prompts.
4. Geschlossenes Regelkreis-Refinement: Das System entfernt nicht durchführbare Teilaufgaben basierend auf Orchestrierungsfeedback, richtet Pläne mit ausführbaren Aktionen aus und erreicht State-of-the-Art-Leistung.

Experimentelle Ergebnisse

Das Framework wurde auf dem MadVerse-Datensatz (mehrsprachige Werbung) und Standard-Benchmarks wie GEdit-Bench und MagicBrush evaluiert.

• Vergleich mit Baselines: Die Methode übertrifft starke Ein-Schritt-Editoren (Flux Kontext, Qwen-Image-Edit) und Multi-Schritt-Agenten-Baselines (GenArtist, LayerCraft). Während Ein-Schritt-Modelle oft scheitern, komplexe Anweisungen auszuführen oder die Bildidentität zu verschlechtern, erzielt die vorgeschlagene Methode höhere Anweisungsfolgewerte bei gleichzeitiger Aufrechterhaltung starker Identitätserhaltung und visueller Qualität.
• Benutzerstudien: Randomisierte A/B-Tests mit menschlichen Teilnehmern zeigten eine konsistente Präferenz für die Ausgaben der vorgeschlagenen Methode gegenüber Baselines.
• Ablationsstudien:
  • Orchestrator-Design: Das Trainieren des Orchestrators, um eine explizite Werkzeugauswahlstrategie zu lernen, übertrifft signifikant das Prompting eines Basismodells oder die Verwendung von Ein-Werkzeug-Sequenz-Baselines.
  • Planquelle: Checklisten-gesteuerte Selbstdistillation führt zu geringerer Perplexität und besserer Verteilungsausrichtung als das Training auf von Lehrern generierten Plänen.
  • Planverfeinerung: Das Filtern nicht durchführbarer Teilaufgaben erhöht die durchschnittliche maximal erreichbare Belohnung und bestätigt eine verbesserte Kompatibilität zwischen Planung und Ausführung.
  • Inferenzverzweigung: Die Erhöhung der Anzahl der Kandidatenverzweigungen ($k$) während der Inferenz verbessert konsistent die Anweisungszufriedenheit und die visuelle Qualität.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass durch die enge Kopplung von Planung mit belohnungsgesteuerter Ausführung der Ansatz kohärentere und zuverlässigere Bearbeitungen liefert als Ein-Schritt- oder regelbasierte Mehrschritt-Baselines. Die Bedeutung liegt in der Abkehr von handgefertigten Pipelines und Lehrer-Imitation hin zu einem Lernparadigma auf Erfahrungsbasis. Indem das System durch einen gelernten Richter aus den tatsächlichen Ergebnissen von Bearbeitungswerkzeugen lernt, verankert es seine Entscheidungen in empirischer Leistung. Dies ermöglicht dem Framework, abstrakte, offene Anweisungen zu bewältigen, die koordinierte Mehrschritt-Transformationen erfordern, und adressiert eine kritische Einschränkung aktueller anweisungsbasierter Bildbearbeitungssysteme. Die Autoren betonen, dass ihre Methode durch Interaktion mit Werkzeugen und bewerteten Ergebnissen verbessert wird und einen skalierbaren Weg für komplexe visuelle Reasoning-Aufgaben bietet.