IMAGAgent: Orchestrating Multi-Turn Image Editing via Constraint-Aware Planning and Reflection

Probleemstelling

Bestaande methoden voor meervoudige draai (multi-turn) beeldbewerking kampen met fundamentele beperkingen. Ze opereren vaak als geïsoleerde eenstapsprocessen zonder contextbewustzijn of gesloten-lus feedbackmechanismen. Dit leidt tot drie kritieke fouten tijdens sequentiële interacties:

1. Foutaccumulatie: Kleine afwijkingen in vroege stappen worden niet gediagnosticeerd of gecorrigeerd, waardoor ze zich door de volgende stappen voortplanten.
2. Semantische Drift: Doordat eerdere constraints en geslaagde bewerkingen niet expliciet worden vastgehouden, overschrijven latere bewerkingen onbedoeld eerdere resultaten.
3. Structurele Distorsie: Lokale bewerkingen missen visuele verificatie, wat leidt tot onbedoelde bijwerkingen die de identiteit, geometrie en textuurcoherentie van het beeld op de lange termijn beschadigen.

Bestaande systemen missen een expliciet mechanisme om cross-turn constraints te evalueren en af te dwingen, wat resulteert in instabiele bewerkingspaden.

Methodologie: IMAGAgent

IMAGAgent is een agent-framework dat meervoudige draai beeldbewerking reformuleert als een gesloten-lus proces gebaseerd op het "Plan-Execute-Reflect" paradigma. Het systeem bestaat uit drie kernmodules die werken binnen een dynamische historische context ($C$):

1. Constraint-Aware Planning Module (Beperking-bewuste Planning)

• Functie: Een Vision-Language Model (VLM) fungeert als planner die complexe, globale instructies ($T_0$) decomposeert in een reeks uitvoerbare atomaire sub-taken ($A = \{t_1, ..., t_n\}$).
• Constraints: Om uitvoerbaarheid te garanderen, moeten sub-taken voldoen aan drie strikte criteria:
  • Target Singularity: Bewerkingen zijn beperkt tot één entiteit of een coherent groepje (geen gelijktijdige bewerking van onafhankelijke objecten).
  • Semantische Atomiciteit: Taken zijn ondeelbaar zonder hun semantische integriteit te verliezen.
  • Visuele Perceptibiliteit: Taken moeten leiden tot een tastbare visuele verandering.
• Logica: De planner sorteert de taken op basis van semantische afhankelijkheden (causale consistentie) en consolideert redundante stappen.

2. Tool-Chain Orchestration Module (Orkestratie van Gereedschapsketens)

• Functie: Deze module voert de gedefinieerde sub-taken uit door dynamisch paden te construeren op basis van de huidige afbeelding, de sub-taak en de historische context.
• Heterogene Tools: Het agent-systeem schakelt verschillende visuele modellen in, waaronder:
  • Retrieval: Zoeken naar referentieafbeeldingen.
  • Segmentatie & Detectie: Gebruik van modellen zoals SAM (Segment Anything) en GroundingDINO.
  • Bewerking: Diffusiemodellen voor inpainting en generatieve bewerking.
• Iteratieve Lus: Voor elke sub-taak wordt een "Chain-of-Thought" (CoT) gebruikt om de juiste toolketen te selecteren. Als een bewerking niet direct slaagt, wordt de lus herhaald met feedback van de reflectiemodule.

3. Multi-Expert Collaborative Reflection Mechanism (Meervoudige Expert Reflectie)

• Functie: Om semantische drift en structurele fouten te onderdrukken, wordt een panel van drie verschillende VLM-experts ingezet om tussentijdse resultaten te evalueren.
• Evaluatiecriteria: De experts beoordelen op vier dimensies: semantische uitlijning, perceptuele kwaliteit, esthetiek en logische consistentie.
• Aggregatie: Een centrale Large Language Model (LLM) aggregeert de individuele kritieken (positieve kenmerken, negatieve gebreken, en een score) tot een uniek consensus-feedback triplet ($F_{pos}, F_{neg}, S$).
• Besluitvorming:
  • Als de score ($S$) boven een drempel ($\tau_{sr}$) ligt, wordt de taak als voltooid beschouwd.
  • Als de score te laag is en de maximale iteraties ($\tau_{it}$) nog niet zijn bereikt, wordt de negatieve feedback ($F_{neg}$) gebruikt om de agent te corrigeren voor de volgende poging.
  • Bij falen na maximale iteraties wordt het beste historische resultaat geselecteerd.

Belangrijkste Bijdragen

1. Framework: Introductie van IMAGAgent als een gesloten-lus, beperking-bewust framework dat lange-termijn visuele en semantische consistentie garandeert.
2. Nieuwe Module-architectuur: Ontwikkeling van een constraint-aware planner en een dynamische tool-chain orkestrator die adaptief schakelt tussen heterogene visuele tools.
3. Reflectiemechanisme: Een innovatieve multi-expert collaboratieve reflectie die visuele feedback omzet in uitvoerbare correctiesignalen, wat foutaccumulatie effectief onderdrukt.
4. Benchmarks: Creatie van MTEditBench, een nieuw benchmark-dataset specifiek ontworpen voor lange-horizon multi-turn beeldbewerking (minimaal 4 beurten), aangevuld met evaluaties op het bestaande MagicBrush-dataset.

Resultaten

IMAGAgent werd uitgebreid getest op MTEditBench en MagicBrush en presteerde significant beter dan state-of-the-art (SOTA) methoden zoals ACE++, HQEdit, UltraEdit, ICEdit, VAREdit, VINCIE, OmniGen en GPT-4o.

• Kwantitatieve Prestaties:
  • IMAGAgent behaalde de hoogste scores op DINO (visuele consistentie), CLIP-I (beeld-semantische gelijkenis) en CLIP-T (tekst-beeld uitlijning).
  • Het voordeel nam toe naarmate het aantal bewerkingsbeurten toenam, wat aantoont dat het systeem beter bestand is tegen drift dan concurrenten.
  • Op MTEditBench behaalde IMAGAgent een gemiddelde DINO-score van 0.766 (tegenover ~0.511 voor de beste concurrent), wat een enorme verbetering in structurele stabiliteit aangeeft.
• Kwalitatieve Evaluatie:
  • Visuele vergelijkingen tonen aan dat IMAGAgent instructies nauwkeuriger volgt en de beeldkwaliteit behoudt zonder waarneembare semantische drift, zelfs na 5+ beurten.
  • Gebruikersstudies bevestigden dat IMAGAgent superieur was in het volgen van instructies, realisme en algehele kwaliteit.
• Ablatiestudies:
  • Het verwijderen van de reflectiemodule leidde tot een drastische daling in prestaties (DINO daalde van 0.766 naar 0.689), wat de noodzaak van de gesloten-lus bevestigt.
  • Het verwijderen van historische context veroorzaakte "semantische drift", waarbij eerdere bewerkingen onbedoeld werden overschreven.

Betekenis en Impact

Dit paper markeert een verschuiving van statische, eenrichtings-beeldbewerking naar een dynamisch, zelfcorrigerend agent-systeem. De belangrijkste implicaties zijn:

• Stabiliteit in Creatieve Workflows: Het maakt complexe, meervoudige bewerkingssessies mogelijk zonder dat de kwaliteit degradeert, wat essentieel is voor professionele creatieve toepassingen.
• Generalisatie: De aanpak van "plan-execute-reflect" met multi-expert feedback biedt een blauwdruk voor het oplossen van foutaccumulatie in andere generatieve AI-taken.
• Nieuwe Standaard: Met de introductie van MTEditBench wordt een nieuwe, strengere standaard neergezet voor het evalueren van lange-termijn beeldbewerking, wat de community stimuleert om verder te gaan dan enkelvoudige bewerkingen.

Kortom, IMAGAgent lost het fundamentele probleem van instabiliteit in multi-turn bewerkingen op door een robuust feedbackmechanisme te integreren dat zorgt voor semantische en structurele consistentie over de hele bewerkingsketen.