💻 computer science

From Plans to Pixels: Learning to Plan and Orchestrate for Open-Ended Image Editing

Dit artikel stelt een ervaringskader voor voor open-ended beeldbewerking dat een planner die atomaire taakontledingen genereert en een orkestrator die hulpmiddelen en regio's selecteert, nauw koppelt, met behulp van een visueel-taalbeoordelaar om uitkomstgerichte beloningen te leveren die beide componenten iteratief verfijnen voor coherenter en betrouwbaarder meerstapsbewerkingen.

Oorspronkelijke auteurs: Anirudh Sundara Rajan, Krishna Kumar Singh, Yong Jae Lee

Gepubliceerd 2026-05-15

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Anirudh Sundara Rajan, Krishna Kumar Singh, Yong Jae Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een zeer getalenteerde maar ietwat letterlijk denkende kunstenaar voor. Als je tegen hen zegt: "Zet een hoed op die man," voegen ze met plezier een hoed toe. Maar als je zegt: "Laat deze reclame aanvoelen als iets dat vriendelijker is voor mensen die op het platteland wonen," raken ze misschien in de war. Ze voegen misschien gewoon een koe toe, of ze veranderen de hele afbeelding zozeer dat het oorspronkelijke merk verdwijnt. Ze worstelen met grote, abstracte ideeën die een reeks kleine, specifieke aanpassingen vereisen.

Dit artikel introduceert een nieuw systeem genaamd Plan2Pix dat dit probleem oplost door de kunstenaar een Projectmanager en een Kwaliteitscontrole-inspecteur te geven. In plaats van te proberen de hele taak in één grote sprong te volbrengen, breekt het systeem de taak op, plant het deze uit en leert het van zijn fouten.

Zo werkt het, stap voor stap:

1. De Projectmanager (De Planner)

Wanneer je het systeem een grote, vage instructie geeft zoals "Pas deze reclame aan voor een plattelandspubliek", treedt de Planner op. Denk aan de Planner als een chef-kok die een complex recept leest. In plaats van alleen maar te gokken, schrijft de Planner een checklist.

De Truc: De Planner gokt niet zomaar de stappen. Het gebruikt een "checklist" (zoals een reeks regels: "Het logo moet behouden blijven", "De achtergrond moet veranderen", "De tekst moet worden bijgewerkt") om een stapsgewijs plan te genereren.
Zelflerend: Cruciaal is dat de Planner leert door te oefenen met zijn eigen checklists. Het kopieert niet zomaar een meesterkok; het oefent het maken van zijn eigen lijsten, wat helpt om beter te begrijpen waar het toe in staat is. Dit voorkomt dat het in de war raakt wanneer het iets nieuws probeert.

2. De Voorman (De Orchestrator)

Zodra de Planner de checklist heeft, neemt de Orchestrator het over. Denk aan de Orchestrator als een bouwvoorman op een werf. De Planner zegt: "We moeten de achtergrond vervangen door een boerderijtafereel." De Orchestrator moet beslissen:

Welk hulpmiddel? Moet ik een "verfkwast"-hulpmiddel gebruiken (voor het hele beeld) of een "stencil"-hulpmiddel (voor slechts één deel)?
Waar? Welk deel van de afbeelding verf ik precies?

De Orchestrator gokt niet zomaar. Het kijkt naar het resultaat van zijn acties en vraagt een Rechter of het een goed werk heeft verricht.

3. De Rechter (Het Beloningssysteem)

Dit is het geheim. Nadat de Orchestrator een wijziging heeft aangebracht, bekijkt een slimme AI-"Rechter" het nieuwe beeld en de oorspronkelijke instructie. Het stelt drie vragen:

Heb je de instructies gevolgd? (Bijvoorbeeld: Heb je het er echt plattelandsachtig uit laten zien?)
Heb je het origineel verpest? (Bijvoorbeeld: Heb je per ongeluk het bedrijfslogo verwijderd?)
Ziet het er goed uit? (Is het beeld wazig of raar?)

Als de Orchestrator een hoge score krijgt, onthoudt het: "Hé, het gebruik van de 'boerderij-stencil' op de achtergrond werkte goed!" Als het een lage score krijgt, leert het: "Oké, doe dat niet nog eens." Na verloop van tijd wordt de Orchestrator een expert in het kiezen van het juiste hulpmiddel voor de juiste taak.

4. Het Veiligheidsnet (Verfijning)

Soms schrijft de Planner een stap die onmogelijk is (zoals "Voeg een vliegende eenhoorn toe" terwijl de hulpmiddelen alleen echte dieren kunnen toevoegen). Het systeem heeft een Veiligheidsnet dat het plan controleert voordat het begint. Als een stap niet kan worden uitgevoerd met de beschikbare hulpmiddelen, wordt deze uit het plan geschrapt. Dit zorgt ervoor dat het team nooit iets onmogelijks probeert te doen.

Waarom is dit beter dan wat we nu hebben?

Oude manier: Je vraagt een enkele AI om "Maak deze reclame plattelandsachtig". Het probeert alles in één keer te doen. Het faalt vaak, verandert te veel, of mist de kern.
Plan2Pix-methode: Het breekt de taak op in kleine, beheersbare taken (Achtergrond veranderen -> Tekst veranderen -> Een schuur toevoegen). Het gebruikt het juiste hulpmiddel voor elke kleine taak. Het controleert zijn werk na elke stap.

Het resultaat

Het artikel laat zien dat deze "Plan, Voer uit, Controleer"-methode beelden creëert die veel trouwer zijn aan de complexe instructies van de gebruiker. De uiteindelijke beelden zien er professioneel uit, houden de oorspronkelijke merkidentiteit intact en lossen het abstracte probleem daadwerkelijk op (zoals het laten aanvoelen van een reclame als "plattelandsachtig") in plaats van zomaar willekeurige wijzigingen aan te brengen.

Kortom, Plan2Pix zet een chaotische, éénmalige poging om in een gestructureerd, op leren gebaseerd projectmanagementsysteem dat beter wordt naarmate het meer werkt.

Technische Samenvatting: Van Plannen naar Pixels: Leren Plannen en Coördineren voor Open-Ended Beeldbewerking

Probleemstelling

Moderne op diffusie gebaseerde modellen voor beeldbewerking blinken uit in goed gespecificeerde, concrete transformaties (bijv. "verander de auto in rood"), maar worstelen met abstracte, open-ended en langdurige instructies (bijv. "pas deze reclame aan voor een plattelandspubliek"). Dergelijke taken vereisen gecoördineerde wijzigingen in afbeeldingen, tekst, lay-out en context, vaak met meerdere subtaken en heterogene tools. Eerdere agent-gebaseerde benaderingen proberen deze taken te ontleden, maar vertrouwen op handgemaakte pijplijnen of imitatie van een leraar. Deze methoden fixeren uitvoeringsvolgorde en heuristieken, waardoor ze de planner niet trainen op zijn eigen verdeling en geen optimalisatie van toolselectie baseren op daadwerkelijke bewerkingsresultaten. Dit leidt tot verdelingsverschuivingen, beperkte generalisatie en slechte schaalbaarheid voor open-ended instructies.

Methodologie

De auteurs stellen een ervaringsgebaseerd leerkader voor dat langdurige beeldbewerking ontkoppelt in twee nauw verbonden fasen: Plannen en Coördineren. Het systeem interacteert met bewerkingshulpmiddelen en ontvangt feedback op basis van uitkomsten van een Vision-Language Model (VLM)-rechter om zijn beleidslijnen te verfijnen.

1. Fase 1: Checklist-geleide Planner (Zelftoezicht)

Gegeven een invoerbeeld $x$ en een hoogwaardige instructie $I$ , genereert een multimodaal LLM (Planner) een gestructureerde, geordende reeks atomaire subtaken $P = \{s_1, \dots, s_T\}$ .

Checklistconstructie: Om uitgebreide dekking te garanderen zonder te vertrouwen op breekbare handgemaakte sjablonen, wordt de planner geprompt met een checklist $C$ die criteria specificeert waaraan een bevredigende bewerking moet voldoen (bijv. productvervanging, semantische uitlijning).
Zelftoezichtende Fine-tuning: In plaats van een leraarmodel na te bootsen (wat verdelingsverschuiving veroorzaakt), wordt de planner gefine-tuned via zelfdistillatie. Het leert plannen te reproduceren die het zelf genereert onder checklist-prompting, uitsluitend geconditioneerd op $(x, I)$ . Dit brengt training in lijn met de native generatieverdeling van het model, wat stabiliteit en generalisatie verbetert.
Inferentie: Tijdens de testfase wordt de checklist verwijderd; de gefine-tuned planner genereert direct gestructureerde meerstapsplannen vanuit $(x, I)$ .

2. Fase 2: Beloningsgestuurde Coördinator

Geconditioneerd op het plan $P$ , selecteert een Coördinator (een ander multimodaal LLM) de juiste tool $a_t$ en regio $r_t$ voor elke subtaak.

Toolset: Het kader maakt gebruik van een modulaire set tools, waaronder analysetools (SAM-2, DeepSeek-OCR, Qwen-Layered, Qwen-BBox) voor regio-ontdekking, gehele-afbeeldingseditors (Flux Kontext, Qwen-Image-Edit) en regio-niveau editors (Flux Inpaint).
Beloningsfunctie: Een sterke VLM-rechter evalueert het bewerkte beeld $\hat{x}$ op basis van drie criteria: Instructievolging, Identiteitsbehoud en Visuele Kwaliteit.
Beleidsoptimalisatie: De coördinator wordt getraind om de verwachte trajectbeloning te maximaliseren. Omdat het evalueren van volledige trajecten computatieel duur is, introduceren de auteurs twee benaderingen:
1. Additieve Beloningsbenadering: De trajectbeloning wordt benaderd als de som van onafhankelijke subtaakbeloningen.
2. Onafhankelijkheid van Origineel Beeld: Toolbijdragen worden geschat door ze te evalueren op het originele beeld in plaats van op tussentijdse bewerkingen.
  Deze benaderingen maken het vooraf berekenen van beloningen voor tool-regioparen mogelijk, wat haalbare beleidsoptimalisatie mogelijk maakt.

3. Gesloten-lus Verfijning en Inferentie

Planverfijning: Voordat de coördinator wordt getraind, worden onuitvoerbare subtaken (die met maximale haalbare beloningen onder een drempelwaarde $\tau$ liggen) verwijderd. De planner wordt vervolgens opnieuw getraind op deze verfijnde plannen om hoogwaardig redeneren af te stemmen op de uitvoerbare actieruimte.
Verificator-geleide Selectie: Tijdens inferentie stelt de coördinator top- $k$ tool-regio-kandidaten voor. Een lichtgewicht verificator (gedistilleerd van de VLM-rechter) scoort deze tussentijdse bewerkingen, en de hoogst gescoorde bewerking wordt geselecteerd voor de volgende stap. Dit vermindert foutopstapeling terwijl efficiëntie behouden blijft.

Belangrijkste Bijdragen

Kader voor Langdurige Beeldbewerking: Het artikel presenteert abstracte bewerking als een gecoördineerd plannings- en coördinatieprobleem, wat meerstapsredenering mogelijk maakt die verder gaat dan enkelstapsgeneratie.
Zelftoezichtende Checklist-geleide Planning: Een gestructureerde planner leert ontledingen uit zijn eigen checklist-geleide voorbeelden, wat verdelingsverschuiving reduceert in vergelijking met leraarimitatie.
Ervaringsgebaseerde Coördinator: Een beloningsgestuurd beleid leert tool- en regioselectie direct uit beoordeelde bewerkingsresultaten in plaats van handgemaakte regels of statische prompts.
Gesloten-lus Verfijning: Het systeem verwijdert onuitvoerbare subtaken op basis van coördinatiefeedback, stemt plannen af op uitvoerbare acties en bereikt state-of-the-art prestaties.

Experimentele Resultaten

Het kader werd geëvalueerd op de MadVerse-dataset (meertalige reclames) en standaard benchmarks zoals GEdit-Bench en MagicBrush.

Vergelijking met Baselines: De methode presteert beter dan sterke enkelstapseditors (Flux Kontext, Qwen-Image-Edit) en meerstapsagent-baselines (GenArtist, LayerCraft). Waar enkelstapsmodellen vaak falen bij het uitvoeren van complexe instructies of de beeldidentiteit degraderen, bereikt de voorgestelde methode hogere scores voor instructievolging terwijl het sterke behoud van identiteit en visuele kwaliteit handhaaft.
Gebruikersstudies: Gerandomiseerde A/B-tests met menselijke deelnemers toonden een consistente voorkeur voor de output van de voorgestelde methode boven baselines.
Ablatiestudies:
- Coördinatorontwerp: Het trainen van de coördinator om een expliciet tool-selectiebeleid te leren, presteert aanzienlijk beter dan het prompten van een basismodel of het gebruik van enkel-tool sequentiële baselines.
- Planbron: Checklist-geleide zelfdistillatie resulteert in lagere perplexiteit en betere verdelingsafstemming dan training op door een leraar gegenereerde plannen.
- Planverfijning: Het filteren van onuitvoerbare subtaken verhoogt de gemiddelde maximale haalbare beloning, wat de verbeterde compatibiliteit tussen planning en uitvoering bevestigt.
- Inferentievertakking: Het verhogen van het aantal kandidaat-vertakkingen ( $k$ ) tijdens inferentie verbetert consistent instructievoldoening en visuele kwaliteit.

Betekenis en Claims

Het artikel stelt dat door planning nauw te koppelen aan beloningsgestuurde uitvoering, de aanpak coherente en betrouwbare bewerkingen oplevert dan enkelstaps- of regelgebaseerde meerstapsbaselines. De betekenis ligt in de verschuiving van handgemaakte pijplijnen en leraarimitatie naar een ervaringsgebaseerd leerparadigma. Door te leren van de daadwerkelijke uitkomsten van bewerkingshulpmiddelen via een geleerde rechter, grondt het systeem zijn beslissingen in empirische prestaties. Dit stelt het kader in staat om abstracte, open-ended instructies te hanteren die gecoördineerde, meerstaps transformaties vereisen, waardoor een kritieke beperking in huidige instructiegebaseerde beeldbewerkingssystemen wordt aangepakt. De auteurs benadrukken dat hun methode verbetert door interactie met tools en beoordeelde uitkomsten, en een schaalbare weg biedt voor complexe visuele redeneertaken.