Agent Banana: High-Fidelity Image Editing with Agentic Thinking and Tooling

Agent Banana is een hiërarchisch agent-systeem dat door middel van contextvouwing en afbeeldingslaag-decompositie professionele, meervoudige beeldbewerkingen met hoge fideliteit en objectgetrouwheid mogelijk maakt, terwijl het tegelijkertijd een nieuw 4K-evaluatiekader (HDD-Bench) introduceert om langdurige fouten te diagnosticeren.

De kern

Stel je voor dat je een digitale fotograaf bent die een heel complexe opdracht krijgt: "Maak van deze foto een winterlandschap, maar verander de kleur van de auto naar rood, en zorg dat de sneeuw er echt uitziet zonder dat de bomen in de verte vervormen."

De meeste huidige AI-foto-editors zijn als een onervaren stagiair. Als je ze zo'n opdracht geeft, doen ze vaak het volgende:

1. Ze veranderen de auto in rood, maar vergeten de sneeuw.
2. Ze maken de sneeuw perfect, maar veranderen per ongeluk ook de vorm van de auto.
3. Als je zegt: "Nee, de auto moet oranje zijn," proberen ze het opnieuw, maar dan is de achtergrond al een beetje wazig geworden. Elke keer dat ze iets aanpassen, wordt de hele foto een beetje minder scherp, alsof je een kopie van een kopie maakt.

Agent Banana is de meester-architect die dit probleem oplost. Het is een slim systeem dat niet alleen "tekst naar beeld" doet, maar echt nadenkt over wat je wilt, net als een professionele fotobewerker.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Drie-Lagen" Methode (In plaats van alles opnieuw te schilderen)

Stel je voor dat je een schilderij hebt. Een gewone AI pakt het hele doek, veegt het af en schildert het opnieuw, inclusief de achtergrond die je niet wilde veranderen. Dat is inefficiënt en maakt het schilderij wazig.

Agent Banana werkt anders. Het gebruikt een lasermethode:

• Het knipt precies het stukje uit waar je aan wilt werken (bijvoorbeeld alleen de auto).
• Het schildert alleen dat stukje opnieuw op een los vel papier (een "laag").
• Het plakt dat nieuwe stukje perfect terug in het originele schilderij.

Dit betekent dat de rest van de foto (de bomen, de lucht, de sneeuw) 100% onveranderd en haarscherp blijft, zelfs als je de foto in 4K-kwaliteit (zeer hoog detail) bewerkt.

2. De "Slimme Geheugenbank" (Geen vergeten instructies)

Bij lange sessies met veel stappen (eerst de auto, dan de sneeuw, dan de lucht) raken gewone AI's vaak de draad kwijt. Ze vergeten wat ze in stap 1 hebben gedaan, of ze verwarren stap 2 met stap 1.

Agent Banana heeft een slim geheugen (noemen ze "Context Folding").

• Het houdt niet elke losse gedachte of elke mislukte poging in het hoofd.
• In plaats daarvan vat het de geschiedenis samen in een strakke "stappenlijst".
• Het onthoudt: "We hebben de auto rood gemaakt, en de sneeuw is wit." Het vergeet niet wat er al is gebeurd, zelfs niet na 10 verschillende stappen. Zo blijft het resultaat consistent.

3. De "Controleur" (Niet te veel doen)

Een groot probleem bij AI is dat ze soms te veel doen. Je vraagt om een rode auto, en de AI maakt ook de weg rood en de lucht roze.

Agent Banana heeft een eigen kwaliteitscontroleur ingebouwd.

• Voordat het het resultaat aan jou laat zien, kijkt het zelf kritisch: "Heb ik alleen de auto veranderd? Is de rest nog hetzelfde?"
• Als het ziet dat het per ongeluk de achtergrond heeft aangetast, zegt het: "Nee, dat is niet goed," en doet het stukje opnieuw.
• Dit zorgt ervoor dat het systeem niet "over-edit" (te veel aanpast) en precies doet wat je bedoelt.

Waarom is dit belangrijk? (De HDD-Bench)

Om te bewijzen dat dit werkt, hebben de makers een nieuwe test ontwikkeld, genaamd HDD-Bench.

• Oude tests waren als een quiz met één vraag: "Maak een hond."
• Deze nieuwe test is als een complexe opdracht in een professionele studio: "Verander de hond in een kat, maak de achtergrond donkerder, en zorg dat de schaduw klopt, en doe dit in 3 stappen."
• De test kijkt niet alleen naar het eindresultaat, maar ook naar of de tussenstappen logisch waren en of de foto niet wazig werd door het herhaaldelijk aanpassen.

Samenvatting

Agent Banana is een slimme, nadenkende AI die foto's bewerkt alsof het een professionele editor is. Het:

1. Werkt in ultra-hoge kwaliteit (4K) zonder dat de foto wazig wordt.
2. Verandert alleen wat je vraagt, en laat de rest perfect intact.
3. Onthoudt elke stap van een lange conversatie, zodat je niet hoeft te beginnen bij nul als je iets wilt aanpassen.

Het is de stap van "een AI die een beetje kan tekenen" naar "een AI die een professionele fotobewerker kan vervangen."

Technische samenvatting

Probleemstelling

Hoewel er recente vooruitgang is geboekt in instructiegebaseerde beeldbewerking (image editing) met behulp van foundation modellen (zoals diffusion en autoregressive transformers), bestaat er nog steeds een aanzienlijke kloof tussen huidige modellen en de eisen van professionele workflows. De auteurs identificeren drie aanhoudende uitdagingen:

1. Over-bewerking (Over-editing): Modellen wijzigen vaak inhoud die niet door de gebruiker was bedoeld, wat leidt tot het verlies van niet-doelgebieden.
2. Beperkte multi-turn interactie: Bestaande modellen zijn grotendeels beperkt tot één ronde (single-turn). Bij meervoudige bewerkingen (multi-turn) neemt de betrouwbaarheid van objecten af en ontstaan er fouten die zich ophopen.
3. Resolutie-misalignement: Evaluaties vinden vaak plaats bij lage resoluties (rond de 1K), terwijl professionele workflows werken met ultrahoge resoluties (bijv. 4K of hoger). Bestaande modellen verwerken beelden vaak via downsampling, wat fijne texturen en scherpe randen vernietigt.

Methodologie: Agent Banana

Om deze problemen op te lossen, stellen de auteurs Agent Banana voor: een hiërarchisch agentisch framework dat redeneren en planning koppelt aan tool-gebruik voor hoogwaardige, native-resolutie beeldbewerking. Het systeem bestaat uit twee gespecialiseerde agenten: een Planner (voor globale taakontleding) en een Executor (voor lokale uitvoering).

Het framework rust op twee kernmechanismen:

1. Context Folding (Contextvouwing):

   • Doel: Het oplossen van het probleem van "context overflow" bij lange interacties.
   • Werking: In plaats van de volledige interactiegeschiedenis (tekst en beeld) direct aan de LLM te geven, wordt deze "gevouwen" in gestructureerde geheugenniveaus:
     • Asset Level: Een lichtgewicht semantische beschrijving van de afbeelding (URI, tekstuele beschrijving, transformatietype).
     • Execution Level: Transiënt werkgeheugen voor de huidige stap (tool-selectie, parameters).
     • Planning Level: Persistente geheugenstructuur die alleen de geverifieerde, effectieve bewerkingspaden vastlegt.
   • Dit zorgt voor stabiele state-tracking zonder de tokenlimiet van het LLM te overschrijden.

2. Image Layer Decomposition (ILD):

   • Doel: Het voorkomen van detailverlies en "drift" in niet-bewerkte gebieden.
   • Werking: In plaats van het hele beeld opnieuw te genereren, gebruikt ILD een dynamisch masker om het doelgebied te isoleren. Het originele hoog-resolutie beeld wordt lokaal uitgesneden ("layer patch") en alleen op dat specifieke gebied bewerkt.
   • De bewerkte patch wordt vervolgens naadloos teruggevoegd in het originele beeld met behulp van Gaussische mengalgoritmen. Dit behoudt de pixel-perfecte integriteit van de achtergrond en ondersteunt native 4K-editing zonder downsampling.
   • Het systeem definieert vijf atomaire acties: replace, remove, add, adjust, en undo.

Het proces verloopt in een gesloten lus: de Planner deconstrueert complexe prompts in atomaire stappen, de Executor voert deze uit met ILD, en een zelfreflectie-mechanisme (Quality Test) controleert de kwaliteit. Bij fouten kan het systeem terugrollen (rollback) of opnieuw plannen.

Belangrijkste Bijdragen

1. Agent Banana Framework: Een nieuw agentic systeem dat redeneren, planning en toolgebruik combineert voor professionele, multi-turn beeldbewerking op native resolutie.
2. HDD-Bench (High-Definition Dialogue-based Benchmark): Een nieuw evaluatiebenchmark specifiek ontworpen voor professionele workflows.
   • Het bevat 96 sessies met 3-rondes interactie.
   • Het werkt met native 4K-afbeeldingen (11,8 miljoen pixels).
   • Het biedt stap-voor-stap verifieerbare doelen via een symbolische state-representatie (object-attribute paren), wat diagnose van lange-termijnfouten mogelijk maakt.
3. Nieuwe Evaluatiemetrics: Introductie van Otsu-masked metrics (PSNROM, SSIMOM, LPIPSOM) om specifiek de kwaliteit van de niet-bewerkte achtergrond te meten, en het concept Prior-Induced Editing Drift (PIED) om de geleidelijke degradatie van niet-doelgebieden in multi-turn sessies te kwantificeren.

Resultaten

Op de HDD-Bench presteert Agent Banana state-of-the-art:

• Multi-turn consistentie: Het behaalt de beste scores voor beeldconsistentie (IC: 0,871) en achtergrondtrouw (SSIMOM: 0,84, LPIPSOM: 0,12).
• Native Resolutie: Het is een van de weinige modellen dat effectief werkt op native 4K-resolutie, terwijl concurrenten vaak downsamplen naar 1K.
• Vergelijking: Het presteert beter dan sterke baselines zoals Nano Banana Pro, GPT Image 1, FLUX.1 Kontext en Qwen-Image, vooral wat betreft het behoud van details en het vermijden van over-bewerking.
• Ablatie-studies: De studie toont aan dat een sterke basis-LLM (GPT-5-mini) essentieel is voor het begrijpen van instructies en het plannen van complexe workflows; zwakkere modellen leiden tot workflow-onderbrekingen.

Significantie en Impact

Dit werk markeert een verschuiving van experimentele "single-turn" demos naar betrouwbare, professionele beeldbewerkingsworkflows.

• Professionele Toepasbaarheid: Door native 4K-editing en het vermijden van "drift" in niet-doelgebieden, wordt het systeem geschikt voor gebruik in fotografie, grafisch ontwerp en VFX.
• Verifieerbaarheid: De introductie van HDD-Bench en de stapsgewijze evaluatieprotocol biedt de gemeenschap een manier om lange-termijn fouten (zoals accumulatie van artefacten) te diagnosticeren, in plaats van alleen het eindresultaat te beoordelen.
• Veiligheid en Ethiek: De auteurs benadrukken dat sterkere bewerkingscapaciteiten ook risico's met zich meebrengen (misleidende content). Hun focus op controleerbaarheid en audit-mogelijkheden is gericht op het detecteren van fouten en het waarborgen van toestemming, in plaats van het optimaliseren voor onbeperkte manipulatie.

Kortom, Agent Banana biedt een robuust, schaalbaar en hoogwaardig raamwerk dat de kloof tussen generatieve AI en professionele beeldbewerkingsvereisten dicht.