InterCoG: Towards Spatially Precise Image Editing with Interleaved Chain-of-Grounding Reasoning

Probleemstelling

Bestaande instructiegebaseerde beeldbewerkingsmodellen (zoals diffusion-modellen en multimodale taalmodellen) hebben zich ontwikkeld tot krachtige tools voor algemene objectmanipulatie. Echter, ze kampen met significante beperkingen bij fijne-granulair bewerken in complexe, multi-entiteit scènes.

• Locatieprobleem: Modellen kunnen vaak wel begrijpen wat er bewerkt moet worden, maar falen in het nauwkeurig lokaliseren waar het doelwit zich bevindt, vooral als het doelwit niet visueel opvallend is of afhankelijk is van impliciete ruimtelijke redenering (bijv. "verander de kleur van de T-shirt van de vrouw die tussen twee kinderen staat").
• Onnauwkeurige Grounding: Bestaande methoden die gebruikmaken van vooraf gegenereerde regio's, coördinaten of ruwe maskers, blijken vaak te grof of onbetrouwbaar voor complexe scènes waar impliciete redenering nodig is om het juiste doelwit te identificeren.
• Inconsistentie: Er is vaak een discrepantie tussen het redeneerproces (waar het model denkt dat het doelwit is) en de daadwerkelijke uitvoering van de bewerking.

Methodologie: InterCoG

De auteurs stellen InterCoG (Interleaved Chain-of-Grounding) voor, een nieuw raamwerk dat tekst- en visuele redenering afwisselend (interleaved) combineert om ruimtelijk nauwkeurige bewerkingen mogelijk te maken. Het proces verloopt in vier stappen binnen één coherent redeneertraject:

1. Tekstuele Grounding (Positie-redenering): Het model analyseert de invoer (afbeelding + instructie) en voert eerst uitsluitend tekstuele redenering uit. Het leidt ruimtelijke relaties af om de locatie en identiteit van het doelwit expliciet te beschrijven (bijv. "de vrouw links van het kind").
2. Visuele Grounding: Gebaseerd op de tekstuele redenering, genereert het model visuele grounding-elementen: een afbeelding met een rood omlijnd kader (bounding box) en een semi-transparant masker dat het doelwit in de pixelruimte markeert. Dit maakt de redenering zichtbaar en verankert het doelwit.
3. Beschrijving Herformuleren: Het model herschrijft de oorspronkelijke bewerkingst instructie, nu verrijkt met de specifieke context en locatie die uit de grounding zijn voortgekomen, om de beoogde uitkomst te specificeren.
4. Uitvoering: Het model voert de daadwerkelijke beeldbewerking uit, geleid door de volledige keten van redenering en grounding.

Aanvullende Trainingsmodules:
Om dit paradigma te faciliteren, introduceert InterCoG twee hulpmodule voor training:

• Multimodale Grounding Reconstruction Supervision: Een maskerdecoder die wordt getraind om binaire maskers te reconstrueren op basis van zowel tekstuele als visuele features. Dit dwingt het model om intrinsieke grounding-features te leren en verbetert de precisie.
• Multimodale Grounding Reasoning Alignment: Een mechanisme dat de consistentie tussen de redeneringsfeatures (tekst en visueel) en de uiteindelijke bewerkingsfeatures afdwingt via cosine similarity-verliezen. Dit voorkomt "shortcut reasoning" en zorgt ervoor dat de uitvoering strikt overeenkomt met de redenering.

Dataset en Benchmark

Om dit raamwerk te ondersteunen, hebben de auteurs twee nieuwe resources ontwikkeld:

• GroundEdit-45K: Een dataset van 45.000 bewerkingsvoorbeelden met gedetailleerde "chain-of-grounding" annotaties. Elk voorbeeld bevat een instructie, tekst- en visuele redenering, en precieze bounding-box/masker-tags. De dataset is specifiek ontworpen voor complexe multi-entiteit scènes waar bestaande modellen falen.
• GroundEdit-Bench: Een evaluatiebenchmark met 100 real-world gevallen voor het testen van grounding-bewuste beeldbewerking.

Resultaten

Uitgebreide experimenten tonen aan dat InterCoG aanzienlijk beter presteert dan state-of-the-art methoden (zoals GPT-Image-1, Bagel, InstructPix2Pix, en GoT) op zowel de nieuwe GroundEdit-Bench als bestaande benchmarks (SmartEdit, GEdit-Bench).

• Kwaliteitsmetrieken: InterCoG behaalt de hoogste scores op Editing Grounding Accuracy (EGA) en Editing Score (ES). Bijvoorbeeld, op GroundEdit-Bench scoort InterCoG een EGA van 0.88 en een ES van 3.97, wat een duidelijke verbetering is ten opzichte van de beste concurrenten (Bagel: 0.62/2.65).
• Visuele Kwaliteit: De methode produceert bewerkte afbeeldingen met hoge semantische trouw en ruimtelijke consistentie, waarbij de context rondom het doelwit intact blijft.
• Ablatie-studies: De studies bevestigen dat zowel de afwisselende redenering (interleaved reasoning) als de alignment-modules essentieel zijn voor de prestaties. Zonder deze componenten neemt de precisie van de doelwitlocatie en de kwaliteit van de bewerking sterk af.
• Efficiëntie: Hoewel de methode iets meer latentie introduceert door de redeneringsstappen (ongeveer 26 seconden extra ten opzichte van Qwen-Image-Edit), blijft het GPU-geheugengebruik beheersbaar en vergelijkbaar met bestaande modellen.

Betekenis en Impact

InterCoG vertegenwoordigt een belangrijke doorbraak in het veld van instructiegebaseerde beeldbewerking door het probleem van ruimtelijke precisie in complexe scènes effectief aan te pakken.

• Redenering als brug: Het paper toont aan dat het integreren van expliciete redeneringsstappen (Chain-of-Thought) die zowel tekstuele als visuele grounding omvatten, essentieel is voor het oplossen van referentiële ambiguïteiten.
• Interpreteerbaarheid: Door de tussenstappen (tekstuele beschrijving en visuele markering) zichtbaar te maken, wordt het proces van het model transparanter en betrouwbaarder.
• Toekomstige richting: Het werk legt de basis voor toekomstige systemen die complexe, menselijke instructies kunnen volgen in real-world situaties, wat cruciaal is voor toepassingen zoals professionele foto-editing, content creatie en visuele assistentie.

Kortom, InterCoG lost het fundamentele probleem op van "waar bewerken" door een geïntegreerde redeneringsketen te creëren die semantisch begrip koppelt aan pixel-nauwkeurige uitvoering.