🤖 AI

Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders

Dit artikel introduceert "Analysis-by-Proxy", een framework dat onthult hoe Vision-Language Models die worden gebruikt als conditionele encoders voor beeldbewerking er niet in slagen om cruciale lokalisatiesignalen te propageren in een enkele forward pass, aangezien deze ruimtelijke representaties verborgen blijven in tussenliggende lagen in plaats van de vooraf gedefinieerde conditioningpunten te bereiken die door huidige pipelines worden gebruikt.

Oorspronkelijke auteurs: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yoav Baron, Sara Dorfman, Roni Paiss, Daniel Cohen-Or, Or Patashnik

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Slimme" Model versus de "Onhandige" Redacteur

Stel je voor dat je een briljante, hoogopgeleide architect hebt (het Vision-Language Model, of VLM). Deze architect is geweldig in het bekijken van een foto en een geschreven instructie zoals: "Verwijder de bij op de bovenkant van de zonnebloem," en weet direct precies waar die bij zich bevindt. Als je de architect vraagt om het aan te wijzen, heeft hij het in 89% van de gevallen goed.

Echter, wanneer je deze architect inhuurt als voorman voor een bouwploeg (de Image Editing Pipeline), gaat het mis. De voorman vertelt de ploeg: "Ga de bij repareren," maar de ploeg eindigt met het verven van de verkeerde bloem, het verwijderen van de hele zonnebloem, of het hallucineren van een bij die er niet was. De ploeg krijgt het slechts in 57% van de gevallen goed.

Het Mysterie: Waarom weet de architect het antwoord perfect, maar faalt de bouwploeg zo erg?

De Hypothese van het Papier: De "Eénrichtingsweg" versus het "Gesprek"

De auteurs ontdekten dat het probleem niet is dat de architect slecht is in het vinden van bijen. Het probleem is hoe de architect gevraagd wordt om de klus te klaren.

De Superkracht van de Architect: De architect is getraind om een gesprek te voeren. Als je een vraag stelt, denkt de architect, geeft antwoord, denkt opnieuw na en verfijnt zijn antwoord. Dit "heen-en-weer" (genoemd autoregressieve generatie) helpt hem om diep in zijn geheugen te graven om de exacte locatie van de bij te vinden.
De Bouwklus: Bij het bewerken van afbeeldingen wordt de architect gedwongen om in stilte te werken. Hij krijgt de foto en de instructie, en moet onmiddellijk een enkele set instructies uitspuwen. Hij mag niet "hardop denken" of een gesprek genereren.

Het papier betoogt dat wanneer je de architect dwingt om in deze "stille, one-shot" modus te werken, de specifieke details over waar de bij zich bevindt, diep in zijn brein begraven raken. De uiteindelijke instructies die hij naar de ploeg stuurt, zijn te vaag, ook al weet de architect het antwoord eigenlijk wel.

De Oplossing: De "Spion" (Analysis-by-Proxy)

Omdat de architect in deze stille modus niet direct met ons zal praten, hebben de onderzoekers een Spion uitgevonden, die ze een Proxy noemen.

De Opstelling: In plaats van de architect te vragen een lang verhaal te schrijven (wat hij in deze modus niet kan), plaatsten de onderzoekers een kleine, superintelligente detective (de Proxy) in de hersenen van de architect.
De Missie: De enige taak van de detective is om naar de interne gedachten van de architect te kijken (de verborgen lagen van het neurale netwerk) en te proberen de coördinaten van de bij te raden.
De Ontdekking: De detective ontdekte dat de informatie over de "locatie van de bij" niet in de laatste gedachten van de architect zat (de laatste laag). Het zat verborgen in de middelste lagen, als een geheim briefje dat tussen vrienden in een klaslokaal wordt doorgegeven.
- Analogie: Stel je voor dat de architect een bibliotheek is. De laatste laag is het "Samenvattingsboek" bij de receptie—het is te algemeen. De middelste lagen zijn de specifieke planken waar de gedetailleerde kaarten worden bewaard. De bouwploeg las alleen het Samenvattingsboek, maar de kaart lag eigenlijk op Plank 15.

De "Dynamische" Twist: Het is niet altijd Plank 15

De onderzoekers ontdekten iets nog interessanter. De locatie van het "geheime briefje" verandert afhankelijk van de vraag.

Als je vraagt naar een bij op een zonnebloem, ligt de kaart op Plank 15.
Als je vraagt naar een bij op een andere bloem, ligt de kaart misschien op Plank 18.

De standaard bewerkingstools waren als een bibliothecaris die altijd naar Plank 20 keek, ongeacht de vraag. Daarom bleven ze falen. Het "geheim" verplaatst zich op basis van de specifieke afbeelding en tekst.

Hoe ze het hebben opgelost

De onderzoekers gebruikten hun Spion (de Proxy) om het geheime briefje in de middelste lagen te vinden, de coördinaten te lezen, en vervolgens fysiek een kader rond de bij te tekenen op de foto voordat ze deze aan de bouwploeg overhandigden.

Het Resultaat: Toen de bouwploeg het kader zag dat door de Spion was getekend, stopten ze met gokken. Ze wisten precies waar ze moesten werken. Het bewerken werd nauwkeurig en ze stopten met het verven van de verkeerde bloemen.

De Kernboodschap

Dit papier leert ons dat alleen omdat een slim AI-model weet waar iets is, betekent dit niet dat de tools die het model gebruiken het ook kunnen zien.

Oude Manier: Vraag het slimme model om een definitieve samenvatting en hoop dat deze gedetailleerd genoeg is. (Dat is meestal niet zo).
Nieuwe Manier: Gebruik een lichtgewicht "spion" om in de middelste lagen van het model te kijken, de specifieke details te vinden die daar verborgen liggen, en die details rechtstreeks aan de bewerkingstool te geven.

Door dit te doen, bewezen de onderzoekers dat de "onhandige" bewerkingsfouten niet kwamen doordat de AI dom was; het kwam doordat de bewerkingspipeline op de verkeerde plek naar het antwoord zocht.

Technische Samenvatting: Analysis-by-Proxy: Lokalisatiesignalen in VLMs die opereren als Condition Encoders

Probleemstelling

Vision-Language Models (VLMs) zijn de standaard geworden als ruggengraat voor het conditioneren van diffusie-gebaseerde beeldbewerkingsmodellen vanwege hun geavanceerde multimodale redeneervermogen. Er bestaat echter een aanzienlijke prestatiekloof: terwijl zelfstandige VLMs sterke lokalisatiecapaciteiten vertonen wanneer ze autoregressief tekst genereren, falen beeldbewerkingspipelines die VLMs gebruiken als condition encoders vaak in het nauwkeurig lokaliseren van bewerkingen, met name in complexe scènes met meerdere entiteiten.

Huidige bewerkingspipelines behandelen de VLM doorgaans als een niet-generatieve encoder, die inputs verwerkt in een enkele forward pass en conditionering-signalen extraheert uit een vooraf gedefinieerde, input-onafhankelijke subset van lagen (vaak de laatste laag). De auteurs hypothetiseren dat deze operationele modus de VLM beperkt in het volledig bloot te leggen van zijn ruimtelijke begrip, dat geoptimaliseerd is voor autoregressieve generatie. Als gevolg hiervan kunnen cruciale lokalisatiesignalen verborgen blijven binnen intermediaire representaties of niet naar de lagen propageren die geselecteerd zijn voor conditionering, wat leidt tot mislokalisatie, hallucinatie of incorrecte attributietoepassing in het uiteindelijke bewerkte beeld.

Methodologie: Analysis-by-Proxy

Om de interne mechanismen van VLMs onder single-pass beperkingen te onderzoeken en verborgen ruimtelijke signalen te herstellen, introduceren de auteurs Analysis-by-Proxy, een framework ontworpen om VLM-representaties te onderzoeken zonder te vertrouwen op autoregressieve tekstgeneratie.

1. Het Proxy-model

Het framework maakt gebruik van een lichtgewicht, interpreteerbare Q-Former als een proxy voor de downstream Diffusion Transformer (DiT). In tegenstelling tot de DiT, die opereert met complexe generatieve doelstellingen, is de Q-Former getraind op een hanteerbare hulp taak: het voorspellen van de bounding box coördinaten $(x_1, y_1, x_2, y_2)$ van een doelobject direct vanuit de verborgen toestanden van de VLM.

Architectuur: De Q-Former maakt gebruik van leerbare queries die cross-attentie toepassen op een subset van VLM verborgen toestanden $\{H^{(l)}\}$ en self-attentie toepassen.
Trainingsdoelstelling: De proxy wordt geoptimaliseerd met behulp van een combinatie van Generalized Intersection over Union (GIoU) en L1 loss om bounding boxes te voorspellen.
Ground Truth: De ground truth bounding boxes worden verkregen door de VLM in zijn natuurlijke autoregressieve modus te prompten, wat ervoor zorgt dat de proxy de ruimtelijke informatie leert te decoderen die de VLM inherent bezit.

2. Onderzoek naar Signaalverdeling

Met behulp van dit framework voeren de auteurs een granulaire analyse uit naar waar de lokalisatie-informatie zich bevindt binnen de VLM:

Laag-gewijze Analyse: Door onafhankelijke proxies te trainen op verborgen toestanden van specifieke lagen, bepalen zij welke lagen de meest decodeerbare ruimtelijke signalen bevatten.
Attention Decompositie: De auteurs analyseren de attention weights van de Q-Former queries om "beslissende" attention heads te identificeren. Deze heads fungeren als dynamische routers, waarbij ze de aandacht concentreren op specifieke VLM-lagen en specifieke tokens afhankelijk van de input prompt.
Token-niveau Analyse: Binnen de geïdentificeerde dominante lagen onderzoeken de auteurs welke tokens het ruimtelijke signaal dragen, waarbij zij ontdekken dat dit spaarzaam gecodeerd is in semantisch significante zelfstandige naamwoorden en bijvoeglijke naamwoorden die de doelbewerking definiëren.

3. Herstel en Integratie van Signalen

Om te valideren dat deze verborgen signalen de bewerking kunnen verbeteren, stellen de auteurs een tweestaps-inferentiepipeline voor:

Signaalextractie: Een enkele VLM forward pass extraheert intermediaire verborgen toestanden, die de getrainde Q-Former gebruikt om de doel bounding box te voorspellen.
Conditionering: De voorspelde bounding box wordt visueel over de bronafbeelding gelegd. Deze afbeelding (met de box) wordt via een VAE in de latent space van de DiT gecodeerd.
Bewerking: De DiT wordt geconditioneerd op zowel de originele tekstinstructie als de expliciete ruimtelijke marker (de box), waardoor het wordt gestuurd om de bewerking precies te lokaliseren.

Belangrijkste Bijdragen

Identificatie van de Lokalisatiekloof: Het artikel toont empirisch een daling van 31,5% in lokalisatienauwkeurigheid aan wanneer VLMs worden gebruikt als single-pass condition encoders vergeleken met hun autoregressieve capaciteiten (89,0% vs. 57,5% op een gecureerde multi-entity dataset).
Analysis-by-Proxy Framework: Een nieuwe methode voor het analyseren van VLMs in niet-generatieve settings. Het onthult dat ruimtelijke kennis niet verloren gaat, maar verdund wordt in de laatste lagen en dynamisch verdeeld is over intermediaire lagen en specifieke tokens.
Ontdekking van Signaal-Sparsiteit: De studie onthult dat lokalisatiesignalen sterk geconcentreerd zijn. Ze pieken in intermediaire lagen (specifiek lagen 15–24 in de Qwen2.5-VL backbone) en zijn bijna uitsluitend gecodeerd binnen enkele semantisch kritieke tokens, in plaats van uniform verdeeld te zijn.
Praktisch Herstelmechanisme: De auteurs demonstreren dat het distilleren van deze intermediaire signalen naar expliciete ruimtelijke bounding boxes de lokalisatieprestaties van bestaande bewerkingspipelines aanzienlijk verbetert, waardoor veelvoorkomende foutmodi zoals het wijzigen van het verkeerde object of excessieve verwijdering worden opgelost.

Resultaten

Kwantitatieve Evaluatie: Door een Vision Question Answering (VQA) metriek te gebruiken via Gemini 2.5 Pro om het succes van de semantische bewerking te beoordelen en LPIPS om de achtergrondbehoud te meten, behaalde de voorgestelde methode de hoogste gemiddelde VQA-score onder de state-of-the-art baselines (inclusief FLUX.2, FIBO-Edit en Qwen-Image-Edit).
Baseline Vergelijking: De methode presteerde beter dan de standaard Qwen-Image-Edit pipeline en andere conditioneringstrategieën (bijv. norm-averaging over lagen). Opvallend genoeg presteerde een autoregressieve "Full Description" baseline ook goed, wat de hypothese bevestigt dat sequentiële decodering helpt om ruimtelijke cues naar boven te brengen die latent zijn in single-pass modi.
Kwalitatieve Verbeteringen: Visuele resultaten laten zien dat de proxy-gestuurde aanpak lokalisatiefouten succesvol corrigeert, waardoor wordt gewaarborgd dat bewerkingen strikt worden toegepast op de beoogde doelobjecten in complexe scènes, terwijl baseline methoden vaak faalden in het onderscheiden van gelijkaardige entiteiten.

Betekenis en Claims

Het artikel claimt een principieel fundament te bieden voor het begrijpen en ontwerpen van conditioning architecturen in tekstgestuurde beeldbewerking. Door te onthullen dat standaard extractiestrategieën (die vertrouwen op de laatste lagen of vaste laagconfiguraties) fundamenteel suboptimaal zijn voor ruimtelijke taken, pleit het werk voor een verschuiving in de manier waarop informatie wordt geëxtraheerd uit conditioning modellen.

De auteurs stellen dat hun bevindingen een dieper begrip vestigen van de interne mechanismen van VLMs in single-pass regimes. Zij stellen voor dat toekomstige conditioning designs moeten bewegen van fixed-layer extractie naar input-afhankelijke strategieën die de meest informatieve representaties (lagen en tokens) dynamisch selecteren voor een gegeven taak. Deze aanpak beoogt een balans te vinden tussen de efficiëntie van single-pass inferentie en de rijke ruimtelijke redeneervermogens die inherent zijn aan VLMs, wat uiteindelijk leidt tot nauwkeurigere en betrouwbaardere beeldbewerkingsinstrumenten.