Technische Samenvatting: Mechanismen voor Objectlocatie in Vision-Language Modellen

Probleemstelling

Visueel verankerde Taalmodellen (VLMs) hebben opmerkelijk succes bewezen bij het koppelen van visuele en tekstuele informatie voor taken zoals het beantwoorden van visuele vragen en het genereren van bijschriften. Ze worstelen echter vaak met fundamentele visietaken, met name de accurate classificatie en locatiebepaling van objecten. Hoewel de mechanismen die ten grondslag liggen aan classificatie bestudeerd zijn, blijven de processen die objectlocatie ondersteunen slecht begrepen. Deze kloof is kritiek, omdat VLMs vaak visuele kenmerken erven van CLIP, dat steunt op globale beeld-tekstsupervisie en de precisie op pixelniveau mist die vereist is voor detectie. Desondanks kunnen VLMs succesvol vragen beantwoorden die objectlocatie vereisen, wat suggereert dat ze ruimtelijke structuren construeren uit zwak verankerde representaties. Dit werk onderzoekt hoe deze locatiemechanismen binnen VLM-architecturen ontstaan.

Methodologie

De auteurs voeren een mechanistische interpretabiliteitsstudie uit op twee representatieve VLM-families: LLaVA-1.5 (een eenvoudige, interpreteerbare baseline die CLIP ViT en Vicuna gebruikt) en InternVL-3.5 (een state-of-the-art model met tokencompressie en verwerking van meerdere weergaven). De studie maakt gebruik van een zorgvuldig samengesteld subset van de COCO-validatiesplit, gefilterd om annotatiefouten en dubbelzinnige gevallen te verwijderen. Om hallucinaties te controleren die worden aangedreven door contextuele aanwijzingen, werd een aanvullende "object-verwijderde" dataset gemaakt met behulp van inpainting.

Het onderzoek maakt gebruik van een reeks mechanistische tools:

1. Token-ablaties: Systematisch verwijderen van specifieke visuele tokens (object-gealigneerd, register, op gradiënt gebaseerd of willekeurig) om hun bijdrage aan taakprestaties te beoordelen.
2. Containerisatietests: Kunstmatig uitbreiden van objectmaskers door tokens te dupliceren en interne tokenrangschikkingen te schudden om te testen of locatiebepaling afhankelijk is van tokenaanwezigheid of semantische coherentie.
3. Ablatie van meerdere weergaven: Afzonderlijk ablatie van globale (laagresolutie) en lokale (hoogresolutie) weergaven in InternVL om de verdeling van ruimtelijke versus semantische informatie te bepalen.
4. Positie-ontcoding: Trainen van lineaire classifiers op tussenliggende modellagen om te bepalen hoe goed ruimtelijke coördinaten gereconstrueerd kunnen worden uit token-embeddings.
5. Attention Knockout: Blokkeren van attention-stromen van beeldtokens naar objecttokens in gegroepeerde lagen om te identificeren waar taakspecifieke verwerking plaatsvindt.
6. Causale Mediatie-analyse (CMA): Gebruik van activatiepatching om de causale bijdrage van specifieke attention-heads aan classificatie- en locatietaken te kwantificeren, gemeten via het Mediatiefractie (MF).

Belangrijkste Bevindingen

1. Verankering door Containerisatie

Locatiebepaling wordt gedreven door een "containerisatie"-mechanisme. Het model groepeert object-gealigneerde tokens in een ruimtelijke container die de grenzen van het object definieert. Cruciaal is dat de voorspelde boks grotendeels onafhankelijk is van de interne semantische rangschikking van tokens binnen die grenzen. Experimenten toonden aan dat het schudden van tokens binnen een objectmasker of het kunstmatig uitbreiden van het masker met verkeerd geplaatste maar objectgerelateerde tokens ertoe leidde dat de voorspelde boks dienovereenkomstig schaalde, terwijl classificatie robuust bleef tegen dergelijke verstoringen.

2. Integratie van Meerdere Weergaven

In architecturen met dubbele weergaven (globaal en lokaal) draagt de globale weergave het dominante ruimtelijke signaal voor locatiebepaling, terwijl lokale hoogresolutie-crops voornamelijk de classificatie verfijnen, met name voor kleine objecten. De twee weergaven bieden complementaire, eerder dan redundante, bewijzen. Het verwijderen van globale tokens veroorzaakte een significante daling in de nauwkeurigheid van locatiebepaling, terwijl lokale verwijdering een kleiner effect had, hoewel beide weergaven noodzakelijk waren voor robuuste prestaties.

3. Impliciete Ruimtelijke Indeling Leren

De LLM reconstrueert de 2D-ruimtelijke structuur van het beeld vanuit de 1D-tokensequentie. Hoewel positionele informatie in de visuele backbone (ViT) verslechtert naarmate de diepte toeneemt, behoudt de multimodale projectie sterke signalen voor de hoeken van het beeld. Deze hoekankers stellen de LLM in staat om benaderende rijgrenzen en een roosterachtige indeling af te leiden, wat voldoende is voor ruimtelijke redenering.

4. Sparse, Taakkritische Attention-heads

Een zeer klein aantal attention-heads bemiddelt het causale effect voor zowel classificatie als locatiebepaling.

• Lagenverdeling: In LLaVA concentreren deze heads zich in vroege tot middenlagen; in InternVL verschijnen ze in midden tot late lagen.
• Taakspecificiteit: Hoewel vroege verwerking gedeeld is, zijn de dominante heads voor locatiebepaling en classificatie grotendeels disjunct.
• Sequentieel Mechanisme: Locatiebepaling is causaal afhankelijk van classificatie-kritieke heads. Het ablaten van heads die kritiek zijn voor classificatie degradeerde de prestaties van locatiebepaling aanzienlijk, wat wijst op een sequentieel mechanisme waarbij objectidentificatie voorafgaat aan ruimtelijke verankering.

Betekenis en Bijdragen

Dit werk biedt de eerste laag- en head-niveau verantwoording van locatiebepaling in VLMs. Door te onthullen dat locatiebepaling steunt op smalle, niet-redundante computationele paden in plaats van brede semantische begrip, daagt het papier de aanname uit dat VLMs ruimtelijke en semantische informatie uniform verwerken.

De auteurs beweren dat deze bevindingen een nieuw perspectief bieden op hoe VLMs ruimtelijke structuur bouwen vanuit zwak verankerde representaties. Specifiek suggereert de ontdekking van het "containerisatie"-mechanisme en de sequentiële afhankelijkheid van locatiebepaling van classificatie dat toekomstig modelontwerp en verankeringsdoelen kunnen worden geoptimaliseerd door:

• Het richten op specifieke attention-heads voor fine-tuning.
• Het implementeren van verankeringsbewuste attention-supervisie.
• Het ontwerpen van architecturen die ruimtelijke signalen beter behouden in vroege lagen of het geïdentificeerde "container"-mechanisme explicieter benutten.

De studie concludeert dat VLMs objecten niet zomaar "zien", maar ruimtelijke grenzen construeren via een gespecialiseerd, spaarzaam computationeel proces dat objectidentificatie scheidt van de definitie van ruimtelijke uitbreiding.