Technische Samenvatting: Luisteren maakt Visie Helder voor VLMs

Probleemstelling

Vision-Language Models (VLMs) vereisen een betrouwbare semantische uitlijning tussen tekst en visie om ervoor te zorgen dat voorspellingen zijn gegrond in de juiste visuele regio's in plaats van in taalprioriteiten (language priors). Bestaande benaderingen beoordelen deze uitlijning doorgaans door de aandachtverdelingen van antwoord-zijde tokens (tokens die worden gegenereerd tijdens het decoderingsproces) te analyseren.

De auteurs observeren echter dat het vertrouwen op tokens aan de antwoord-zijde vaak leidt tot misuitlijning. Specifiek:

1. Decoding Drift: Terwijl het model autoregressief antwoorden genereert, accumuleren taalprioriteiten van eerder gegenereerde tokens in de context. Dit veroorzaakt dat het aandachtsmecanisme afdrijft, waarbij de hoogste aandacht niet langer overeenkomt met de beoogde semantische token (bijv. het letten op de vleugel van een eend in plaats van de nek wanneer er wordt gevraagd naar "eendennek").
2. Structurele Bias: Structurele tokens, zoals grensmarkeringen voor modaliteiten (bijv. <vision start>, <vision end>), omvatten vaak de gehele context en genereren hoge aandacht voor gebieden die niet gerelateerd zijn aan het doel-semantische bereik, wat systematische ruis introduceert.

Deze problemen resulteren in aandachtskaarten die er niet in slagen de ware visuele bewijslast voor een specifieke token accuraat te reflecteren, wat de betrouwbaarheid van interpreteerbaarheid en grounding-evaluaties ondermijnt.

Methodologie: PV-TAM

Om deze verstoringen aan te pakken, stellen de auteurs Prompt-Vision Token Activation Map (PV-TAM) voor, een framework dat het perspectief verschuift van dynamische generatie aan de antwoord-zijde naar vaste prompt-zijde semantiek.

Kerncomponenten

1. Extractie aan de Prompt-zijde:
   In plaats van gegenereerde antwoord-tokens te analyseren, extraheert PV-TAM token-naar-visie activatiekaarten direct van de prompt-tokens (de invoervraag). Omdat prompt-tokens vaste inputs zijn en geen last hebben van de accumulatie van autoregressieve context, bieden ze een stabielere basis voor token-naar-visie grounding.

2. Denoising van Structurele Tokens:
   Het framework identificeert dat speciale structurele tokens (delimiters) ruimtelijke bias introduceren. Om dit te mitigeren, gebruikt PV-TAM een Denoising Filter:

   • Het extraheert de activatiekaarten van de doel-token ($A^t$) en de twee aangrenzende structurele tokens ($A^{s_1}, A^{s_2}$).
   • Het schat de structurele bias in als het gemiddelde van de kaarten van de aangrenzende structurele tokens.
   • Het trekt deze bias af van de doel-kaart: $D_t = A^t - \frac{1}{2}(A^{s_1} + A^{s_2})$.
   • Een ReLU-truncatie wordt toegepast om alleen positief bewijs te behouden.
   • Theoretische Rechtvaardiging: Onder de aannames van additieve decompositie en onbevooroordeelde boundary-deviaties, levert dit proces een onbevooroordeelde kaart op die het semantische signaal van de doel-token plus nul-gemiddelde residuele ruis representeert.

3. Foreground-Guided Verfijning (Optioneel):
   Om interferentie van prominente maar irrelevante achtergrondregio's verder te verminderen, past de methode optioneel een foreground-waarschijnlijkheidsmasker toe (gegenereerd door een kant-en-klaar model voor achtergrondverwijdering zoals rembg) via elementgewijze vermenigvuldiging.

Evaluatiemetrieken

In tegenstelling tot traditionele IoU-stijl metrieken die uitsluitend vertrouwen op gebinariseerde maskeroverlap, introduceert PV-TAM metrieken die gebruikmaken van de piekverdeling van aandacht en activatie-intensiteit:

• Target–Global Ratio (TGR): Meet het aandeel van de totale activatie-energie dat binnen de doelregio valt.
• Target–Dominant Ratio (TDR): Meet het aandeel van de activatie-energie in de doelregio relatief aan de dominante voorgrondregio (isoleert de focus op het doel van de achtergrondruis).
• Min Distance (Min-Dist): Berekent de geometrische afstand tussen de prominente aandachtspeken en het centrum van de grondwaarheid (ground-truth) doelregio.

Belangrijkste Bijdragen

1. Prompt-Vision Token Activation Map (PV-TAM): Een nieuw framework dat prompt-zijde tokens gebruikt om activatiekaarten te extraheren, waardoor de decoding drift en contextuele verstrengeling die inherent zijn aan generatie aan de antwoord-zijde effectief worden vermeden.
2. Structure-Token Denoising: Een methode om de systematische ruimtelijke bias geïntroduceerd door modaliteitsgrenzen te identificeren en af te trekken, wat resulteert in een "gedenoised" activatiekaart die de pure semantische uitlijning beter reflecteert.
3. Alignment-Georiënteerde Evaluatie: Het ontwerp van de TGR- en TDR-metrieken, die de lokalisatieprecisie kwantificeren door de aandachtverdeling en intensiteit te analyseren in plaats van alleen binaire maskeroverlap, wat een gevoeliger meetinstrument biedt voor falende uitlijning.

Experimentele Resultaten

De auteurs evalueerden PV-TAM op PartImageNet (fijnmazige onderdeelsegmentatie) en RefCOCO (referring expression comprehension) met behulp van meerdere VLM-backbones, waaronder Qwen2-VL, Qwen2.5-VL en InternVL.

• Prestaties: PV-TAM presteerde consistent beter dan state-of-the-art baselines (inclusief TAM, Grad-CAM, CP-LRP en Attention Rollout) op de TGR, TDR en Min-Dist metrieken.
• Prompt vs. Antwoord: In gecontroleerde studies waarbij hetzelfde model werd getest met zowel prompt-zijde als antwoord-zijde extractie, leverde de prompt-zijde benadering consistent superieure uitlijning op, wat bevestigt dat tokens aan de antwoord-zijde gevoelig zijn voor drift.
• Generalisatie: De methode toonde robuuste prestaties over verschillende model-schalen (van 1B tot 7B parameters) en architecturen.
• Ablatie: Het verwijderen van ofwel de prompt-zijde strategie of de denoising filter resulteerde in significante prestatieverliezen, wat de noodzaak van beide componenten valideert.

Betekenis en Claims

Het artikel beweert dat luisteren naar de prompt (het analyseren van vaste invoertokens) de visie helderder maakt voor VLMs door de ruis die tijdens autoregressieve generatie wordt geïntroduceerd te omzeilen.

• Diagnostisch Nut: PV-TAM dient als een praktisch diagnostisch instrument voor het analyseren van semantische uitlijning in VLMs zonder afhankelijk te zijn van gegenereerde outputs.
• Emergente Uitlijning: De resultaten suggereren dat fijnmazige woord-regio uitlijning van nature kan ontstaan als een bijproduct van het prompt-volgende generatieproces, zelfs zonder expliciete token-niveau uitlijning-verliezen tijdens de training.
• Toekomstige Toepassingen: De auteurs stellen voor dat deze prompt-zijde verklaringen kunnen dienen als lichtgewicht grounding-signalen voor kennisdistillatie (het bieden van zachte pseudo-maskers voor kleinere modellen) en als basis voor alignment-aware regularisatie tijdens de training om de visuele-linguïstische capaciteiten te verbeteren.

Het werk benadrukt dat hoewel aandachtsuitlijning geen causale verklaring garandeert, het wel een stabieler en accurater perspectief biedt voor het evalueren en verbeteren van de grounding-capaciteiten van grote VLMs.