Technische Samenvatting: ReVisiT – Het Blootleggen van Visuele Semantiek in Visietokens om LVLM-Decoding te Sturen

Probleemstelling

Grote Visueel-Taalmodellen (LVLM's) integreren visuele perceptie met taalbegrip, maar lijden vaak aan objecthallucinaties, waarbij het model tekst genereert die objecten beschrijft die niet aanwezig zijn in het invoerbeeld. Hoewel de visuele informatie is gecodeerd in "visietokens" binnen de verborgen staten van het model, blijft het mechanisme waarmee deze tokens het decodeerproces beïnvloeden onderbelicht. Bestaande benaderingen behandelen visietokens vaak als statische hulpcontexten of vertrouwen op complexe trainingspijplijnen en inferentie met meerdere doorgangen om hallucinaties te mitigeren. Het centrale probleem dat wordt aangepakt, is hoe de intrinsieke semantische informatie binnen visietokens tijdens het decodeerproces effectief kan worden benut zonder architecturale wijzigingen of extra training.

Methodologie: ReVisiT

De auteurs stellen ReVisiT (Referencing Vision Tokens) voor, een trainingsvrije, modelonafhankelijke decodeerstrategie die is ontworpen om tekstgeneratie te sturen door dynamisch te verwijzen naar de meest relevante visietokens. De methode werkt in drie hoofdstappen bij elk decodeertijdstip $t$:

1. Constructie van een Contextbewust Woordenschatsubset:
   In plaats van te opereren over de volledige woordenschat, beperkt ReVisiT de woordenschatruimte dynamisch tot een subset $V_t^{cons}$. Deze subset wordt adaptief gedefinieerd op basis van de standaard uitvoerverdeling $p_\theta$ van de LVLM, waarbij tokens met kansen boven een drempel $\alpha \cdot \max(p_\theta)$ worden behouden. Deze beperking vermindert semantische afleiding en richt de decoding op plausibele kandidaten.

2. Selectie van Visietokens via Gelimiteerde Divergentie:
   De methode projecteert de verborgen staten van visietokens ($h_i^j$) uit kandidaat-decoderlagen $j$ op de gelimiteerde woordenschatsubset $V_t^{cons}$. Vervolgens wordt de Jensen-Shannon-divergentie (JSD) berekend tussen de standaard uitvoerverdeling en elke geprojecteerde verdeling van visietokens. De visietoken $(i^*, j^*)$ met de minimale JSD wordt geselecteerd als het meest contextueel relevante referentiesignaal.

   • Optimalisatie: Om efficiëntie te waarborgen, worden projecties van visietokens over de volledige woordenschat één keer vooraf berekend voordat de decoding begint. Tijdens de decoding worden deze gecachte projecties gesneden en gemaskeerd om te passen bij de dynamische subset $V_t^{cons}$, waardoor extra forward passes worden vermeden.

3. Logit-Refinement:
   De standaard uitvoerverdeling wordt verfijnd door deze te fuseren met de verdeling van de geselecteerde visietoken. Dit wordt bereikt via optelling in de log-ruimte (equivalent aan een Product-of-Experts-combinatie in de waarschijnlijkheidsruimte):
   $$l_{ReVisiT}(y_t) = \log p_\theta(y_t | h_{T+t-1}^L, V_t^{cons}) + \log p_\theta(y_t | h_{i^*}^{j^*}, V_t^{cons})$$
   De uiteindelijke verdeling wordt genormaliseerd over de gelimiteerde subset, en het volgende token wordt gesampled uit deze verfijnde verdeling.

Belangrijkste Bijdragen

1. Empirische Inzichten in Visietokens:
   Het artikel levert kwantitatief en kwalitatief bewijs dat visietokens intrinsiek interpreteerbare objectniveau-semantiek coderen. De auteurs tonen aan dat hoewel deze signalen vaak latent blijven bij ongelimiteerde decoding (waarbij gehallucineerde objecten kunnen worden geselecteerd ondanks dat objecten uit de grondwaarheid hoge kansen hebben), ze expliciet en goed uitgelijnd worden wanneer ze worden geprojecteerd over semantisch coherente woordenschatsubsetten.

2. ReVisiT-algoritme:
   De introductie van een eenvoudige, trainingsvrije decodeermethode die contextbewuste gelimiteerde divergentie gebruikt om visietokens te selecteren en te refereren. Deze benadering verfijnt logit's op token-niveau om visuele semantiek beter te incorporeren zonder externe modules, architecturale wijzigingen of inferentie met meerdere doorgangen te vereisen.

3. Uitgebreide Validatie:
   De methode wordt gevalideerd over zes modelgroottes (variërend van 7B tot 32B parameters) die drie verschillende architecturen bestrijken (LLaVA-1.5, Qwen2.5-VL en InternVL). De evaluatie omvat vijf benchmarks, waaronder hallucinatie-specifieke datasets (HallusionBench, CHAIR, POPE) en algemene taken (VQAv2, MMMU).

Experimentele Resultaten

• Reductie van Hallucinaties: ReVisiT reduceert hallucinaties consistent over alle geteste architecturen. Op de CHAIR-benchmark behaalt het concurrerende of superieure F1-scores in vergelijking met state-of-the-art baselines (zoals DoLa, VCD, M3ID) terwijl het objectdekking behoudt of verbetert. Op HallusionBench behaalt het de beste scores op vier van de vijf metrieken voor meerdere modellen.
• Generalisatie: De methode toont robuustheid op discriminatieve taken (POPE, VQAv2) en kennisintensief redeneren (MMMU), wat aangeeft dat de visuele grounding-signalen die door ReVisiT aan het licht worden gebracht, generaliseren over verschillende tastypee.
• Efficiëntie: In tegenstelling tot basismethoden die extra forward passes vereisen (zoals VCD, CODE) of projecties van tussenliggende lagen (DoLa), verhoogt ReVisiT de inferentielatentie slechts met 0,6% tot 2,0%. Het bereikt tot een 2$\times$ reductie in rekenkosten in vergelijking met baselines met meerdere doorgangen.

Betekenis en Claims

Het artikel claimt dat ReVisiT aantoont dat visietokens intrinsiek interpreteerbare semantiek coderen die kunnen worden ontgrendeld via semantisch coherente beperkingen. Door deze semantiek expliciet bloot te leggen in de taalruimte, biedt de methode een interpreteerbaar leidingsignaal voor generatie.

De auteurs positioneren ReVisiT als een schaalbare en breed toepasbare oplossing die visuele grounding verbetert zonder de rekenkundige overhead van bestaande intra-alignment- of post-alignment-methoden. Ze benadrukken dat de effectiviteit van de methode over diverse modelgroottes en architecturen suggereert dat de voorgestelde contextbewuste gelimiteerde divergentie een fundamenteel decodeersignaal vastlegt in plaats van een benchmark-specifieke heuristiek.

Erkende Beperkingen:
De auteurs merken op dat ReVisiT sterk afhankelijk is van de semantiek die is gecodeerd in de interne visietokens van het model, wat kan leiden tot een overdreven nadruk op perceptueel verankerde elementen ten koste van impliciet gezond verstandsredeneren. Bovendien kan de methode, als een methode op het moment van decoding, geen feitelijke fouten corrigeren die voortvloeien uit pretrainingsdata als visueel bewijs ontoereikend is, en integreert het geen externe kennisopvraging, hoewel het compatibel blijft met Retrieval-Augmented Generation (RAG)-pijplijnen. De evaluatie is momenteel beperkt tot open-source modellen in het bereik van 7–32B parameters.