Technische Samenvatting: LOOKBACK – Waar en hoe te scoren op basis van visuele referentie-gebruik bij LVLM-responsen

1. Probleemstelling

Large Vision-Language Models (LVLMs) integreren visuele perceptie met taalgeneratie, maar lijden aan een specifiek type hallucinatie: het produceren van vloeiende, plausibele reacties die niet gegrond in de invoerafbeelding zijn. Terwijl bestaande methoden voor het verbeteren van betrouwbaarheid, zoals Best-of-N (BoN) selectie, vertrouwen op het scoren van kandidaat-responsen om de beste te selecteren, zijn huidige scoringsmechanismen ontoereikend voor LVLMs.

Het artikel identificeert een kritieke kloof in output-ruimte vertrouwen (bijv. token-waarschijnlijkheid of Zelf-Zekerheid). Diagnostiek wijst uit dat deze vertrouwensscores grotendeels ongevoelig zijn voor de visuele invoer. Het verwijderen van de afbeelding uit de invoercontext verandert de vertrouwen-gebaseerde selectie van de hoogst gerangschikte respons nauwelijks. Dit geeft aan dat output-ruimte vertrouwen primair tekstuele plausibiliteit (linguïstische vloeiendheid) vangt in plaats van visuele gronding (overeenstemming met de afbeelding). Bijgevolg faalt het vertrouwen alleen al om onderscheid te maken tussen responsen die linguïstisch vloeiend maar visueel gehallucineerd zijn versus responsen die getrouw zijn aan de afbeelding.

2. Methodologie: LOOKBACK

Om dit aan te pakken, stellen de auteurs LOOKBACK voor, een training-vrije, model-intrinsieke methode voor het scoren van LVLM-responsen. LOOKBACK vult token-waarschijnlijkheid aan met een visuele lookback-score, een lichtgewicht maatstaf voor hoe sterk elk gegenereerd token terugverwijst naar de visuele invoer. De methode werkt in drie stadia:

A. Visuele Lookback-score ($A_t$)

De auteurs maken gebruik van de interne aandachtmechanismen van de LVLM. Omdat LVLMs afbeeldingen verwerken als expliciete visuele tokens binnen de causale context, kan elke gegenereerde token-voorspelling direct aandacht schenken aan deze visuele tokens.

• Definitie: Voor een gegenereerd token $y_t$ is de visuele lookback-score $A_t$ het fractie van het aandachtsgewicht dat vanuit de voorspellingsstap naar de visuele tokens ($P_v$) wordt gericht over alle lagen en aandachtskoppen (attention heads).
• Betekenis: $A_t$ dient als een proxy voor visueel referentie-gebruik. Het is hoog voor tokens die objecten, attributen of relaties beschrijven die aanwezig zijn in de afbeelding, en laag voor generieke functiewoorden.

B. Lookback-gekalibreerde Token-score ($u_t$)

LOOKBACK combineert de output-ruimte vertrouwen van het model ($p_t$) met de visuele lookback-score ($A_t$) om een gekalibreerde token-score te vormen:
$$u_t = \log(p_t) + \alpha \log(A_t)$$

• Hier is $\alpha$ een hyperparameter die de sterkte van de kalibratie regelt.
• Deze formulering zorgt ervoor dat tokens met een hoge vertrouwensgraad maar lage visuele aandacht (hallucinaties) een lagere score krijgen, terwijl tokens die zowel zelfverzekerd als visueel gegrond zijn, worden bevoordeeld.

C. Visuele Relevantie-weging en Aggregatie

Niet alle tokens dragen evenveel bij aan visuele gronding. LOOKBACK aggregeert token-scores met behulp van een visuele relevantieverdeling ($q_\lambda$) in plaats van een uniform gemiddelde.

• Verdeling: $q_\lambda$ wordt afgeleid door een entropie-geregulariseerde relevantie-doelstelling te maximaliseren, waarbij de waarschijnlijkheidsmassa wordt geconcentreerd op tokens met hoge visuele lookback-scores ($A_t$).
• Eindscore: De uiteindelijke respons-score $S(y)$ is de verwachte waarde van de gekalibreerde token-scores onder deze verdeling:
  $$S(y) = \sum_{t=1}^{T} q_\lambda(t) \cdot u_t$$
  Dit zorgt ervoor dat de eindscore zwaar wordt beïnvloed door tokens die zowel zelfverzekerd als sterk verbonden zijn met de visuele input.

3. Belangrijkste Bijdragen

1. Diagnostisch Inzicht: Het artikel levert empirisch bewijs dat standaard output-ruimte vertrouwensmetrieken (zoals Self-Certainty) grotendeels ongevoelig zijn voor afbeeldingen, waardoor ze falen in het detecteren van visuele hallucinaties in Best-of-N selectie-omgevingen.
2. Training-vrije Scoring: LOOKBACK introduceert een methode om LVLM-responsen te scoren zonder externe beloningsmodellen, extra training of extra inferentie-passes te vereisen. Het maakt enkel gebruik van interne signalen (token-waarschijnlijkheden en aandachtsgewichten) die beschikbaar zijn tijdens de generatie.
3. Token-niveau Complementariteit: Het werk toont aan dat output-ruimte vertrouwen en visuele lookback-scores complementaire aspecten van generatie vastleggen: vertrouwen bevoordeelt linguïstische voorspelbaarheid, terwijl lookback visuele referentie bevoordeelt.
4. Efficiënte Aggregatie: Door tokens te wegen op basis van visuele relevantie, geeft LOOKBACK prioriteit aan diagnostische inhoudswoorden (zelfstandige naamwoorden, attributen) boven generieke vloeiendheidswoorden in de uiteindelijke scoring.

4. Experimentele Resultaten

De auteurs evalueerden LOOKBACK over vier benchmarks (VQAv2, CHAIR, AMBER, HallusionBench) en drie representatieve LVLMs (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B).

• Prestaties: LOOKBACK presteerde consequent beter dan bestaande baselines, inclus\n bij de taalzijde-methoden (Self-Certainty, Universal Self-Consistency) en de visie-zijde-methoden (CLIPScore, VAUQ).
  • Het behaalde de hoogste gemiddelde model-gewijze prestatie over alle drie de LVLMs.
  • Het verbeterde de Best-of-N selectie-nauwkeurigheid met ongeveer 4,97% relatieve winst ten opzichte van willekeurige selectie en versloeg consequent de Self-Certainty baseline.
• Schaalbaarheid: Naarmate de kandidaat-pool grootte ($N$) toenam van 1 naar 25, behield LOOKBACK een consistent voordeel over de baselines, terwijl andere methoden verminderde rendementen of instabiliteit vertoonden.
• Efficiëntie: LOOKBACK veroorzaakte verwaarloosbare computationele overhead vergeleken met de generatietijd. Het was aanzienlijk sneller dan methoden die perturbatie vereisen (VAUQ) of externe encoders (CLIPScore), en voegde slechts een bescheiden post-generatie scoringskosten toe.

5. Betekenis en Claims

Het artikel beweert dat LOOKBACK een lichtgewicht, model-intern oplossing biedt voor het verbeteren van de betrouwbaarheid van LVLM-responsen. De betekenis ligt in:

• Het overbruggen van de kloof: Het adresseert direct de disconnect tussen afbeelding-conditionering en afbeelding-gevoeligheid in huidige scoring-metrieken.
• Praktische bruikbaarheid: Omdat het training-vrij is en geen hulpmodellen vereist, is het toepasbaar in omgevingen met beperkte middelen en black-box scenario's (mits interne aandachtsgewichten toegankelijk zijn).
• Generaliseerbaarheid: De auteurs suggereren dat het principe van "bron-bewuste scoring" (controleren of hoog-vertrouwen generatiestappen terugverwijzen naar de beoogde bron) zich verder kan uitstrekken dan visie naar andere gegronde generatietaken, zoals Retrieval-Augmented Generation (RAG) of tool-gebruik.

Erkende Beperkingen:
De auteurs merken op dat LOOKBACK toegang vereist tot interne aandachtsgewichten, wat het gebruik ervan beperkt bij strikt black-box API's. Bovendien is visuele lookback een proxy voor referentie-gebruik, en geen garantie voor feitelijke juistheid; een model kan aandacht besteden aan visuele tokens en toch onjuiste of bevoordeelde inhoud genereren. Daarom wordt LOOKBACK aanbevolen als een hulpmiddel voor responsselectie, te gebruiken naast taakspecifieke validatie en menselijk toezicht.