Technische Samenvatting: SAVAA – Het Mitigeren van Hallucinaties in LVLM's via Stapsgewijze Adaptieve Visuele Aandachtversterking

1. Probleemstelling

Grote Visueel-Taalmodellen (LVLM's) lijden vaak aan hallucinaties, waarbij inhoud wordt gegenereerd die inconsistent is met de visuele input. Een primaire oorzaak tijdens autoregressieve generatie is de overmatige afhankelijkheid van het model van taalkundige prioren, vooral wanneer visueel bewijsmateriaal onvoldoende wordt benut.

Recente trainingsvrije benaderingen, gezamenlijk aangeduid als Visuele Aandachtversterking (VAA), proberen dit te mitigeren door de aandachtwichten die worden toegewezen aan visuele tokens tijdens een enkele forward pass te versterken. Echter, bestaande VAA-methoden maken gebruik van een vast versterkingsfactor over alle generatiestappen heen. De auteurs identificeren een dubbel faalpatroon dat inherent is aan deze statische aanpak:

1. Onder-versterking: Op bepaalde stappen is de vaste factor te zwak om bestaande hallucinaties op te lossen.
2. Over-versterking: Op andere stappen is dezelfde factor te sterk, waardoor nieuwe hallucinaties worden geïntroduceerd die niet aanwezig waren in de originele output.

Dit fenomeen treedt op omdat het juiste niveau van visuele aandacht dynamisch varieert, afhankelijk van het specifieke token dat wordt gegenereerd en de huidige toestand van onzekerheid en grounding van het model.

2. Methodologie: SAVAA

Het artikel stelt Stapsgewijze Adaptieve Visuele Aandachtversterking (SAVAA) voor, een kader dat de visuele versterkingsfactor bij elke generatiestap dynamisch kalibreert op basis van een geschat hallucinatie-risico.

2.1 Visuele Grounding Entropie (VGE)

Om risicogestuurde kalibratie mogelijk te maken, vereist SAVAA een lichtgewicht hallucinatie-risico-estimator. De auteurs introduceren Visuele Grounding Entropie (VGE), die standaard voorspellende entropie aanvult met visuele grounding-signalen.

• Voorspellende Entropie ($\bar{H}_t$): Meet de onzekerheid van het model op basis van output-logits. Entropie alleen faalt echter wanneer het model zeer zeker is maar zwak verankerd in de afbeelding (d.w.z. "zekere hallucinaties").
• Visuele Grounding Score ($G_t$): Berekend tijdens de prefill-fase, wordt een grounding-vector $G$ geconstrueerd door het poolen van de vocabulaire-logits van visuele tokens. Voor een voorspeld token $v^*_t$ vertegenwoordigt de grounding-score $G_t$ de sterkte van het visuele bewijsmateriaal dat dat token ondersteunt.
• VGE-berekening: De risicoscore wordt gedefinieerd als een gewogen combinatie:
  $$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$$
  waarbij $\alpha$ de balans tussen onzekerheid en grounding bepaalt. Een hogere VGE geeft aan dat een token onzeker is, zwak verankerd is, of beide.

2.2 Stapsgewijze Adaptieve VAA-factor Kalibratie

SAVAA maakt gebruik van een één-stap-achterlopend kalibratiemechanisme. Het risico $r_t$ wordt berekend uit de logits van de huidige stap $t$, maar wordt gebruikt om de versterkingsfactor voor de volgende stap $t+1$ te kalibreren.

• Risiconormalisatie: De VGE wordt genormaliseerd tot een risicoscore $r_t \in [0, 1]$.
• Factor Kalibratie: De visuele versterkingsfactor $m_t$ voor stap $t$ wordt berekend als:
  $$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$$
  Als de vorige stap een laag risico had, is $m_t \approx 1$ (geen interventie). Als de vorige stap een hoog risico had, neemt $m_t$ toe, waardoor sterkere visuele versterking wordt toegepast op de huidige stap.

2.3 Tekst Aandachtsonderdrukking

Om residuale hallucinaties aan te pakken die zelfs onder sterke visuele versterking aanhouden (vaak vanwege taalkundige prioren), integreert SAVAA een complementair mechanisme voor Tekst Aandachtsonderdrukking.

• Dit mechanisme onderdrukt de pre-softmax aandachtscores die worden toegewezen aan invoer-taaltokens met een vaste factor $m_{txt}^{max}$.
• In tegenstelling tot de adaptieve visuele factor is deze onderdrukking statisch en lichtgewicht, ontworpen om de relatieve invloed van taalkundige prioren te verminderen zonder stapsgewijze risicoschatting te vereisen.

2.4 Algemene Werkstroom

1. Prefilling: Bereken de visuele grounding-vector $G$ één keer.
2. Generatielus:
   • Bereken de VAA-factor $m_t$ en de tekstonderdrukkingsfactor op basis van het risico $r_{t-1}$ van de vorige stap.
   • Modereer pre-softmax aandachtscores: versterk visuele tokens met $m_t$ en onderdruk taaltokens met $1/m_{txt}^{max}$.
   • Genereer het volgende token.
   • Bereken nieuw risico $r_t$ met behulp van VGE voor de volgende iteratie.

3. Belangrijkste Bijdragen

1. Identificatie van Dubbel Faalpatroon: Het artikel demonstreert dat vaste versterkingsfactoren in bestaande VAA-methoden leiden tot zowel onder-versterking (waardoor hallucinaties onopgelost blijven) als over-versterking (waardoor nieuwe hallucinaties worden geïntroduceerd), variërend per generatiestap en modelarchitectuur.
2. SAVAA Kader: Een nieuw VAA-kader dat hallucinatie-risico stapsgewijs schat met behulp van Visuele Grounding Entropie (VGE) en de versterkingsfactor adaptief kalibreert.
3. Complementaire Tekstonderdrukking: De introductie van een lichtgewicht mechanisme voor tekstaandachtsonderdrukking om residuale dominantie van taalkundige prioren aan te pakken, werkend in tandem met visuele versterking.
4. Empirische Validatie: Uitgebreide evaluatie over drie diverse LVLM's (LLaVA-NeXT-7B, Qwen3-VL-8B, InternVL3.5-8B) en meerdere benchmarks (CHAIR, SHR, AMBER, POPE), waarbij consistente verbeteringen worden getoond ten opzichte van state-of-the-art baselines.

4. Experimentele Resultaten

SAVAA werd geëvalueerd op standaard hallucinatie-benchmarks:

• CHAIR: SAVAA behaalde de beste CHAIRs (zinsniveau) en CHAIRi (instantie-niveau) scores over alle drie de modellen, waarbij hallucinaties met aanzienlijke marges werden gereduceerd (bijvoorbeeld een reductie van CHAIRs met 7,00 punten op InternVL3.5-8B) zonder afbreuk te doen aan de generatiekwaliteit (F1-scores bleven vergelijkbaar met vanilla-modellen).
• SHR: SAVAA presteerde beter dan baselines op alle vier de metrieken (HSR, HWR, HSPI, HWPI), wat effectiviteit aantoont in het verminderen van zowel zinsniveau- als woordniveau-hallucinaties.
• AMBER: SAVAA behaalde de laagste hallucinatiepercentages (Hal) terwijl een hoge inhoudsdekking (Cover) werd gehandhaafd, wat wijst op een gunstige afweging tussen mitigatie en semantische volledigheid.
• POPE: Op discriminatieve taken behield SAVAA de oorspronkelijke modelnut, met nauwkeurigheids- en F1-scores die vergelijkbaar waren met vanilla-baselines, hoewel de winsten bescheiden waren in vergelijking met generatieve taken.
• Efficiëntie: SAVAA veroorzaakt slechts marginale overhead tijdens inferentie in vergelijking met vanilla-modellen, aangezien VGE geen extra forward passes vereist (de grounding-vector wordt één keer berekend) en de kalibratielogica lichtgewicht is.

5. Betekenis en Claims

Het artikel beweert dat SAVAA een verschuiving vertegenwoordigt van statische, heuristiek-gebaseerde visuele versterking naar risicogestuurde, stapsgewijze attentiekalibratie. Door de variabele behoefte aan visuele grounding over verschillende generatiestappen expliciet te modelleren, adresseert SAVAA de beperkingen van methoden met een vaste factor.

De auteurs positioneren SAVAA als een praktische, trainingsvrije oplossing die tijdens inferentie kan worden ingezet om de feitelijke betrouwbaarheid van LVLM's in open-eindige generatietaken te verbeteren. Ze erkennen beperkingen, waarbij wordt opgemerkt dat de methode afhankelijk is van model-specifieke hyperparameters en bescheidenere winsten oplevert op single-token discriminatieve taken in vergelijking met open-eindige generatie. Het werk suggereert dat toekomstige richtingen adaptievere kalibratiestrategieën kunnen omvatten en de aanpak kunnen uitbreiden naar settings met gesloten-vorm voorspelling.