Technische Samenvatting: VADER – Adaptieve Debiasing voor Hallucinatie-mitigatie in Video Large Language Models

1. Probleemstelling

Video Large Language Models (VideoLLMs) hebben aanzienlijk succes behaald in open-ended video-begripsopdrachten, zoals gebeurtenis-samenvatting en temporele redenering. Deze modellen zijn echter nog steeds vatbaar voor hallucinaties: het genereren van taalkundig vloeiende antwoorden die niet worden ondersteund door werkelijke visuele bewijslast. Deze fouten komen met name voor bij actieherkenning, de volgorde van gebeurtenissen, causale relaties en temporele consistentie.

Bestaande strategieën voor hallucinatie-mitigatie kampen met twee primaire beperkingen wanneer ze op video worden toegepast:

1. Training-gebaseerde methoden vereisen kostbare hertraining, extra supervisie of reward-modellering.
2. Training-vrije methoden vertrouwen vaak op globaal vaste visuele interventies of input-perturbaties (bijv. ruis, het weglaten van frames). Deze benaderingen houden geen rekening met de videospecifieke uitdagingen:
   • Statische Interventie: Een vast bereik van lagen en een vaste sterkte kan niet voldoen aan de video-afhankelijke dieptes waarbij visueel bewijs concurreert met systeem-prompts en historische tekst.
   • Inadequate Contrastieve Bewijslast: Grove input-perturbaties laten bewijs vaak herstelbaar via redundante naburige frames, of ze verstoren de temporele afhankelijkheden die nodig zijn voor consistente redenering.

De kernuitdaging is om de video-grounding tijdens het decoderen te verbeteren zonder het model te hertrainen, terwijl rekening wordt gehouden met de unieke redundantie en temporele afhankelijkheden van videodata.

2. Methodologie

De auteurs stellen VADER voor (Video-Adaptive Debiasing via Evidence Reweighting), een training-vrij framework dat opereert via een dual-branch design om bewijs-grounding te kalibreren en prior-gebiaste voorspellingen te onderdrukken. Het framework bestaat uit twee complementaire modules en een fusiemechanisme:

2.1 Visual Focus Reallocation (VFR)

VFR behandelt visuele versterking als een geautomatiseerd, video-geconditioneerd beleid in plaats van een vaste configuratie. Het bepaalt dynamisch waar (welke lagen) en hoe sterk er moet worden geïntervenieerd voor elke specifieke video-vraag-input.

• Diagnose: Voor de generatie voert VFR een diagnostische forward pass uit met de video-vraag-input om een diagnostische loss ($L_{diag}$) te berekenen op basis van de initiële voorspelling van het model. Het berekent de attention saliency door attention massa te combineren met de eerste-orde sensitiviteit hiervan ten opzichte van deze loss.
• Beleid afleiding: Het meet de cross-modale saliency flow (visuele-naar-tekst flow) over de decoderlagen. De top-$K$ lagen met de hoogste genormaliseerde flow worden geselecteerd als interventiepunten ($L_{sel}$).
• Adaptieve Herweging: De sterkte van de interventie ($a$) wordt afgeleid van de geaggregeerde saliency flow van de geselecteerde lagen met behulp van een logaritmische mapping. VFR past vervolgens multiplicatieve herweging toe op de pre-softmax attention scores:
  • Systeem-tokens worden onderdrukt door een factor $\gamma_{sup} = 1 - a$.
  • Video-tokens worden versterkt door een factor $\gamma_{enh} = 1 + a$.
    Dit heralloceert de aandacht specifiek naar visueel bewijs op de plaatsen waar het model dit voor de huidige input nodig heeft.

2.2 Selective Evidence Erasure (SEE)

Om een robuuste "prior-gebiaste" branch te construeren die niet gemakkelijk gecompenseerd kan worden door temporele redundantie, opereert SEE binnen de decoder op basis van per frame.

• Mechanisme: In plaats van frames te verwijderen of input-tokens te maskeren (wat hersteld kan worden uit buren), identificeert SEE de tokens met een hoge belangrijkheid binnen elk frame op basis van hun attention scores relatief aan de huidige decoderingspositie.
• Erasure (Uitwissing): Het behoudt alleen de laagst scorende tokens (achtergrond/zwakke context) en maskeert de hoog scorende (onderscheidende) tokens door hun attention scores op een vaste insertie-laag ($l^*$) op $-\infty$ te zetten.
• Resultaat: Dit creëert een negatieve branch ($z_{prior}$) die voorspellingen reflecteert die gedreven worden door taal-priors en achtergrondcontext, waardoor het specifieke visuele bewijs dat de antwoorden ondersteunt effectief wordt verwijderd terwijl de temporele structuur behouden blijft.

2.3 Joint Temporal Contrastive Suppression

Het framework fuseert de outputs van de twee branches:

• Grounded Branch ($z_{gnd}$): Geproduceerd door VFR, maximaliseert het gebruik van visueel bewijs.
• Prior-Biased Branch ($z_{prior}$): Geproduceerd door SEE, reflecteert voorspellingen die gedreven worden door taal-priors.
• Fusie: De uiteindelijke logits ($\bar{z}$) worden berekend als $\bar{z} = (1 + \lambda)z_{gnd} - \lambda z_{prior}$. Als een token zeer zeker is in beide branches, is het waarschijnlijk een taal-prior en wordt het onderdrukt. Als het alleen zeker is in de grounded branch, wordt het behouden of versterkt.

3. Belangrijkste Bijdragen

1. VADER Framework: Een training-vrij, dual-branch framework voor het mitigeren van hallucinaties in VideoLLMs dat bewijs-grounding kalibreert zonder parameter-updates.
2. VFR (Visual Focus Reallocation): Een nieuw mechanisme dat visuele versterking formuleert als een video-geconditioneerd interventiebeleid, dat automatisch interventielagen en responssterkte selecteert op basis van de input-specifieke visuele-naar-tekst flow.
3. SEE (Selective Evidence Erasure): Een decoder-interne, per-frame erasure techniek die tokens met een hoge belangrijkheid maskeert om een prior-gebiaste branch te construeren die resistent is tegen cross-frame compensatie.
4. Prestaties: De methode behaalt significante verbeteringen op event-level hallucinatie benchmarks, bereikt specifiek 72,60% nauwkeurigheid op EventHallusion met LLaVA-Video-7B, waarmee het training-gebaseerde methoden zoals TPO en RRPO overtreft.

4. Experimentele Resultaten

De auteurs evalueerden VADER op drie video-hallucinatie benchmarks (VidHalluc, VideoHallucer, EventHallusion) en drie algemene video-begrips benchmarks (MVBench, VideoMME, TVBench) over drie backbones (LLaVA-OneVision-7B, LLaVA-NeXT-Video-7B, Qwen3-VL-8B).

• Hallucinatie-mitigatie: VADER leverde substantiële winst op, met name op EventHallusion (verbetering van LLaVA-Video-7B van 63,57% naar 72,60%) en VideoHallucer. Het presteerde beter dan representatieve training-vrije baselines (TCD, DINO-HEAL) en overtrof zelfs training-gebaseerde methoden (TPO, RRPO) op EventHallusion zonder enige hertraining.
• Algemeen Begrip: In tegenstelling tot sommige interventies die de algemene prestaties verslechteren, behield VADER of verbeterde het de scores op algemene video-begrips benchmarks (bijv. +1,5 punten op het LLaVA-Video-7B gemiddelde), wat aangeeft dat het de getrouwheid verbetert zonder brede perceptie of redenering op te offeren.
• Ablatie-studies:
  • Het verwijderen van het adaptieve beleid (gebruik van vaste lagen) resulteerde in lagere winsten, wat de waarde van video-geconditioneerde selectie bevestigt.
  • Het verwijderen van SEE (alleen VFR) of VFR (alleen SEE) resulteerde in lagere prestaties dan het volledige model, wat de complementariteit van bewijs-herallocatie en de constructie van de prior-gebiaste branch aantoont.
  • Gevoeligheidsanalyse toonde aan dat gematigde retentie-ratio's voor SEE (het behouden van ~30% van de tokens) optimale resultaten opleveren, waarbij een balans wordt gevonden tussen het verwijderen van bewijs en het behoud van context.

5. Betekenis en Claims

Het artikel claimt dat VADER een kritiek gat in de inzetbaarheid van VideoLLMs aanpakt: de mogelijkheid om hallucinaties te mitigeren op een plug-and-play manier zonder de kosten van hertraining. Door af te stappen van statische, globale interventies naar adaptieve, input-specifieke beleid, handelt VADER effectief de complexe, redundante en temporeel afhankelijke aard van videodata af.

De auteurs benadrukken dat hun aanpak niet alleen fouten "repareert", maar de decoding-dynamiek fundamenteel verandert om onderscheid te maken tussen bewijs-gegronde voorspellingen en taal-prior-gedreven hallucinaties. De resultaten suggereren dat effectieve hallucinatie-mitigatie in video niet alleen een sterkere visuele aandacht vereist, maar ook een mechanisme om expliciet voorspellingen bloot te leggen en te onderdrukken die vertrouwen op priors wanneer het visuele bewijs wordt verwijderd.

Beperkingen: De auteurs erkennen dat VADER extra rekenkracht en geheugenoverhead tijdens de inferentie met zich meebrengt vanwege de gradiënt-gebaseerde laagselectie en multi-pass forward passes, wat suggereert dat efficiënte saliency-estimatie een toekomstige richting is.