Technische Samenvatting: Adaptieve Residuele-Update-Sturing voor Laag-Overhead Hallucinatie-Vermindering in Grote Visuele Taalmodellen

1. Probleemstelling

Grote Visuele-Taalmodellen (LVLM's) coderen visuele invoer doorgaans als een voorvoegsel voor een taaldecoder. Naarmate het model autoregressief tekst genereert, ondergaat deze initiële visuele informatie "verdunning", waardoor het model meer leunt op interne taalkundige priors dan op de visuele context. Dit fenomeen is een primaire drijvende kracht achter objecthallucinatie, waarbij modellen zelfverzekerd objecten beschrijven die niet in de afbeelding aanwezig zijn (bijvoorbeeld het hallucineren van een "beker" op basis van de taalkundige associatie met "oppervlak").

Bestaande Inference-Time Intervention (ITI)-methodes proberen dit te corrigeren via Contrastieve Decoding of Iteratieve Verfijning. Deze benaderingen lopen echter vast op een ernstig efficiëntieknelpunt: ze vereisen doorgaans meerdere forward passes (extra FWD) of externe classifiers, wat onaanvaardbare latentiekosten met zich meebrengt die de inzetbaarheid in de praktijk ondermijnen. Er is een kritieke afweging tussen effectiviteit (het verminderen van hallucinaties) en efficiëntie (het handhaven van lage latentie).

2. Methodologie: RUDDER

De auteurs stellen Residual-Update Directed DEcoding Regulation (RUDDER) voor, een raamwerk ontworpen om visuele verdunning te counteren door een persistente visuele anker te creëren zonder extra forward passes. De methode werkt binnen één enkele inference pass en bestaat uit twee kerncomponenten:

2.1. CARD Vector (Contextual Activation Residual Direction)

De kerninzicht is dat het visuele signaal maximaal behouden blijft in de residustroom tijdens de verplichte prefill-fase (waarbij afbeeldings- en prompt-tokens parallel worden verwerkt).

• Extractie: Tijdens de prefill-fase extrahert RUDDER de zelf-attention residuele updates ($\Delta^l_i$) uit een doeldecoderlaag $l$.
• Aggregatie: Deze updates worden gepooled (bijvoorbeeld via het gemiddelde of een op grootte gewogen gemiddelde) over alle afbeeldings- en prompt-tokens en genormaliseerd volgens de L2-norm om een per-staal vector te vormen, $v_{CARD}$.
• Functie: Deze vector vertegenwoordigt een robuuste, afbeeldingsgeconditioneerde richting die het netto-effect van visueel bewijs op de tokenrepresentaties vastlegt. Het dient als een "visueel anker" om de generatietrajectorie terug te leiden naar de visuele context.
• Kosten: Extractie vindt plaats tijdens de standaard prefill-pass, wat nul extra forward passes met zich meebrengt.

2.2. Beta Gate (Adaptief Sturingsmechanisme)

Om het visuele anker in te brengen zonder de generatie van syntactische of niet-visuele tokens te verstoren, maakt RUDDER gebruik van een adaptief gatingmechanisme gebaseerd op de Beta-verdeling.

• Vertrouwensmechanisme: In plaats van als een foutdetector op te treden, fungeert de gate als een "vertrouwens"-schatter. Het berekent de cosinus-ähnelijkheid ($s_t$) tussen de huidige verborgen toestand ($h_{l,t}$) en de $v_{CARD}$-vector.
• Formulering: De gateparameters ($\alpha_t, \beta_t$) worden afgeleid uit een Beta-Bernoulli-conjugate posterior met behulp van een softplus-mapping van $s_t$. De gatewaarde $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ bepaalt de sterkte van de interventie.
  • Hoge Alignering ($s_t \uparrow$): Geeft aan dat de generatie consistent is met visueel bewijs. De gate versterkt de injectie om de gegronde trajectorie te behouden.
  • Lage/Negatieve Alignering ($s_t \downarrow$): Geeft onzekerheid of niet-visuele context aan (bijvoorbeeld syntactische tokens). De gate onderdrukt interventie om over-sturing te voorkomen en vloeiendheid te behouden.
• Injectie: De stuurvector $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ wordt direct na de Self-Attention-operatie tijdens de decoding-fase toegevoegd aan de residustroom, specifiek binnen het antwoordsegment.

3. Belangrijkste Bijdragen

1. CARD Vector: Een methode om een persistente, per-staal visueel anker te extraheren uit prefill-residuele updates, waardoor het model tijdens de decoding in de visuele context blijft zonder extra berekening.
2. Beta Gate: Een trainingsvrij, adaptief gatingmechanisme gebaseerd op de Beta-verdeling dat visuele gronding en vloeiendheid in evenwicht brengt door correcties alleen toe te passen wanneer de generatie overeenkomt met het visuele bewijs.
3. Generaliseerbaarheid: De methode blijkt architectonisch onafhankelijk te zijn, werkt effectief over diverse LVLM's (LLaVA-1.5, Idefics2, InstructBLIP) en schaalt naar grotere modellen (LLaVA-1.5-13B) en moderne architecturen (Qwen2.5-VL).
4. Efficiëntie: RUDDER werkt binnen één enkele forward pass, introduceert verwaarloosbare latentie (< 4% overhead) en behoudt 96,0% doorvoer in vergelijking met standaardmodellen, waarmee het multi-pass-methodes aanzienlijk overtreft.

4. Experimentele Resultaten

De auteurs evalueerden RUDDER op standaard hallucinatie-benchmarks (CHAIR, POPE) en algemene capaciteitsbenchmarks (MME).

• Hallucinatie-Vermindering (CHAIR): Op de CHAIR-benchmark (open-eindige bijschriften) verlaagde RUDDER-Beta consistent hallucinaties. Met greedy decoding werd een gemiddelde relatieve vermindering van 24,4% in CHAIRs (op zinsniveau) en 23,6% in CHAIRi (op objectniveau)** bereikt over de geteste modellen. Het presteerde beter dan of gelijk aan state-of-the-art methodes zoals VISTA en VCD, terwijl het hun latentiekosten vermijdt.
• Objectprobing (POPE): Op de POPE-benchmark (ja/nee-vragen over objecten) verbeterde RUDDER de nauwkeurigheid en F1-scores over LLaVA-1.5, Idefics2 en InstructBLIP, en overtrof vaak sterke op sturing gebaseerde baselines.
• Algemene Capaciteiten (MME): RUDDER behield of verbeterde lichtjes de algemene multimodale capaciteiten (redeneren, tellen) op de MME-benchmark, wat bevestigt dat hallucinatievermindering niet ten koste ging van de algemene modelprestaties.
• Efficiëntie: RUDDER-Beta behield 96,0% doorvoer ten opzichte van standaardmodellen. Methodes die extra forward passes vereisen (bijvoorbeeld VISTA) zagen daarentegen de doorvoer dalen tot ongeveer 58,1%.
• Schaalbaarheid: De methode schaalde effectief naar LLaVA-1.5-13B en generaliseerde naar Qwen2.5-VL-7B, waarbij de laagste hallucinatiepercentages op instance-niveau werden bereikt (CHAIRi: 7,0) terwijl de POPE-prestaties verbeterden.

5. Betekenis en Claims

Het artikel claimt dat RUDDER de gebruikelijke afweging tussen effectiviteit en efficiëntie bij hallucinatievermindering oplost. Door structureel de verdunning van visuele informatie te voorkomen via een lichtgewicht "visueel anker" en een adaptief vertrouwensmechanisme, biedt RUDDER een praktische, laag-overhead oplossing voor het verbeteren van de betrouwbaarheid van LVLM's in real-world settings.

De auteurs benadrukken dat hun benadering trainingsvrij is en slechts een eenmalige kalibratie van hyperparameters vereist op een kleine, terzijde gehouden validatieset. Ze positioneren RUDDER als een stap richting "Green AI", waarbij de energievoetafdruk van inferentie van hoge-kwaliteitmodellen wordt verkleind door de noodzaak voor iteratieve verfijning of meerdere forward passes te elimineren.

Beperkingen: De auteurs erkennen dat RUDDER gevoelig is voor hyperparameters (specifiek de interventielayer, sturingssterkte en gategevoeligheid), die voor elke specifieke modelarchitectuur moeten worden afgestemd. Toekomstig werk wordt voorgesteld om zich te richten op geautomatiseerde hyperparameteroptimalisatie om robuustheid en gebruiksgemak bij implementatie te verbeteren.