💻 computer science

YARD: Y-Architecture Register Decoding for Efficient Hallucination Mitigation in Large Vision-Language Models

YARD is een trainingsvrij framework dat hallucinaties in Large Vision-Language Models vermindert door een Y-architectuur te hanteren om oppervlakkige berekeningen te delen en te vertakken bij middelste lagen, waar het fijnmazige visuele tokens vervangt door register tokens om een effectief contrastief signaal te genereren zonder de latentie van een tweede forward pass.

Oorspronkelijke auteurs: Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ting Chen, Geng Li, Guohao Chen, Yu Hu, Guan Huang, Mai Chen, Langsheng Lei, Jun Du

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Vision-Language Model (LVLM) voor als een zeer getalenteerde maar licht overmoedige verhalenverteller. Je laat het een foto van een strand zien, en het begint de scène te beschrijven. Soms krijgt het de dingen goed ("Er zijn parasols en mensen"), maar soms verzint het vol vertrouwen details die er niet zijn ("En kijk, daar ligt een surfboard en een hond!"). Dit wordt hallucinatie genoemd.

Het paper introduceert een nieuwe methode genaamd YARD (Y-Architecture Register Decoding) om deze verhalenverteller te stoppen met dingen verzinnen, zonder het model opnieuw te hoeven trainen of te vertragen.

Hier is hoe YARD werkt, uitgelegd aan de hand van eenvoudige concepten:

1. Het probleem met oude methoden

Voordat YARD bestond, probeerden onderzoekers hallucinaties op te lossen met een techniek genaamd "Contrastive Decoding". Denk hierbij aan het vragen aan de verhalenverteller om het verhaal twee keer te vertellen:

Versie A (Schoon): "Kijk naar de echte foto en vertel me wat je ziet."
Versie B (Gedegradeerd): "Vertel me wat je ziet, maar doe alsof de foto wazig is of stukjes mist."

De computer vergelijkt vervolgens de twee verhalen. Als Versie B een surfboard verzint maar Versie A dat niet doet, weet de computer dat hij het idee van de "surfboard" moet onderdrukken in het uiteindelijke antwoord.

Echter, eerdere methoden hadden twee grote gebreken:

De "Blinddoek"-aanpak: Sommige methoden verwijderden de visuele input volledig voor Versie B. Dit was te extreem. De computer zou dan simpelweg raden op basis van algemene kennis (bijv. "Stranden hebben meestal surfboards"), wat niet hielp om specifieke leugens over dit specifieke strand te ontdekken.
De "Dubbel Werk"-aanpak: Andere methoden corrumpeerden de beeldpixels (door ruis toe te voegen). Dit vereiste dat de computer de afbeelding twee keer vanaf nul moest verwerken, wat erg traag en duur was.

2. De YARD-oplossing: De "Y"-vorm

YARD verandert het spel door een Y-vormig pad in de hersenen van het model te bouwen.

De Stam (Gedeeld Pad): Zowel het "Schone" als het "Gedegradeerde" verhaal beginnen samen. Ze delen de eerste paar lagen van de verwerking. Dit is alsof je samen de eerste paragraaf van een boek leest. Dit bespaart tijd omdat het model niet twee keer al het werk opnieuw hoeft te doen.
De Splitsing (De Middelste Laag): Op een specifiek punt in het denkproces van het model splitst het pad zich.
- De Linker Tak (Schoon): Gaat normaal verder en kijkt naar elk klein detail (patches) van de afbeelding.
- De Rechter Tak (Gedegradeerd): Hier gebeurt de magie. In plaats van naar elk klein detail te kijken, wordt deze tak gedwongen om naar de afbeelding te kijken via een "Register".

3. De "Register"-metafoor

Stel je voor dat de afbeelding een kaart met een hoge resolutie is.

De Schone Tak kijkt naar de kaart en ziet elke straat, boom en huis.
De Gedegradeerde Tak (met gebruik van YARD) krijgt een "Register". Een Register is als een samenvattende notitie die zegt: "Dit is een strandscène met water en zand," maar die specifieke details verbergt. Het weet dat er mensen zijn, maar kan niet zien waar ze staan of wat ze vasthouden.

Waarom is dit slim?
Als het model probeert te zeggen: "Er is een surfboard," controleert de Schone Tak (die de details ziet) de kaart en zegt: "Nee, ik zie geen surfboard." De Gedegradeerde Tak (die alleen de algemene strandvibe ziet) kan dan zeggen: "Nou, stranden hebben vaak surfboards, dus misschien wel?"

Wanneer de computer deze twee vergelijkt, realiseert het zich: "De Schone Tak zegt 'Nee', maar de Gedegradeerde Tak raadt 'Ja' op basis van algemene vibes." YARD onderdrukt vervolgens de "surfboard"-gok. Het houdt het verhaal geworteld in de realiteit omdat de "Schone" tak het bewijs heeft, en de "Gedegradeerde" tak fungeert als een detector voor zaken die het model gewoon aan het raden is.

4. Waarom de "Midden" belangrijk is

Het paper ontdekte dat de hersenen van het model in stadia werken.

Vroege lagen: Alleen de afbeelding klaarmaken.
Middelste lagen: Dit is het "sweet spot" waar het model begint de tekst te koppelen aan de specifieke visuele details.
Late lagen: Het model heeft al besloten wat het gaat zeggen.

YARD splitst het pad precies in het midden. Als je te vroeg splitst, heeft het model nog niet genoeg van de foto gezien. Als je te laat splitst, heeft het model de details al "onthouden" en zal het niet gefopt worden door de gedegradeerde versie. Het midden is het perfecte moment om het "Register" te introduceren om te testen of het model echt naar de foto kijkt of gewoon aan het raden is.

5. Het Resultaat

Door dit Y-vormige pad en de "Register"-truc te gebruiken:

Het is Sneller: Omdat de twee paden het begin delen, hoeft het model de afbeelding niet twee keer vanaf nul te verwerken.
Het is Slimer: Het vangt hallucinaties beter dan eerdere methoden omdat het een "eerlijk gevecht" creëert tussen een gedetailleerd beeld en een algemeen beeld, in plaats van een gedetailleerd beeld versus een blinde gok.
Het Werkt Overal: Het paper heeft dit op veel verschillende AI-modellen getest, en het werkte consistent goed zonder dat ze opnieuw getraind hoefden te worden.

Kortom, YARD is als een factchecker die in de hersenen van de AI zit en vraagt: "Weet je dat zeker, of ben je gewoon aan het raden op basis van wat er meestal gebeurt?" Het doet dit efficiënt, zonder het gesprek te vertragen.

Technische Samenvatting: YARD – Y-Architectuur Register Decoding voor Efficiënte Hallucinatie-mitigatie

1. Probleemstelling

Grote Visuele-Taalmodellen (LVLM's) lijden frequent aan hallucinaties, waarbij ze tekst genereren die semantisch plausibel is maar inconsistent met de visuele input (bijv. niet-bestaande objecten, incorrecte attributen of niet-onderbouwde ruimtelijke relaties). Hoewel Contrastive Decoding (CD) een training-vrije oplossing biedt door een "schone" modeltak te contrasteren met een "gedegradeerde" tak om hallucinatiegevoelige logits te onderdrukken, kampen bestaande methoden met twee kritieke dilemma's:

Suboptimale gedegradeerde takken:
- Tekst-alleen benaderingen: Het volledig verwijderen van visuele tokens reduceert de gedegradeerde tak tot een taal-prior model. Dit induceert hallucinaties gebaseerd op generieke priors die mogelijk niet overeenkomen met de specifieke inputafbeelding, waardoor het niet slaagt in het isoleren van beeld-specifieke hallucinaties.
- Pixel-niveau degradatie: Het corrumperen van inputafbeeldingen (bijv. het toevoegen van ruis) biedt grove controle. Omdat visuele kenmerken (kleur, textuur, grenzen) nauw verstrengeld zijn in de pixelruimte, falen deze perturbaties vaak in het isoleren van de lokale bewijslast die verantwoordelijk is voor hallucinaties, en vervuilen ze in plaats daarvan de gedegradeerde logits met genuante visuele signalen.
Inference Latentie: De meeste bestaande CD-methoden vereisen twee volledige forward passes (één voor de schone tak, één voor de gedegradeerde tak), wat de inference latentie aanzienlijk verhoogt.

2. Methodologie: YARD

De auteurs stellen YARD (Y-Architecture Register Decoding) voor, een training-vrij framework dat een gedegradeerde tak intern construeert binnen de LLM-decoder. De methode wordt gedreven door twee belangrijke observaties met betrekking tot de cross-modale informatiestroom:

A. Waar te degraderen: Het Middle Layer Window

Analyse van tekst-naar-visie aandacht en interventie-experimenten onthullen dat:

Onderliggende lagen (Shallow layers): De aandacht is diffuus en gemakkelijk afleidbaar.
Diepe lagen (Deep layers): Taakrelevante visuele bewijslast is grotendeels geïntegreerd in de tekst-zijde representaties; het verstoren van visuele tokens hier heeft minimale impact op de uiteindelijke voorspellingen.
Middelste lagen (Middle layers): Dit is het kritieke venster waar betrouwbare visuele grounding ontstaat, en tekst-tokens beginnen lokale visuele bewijslast te verwerven voordat volledige integratie plaatsvindt.
YARD Strategie: Het framework deelt de ondiepe decoderlagen tussen de schone en de gedegradeerde takken en splitst (vertakt) exact bij een middelste laag (bijv. laag 10 in een 25-laags model). Dit stelt de gedegradeerde tak in staat om vroege multimodale context te erven, terwijl de volledige integratie van fijnmazige lokale bewijslast wordt voorkomen.

B. Hoe te degraderen: Register-gebaseerde Feature-Level Degradatie

In plaats van de inputafbeelding te corrumperen of tokens volledig te verwijderen, construeert YARD een gedegradeerde conditie op feature-niveau:

Register Tokens: YARD maakt gebruik van register tokens (oorspronkelijk voorgesteld om hoog-norm outlier artefacten in Vision Transformers te absorberen). Deze tokens worden tijdens de testfase geconstrueerd door afwijkende MLP-activaties om te leiden naar een toegevoegde token.
Het Degradatie-mechanisme:
- Schone Tak: Behoudt de originele patch-level visuele tokens ( $Z$ ) en register tokens ( $R$ ).
- Gedegradeerde Tak: Verwerpt de fijnmazige patch tokens ( $Z$ ) en vertrouwt alleen op register tokens ( $R$ ) en tekst tokens ( $T$ ).
Effect: Register tokens bewaren grove globale beeldsemantiek (waardoor de tak "beeld-bewust" blijft) maar missen fijnmazige lokale correspondentie (waardoor deze "lokaal onder-gegrond" is). Dit creëert een contrastief signaal dat hallucinatiegevoelige componenten blootlegt zonder de extreme modaliteit-mismatch van tekst-alleen takken of de ruis van pixel-niveau corruptie.

C. Y-Architectuur voor Efficiëntie

Door de berekening van de ondiepe lagen ($1$ tot $K$ ) te delen vóór de splitsing, vermijdt YARD de kostbare tweede volledige forward pass die vereist is door input-niveau contrastieve methoden. De takken divergeren pas voor de resterende lagen ( $K+1$ tot $D$ ).

De uiteindelijke logit wordt berekend als:
$\ell^{yard}_i = (1 + \alpha)\ell^c_i - \alpha\ell^d_i$
waarbij $\ell^c$ en $\ell^d$ respectievelijk de logits zijn van de schone en de door registers geconditioneerde gedegradeerde takken.

3. Belangrijkste Bijdragen

Register-gebaseerde Feature-Level Degradatie: Introduceert een nieuwe methode om een beeld-bewuste maar lokaal onder-gegronde contrastieve tak te construeren zonder de visuele input te corrumperen, waarbij gebruik wordt gemaakt van register tokens om globale semantiek te bewaren terwijl lokale bewijslast wordt verwijderd.
Analyse van de Zuiverheid van de Gedegradeerde Tak: Toont via ablatie aan dat feature-level degradatie (specifiek Globale Info. via registers) een zuiverder hallucinatie-signaal blootlegt dan tekst-alleen of pixel-niveau degradatie, zoals bewezen door lagere hallucinatie-metrieken wanneer de conservatieve clean-logit anchoring ( $\alpha$ ) wordt verwijderd.
YARD Framework: Presenteert een efficiënt, training-vrij Y-Architectuur decoding framework dat hallucinaties consistent mitigeert over meerdere LVLM's, terwijl het de inference latentie aanzienlijk vermindert vergeleken met dual-pass methoden.

4. Experimentele Resultaten

YARD werd geëvalueerd op zowel generatieve (AMBER, Object HalBench, MME-Hallucination) als discriminatieve (AMBER Discrimination, POPE) benchmarks met diverse backbones (LLaVA-1.5, LLaVA-NeXT, Qwen2/3-VL, InstructBLIP, Mini-Gemini).

Generatieve Prestaties: Op LLaVA-1.5-7B verminderde YARD de Object HalBench scores (CHs/CHi) van 27.0/10.5 naar 19.7/6.5, waarmee het superieur is aan state-of-the-art methoden zoals OPERA, VCD en FuzzyCD. Het behaalde ook de beste kleurperceptie scores op MME-Hallucination, wat wijst op behouden visuele capaciteit.
Discriminatieve Prestaties: YARD verbeterde de AMBER nauwkeurigheid/F1 van 67.00/71.10 naar 78.70/84.10 en de POPE nauwkeurigheid/F1 van 83.93/82.24 naar 86.14/85.85 op LLaVA-1.5.
Transfereerbaarheid: De methode toonde consistente verbeteringen over alle geteste architecturen, inclusief Qwen3-VL en LLaVA-NeXT, wat suggereert dat het een algemene eigenschap van LVLM-decoding vangt in plaats van architectuur-specifiek te zijn.
Ablatie Studies: Bevestigde dat brancheren bij de middelste laag (bijv. $K=10$ ) cruciaal is; te vroeg of te laat brancheren levert suboptimale resultaten op. Register-gebaseerde degradatie presteerde beter dan "Average" feature degradatie en "Text-Only" varianten.

5. Betekenis en Claims

Het artikel claimt dat YARD de fundamentele trade-off in contrastieve decoding aanpakt: de noodzaak voor een gedegradeerde tak die voldoende verschillend is om hallucinaties te onthullen, maar voldoende uitgelijnd is met de afbeelding om generieke taal-priors te vermijden. Door degradatie in een gestructureerde feature-level ruimte binnen de decoder te brengen, bereikt YARD:

Getrouwe Contrastieve Signalen: Het "global-but-local-missing" ontwerp onderdrukt effectief voorspellingen die plausibel zijn onder zwakke lokale grounding, maar niet ondersteund worden door schone visuele bewijslast.
Efficiëntie: De Y-architectuur elimineert de noodzaak voor een volledige tweede forward pass, wat het een praktische oplossing maakt voor implementatie.
Generaliteit: De aanpak is niet gebonden aan specifieke modelarchitecturen en biedt een algemene training-vrije heuristiek voor hallucinatie-mitigatie.

De auteurs merken beperkingen op met betrekking tot de afhankelijkheid van het construeren van effectieve register-representaties voor specifieke Transformer-gebaseerde LVLM's en de gevoeligheid voor de keuze van de branching layer, wat suggereert dat toekomstig werk zich moet richten op het aanpassen van deze mechanismen naar bredere multimodale architecturen.