Technische Samenvatting: Waar Betrouwbaarheid Leeft in Visueel-Taalmodellen

Probleemstelling

Visueel-Taalmodellen (VLM's) produceren vaak vloeiende maar onjuiste antwoorden (hallucinaties) die niet worden ondersteund door de visuele input. In inzetscenario's met hoge risico's (bijvoorbeeld medische triage, wetenschappelijke analyse) is er een kritieke behoefte aan betrouwbaarheidssignalen die zowel voorspellend zijn voor juistheid als mechanistisch interpreteerbaar.

Een doordringende intuïtie, de Aandacht-Vertrouwens-Aanname genaamd, stelt dat de betrouwbaarheid van een VLM direct af te lezen is uit zijn attentiekarten: als het model zijn visuele aandacht scherp richt op het bevraagde gebied, zou het antwoord betrouwbaar moeten zijn; diffuse aandacht zou een lagere betrouwbaarheid moeten signaleren. Dit artikel daagt deze aanname uit en vraagt zich af of de structuur van de aandacht (scherpte, fragmentatie, entropie) daadwerkelijk gekalibreerd is aan de waarschijnlijkheid dat het model correct is, of dat betrouwbaarheidsinformatie elders in de berekening schuilt.

Methodologie: De VLM-Betrouwbaarheidsproef (VRP)

De auteurs introduceren de VLM-Betrouwbaarheidsproef (VRP), een geünificeerde mechanistische pijplijn ontworpen om drie verschillende klassen van signalen te vergelijken met één juistheidslabel, over drie open-gewicht VLM-families (LLaVA-1.5, PaliGemma, Qwen2-VL; 3–7B parameters) en vier benchmarks (POPE, LLaVA-Bench, een aangepaste tel-/ruimtelijke suite, VQAv2, TextVQA).

De pijplijn werkt in drie fasen:

1. Structurele Metrieken (Aandacht): Cross-attention-tensors worden gereduceerd tot ruimtelijke vectoren per laag. Twee structurele grootheden worden geëxtraheerd: Ruimtelijke Entropie ($H_s$) en Aantal Secundaire Componenten ($C_k$), waarbij laatstgenoemde de fragmentatie van de aandacht in samenhangende componenten meet.
2. Mechanistische Uitlezingen (Verborgen Staten):
   • Logit Lens: De residustroom wordt op elke laag geprojecteerd via de unembedding-matrix om een waarheidsmarge ($\Delta M_\ell$) te berekenen, die de scheiding meet tussen het correcte token en concurrenten.
   • Sparse Probes: L1-geregulariseerde lineaire probes worden getraind op verborgen staten om schaarse, causale circuits te identificeren die geassocieerd zijn met juistheid.
   • Residuanalyse: De bijdrage van MLP- versus attention-lagen aan de groei van de waarheidsmarge wordt ontleed.
3. Gedragsmetrieken: Zelfconsistentie wordt gemeten door $K=10$ outputs te bemonsteren en de steun van het meerderheidsantwoord te berekenen, dienend als een hoge-kosten gedragsbaseline.

De studie maakt gebruik van causale interventies om bevindingen te valideren, waaronder maskeren van top-30% patches (om de noodzaak van aandacht te testen) en neuronablatie (om de causale rol van specifieke verborgen eenheden te testen).

Belangrijkste Resultaten

1. Aandachtsstructuur is geen Voorspeller van Juistheid

In tegenstelling tot de Aandacht-Vertrouwens-Aanname is de aandachtsstructuur een bijna-nul voorspeller van juistheid.

• Statistisch Bewijs: Op een samengevoegde dataset van $n=3.090$ is de punt-bisariale correlatie tussen het aantal secundaire componenten ($C_k$) en juistheid $R_{pb} = 0,001$, en is de ruimtelijke entropie ($H_s$) $R_{pb} = -0,012$. Beide zijn statistisch niet te onderscheiden van nul.
• Superviserende Stress-test: Zelfs een XGBoost–Random Forest ensemble, getraind op 11 van afgeleide aandachtskenmerken met volledige toegang tot labels, bereikt slechts 52–55% nauwkeurigheid (bij toeval).
• Causale Noodzaak versus Toereikendheid: Hoewel aandacht causaal noodzakelijk is voor kenmerkextractie (maskeren van de top-30% bekeken patches verlaagt de nauwkeurigheid met 8,2–11,3 pp), encodeert zijn structuur (scherpte of fragmentatie) geen gekalibreerde onzekerheid. Een model kan perfect aandacht schenken aan het juiste object en toch hallucineren.

2. Betrouwbaarheid Ontstaat Laat en is MLP-Gedreven

Betrouwbaarheid wordt pas leesbaar in de latere stadia van de residustroom.

• Logit Lens Dynamiek: De waarheidsmarge groeit monotoon met de diepte. Voor LLaVA duurt een "stille fase" tot laag 21, met een piek op laag 24. PaliGemma integreert eerder (piek op laag 14), terwijl Qwen2-VL cyclische her-scheiding vertoont.
• MLP-Dominantie: De groei van de waarheidsmarge wordt primair gedreven door MLP-schrijvingen (47,6% tot 82,1% van de margegroei), niet door attention-schrijvingen. Dit suggereert dat betrouwbaarheid afhankelijk is van het bevorderen van latente concepten in de vocabulaire-ruimte in plaats van ruimtelijke coherentie in de attentiekart.
• Voorspellende Kracht: Een enkele lineaire probe op verborgen staten bereikt AUROC > 0,95 op POPE voor LLaVA en Qwen2-VL, wat significant beter presteert dan op aandacht gebaseerde metrieken (AUROC $\approx$ 0,50).

3. Architecturale Robuustheid Asymmetrie

De locatie en distributie van betrouwbaarheidscircuits verschillen sterk per architectuur:

• Late-Fusie (LLaVA): Betrouwbaarheid is geconcentreerd in een kwetsbaar late bottleneck. Het ableren van de top-5 door de probe geselecteerde neuronen in de laatste laag veroorzaakt een daling van 8,3 pp in de nauwkeurigheid van objectidentificatie. Het signaal is schaars en gelokaliseerd.
• Early-Fusie/Cyclisch (PaliGemma, Qwen2-VL): Betrouwbaarheid is wijd verspreid. Deze modellen absorberen de vernietiging van ~50% van hun verborgen dimensie in de pieklaag met $\le$ 1 pp degradatie. De eerdere integratie van PaliGemma en de cyclische verfijning van Qwen2-VL hedgen het signaal over vele lagen, waardoor ze robuust zijn tegen schade aan een enkele eenheid maar meer ondoorzichtig voor interpretatie op neuron-niveau.

4. Vergelijking van Voorspellers

• Verborgen-Staat Probes: Het sterkste interne signaal in één doorgang (AUROC > 0,95 voor LLaVA/Qwen2-VL).
• Zelfconsistentie: De sterkste gedragsvoorspeller ($R_{pb}=0,43$) maar vereist 10× inferentiekosten.
• Attentiekarten: Statistisch oninformatief (AUROC $\approx$ 0,50).

Betekenis en Claims

Het artikel claimt de Aandacht-Vertrouwens-Aanname te falsificeren, door aan te tonen dat aandachtscherpte epistemisch misleidend is als vertrouwenssignaal. De auteurs betogen dat:

1. Aandacht een andere vraag beantwoordt dan betrouwbaarheid: Het geeft aan welke kenmerken zijn opgehaald, niet of die kenmerken correct zullen worden geïnterpreteerd.
2. Betrouwbaarheid een laat, MLP-gedreven fenomeen is: De berekening die correcte van onjuiste antwoorden onderscheidt, vindt laat in de residustroom plaats en wordt gedomineerd door MLP-operaties.
3. Implicaties voor Monitorontwerp:
   • Vervang Attentiewarmtekaarten: Voor veiligheidskritieke inzet moeten verborgen-staatprobes attentiekarten vervangen als primair vertrouwenssignaal.
   • Architecturale Specificiteit: Monitoren moeten worden toegespitst op de modelarchitectuur. Late-fusiestacks (zoals LLaVA) vertrouwen op schaarse, kwetsbare circuits in late lagen, terwijl early-fusiestacks betrouwbaarheid verdelen, wat dichte uitlezingen vereist.
   • Kosten-batenafweging: Hoewel zelfconsistentie een sterke voorspeller is, maakt de inferentiekost het de verborgen-staatprobes de voorkeursoplossing voor toepassingen met lage latentie.

De auteurs concluderen dat de "comfortabele maar empirisch gefalsificeerde metafoor van aandacht als vertrouwen" moet worden afgedankt ten gunste van betrouwbaarheidsmonitoren gebaseerd op verborgen staten en consistentie.