Technische Samenvatting: Mitigeren van Manifold Departure via Onzekerheid-bewuste Subspace Rectificatie

1. Probleemstelling

Multimodale Large Language Models (MLLM's) lijden frequent aan objecthallucinatie, waarbij ze inhoud genereren die vloeiend en plausibel is, maar inconsistent met de visuele input. Dit fenomeen wordt primair toegeschreven aan een overmatige afhankelijkheid van taalprioriteiten (language priors) die tijdens de pre-training zijn geleerd, wat de zwakke of ambigue visuele bewijslast kan overstemmen.

Hoewel recente training-vrije decoderingstrategieën proberen dit te mitigeren door taalprioriteiten te bestraffen (bijv. via contrastieve decodering), identificeren de auteurs een kritiek gebrek in deze benaderingen: zij behandelen taalprioriteiten als uniform schadelijk. In werkelijkheid spelen prioriteiten een dubbelrol:

• Schadelijk: Ze induceren hallucinaties wanneer visuele en linguïstische bewijzen conflicteren (bijv. het voorspellen van een "gele banaan" terwijl de afbeelding een blauwe banaan toont).
• Helpend: Ze stabiliseren en verscherpen de generatie wanneer deze is uitgelijnd met het visuele bewijs (bijv. het versterken van "geel" wanneer de afbeelding inderdaad een gele banaan is).

Indiscriminante onderdrukking van prioriteiten verstoort de interne semantische manifold van het model, waardoor de verborgen toestanden (hidden states) naar gebieden met een lage dichtheid worden gedreven en de prestaties zelfs in geldige gevallen verslechteren. De auteurs noemen deze foutmodus Manifold Departure.

2. Methodologie: Manifold-Guided Adaptive Projection (MGAP)

Om Manifold Departure aan te pakken, stelt het papier MGAP voor, een geometrie-bewust, training-vrij decoderingsframework. In tegen tegenstelling tot globale lineaire onderdrukkingsmethoden, voert MGAP subspace-selectieve updates uit die de orthogonale semantische structuur van het model behouden.

2.1. Offline: Label-vrije Constructie van de Taalprioriteit-Subspace

MGAP construeert eerst een laag-dimensionale representatie van taalprioriteiten zonder dat daar labels of beeldinhoud voor nodig zijn:

1. Dataverzameling: Het model verwerkt een set tekstuele queries met een "blinde" input (bijv. een nul of verstoorde afbeelding) om de finale-laag verborgen toestanden $\{h_{blind}^{(i)}\}$ te extraheren.
2. Subspace-schatting: Een gecentreerde matrix van deze blinde toestanden wordt gevormd, waarna Singular Value Decomposition (SVD) wordt toegepast. De top-$K$ rechtse singuliere vectoren ($V_{prior}$) definiëren de taalprioriteit-subspace, die de dominante variaties vastlegt die worden geïnduceerd door linguïstische regelmatigheden.

2.2. Online: Consistentie-bewuste Adaptieve Projectie

Tijdens standaard multimodale decodering grijpt MGAP op elke stap $t$ in om prioriteiten alleen wanneer nodig selectief te dempen:

1. Projectie: De huidige verborgen toestand $h_{orig}$ wordt geprojecteerd op de prioriteit-subspace: $h_{proj} = V_{prior}V_{prior}^\top h_{orig}$.
2. Consistentiecontrole (Bescherming): De uitlijning tussen de originele toestand en de prioriteit-projectie wordt gemeten via cosinus-gelijkenis. Een mismatch-score $\delta = 1 - \cos(h_{orig}, h_{proj})$ wordt berekend. Een kleine $\delta$ impliceert dat de toestand consistent is met de prioriteit (geen onderdrukking nodig).
3. Onzekerheid-gating: Voorspellende onzekerheid wordt geschat met behulp van de Shannon-entropie ($H$) van de token-distributie. Een gating-factor $\gamma = \tanh(\lambda H)$ wordt afgeleid, die interventie alleen versterkt wanneer het model onzeker is.
4. Adaptieve Correctie: De gecorrigeerde verborgen toestand wordt berekend als:
   $$h_{cut} = h_{orig} - \alpha \cdot \gamma \cdot \delta \cdot h_{proj}$$
   Deze formulering zorgt ervoor dat de correctie begrensd en selectief is. Als het visuele bewijs overeenkomt met de prioriteit (lage $\delta$) of het model zelfverzekerd is (lage $H$), benadert de operatie een identiteitsafbeelding, waardoor de semantische manifold behouden blijft.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Identificatie van Manifold Departure: De auteurs definiëren en analyseren formeel "Manifold Departure" als een geometrische foutmodus waarbij uniforme lineaire onderdrukking de verborgen toestanden wegduwt van de hoog-densiteit semantische manifold, wat verklaart waarom bestaande training-vrije methoden de prestaties verslechteren, zelfs wanneer de prioriteiten correct zijn.
2. Voorstel van MGAP: Een nieuw decoderingsframework dat een taalprioriteit-subspace leert van blinde toestanden en een onzekerheid-bewuste, subspace-selectieve projectie toepast. Dit maakt het mogelijk om hallucinaties te onderdrukken zonder de orthogonale semantische componenten te verstoren.
3. Theoretische en Empirische Validatie: Het artikel biedt theoretische bewijzen die aantonen dat de updates van MGAP begrensd en subspace-selectief zijn. Uit uitgebreide experimenten blijkt dat MGAP een superieure afweging bereikt tussen het mitigeren van hallucinaties en de beschrijvende getrouwheid vergeleken met eerdere baselines.

4. Experimentele Resultaten

De auteurs evalueerden MGAP op twee representatieve backbones (LLaVA v1.5-7B en Qwen3-VL-8B) over meerdere benchmarks:

• POPE (Objecthallucinatie): MGAP presteerde consequent beter dan vanilla decodering en andere training-vrije baselines (VCD, ICD, HalTrapper, DeCo, MoD) over de Random, Popular en Adversarial splits. Opvallend genoeg, terwijl methoden zoals VCD de prestaties op standaard splits verslechterden, verbeterde MGAP de Precision en F1-scores terwijl de Accuracy hoog bleef.
• CHAIR (Beeldonderschrijving): MGAP verminderde de hallucinatiecijfers (lagere CHAIRs en CHAIRi scores) aanzienlijk vergeleken met alle baselines, terwijl de precisie tegelijkertijd werd verbeterd. Dit geeft aan dat de mitigatie van hallucinaties werd bereikt zonder overdreven conservatieve generatie.
• AMBER Benchmark: MGAP generaliseerde goed naar deze diverse benchmark, wat aantoont dat de geleerde prioriteit-subspace overdraagbare structurele eigenschappen van hallucinaties vastlegt die verder gaan dan specifieke evaluatieprotocollen.
• Efficiëntie: In tegenstelling tot contrastieve decoderingsmethoden die meerdere forward passes vereisen (bijv. VCD, ICD), werkt MGAP binnen een enkele forward pass. Het verminderde de inferentie-latentie met ongeveer 50% vergeleken met contrastieve baselines, terwijl het volledig training-vrij bleef.

5. Betekenis en Claims

Het artikel claimt dat de indiscriminante onderdrukking van taalprioriteiten een fundamentele beperking is van huidige training-vrije decoderingsstrategieën. Door het probleem te herformuleren vanuit het perspectief van de representatie-geometrie, tonen de auteurs aan dat Manifold Departure de kernoorzaak is van de prestatieverslechtering in bestaande methoden.

De betekenis van MGAP ligt in de selectieve interventiemechanisme. Door prioriteiten te modelleren als een laag-rang subspace en een adaptieve, onzekerheid-bewuste gating toe te passen, vermijdt MGAP de "botte instrument"-benadering van globale lineaire verschuivingen. De auteurs beweren dat deze benadering het MLLM's mogelijk maakt om de stabiliserende voordelen van taalprioriteiten te behouden wanneer deze correct zijn, terwijl ze ze effectief onderdrukken wanneer ze conflicteren met visueel bewijs, waardoor een robuuster en betrouwbaarder decoderingsproces wordt bereikt.

Het werk concludeert dat hallucinatie-prioriteiten niet louter artefactën zijn van specifieke benchmarks, maar overdraagbare structurele eigenschappen vertonen in de representatieruimte, wat suggereert dat selectieve prioriteit-correctie een generaliseerbaar mechanisme is voor het verbeteren van grote visuele-taalmodellen.