Technische Samenvatting: Wiener-representatiefiltering voor het onderdrukken van VLM-hallucinaties

Probleemstelling

Vision-Language Models (VLM's) blinken uit in taken zoals beeldbeschrijving en visuele vraagbeantwoording, maar lijden frequent aan objecthallucinatie (OH). Dit fenomeen houdt het genereren in van plausibele maar feitelijk onjuiste beschrijvingen, zoals het verzinnen van objecten, attributen of ruimtelijke relaties die afwezig zijn in de invoerafbeelding. Bestaande mitigatiestrategieën vallen over het algemeen uiteen in twee categorieën:

1. Decoding-tijd methoden: Technieken zoals constrained beam search of logit debiasing die de generatie moduleren, maar vaak aanzienlijke inferentie-overhead veroorzaken (5–10x vertraging).
2. Post-hoc verfijningen: Methoden zoals Woodpecker of HALC die taakspecifieke aanpassingen of externe bronnen vereisen.
3. Trainings-gebaseerde methoden: Benaderingen die hertraining of fine-tuning vereisen met hallucinatie-bewuste loss-functies, wat computationeel duur is.

Er blijft een kloof bestaan voor een training-vrije, inferentie-efficiënte correctie die opereert zonder de architectuur van het model te wijzigen of de runtime-kosten te verhogen.

Methodologie

De auteurs stellen een Wiener Representation Filtering framework voor, een post-hoc bewerkingstechniek die opereert in de representatieruimte van de taalbackbone. De methode behandelt hallucinatie als een gestructureerde spectrale verstoring en corrigeert dit via een lineair minimum mean-square error (MMSE) schattingsprobleem.

1. Theoretische Formulering

De kernhypothese is dat verborgen toestanden ($h$) in een VLM gemodelleerd kunnen worden als de superpositie van een trouwe component ($s$) en een hallucinatie-geassocieerde verstoring ($n$):
$$h = s + n$$
Uitgaande van het feit dat $s$ en $n$ gemiddelde nul hebben en wederzijds ongecorreleerd zijn, decomponeert de covariantie van de geobserveerde representatie in de som van de trouwe covariantie ($\Sigma_T$) en de hallucinatie-covariantie ($\Sigma_H$).

De optimale lineaire estimator om $s$ te herstellen uit $h$ is de Wiener-operator:
$$A^* = \Sigma_T (\Sigma_T + \Sigma_H)^{-1}$$

2. Kalibratie en Schatting

De methode vereist een eenmalige, offline kalibratie op een bescheiden gepaard dataset (bijv. LURE) bevattende:

• $c^-$: Door mensen geverifieerde trouwe beschrijvingen.
• $c^+$: Gehallucineerde beschrijvingen gegenereerd door het model voor dezelfde afbeelding.

Voor geselecteerde diepere lagen extraheren de auteurs sequentie-gemiddelde representaties ($x^-$ en $x^+$) om te schatten:

• $\Sigma_T$: De covariantie van de trouwe representaties.
• $\Sigma_H$: De covariantie van de verstoring ($d = x^+ - x^-$).

Empirische analyse onthult dat hallucinatie zich manifesteert als een anisotrope verstoring geconcentreerd in een laag-dimensionale subspace (enkele dominante eigenmodi), in plaats van isotrope ruis.

3. Spectrale Filtering

Om stabiliteit en interpreteerbaarheid te garanderen, wordt de Wiener-operator benaderd in de eigenbasis van $\Sigma_H$. Laat $\{q_j\}$ de eigenvectoren van $\Sigma_H$ zijn met eigenwaarden $\lambda_j$. De signaalvariantie in modus $j$ is $\tau_j^2 = q_j^\top \Sigma_T q_j$.
De verstoring-tot-signaalverhouding wordt gedefinieerd als $\nu_j = \lambda_j / \tau_j^2$.
De modus-gewijze Wiener-winst is:
$$\gamma_j = \frac{1}{1 + \nu_j}$$
Om aanpasbare scherpte mogelijk te maken en fouten in de schatting te compenseren, wordt een scherpte-exponent $\alpha$ geïntroduceerd:
$$\tilde{\gamma}_j = (1 + \nu_j)^{-\alpha} = \left( \frac{\tau_j^2}{\tau_j^2 + \lambda_j} \right)^\alpha$$
De uiteindelijke filter $F_\alpha$ wordt geconstrueerd als $Q \text{diag}(\tilde{\gamma}_1, \dots, \tilde{\gamma}_d) Q^\top$.

4. Implementatie

De filter wordt toegepast door de feed-forward netwerk (FFN) output projecties ($W_{out}$) van geselecteerde diepere lagen te modificeren:
$$\tilde{W}_{out} = F_\alpha W_{out}$$
Omdat $F_\alpha$ vooraf wordt berekend en direct in de bestaande gewichten wordt geabsorbeerd, blijven de architectuur, het aantal parameters en de inferentiesnelheid ongewijzigd. Er worden geen gradiënt-updates of fine-tuning uitgevoerd tijdens de inzet.

Belangrijkste Bijdragen

• Training-vrije Correctie: Een post-hoc methode die geen hertraining, fine-tuning of gradiënt-updates vereist.
• Inferentie-efficiëntie: De correctie wordt geabsorbeerd in de modelgewichten, wat nul extra latentie of geheugenoverhead bij inferentie oplevert.
• Theoretische Onderbouwing: Formuleert hallucinatie-mitigatie als een lineair MMSE-probleem, waarbij een gesloten vorm Wiener-estimator wordt afgeleid die aan stabiliteitscriteria (operator-Lipschitz continuïteit) voldoet.
• Spectrale Analyse: Demonstreert dat hallucinaties een laag-dimensionale, anisotrope subspace bezetten in de representatieruimte, wat gerichte attenuatie mogelijk maakt zonder semantische informatie te vernietigen.

Experimentele Resultaten

De methode werd geëvalueerd op LLaVA-1.5, MiniGPT-4, mPLUG-Owl2 en Gemma3 over meerdere benchmarks:

• CHAIR (Caption Hallucination): De methode bereikte consistent de laagste hallucinatie-ratio's (CHAIRS en CHAIRI) over alle modellen, waarbij het decoding-gebaseerde baselines (OPERA, VCD, HALC) en representatie-editing baselines (Nullu) overtrof. Bijvoorbeeld, op LLaVA-1.5 werd CHAIRS verminderd van 18.87 (Greedy) naar 14.93.
• POPE (Object Presence): Verbeterde de feitelijke gronding (Accuracy, Precision, F1) in Random, Popular en Adversarial settings, waarbij het vaak de hoogste scores behaalde onder de vergeleken methoden.
• MME (Multimodale Evaluatie): Toonde superieure prestaties op 10 visuele grondings-subsets (bijv. Count, Artwork, Celebrity) vergeleken met concurrerende strategieën.
• Generalisatie:
  • Video Begrip: Succesvol de hallucinaties verminderd in de TempCompass benchmark (temporele redenering), ondanks de kalibratie op statische beelden.
  • Discrete Diffusiemodellen: Toegepast op Dream-v0-Instruct-7B voor gegronde dialoog (FaithDial), waarbij de hallucinatie-ratio's aanzienlijk werden verminderd (bijv. van 92% naar 74% via FaithCritic) terwijl de grondingsmetrieken verbeterden.
  • Cross-Domain Transfer: Toonde aan dat filters geleerd op één dataset (bijv. LURE) effectief hallucinaties op ongeziene datasets (bijv. TruthfulQA, CHAIR) konden verminderen zonder opnieuw te tunen.

Betekenis en Claims

Het artikel claimt dat door hallucinatie te modelleren als een gestructureerde spectrale verstoring in plaats van willekeurige ruis, het mogelijk is om een principiële, stabiele correctie af te leiden die de dominante hallucinatie-modi onderdrukt terwijl de semantisch gegronde richtingen behouden blijven.

Belangrijke claims met betrekking tot de impact van de methode zijn:

1. Stabiliteit: De continue formulering zorgt ervoor dat kleine fouten in de covariantie-schatting slechts proportioneel begrensde veranderingen in de operator induceren, wat de instabiliteit van harde rang-truncatie voorkomt.
2. Behoud van Fluency: In tegenstelling tot methoden die representaties agressief wegknippen, dempt de Wiener-filter modi op basis van hun verstoring-tot-signaalverhouding, waardoor de caption-fluency en algehele responskwaliteit behouden blijven (BLEU-scores blijven competitief).
3. Generaliteit: De aanpak is niet beperkt tot specifieke VLM-architecturen of fusiestrategieën (early, bridging, mid-fusion) en strekt zich uit tot temporele video-redenering en diffusie-gebaseerde taalmodellen.
4. Efficiëntie: Het biedt een "plug-and-play" oplossing die de inferentie-vertragingen geassocieerd met decoding-tijd interventies en de computationele kosten van training-gebaseerde methoden elimineert.

De auteurs concluderen dat dit werk een principieel mechanisme biedt voor hallucinatie-onderdrukking dat de generatie afstemt op visueel bewijs zonder de integriteit van de interne representatie of de inferentie-efficiëntie van het model aan te tasten.