Scalpel: Fine-Grained Alignment of Attention Activation Manifolds via Mixture Gaussian Bridges to Mitigate Multimodal Hallucination

Technische Samenvatting: Scalpel

1. Het Probleem: Multimodale Hallucinatie

Large Vision-Language Models (LVLMs) presteren uitstekend op visuele taken, maar lijden aan hallucinatie: het genereren van tekst die plausibel klinkt maar niet overeenkomt met de visuele inhoud van de afbeelding (bijv. het verzinnen van objecten of verkeerde attributen).

De auteurs identificeren twee hoofdoorzaken:

1. Sterke taal-priors: De modellen vertrouwen te veel op de aangeleerde kennis van de onderliggende Large Language Model (LLM), waardoor ze antwoorden geven die statistisch waarschijnlijk zijn in taal, maar feitelijk onjuist in de context van de afbeelding.
2. Misalignement van aandacht (Attention): Het model besteedt te veel aandacht aan irrelevante visuele tokens of systeemtokens, waardoor de koppeling tussen beeld en tekst verstoord raakt.

Bestaande oplossingen zijn ofwel rekenintensief (training-gebaseerd via RLHF) of niet effectief genoeg tijdens de inferentie (contrastive decoding).

2. Methodologie: De Scalpel-methode

Scalpel is een training-vrije, plug-and-play methode die tijdens de inferentie (decoding) ingrijpt op de interne activaties van de Transformer-lagen. In plaats van een vaste correctie toe te passen, biedt Scalpel een fijnmazige, token-specifieke correctie.

Het proces bestaat uit drie kernstappen:

A. Modellering van Manifolds via GMMs:
De auteurs modelleren de distributies van de aandacht-activaties in twee "manifolds" (vormen/gebieden):

• Trusted Manifold: Activaties die voortkomen uit correcte (beeld, vraag, antwoord) combinaties.
• Hallucinated Manifold: Activaties die voortkomen uit foutieve combinaties (bijv. door het beeld te verstoren).
  Beide distributies worden benaderd met Gaussian Mixture Models (GMMs), waarbij de complexe, multi-piek verdeling van de aandacht wordt gevangen in verschillende Gaussische componenten.

B. Optimal Transport via de Schrödinger Bridge:
Om de hallucinatie te corrigeren, moet de activatie van de "hallucinatie-toestand" naar de "vertrouwde-toestand" worden verplaatst. Scalpel lost dit op als een Schrödinger Bridge Problem (SBP), wat equivalent is aan entropic optimal transport.

• Het doel is om de meest efficiënte (minimale energie) route te vinden om de verdeling van de hallucinatie-GMM's te transformeren naar de vertrouwde GMM's.
• Dit zorgt ervoor dat de correctie zo minimaal mogelijk is, waardoor de oorspronkelijke kennis en de visuele alignment van het model behouden blijven.

C. Dynamische Interventie:
Tijdens het genereren van tekst gebeurt het volgende voor elk token:

1. Identificatie: Een classifier bepaalt welke attention heads het meest gevoelig zijn voor hallucinaties.
2. Toewijzing: De huidige activatie wordt gekoppeld aan de meest waarschijnlijke component in de hallucinatie-GMM.
3. Correctie: De activatie wordt aangepast met een vector die de "brug" volgt naar de bijbehorende vertrouwde component. De sterkte van de correctie ($\alpha_{dynamic}$) is afhankelijk van de zekerheid van de toewijzing.

3. Belangrijkste Bijdragen

• Fijnmazige correctie: In tegenstelling tot eerdere methoden die een vaste richting gebruiken voor een hele head, past Scalpel de correctie aan op basis van de specifieke activatie van het huidige token.
• Efficiëntie: De methode is training-free en vereist geen extra rekenkracht tijdens de decoding, behalve een enkele stap voor de activatie-aanpassing.
• Hiërarchische aanpak: Scalpel maakt gebruik van zowel beeld-niveau als object-niveau interventies, wat een synergetisch effect heeft op het verminderen van fouten.

4. Resultaten

De methode is uitgebreid getest op benchmarks zoals POPE en MME met modellen zoals LLaVA-1.5 en Qwen2.5-VL.

• State-of-the-Art (SOTA): Scalpel presteert significant beter dan bestaande methoden zoals VCD, OPERA en ICT.
• Robuustheid: De verbeteringen zijn het grootst in "adversarial" scenario's (moeilijke gevallen waar modellen vaak falen).
• Multidimensionale winst: Op de MME-benchmark laat Scalpel enorme sprongen zien in specifieke categorieën zoals counting (tellen), positioning (locatie) en common sense reasoning.
• Kwalitatief: Visuele vergelijkingen tonen aan dat Scalpel subtiele visuele details (zoals de snede in een taart of de exacte positie van een object) veel beter herkent en minder "logische aannames" doet die niet in het beeld staan.

5. Betekenis

Scalpel biedt een elegante wiskundige oplossing voor een fundamenteel probleem in AI. Door de interne "aandacht" van een model te sturen via optimale transporttheorie, bewijzen de auteurs dat we de betrouwbaarheid van multimodale AI kunnen vergroten zonder de enorme kosten van hertraining. Dit is cruciaal voor de inzet van LVLMs in kritieke sectoren zoals de gezondheidszorg of autonoom rijden, waar hallucinaties gevaarlijk kunnen zijn.