HIME: Mitigating Object Hallucinations in LVLMs via Hallucination Insensitivity Model Editing

Dit paper introduceert HIME, een trainingsvrije, laag-adaptieve modelbewerkingsmethode die objecthallucinaties in Vision-Language Modellen effectief vermindert door de Hallucination Insensitivity Score te gebruiken voor gerichte ingrepen zonder extra rekentijd of parameters.

De kern

Stel je voor dat je een zeer slimme, geavanceerde robot hebt die foto's kan bekijken en er vervolgens prachtige verhalen over kan vertellen. Deze robot is getraind met miljoenen foto's en teksten, waardoor hij heel veel weet. Maar er is een groot probleem: deze robot is soms een beetje te creatief. Hij ziet een hond op een bed en begint dan te vertellen over een kussen, een lamp en een stoel die er helemaal niet zijn. Hij "hallucineert" objecten die er niet zijn.

In de wereld van kunstmatige intelligentie noemen we dit object-hallucinaties. Dit is gevaarlijk als je de robot wilt gebruiken voor belangrijke taken, zoals het analyseren van medische scans of het besturen van een auto. Je wilt dat hij alleen ziet wat er écht is.

De onderzoekers van dit paper, HIME, hebben een slimme oplossing bedacht om dit probleem op te lossen zonder de robot helemaal opnieuw te moeten leren (wat heel duur en langzaam is).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vaste" Correctie werkt niet

Vroeger probeerden mensen dit op te lossen door de "hersenen" van de robot (zijn gewichten) op één manier aan te passen.

• De analogie: Stel je voor dat je een muzikant hebt die soms valse noten speelt. De oude methode was: "We gaan alle noten in het orkest iets zachter spelen om die ene valse noot te verstoppen."
• Het resultaat: De valse noot verdwijnt, maar nu klinkt de hele muziek flauw en onherkenbaar. De robot vergeet ook dingen die hij wél goed zag (zoals het bed waar de hond op ligt).

2. De Oplossing: HIME (De Slimme Chirurgen)

De onderzoekers ontdekten iets belangrijks: de "hersenen" van de robot bestaan uit vele lagen (zoals verdiepingen in een flatgebouw). Ze merkten dat hallucinaties niet overal even sterk voorkomen.

• De ontdekking: In sommige verdiepingen van het gebouw is de robot heel goed in het zien van de werkelijkheid. In andere verdiepingen (vaak halverwege of aan het einde) begint hij te dromen en objecten uit zijn duim te zuigen.
• De HIME-methode: In plaats van de hele robot aan te passen, kijken ze precies waar de dromen ontstaan. Ze gebruiken een meetinstrument, de Hallucination Insensitivity Score (HIS).
  • Stel je voor: Het is alsof je een thermische camera gebruikt om te zien welke kamer in het huis het heetst is (waar de "vuur" van de hallucinatie brandt).

3. Hoe werkt het in de praktijk?

HIME doet twee dingen:

1. Het vinden van de "droom-richting": Ze kijken naar de data en vinden de specifieke richting in de hersenen waar de robot begint te fantaseren over stoelen en lampen die er niet zijn.
2. De "Zachte" Correctie: Ze passen de gewichten van de robot aan, maar alleen op de verdiepingen waar het nodig is, en ze doen het voorzichtig.
   • De analogie: In plaats van de hele muziekband stil te maken, geven ze alleen de drummer die de verkeerde ritme slaat een zachte tik op zijn schouder. De andere muzikanten (die de echte details van de hond en het bed zien) mogen gewoon doorgaan met spelen.

Waarom is dit zo geweldig?

• Geen extra gewicht: De robot wordt niet zwaarder of trager. Hij hoeft niet opnieuw getraind te worden.
• Behoud van kennis: Omdat ze alleen de "dromerige" delen aanpakken, blijft de robot zijn echte kennis behouden. Hij vergeet niet hoe een hond eruitziet, hij hallucineert alleen niet meer over de stoel erachter.
• Resultaat: In tests bleek dat HIME de hallucinaties met ongeveer 62% verminderde. De robot werd veel betrouwbaarder, terwijl hij nog steeds slim en creatief bleef.

Kort samengevat:
HIME is als een slimme redacteur die een verhaal leest. In plaats van het hele verhaal te herschrijven (wat veel tijd kost), zoekt hij precies de zinnen waar de schrijver begint te fantaseren over dingen die er niet zijn, en past die zinnen heel specifiek aan. Zo blijft het verhaal waarheidsgetrouw, zonder dat de schrijver zijn stijl verliest.

Technische samenvatting

Probleemstelling

Grote Visueel-Taalmodellen (LVLMs) hebben indrukwekkende multimodale begrijpingsvaardigheden ontwikkeld, maar lijden nog steeds onder object-hallucinaties. Dit fenomeen treedt op wanneer het model objecten beschrijft die niet in de afbeelding voorkomen, of onjuiste feitelijke informatie toekent aan bestaande objecten. Dit wordt vaak veroorzaakt door een misalignement tussen visuele input en taalkundige generatie, waarbij het model vertrouwt op statistische co-occurrence (bijv. het veronderstellen van een "stoel" of "bank" als er een "bed" is) in plaats van op de daadwerkelijke visuele bewijzen.

Bestaande oplossingen hebben beperkingen:

1. Fine-tuning: Vereist grote rekenkracht, zorgvuldig samengestelde datasets en is moeilijk om snel toe te passen.
2. Decoding-time interventies: Voegen vaak extra inferentie-tijd en latentie toe.
3. Bestaande Model Editing (bijv. Nullu): Past vaak een uniforme (hard) weight-editing toe op alle lagen. Dit risicoert "knowledge distortion": het verwijderen van hallucinaties gaat ten koste van het verwijderen van correcte, bestaande objecten of het beschadigen van de vooraf getrainde semantische kennis van het model.

De centrale vraag is: Hoe kunnen we hallucinaties onderdrukken zonder de rijke, impliciete kennis van het vooraf getrainde model te verstoren?

Methodologie

De auteurs stellen HIME (Hallucination Insensitivity Model Editing) voor, een trainingsvrije, laag-adaptieve methode voor het bewerken van modelgewichten. De aanpak bestaat uit drie hoofdstappen:

1. Analyse van Laag-gevoeligheid

De auteurs ontdekten dat object-hallucinaties niet uniform over de decoder-lagen van een LVLM verdeeld zijn. Door een systematische analyse uit te voeren op modellen gebaseerd op Qwen, LLaMA en Vicuna, vonden ze dat bepaalde lagen (vaak in het midden of aan het einde van de decoder) gevoeliger zijn voor hallucinaties dan andere.

2. Hallucination Insensitivity Score (HIS)

Om gerichte interventies mogelijk te maken, introduceren ze de Hallucination Insensitivity Score (HIS).

• Berekening: De HIS meet de distributie-afstand (via KL-divergentie) tussen de aandachtspatronen (attention distributions) van een model wanneer het reageert op een waarheidsgetrouwe beschrijving versus een gehallucineerde beschrijving.
• Interpretatie: Een lage HIS-waarde betekent dat een laag weinig onderscheid maakt tussen waarheid en hallucinatie (hoge gevoeligheid). Een hoge HIS betekent dat de laag robuust is.
• Doel: Deze score dient als een richtsnoer om te bepalen hoe sterk ingegrepen moet worden in elke specifieke laag.

3. Laag-adaptieve Gewichts-Bewerking (HIME)

In plaats van alle lagen uniform te bewerken, past HIME een gewogen projectie toe:

• Subruimte-extractie: Voor elke laag worden de verborgen representaties (hidden states) van waarheidsgetrouwe en gehallucineerde samples vergeleken. Via Singular Value Decomposition (SVD) wordt een lage-rang subruimte geïdentificeerd die de belangrijkste richtingen van hallucinatie vastlegt.
• Adaptieve Projectie: De modelgewichten worden geprojecteerd op de orthogonale complement van deze hallucinatie-subruimte. Cruciaal is dat de sterkte van deze projectie wordt gemoduleerd door de complement van de HIS ($1 - HIS$).
  • Lagen met een lage HIS (hoog risico op hallucinatie) ondergaan een sterkere bewerking.
  • Lagen met een hoge HIS (robust) ondergaan een minimale of geen bewerking, waardoor de oorspronkelijke kennis behouden blijft.
• Implementatie: Dit gebeurt offline. De gewijzigde gewichten worden direct geladen voor inferentie, wat betekent dat er geen extra parameters, geen extra latentie en geen extra rekenkosten tijdens het gebruik zijn.

Belangrijkste Bijdragen

1. Systematische Analyse: Het paper onthult dat object-hallucinaties in LVLMs een diepte-afhankelijk patroon vertonen, wat de praktijk van uniforme editing uitdaagt.
2. Nieuwe Metric (HIS): De introductie van de Hallucination Insensitivity Score, een principieel maatstaf om de gevoeligheid van elke laag voor hallucinaties te kwantificeren.
3. HIME Framework: Een effectieve, trainingsvrije methode die hallucinaties onderdrukt door laag-adaptieve gewichts-bewerking, zonder de prestaties van het model op andere taken te verslechteren.

Resultaten

HIME is uitgebreid getest op drie populaire LVLM-architecturen (LLaVA-1.5, MiniGPT-4, mPLUG-Owl2) en geavanceerdere modellen (Qwen2/3-VL).

• Reductie van Hallucinaties: HIME verlaagt object-hallucinaties met gemiddeld 61,8% op open-ended generatie-benchmarks zoals CHAIR (Sentence-level en Instance-level).
• Behoud van Kwaliteit: In tegenstelling tot eerdere methoden die vaak de beeldbeschrijvingskwaliteit (BLEU-score) of perceptieve vaardigheden verlaagden, behoudt of verbetert HIME deze scores.
• MME Benchmark: Op de MME-benchmark (Multi-modal Evaluation) toont HIME consistente verbeteringen in perceptie-taken (zoals tellen, positie, herkenning van beroemdheden) en cognitieve taken, zonder de oorspronkelijke herkenningsvaardigheden te degraderen.
• GPT-4V Evaluatie: Een evaluatie met GPT-4V bevestigt dat HIME-gegenereerde antwoorden nauwkeuriger zijn dan de baseline en methoden zoals Nullu, terwijl ze voldoende detail behouden.
• Efficiëntie: De methode introduceert geen extra parameters, geen extra latentie tijdens inferentie en geen extra rekenlast.

Significantie

HIME biedt een belangrijke doorbraak in de betrouwbaarheid van LVLMs voor real-world toepassingen. Het lost het fundamentele dilemma op tussen het onderdrukken van hallucinaties en het behoud van modelkennis. Door te erkennen dat niet alle lagen even gevoelig zijn, en door een gerichte, zachte aanpassing toe te passen, vermijdt HIME de "knowledge distortion" die vaak optreedt bij ruwe, uniforme editing. Dit maakt het een praktische, schaalbare oplossing voor het verbeteren van de veiligheid en betrouwbaarheid van multimodale AI-systemen zonder de kosten van hertraining of inferentie te verhogen.