HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

Deze studie introduceert HALP, een methode die hallucinaties in vision-language modellen succesvol detecteert vóór de tekstgeneratie door interne representaties te analyseren, waardoor kostbare en onrechtstijdige ingrepen na het genereren van tokens kunnen worden vermeden.

De kern

HALP: De "Waarschuwingslamp" voor AI die hallucineert

Stel je voor dat je een zeer slimme, maar soms dromerige assistent hebt. Je geeft hem een foto en vraagt: "Wat zie je hier?" Hij antwoordt direct en met veel zelfvertrouwen. Maar soms, terwijl hij nog aan het kijken is naar de foto, begint hij al te fantaseren. Hij ziet een hond die er niet is, of beweert dat de lucht paars is terwijl hij blauw is. Dit noemen we in de AI-wereld hallucineren.

Tot nu toe was het moeilijk om dit te stoppen. Je moest wachten tot de assistent zijn hele verhaal had opgeschreven, en dan pas kon je zeggen: "Hé, dat klopt niet!" Maar dat is te laat en kost veel tijd.

De onderzoekers van dit paper (HALP) hebben een slimme oplossing bedacht: een waarschuwingssysteem dat werkt voordat de assistent ook maar één woord heeft gezegd.

Hoe werkt het? (De Creatieve Analogie)

Stel je de AI voor als een chef-kok in een keuken.

1. De Ingrediënten (Het plaatje): De chef krijgt een foto van een gerecht.
2. Het Koken (De AI): De chef begint te denken en te plannen wat hij gaat zeggen.
3. Het Serveren (De tekst): Uiteindelijk schrijft hij het recept op.

De oude manier: Je wachtte tot de chef het bord met eten had geserveerd. Dan keek je: "Oh nee, er ligt een vlieg op!" Je moest het bord dan weer weghalen. Dat is duur en rommelig.

De HALP-methode: De onderzoekers hebben een kook-assistent (een klein, slim computerprogramma) naast de chef gezet. Deze assistent kijkt niet naar het eindresultaat, maar naar de gedachten van de chef terwijl hij nog aan het plannen is.

Deze kook-assistent kijkt naar drie dingen:

1. Alleen de foto: Kijkt de chef goed naar de ingrediënten? (Ziet hij de groenten wel?)
2. De eerste gedachten: Hoe verwerkt de chef de foto in zijn hoofd?
3. De definitieve plan: Wat is het laatste idee dat de chef heeft, net voordat hij gaat schrijven?

De assistent zegt dan: "Chef, ik zie dat je net gaat beginnen met het verhaal over de 'paarse lucht'. Je gedachten lijken hier een beetje onzeker over. Misschien moet je dat niet zeggen?"

Wat hebben ze ontdekt?

De onderzoekers hebben dit getest met 8 verschillende moderne AI-modellen (zoals Llama, Gemma en Qwen). Ze ontdekten drie belangrijke dingen:

1. Je kunt het zien voordat het gebeurt: De AI heeft al "weten" dat ze gaan liegen, nog voordat ze de eerste letter hebben geschreven. Het zit verstopt in hun interne gedachten.
2. Elke chef is anders: Bij sommige AI's moet je kijken naar de eerste gedachten (de pure foto-interpretatie). Bij andere AI's moet je kijken naar het laatste plan (net voor het schrijven). Het hangt af van hoe de AI is gebouwd.
3. Het werkt heel goed: In veel gevallen kon dit systeem voorspellen of de AI zou hallucineren met een nauwkeurigheid van wel 93%! Dat is bijna net zo goed als een mens die het na het lezen van het antwoord zou kunnen zeggen.

Waarom is dit geweldig?

Stel je voor dat je deze AI gebruikt in een ziekenhuis of voor zelfrijdende auto's.

• Oude manier: De auto zegt: "Ik zie een konijn op de weg!" (Terwijl er geen konijn is). De auto remt hard. Pas daarna zie je dat het een fout was.
• Nieuwe HALP-methode: De AI denkt: "Ik zie iets dat op een konijn lijkt, maar ik ben niet zeker." De HALP-assistent ziet deze twijfel in de gedachten, zegt: "Stop! Ga niet remmen, er is geen konijn." De auto rijdt rustig door.

Conclusie

HALP is als een onzichtbare veiligheidscontroleur die in de hersenen van de AI meekijkt. Hij geeft een seintje als de AI op het punt staat om een onzinverhaal te vertellen. Hierdoor kunnen we AI-systemen veiliger maken, sneller laten werken (want we hoeven niet te wachten op het antwoord om te controleren), en voorkomen dat er gevaarlijke fouten worden gemaakt.

Het is een stap in de richting van AI die niet alleen slim is, maar ook betrouwbaar.

Technische samenvatting

Titel: HALP: Hallucinatiedetectie in Vision-Language Models zonder het genereren van een enkel token

1. Het Probleem

Vision-Language Models (VLMs) zoals Gemma-3, LLaVA en Qwen2.5-VL hebben enorme vooruitgang geboekt, maar lijden nog steeds onder hallucinaties. Dit betekent dat ze niet-bestaande objecten beschrijven, feiten verzinnen of claims doen die strijdig zijn met de visuele input.

• Huidige beperkingen: Bestaande detectiemethoden werken meestal post-hoc (na de tekstgeneratie). Ze vereisen dat het model een volledige beschrijving genereert voordat het kan worden gecontroleerd op fouten (bijv. met CHAIR of POPE).
• Nadeel: Dit is computatief duur, tijdrovend en ongeschikt voor real-time toepassingen (zoals medische beeldanalyse of autonoom rijden) waar ingrijpen voordat de fout wordt geuit cruciaal is.
• Gat in de literatuur: Er is weinig onderzoek gedaan naar het voorspellen van hallucinatierisico's op basis van interne modelrepresentaties voordat er ook maar één token wordt gegenereerd.

2. Methodologie: HALP Framework

De auteurs introduceren HALP (HALlucination Prediction via Pre-Generation Probing), een lichtgewicht framework dat hallucinatierisico voorspelt tijdens de "prefill"-fase (één forward pass) zonder de tekstgeneratie te voltooien.

Kerncomponenten:

1. Data: Er is een benchmark van 10.000 voorbeelden samengesteld uit zes bestaande VQA-datasets (zoals AMBER, POPE, MathVista), gedekt over diverse domeinen (ruimtelijk redeneren, OCR, kennis, etc.).
2. Labeling: Hallucinaties worden gelabeld met een "LLM-as-a-judge" (GPT-4) die de gegenereerde output vergelijkt met de ground truth en de visuele input.
3. Feature Extractie (Pre-Generation): HALP haalt drie soorten interne representaties uit één forward pass van het VLM:
   • VF (Visual Features): Gepoolde visuele features van de vision encoder, voordat multimodale fusie plaatsvindt.
   • VT (Vision Token Representations): Verborgen staten van de decoder op de posities van de visuele tokens (hoe visuele info wordt verwerkt in de tekstdecoder).
   • QT (Query Token Representations): Verborgen staten van de decoder op de positie van de laatste tekst-token (query), wat de volledig geïntegreerde multimodale context vertegenwoordigt direct voor de generatie begint.
4. Probing: Voor elke representatietype en laag wordt een eenvoudige, lichte MLP-probe (3 lagen) getraind om een binair label te voorspellen: zal het model hallucineren (1) of niet (0)? De output is een score tussen 0 en 1.

3. Belangrijkste Bijdragen

• Pre-Generation Detectie: Het bewijst dat hallucinatierisico's detecteerbaar zijn in de interne staten van VLMs voordat er tekst wordt gegenereerd.
• Architectuur-onafhankelijkheid: Het framework is getest op 8 moderne VLMs (o.a. Gemma-3, Llama-3.2-Vision, Phi-4-VL, Molmo, Qwen2.5-VL) en toont aan dat de meest informatieve signalen variëren per architectuur.
• Efficiëntie: Het elimineert de noodzaak van volledige tekstgeneratie voor risicobeoordeling, wat leidt tot aanzienlijke besparingen in rekentijd en energie.
• Praktische Toepassingen: Het stelt systemen in staat om "early abstention" (weigeren van antwoord) of "selective routing" (doorsturen naar een sterker model) toe te passen op basis van de voorspelde risico-score.

4. Resultaten

De prestaties worden gemeten met AUROC (Area Under the Receiver Operating Characteristic curve), waarbij 1.0 perfecte voorspelling betekent.

• Algemene Prestaties:

  • Query Tokens (QT) zijn over het algemeen de meest voorspellende representatie. Voor modellen zoals Gemma-3, Phi-4-VL en Molmo wordt een AUROC van ~0.93 bereikt.
  • Visuele Features (VF) werken goed voor specifieke architecturen (bijv. Qwen2.5-VL-7B haalt ~0.79 AUROC puur op visuele features), maar zijn over het algemeen minder sterk dan QT.
  • Vision Tokens (VT) tonen gemiddelde prestaties (~0.70 AUROC) en zijn minder consistent dan QT.

• Laag-analyse (Layer-wise):

  • Voor de meeste modellen nemen de hallucinatiesignalen toe naarmate de decoder dieper gaat (van laag 1 naar laag L). De beste signalen zitten vaak in de diepere lagen (bijv. 3L/4 of L).
  • Uitzonderingen bestaan: FastVLM-7B presteert het beste op visuele tokens in middenlagen, wat wijst op een unieke architecturale verwerking.

• Domein-specifieke resultaten:

  • Lage risico: Domeinen zoals "Attribute Recognition" en "Text & OCR" tonen hoge detectiepercentages (AUROC > 0.85).
  • Hoge risico: Domeinen zoals "Temporal & Video" en "Knowledge & Identity" zijn moeilijker te detecteren (AUROC < 0.70), wat aangeeft dat hier extra monitoring nodig is.

• Vroege Weigering (Early Refusal):

  • Door een drempelwaarde toe te passen op de probe-score, kan het systeem hallucinaties in 57% tot 80% van de gevallen detecteren en weigeren te antwoorden, met een precisie van 48-57%, zonder ook maar één woord te genereren.

5. Betekenis en Impact

• Veiligheid en Betrouwbaarheid: HALP biedt een praktische oplossing voor het verbeteren van de veiligheid van VLMs in kritieke toepassingen (medisch, autonoom rijden) door fouten te vangen voordat ze zichtbaar worden voor de gebruiker.
• Efficiëntie: Het vermijden van volledige generatie voor controle bespaart aanzienlijke rekencapaciteit. Het overhead van de probe zelf is verwaarloosbaar (<1% van de totale generatietijd).
• Architecturale Inzichten: Het onderzoek onthult dat verschillende VLM-architecturen hallucinatiesignalen op verschillende manieren coderen (soms puur visueel, soms pas na fusie), wat waardevolle inzichten biedt voor toekomstig modelontwerp.
• Toekomstperspectief: De auteurs suggereren dat deze scores kunnen worden gebruikt voor adaptieve decoding, selectieve routing naar sterkere modellen, of het activeren van menselijke supervisie bij hoge risico's.

Conclusie: HALP demonstreert dat hallucinaties in VLMs geen "black box" fenomeen zijn dat alleen na de output te detecteren is, maar dat er waardevolle, voorspellende signalen aanwezig zijn in de interne staten die kunnen worden benut voor real-time risicobeheer.