HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

Die Studie „HALP" zeigt, dass Halluzinationen in Vision-Language-Modellen bereits vor der Textgenerierung durch das Analysieren interner Repräsentationen in einem einzigen Vorwärtsdurchlauf mit hoher Genauigkeit erkannt werden können, was effiziente Eingriffe wie frühes Abbrechen oder selektives Routing ermöglicht.

Das Wesentliche

Das Problem: Der „Halluzinierende" KI-Koch

Stell dir vor, du hast einen extrem talentierten Koch (die KI), der Bilder sieht und dir beschreibt, was darauf zu sehen ist. Dieser Koch ist sehr gut im Reden, aber manchmal ist er so kreativ, dass er Dinge erfindet.

• Du zeigst ihm ein Bild von einem Apfel.
• Er sagt: „Ja, da ist ein roter Apfel, und daneben steht ein blauer Elefant."

Der Elefant ist nicht da. Das ist eine Halluzination. Bisherige Methoden, um das zu erkennen, funktionieren wie ein Geschmacks-Test nachdem das Gericht schon auf dem Teller serviert wurde. Man muss warten, bis der Koch den ganzen Text fertig geschrieben hat, um zu merken: „Moment, hier hat er gelogen!" Das ist langsam und ineffizient, besonders wenn man in Echtzeit entscheiden muss (z. B. bei einem autonomen Auto).

Die Lösung: HALP – Der „Frühwarn-Radar"

Die Forscher von HALP (Hallucination Prediction via Pre-Generation Probing) haben eine geniale Idee entwickelt: Wir wollen wissen, ob der Koch lügt, bevor er auch nur ein einziges Wort sagt.

Stell dir HALP nicht als Geschmacks-Test vor, sondern als einen Radar-Scanner, der den Koch schon in der Küche beobachtet, während er die Zutaten (das Bild) betrachtet und seine Gedanken sortiert.

Wie funktioniert das? (Die drei Scanner-Typen)

Die Forscher haben drei verschiedene „Blicke" in das Gehirn der KI geworfen, um zu sehen, ob sich dort Anzeichen für eine Lüge zeigen:

1. Der reine Bild-Scanner (Visual Features):

   • Die Metapher: Ein Fotograf, der das Bild nur betrachtet, bevor er mit dem Koch spricht.
   • Was er tut: Er schaut nur auf das Bild. Wenn das Bild unscharf ist oder der Koch das Bild gar nicht richtig „sieht", zeigt dieser Scanner ein Warnsignal.
   • Ergebnis: Bei manchen KIs reicht das schon, um zu merken, dass etwas schiefgeht.

2. Der Bild-Übersetzer (Vision Tokens):

   • Die Metapher: Ein Dolmetscher, der das Bild in die Sprache des Kochs übersetzt.
   • Was er tut: Er nimmt die Bildinformationen und wandelt sie in Textbausteine um. Der Scanner prüft, ob diese Übersetzung schon verrückt klingt.
   • Ergebnis: Bei manchen KIs ist hier das Signal am stärksten.

3. Der Denk-Prozess-Scanner (Query Tokens):

   • Die Metapher: Ein Beobachter, der genau in dem Moment zusieht, in dem der Koch die Frage hört und anfängt, die Antwort in seinem Kopf zu formen – kurz bevor er den Mund aufmacht.
   • Was er tut: Er schaut auf die Gedanken des Kochs, die das Bild und die Frage bereits vermischt haben.
   • Ergebnis: Das ist der Gewinner! Bei den meisten modernen KIs ist hier das Signal am lautesten. Der Scanner sieht genau, wenn der Koch anfängt, sich in seiner eigenen Fantasie zu verlieren, noch bevor er den ersten Buchstaben schreibt.

Was haben die Forscher herausgefunden?

Sie haben acht verschiedene „Köche" (moderne KI-Modelle) getestet und folgende Dinge bemerkt:

• Man muss nicht warten: Die KI verrät sich selbst schon im Inneren. Man muss nicht warten, bis sie die ganze Geschichte erzählt hat.
• Jeder Koch ist anders: Bei manchen Modellen sieht man die Lüge schon beim bloßen Betrachten des Bildes. Bei anderen muss man warten, bis sie die Frage verarbeitet haben. Es gibt keine „Einheitslösung", aber HALP passt sich an.
• Der beste Zeitpunkt: Meistens ist der Moment, kurz bevor die KI mit dem Sprechen beginnt (die „Query-Token"-Phase), der perfekte Zeitpunkt, um zu sagen: „Stopp! Hier stimmt was nicht!"

Warum ist das wichtig? (Die Vorteile)

Stell dir vor, du fährst ein autonomes Auto.

• Ohne HALP: Das Auto sieht ein Hindernis, sagt „Alles klar, ich fahre weiter", und erst nachdem es gegen den Baum gefahren ist, merkt es: „Ups, das war ein Baum." (Zu spät!)
• Mit HALP: Der Radar-Scanner merkt im Inneren des Computers: „Hey, die KI ist sich unsicher oder erfindet gerade etwas." Das Auto sagt sofort: „Ich bin mir nicht sicher, ich bremse lieber ab oder frage den Fahrer."

Das spart Zeit, Rechenleistung und verhindert gefährliche Situationen.

Zusammenfassung in einem Satz

HALP ist wie ein unsichtbarer Detektiv, der in das Gehirn einer KI schaut, um zu spüren, ob sie gerade lügt – und das tut er, bevor die KI auch nur ein einziges Wort schreibt.

Das macht KI-Sicherheit schneller, billiger und sicherer, weil wir Probleme abfangen können, bevor sie überhaupt entstehen.

Technische Zusammenfassung

1. Problemstellung

Vision-Language Models (VLMs) haben zwar enorme Fortschritte gemacht, leiden jedoch weiterhin unter dem Problem der Halluzination. Dabei generieren Modelle Beschreibungen für nicht existierende Objekte, erfinden Attribute oder treffen faktisch falsche Aussagen, die nicht mit dem Eingabebild übereinstimmen.

• Aktuelle Grenzen: Bestehende Detektionsmethoden (z. B. CHAIR, POPE, FaithScore) arbeiten meist post-hoc (nach der Textgenerierung). Sie erfordern die vollständige Generierung einer Antwort, um Fehler zu identifizieren. Dies ist rechenintensiv, zeitverzögert und für Echtzeitanwendungen (z. B. autonome Navigation, medizinische Bildgebung) ungeeignet, da eine Intervention erst nach dem Schaden möglich ist.
• Die Lücke: Es gibt kaum Methoden, die das Halluzinationsrisiko vor der Generierung eines einzigen Tokens vorhersagen können, indem sie die internen Repräsentationen des Modells nutzen.

2. Methodik: HALP Framework

Die Autoren stellen HALP (HALlucination Prediction via Pre-Generation Probing) vor. Dies ist ein leichtgewichtiges Framework, das das Risiko einer Halluzination basierend auf den internen Zuständen des VLMs vor der Dekodierung vorhersagt.

Der Prozess:

1. Einziger Vorwärtsdurchlauf (Single Forward Pass): Das Modell verarbeitet ein Bild-Abfrage-Paar (Image-Query), aber es wird kein Text generiert.
2. Extraktion interner Repräsentationen: HALP analysiert drei spezifische Arten von internen Merkmalen aus dem Decoder:
   • VF (Visual Features): Gemedelte visuelle Merkmale aus dem Vision-Encoder, bevor sie mit dem Text-Decoder fusioniert werden. Dies erfasst rein visuelle Signale.
   • VT (Vision Token Representations): Die versteckten Zustände (Hidden States) im Decoder an der Position des letzten visuellen Tokens (nach der Fusion mit dem Text).
   • QT (Query Token Representations): Die versteckten Zustände im Decoder an der Position des letzten Text-Tokens (der Abfrage). Diese repräsentieren die vollständig kontextualisierte multimodale Information unmittelbar vor der Generierung.
3. Probing (Klassifikation): Auf diesen Merkmalen werden einfache, leichtgewichtige MLP-Classifier (Probes) trainiert (3 Schichten, ReLU-Aktivierung). Diese Proben lernen, basierend auf den internen Zuständen, eine binäre Klassifikation durchzuführen: Wird das Modell halluzinieren (1) oder nicht (0)?
4. Datensatz: Es wurde ein Benchmark mit 10.000 Beispielen aus sechs etablierten VQA-Datensätzen (z. B. AMBER, POPE, MathVista, HallusionBench) erstellt, der diverse Halluzinationstypen (Objekte, Attribute, Beziehungen) abdeckt. Die Labels wurden mittels eines „LLM-as-a-Judge" (GPT-4) generiert.

3. Schlüsselbeiträge

• Prä-Generative Detektion: Der Nachweis, dass Halluzinationsrisiken bereits in den internen Repräsentationen vor der Textausgabe kodiert sind und ohne Dekodierung vorhergesagt werden können.
• Architektur-Abhängigkeit: Die Identifizierung, dass der informativste Ort für die Detektion (welche Repräsentation und welche Schicht) stark von der Modellarchitektur abhängt.
• Effizienz: HALP benötigt keine zusätzliche Generierung und fügt nur einen minimalen Overhead hinzu (ca. 10–15 ms für die Probe), was Echtzeit-Interventionen ermöglicht.
• Anwendbarkeit: Das Framework funktioniert über eine breite Palette moderner VLMs hinweg (Gemma-3, Llama-3.2-Vision, Phi-4-VL, Qwen2.5-VL, Molmo, etc.).

4. Ergebnisse

Die Experimente wurden an acht modernen Open-Source-VLMs durchgeführt. Die Leistung wurde mit der AUROC (Area Under the Receiver Operating Characteristic Curve) gemessen.

• Überlegene Leistung der Query-Token (QT): Für die meisten Modelle (7 von 8) sind die Query-Token-Repräsentationen (QT) am Ende des Decoders die stärksten Indikatoren.
  • Spitzenwerte: Modelle wie Gemma-3-12B, Phi-4-VL und Molmo 7B erreichten AUROC-Werte von bis zu 0,93–0,94 allein basierend auf den QT-Repräsentationen.
  • Tiefenabhängigkeit: Bei vielen Modellen verbessert sich die Vorhersagekraft mit der Tiefe des Decoders (von Schicht 1 bis L), wobei oft die Schichten vor dem finalen Output (z. B. 3L/4) optimal sind.
• Architekturelle Unterschiede:
  • Visuell-zentrierte Modelle: Modelle wie Qwen2.5-VL-7B und Llama-3.2-11B-Vision zeigen bereits mit reinen visuellen Features (VF) eine starke Leistung (AUROC ~0,78 bzw. ~0,77), was darauf hindeutet, dass Halluzinationen hier oft bereits in der visuellen Verarbeitung entstehen.
  • Fusions-zentrierte Modelle: Modelle wie LLaVA-Next oder Phi-4-VL benötigen die multimodale Fusion (QT), um gute Ergebnisse zu erzielen, da reine visuelle Features hier schwächer sind.
  • Ausreißer: FastVLM-7B zeigt ein einzigartiges Verhalten, bei dem Vision-Token-Repräsentationen (VT) besser funktionieren als QT, was auf eine andere Architektur der visuell-textuellen Integration hinweist.
• Domänenanalyse:
  • Hohe Risiken: Domänen wie „Temporal & Video" und „Knowledge & Identity" haben hohe Halluzinationsraten und sind schwieriger zu detektieren.
  • Niedrige Risiken: Aufgaben wie „Attribute Recognition" und „OCR" zeigen robuste Vorhersageleistung.

5. Bedeutung und Implikationen

HALP bietet einen praktischen Weg, um die Sicherheit und Effizienz von VLMs zu verbessern:

• Frühe Ablehnung (Early Refusal): Basierend auf dem Proben-Score kann das System entscheiden, keine Antwort zu generieren, wenn das Halluzinationsrisiko hoch ist (z. B. „Ich bin unsicher"). Dies verhindert die Ausgabe falscher Informationen.
• Selektives Routing: Hochriskante Anfragen können an stärkere Modelle oder spezialisierte Tools weitergeleitet werden, während einfache Anfragen vom Basis-Modell beantwortet werden.
• Ressourceneffizienz: Da keine vollständige Generierung nötig ist, werden Rechenressourcen gespart, die sonst für das Erstellen falscher Antworten verschwendet würden.
• Skalierbarkeit: Der Ansatz ist leichtgewichtig und kann als Add-on für bestehende VLMs integriert werden, ohne deren Architektur zu ändern.

Fazit: HALP demonstriert, dass Halluzinationen kein unvermeidbares Nebenprodukt der Generierung sind, sondern bereits in den internen Repräsentationen des Modells erkennbar sind. Dies ermöglicht einen Paradigmenwechsel von reaktiver Fehlerkorrektur hin zu proaktiver Risikominimierung in multimodalen KI-Systemen.