Enhancing Hallucination Detection through Noise Injection

Die Autoren stellen einen einfachen, trainingfreien Ansatz vor, der durch gezieltes Rauschen in Modellparametern oder Aktivierungen während des Sampling-Prozesses die Unsicherheit von Large Language Models besser erfasst und damit die Erkennung von Halluzinationen im Vergleich zu herkömmlichen Methoden signifikant verbessert.

Das Wesentliche

Das Problem: Der "zuverlässige Lügner"

Stell dir vor, du hast einen extrem intelligenten, aber manchmal etwas verwirrten Assistenten (eine Künstliche Intelligenz). Er kann Texte schreiben, die sich absolut logisch und überzeugend anhören. Aber manchmal erfindet er Fakten komplett aus dem Nichts. Das nennt man Halluzination.

Das Tückische daran: Der Assistent ist sich oft gar nicht unsicher. Er sagt Dinge mit absoluter Sicherheit, auch wenn sie falsch sind. Bisherige Methoden, um das zu erkennen, waren wie ein "Zufallstest": Man fragte den Assistenten 10-mal dasselbe. Wenn er jedes Mal eine leicht andere Antwort gab, dachte man: "Aha, er ist unsicher, also ist die Antwort vielleicht falsch." Wenn er immer das Gleiche sagte, dachte man: "Okay, das muss stimmen."

Das Problem: Manchmal ist der Assistent bei einer falschen Antwort auch sehr sicher und gibt immer wieder die gleiche falsche Antwort. Die alten Methoden haben ihn dann nicht entlarvt.

Die neue Idee: Der "Zitter-Test"

Die Forscher von Qualcomm und der UC Santa Barbara haben eine geniale, einfache Idee entwickelt. Sie sagen: "Lass uns nicht nur zufällige Antworten abwarten, sondern lass uns den Assistenten selbst ein bisschen 'wackeln'."

Stell dir den Assistenten wie einen Architekten vor, der einen Plan zeichnet.

1. Der alte Weg (nur Zufall): Du fragst den Architekten 10-mal: "Wie sieht das Haus aus?" Er zeichnet jedes Mal einen leicht anderen Entwurf, weil er ein bisschen kreativ ist. Das ist wie das normale Zufalls-Sampling.
2. Der neue Weg (Rauschen/Noise Injection): Bevor der Architekt überhaupt anfängt zu zeichnen, gibst du ihm ein kleines, unsichtbares Zittern in die Hand. Vielleicht hast du ihm eine Brille aufgesetzt, die die Welt leicht verzerrt, oder du hast ihm einen kleinen Kaffee gegeben, der seine Hand leicht zittern lässt.

Jetzt fragst du ihn wieder 10-mal: "Wie sieht das Haus aus?"

• Wenn er die Antwort wirklich kennt: Selbst mit dem Zittern in der Hand wird er immer noch ein sehr ähnliches, korrektes Haus zeichnen. Die Entwürfe sind stabil.
• Wenn er die Antwort nur erfindet (halluziniert): Da er den Plan gar nicht wirklich im Kopf hat, führt das kleine Zittern dazu, dass seine Entwürfe völlig chaotisch werden. Mal ist es ein Turm, mal ein Bungalow, mal ein Schiff. Die Antworten sind extrem unbeständig.

Warum funktioniert das? (Die zwei Arten von Unsicherheit)

Die Forscher erklären das mit zwei Arten von Unsicherheit:

1. Die "Zufalls-Unsicherheit" (Aleatorisch): Das ist wie wenn du eine Münze wirfst. Du weißt nicht, ob Kopf oder Zahl kommt. Das ist die normale Unsicherheit, die bisherige Methoden gemessen haben.
2. Die "Wissens-Unsicherheit" (Epistemisch): Das ist, wenn der Architekt nicht weiß, wie ein Haus gebaut wird. Er hat es nie gelernt.

Der Trick der neuen Methode ist, dass sie beide Arten von Unsicherheit misst. Durch das "Zittern" (das Einfügen von Rauschen in die inneren Schichten des Modells) zwingen wir das Modell, seine eigene Wissenslücke zu offenbaren. Wenn es die Antwort nicht wirklich weiß, bricht es unter dem Druck des Zitterns zusammen. Wenn es die Antwort weiß, bleibt es stabil.

Das Ergebnis: Ein sicherer Assistent

Die Forscher haben das an vielen verschiedenen Aufgaben getestet (von Matheaufgaben bis zu Allgemeinwissen). Das Ergebnis war beeindruckend:

• Die Methode ist kostenlos: Man muss das Modell nicht neu trainieren. Man schaltet es einfach nur kurz "verrückt" (fügt Rauschen hinzu) und misst die Reaktion.
• Sie ist besser: Sie findet viel mehr falsche Antworten als die alten Methoden, besonders bei Aufgaben, bei denen das Modell normalerweise sehr selbstbewusst falsch liegt.
• Sie ist schnell: Es kostet kaum mehr Rechenzeit als das normale Fragen.

Zusammenfassung in einem Satz

Statt dem KI-Assistenten einfach nur zuzuhören, schütteln wir ihn ganz leicht am Arm; wenn er dann stolpert und die Antwort vergisst, wissen wir, dass er die Antwort gar nicht wirklich kannte und nur gelogen hat.

Das ist wie ein Stabilitätstest für das Wissen einer KI, der verhindert, dass wir falschen Informationen glauben, nur weil sie gut klingen.

Technische Zusammenfassung

Problemstellung

Große Sprachmodelle (LLMs) neigen dazu, plausible, aber faktisch falsche Antworten zu generieren, ein Phänomen, das als „Halluzination" bekannt ist. Die effektive Erkennung dieser Halluzinationen während der Inferenz ist entscheidend für den sicheren Einsatz von LLMs.
Bisherige Ansätze zur Detektion basieren oft auf der Messung der Unsicherheit über mehrere Stichproben (Samples), die direkt aus der vom Modell definierten Token-Verteilung gezogen werden. Das Papier argumentiert jedoch, dass diese Methode suboptimal ist, da sie primär aleatorische Unsicherheit (Datenunsicherheit, d.h. die inhärente Mehrdeutigkeit der Daten) erfasst, aber die epistemische Unsicherheit (Modellunsicherheit, d.h. Unsicherheit aufgrund der begrenzten Trainingsdaten und der spezifischen Modellparameter) ignoriert. Eine reine Stichprobenziehung aus der Token-Verteilung reicht nicht aus, um die Stabilität des Modells gegenüber Perturbationen zu testen, die für die Erkennung von Halluzinationen notwendig ist.

Methodik

Die Autoren schlagen einen einfachen, training-freien Ansatz vor, der auf dem Konzept der Bayesschen Unsicherheit basiert. Anstatt das Modell neu zu trainieren oder Dropout zu nutzen (was in vielen modernen LLMs nicht vorhanden ist), wird eine Surrogat-Verteilung über plausible Modellparameter approximiert.

1. Rauschinjektion (Noise Injection):

   • Statt nur beim Vorhersagelayer (Output) zu sampeln, wird Rauschen in die Aktivierungen der versteckten Einheiten (hidden unit activations) injiziert.
   • Konkret wird gleichmäßiges Rauschen (Uniform Noise) in die MLP-Aktivierungen (Multi-Layer Perceptron) bestimmter Schichten des Transformers injiziert. Dies entspricht effektiv einer Perturbation der Bias-Terme in den MLP-Blöcken.
   • Dies simuliert das Ziehen von Stichproben aus einer Verteilung von Modellen $q(\omega)$, die um die vortrainierten Gewichte $\bar{\omega}$ zentriert ist.

2. Kombinierte Unsicherheit:

   • Der vorgeschlagene Sampling-Prozess kombiniert zwei Unsicherheitsquellen:
     • Epistemische Unsicherheit: Durch die Rauschinjektion in den mittleren Schichten (z. B. Schichten 20–32 bei Llama-2-7B).
     • Aleatorische Unsicherheit: Durch das Standard-Sampling aus der Temperatur-angepassten Token-Verteilung am Output-Layer.
   • Das Papier zeigt, dass diese beiden Unsicherheitsarten komplementär wirken und gemeinsam eine bessere Trennung zwischen korrekten Antworten und Halluzinationen ermöglichen.

3. Detektionsmetrik:

   • Als Unsicherheitsmetrik wird die Antwort-Entropie (Answer Entropy) verwendet. Dabei werden $K$ generierte Antworten gesampelt, die finalen Antworten extrahiert und die Entropie über die Häufigkeitsverteilung dieser Antworten berechnet. Eine hohe Entropie deutet auf Inkonsistenz (und somit potenzielle Halluzination) hin.

Wichtige Beiträge

• Theoretische Einordnung: Die Arbeit stellt klar, dass die reine Token-Sampling-Methode nur aleatorische Unsicherheit erfasst und dass für eine robuste Halluzinationserkennung die Modellunsicherheit (epistemisch) explizit berücksichtigt werden muss.
• Einfache, training-freie Lösung: Im Gegensatz zu komplexen Bayesschen Methoden oder dem Training separater Detektionsmodelle, ist der vorgeschlagene Ansatz extrem leichtgewichtig und erfordert keine Änderung der Trainingsdaten oder des Trainingsprozesses.
• Effizienz: Durch die Injektion von Rauschen in die Aktivierungen (statt das gesamte Modell für jede Stichprobe neu zu initialisieren) können mehrere Modelle parallel in einem einzigen Forward-Pass gesampelt werden, was den Rechenaufwand im Vergleich zu klassischen Bayesschen Approximationen drastisch senkt.
• Generalisierung: Der Ansatz wurde erfolgreich auf verschiedene Datensätze (GSM8K, CSQA, TriviaQA), verschiedene Modellarchitekturen (Llama-2/3, Mistral, Phi-3, Gemma) und verschiedene Unsicherheitsmetriken angewendet.

Ergebnisse

Die empirischen Evaluationen zeigen signifikante Verbesserungen gegenüber dem State-of-the-Art (Standard-Sampling ohne Rauschen):

• Verbesserte Detektionsleistung: Über alle getesteten Modelle und Datensätze hinweg führt die Rauschinjektion zu einer deutlichen Steigerung der AUROC (Area Under the Receiver Operating Characteristic Curve).
  • Beispiel Llama-2-7B-chat auf GSM8K: AUROC stieg von 71,56 % (ohne Rauschen) auf 76,14 % (mit Rauschen).
  • Beispiel Llama-3.2-3B-Instruct auf GSM8K: AUROC stieg von 76,53 % auf 82,70 %.
• Kein Genauigkeitsverlust: Wichtig ist, dass die Generierungsqualität (Accuracy) der Modelle durch die Rauschinjektion nicht beeinträchtigt wird. Die Methode verbessert die Detektion, ohne die eigentliche Antwortgenerierung zu verschlechtern.
• Komplementarität: Die Analyse zeigt eine schwache Korrelation (Pearson-Korrelation von 0,58) zwischen aleatorischer und epistemischer Unsicherheit, was bestätigt, dass beide Quellen unterschiedliche Informationen liefern und kombiniert werden sollten.
• Robustheit: Die Methode funktioniert robust über verschiedene Rauschmagnituden, Sampling-Temperaturen und Schichten des Modells hinweg. Auch die Kombination mit Input-Perturbationen (z. B. Shuffling von In-Context-Beispielen) führt zu weiteren Verbesserungen.

Bedeutung

Dieses Papier liefert einen wichtigen Beitrag zur sicheren Nutzung von LLMs, indem es eine praktikable und effiziente Methode zur Halluzinationserkennung während der Inferenz bereitstellt.

• Praktische Anwendbarkeit: Da der Ansatz training-frei ist und nur minimale Rechenressourcen benötigt (paralleles Sampling), kann er leicht in bestehende Inferenz-Pipelines integriert werden.
• Paradigmenwechsel: Es verschiebt den Fokus von reinen Output-Sampling-Methoden hin zu einer expliziten Modellierung der Modellunsicherheit durch Parameter-Perturbation.
• Zukunftssicherheit: Die Methode adressiert ein fundamentales Problem aktueller LLMs (die Unvermeidbarkeit von Halluzinationen durch das Trainingsparadigma) durch eine verbesserte Detektion, was für kritische Anwendungen in Medizin, Recht oder Wissenschaft essenziell ist.

Zusammenfassend demonstriert die Arbeit, dass die gezielte Störung der internen Repräsentationen eines LLMs eine mächtige Technik ist, um die Zuverlässigkeit von KI-Systemen zu bewerten und Halluzinationen zuverlässiger zu erkennen.