From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

Das große Problem: Wenn die KI Dinge erfindet

Stellen Sie sich einen sehr klugen Schüler (das Large Language Model, oder LLM) vor, der eine Prüfung ablegt. Manchmal weiß dieser Schüler die Antwort und gibt sie richtig an. Aber manchmal weiß der Schüler die Antwort nicht, schreibt aber dennoch etwas auf, das plausibel klingt, aber eigentlich völlig erfunden ist. In der Welt der KI nennen wir das eine Halluzination.

Zu erkennen, wann die KI lügt, ist schwierig. Bestehende Methoden sind wie das Anheuern eines separaten Lehrers, der die Arbeit des Schülers bewertet (was teuer und langsam ist), oder die Frage an den Schüler, dieselbe Prüfung zehnmal zu machen und zu sehen, ob er unterschiedliche Antworten gibt (was rechenintensiv und bei komplexen Denkaufgaben verwirrend ist).

Die neue Idee: Aus dem „Out-of-Distribution“ (OOD) lernen

Die Autoren dieser Arbeit hatten eine clevere Idee: Betrachten wir Halluzinationen wie einen Fremden auf einer Party.

In der Informatik gibt es ein gut untersuchtes Problem namens Out-of-Distribution (OOD) Detection. Stellen Sie sich einen Sicherheitsmann in einem Club vor, der genau weiß, wie die Stammgäste aussehen. Wenn ein Fremder mit einem seltsamen Kostüm hereinläuft, weiß der Sicherheitsmann: „Hey, diese Person gehört hier nicht hin.“

• In der alten Welt: Der Sicherheitsmann (die KI) ist darauf trainiert, bestimmte Gesichter zu erkennen (Trainingsdaten). Wenn ein neues Gesicht auftaucht, versucht der Sicherheitsmann immer noch zu raten, wer es ist, aber er rät eigentlich nur wild herum. Das ist eine „Halluzination“ des Klassifizierers.
• Die Erkenntnis der Arbeit: Die Autoren erkannten, dass eine KI, wenn sie halluziniert, im Grunde dasselbe tut: Sie versucht, eine Frage zu beantworten, auf die sie eigentlich nicht trainiert wurde, oder sie verlässt ihren „Komfortbereich“ des Wissens.

Anstatt einen neuen Detektor von Grund auf neu zu bauen, stellten sie die Frage: Können wir die Werkzeuge des Sicherheitsmanns nutzen, um die KI beim Lügen zu erwischen?

Die Lösung: Eine geometrische Sichtweise (Die „Landkarten“-Analogie)

Die Arbeit schlägt vor, die internen Gedanken der KI nicht als Text, sondern als Punkte auf einer riesigen Landkarte zu betrachten.

1. Die Landkarte: Stellen Sie sich vor, das Gehirn der KI ist ein riesiger, mehrdimensionaler Raum. Jedes Wort, das sie sagen kann, hat einen spezifischen „Gewichtsvektor“ (eine Flagge), der in diesem Raum platziert ist.

2. Die Reise: Während die KI einen Satz schreibt, bewegt sie einen Punkt (der den aktuellen Gedanken repräsentiert) durch diesen Raum.

3. Die zwei Detektoren: Die Autoren haben zwei „Sicherheitsmann-Werkzeuge“ angepasst, um diesen Punkt zu beobachten:

   • Werkzeug A: Der „Umarmungs“-Detektor (NCI)

     • Die Analogie: Stellen Sie sich vor, die KI versucht, die Flagge zu umarmen, die für das Wort steht, das sie gerade gewählt hat. Wenn die KI sicher ist, befindet sich der Punkt direkt neben der Flagge und die „Umarmung“ ist eng.
     • Die Halluzination: Wenn die KI halluziniert, ist der Punkt weit entfernt von der Flagge. Die „Umarmung“ ist schwach oder nicht vorhanden. Das Papier nennt dies Feature Proximity (Merkmalsnähe). Wenn der Punkt zu weit von der Flagge entfernt ist, ist es eine Lüge.

   • Werkzeug B: Der „Wand“-Detektor (fDBD)

     • Die Analogie: Stellen Sie sich vor, der Raum ist durch unsichtbare Wände in Zonen unterteilt. Jede Zone gehört zu einem bestimmten Wort. Wenn Sie in der „Katze“-Zone sind, denkt die KI „Katze“.
     • Die Halluzination: Wenn die KI halluziniert, wackelt ihr Punkt direkt an der Wand, nahe der „Hund“-Zone oder der „Vogel“-Zone. Sie ist sich unsicher, auf welcher Seite der Wand sie sich befindet. Das Papier nennt dies Distance to Decision Boundary (Abstand zur Entscheidungsgrenze). Wenn der Punkt zu nah an einer Wand ist, ist es eine Lüge.

Die Herausforderungen und wie sie gelöst wurden

Die Autoren wussten, dass sie diese Werkzeuge nicht einfach aus anderen Bereichen kopieren konnten, da KI riesig und komplex ist. Sie mussten drei große Probleme lösen:

1. Das „Fehlende Landkarte“-Problem (Trainingsstatistiken)

• Das Problem: Um zu wissen, ob ein Punkt „weit“ von einer Flagge entfernt ist, benötigt der Sicherheitsmann normalerweise eine Karte davon, wo sich alle guten Punkte normalerweise aufhalten. Aber die Trainingsdaten der KI sind massiv, geheim und zu groß, um sie kartografisch zu erfassen.
• Die Lösung: Anstatt eine Karte aus Daten zu erstellen, nutzten sie mathematische Magie. Sie berechneten einen „neutralen Punkt“ basierend auf der internen Struktur der KI selbst. Es ist, als würde der Sicherheitsmann realisieren: „Ich brauche keine Karte des Clubs; ich weiß einfach, dass die Mitte der Tanzfläche der Ort ist, an dem alle stehen, wenn sie unsicher sind.“ Dies ermöglichte es ihnen, Lügen zu erkennen, ohne die ursprünglichen Trainingsdaten zu benötigen.

2. Das „Zu viele Flaggen“-Problem (Massives Vokabular)

• Das Problem: Eine KI besitzt Hunderttausende möglicher Wörter (Flaggen). Zu prüfen, wie groß der Abstand zu jeder einzelnen Wand im Raum für jedes Wort ist, wäre zu langsam.
• Die Lösung: Sie entschieden, nur die Wände der 1.000 wahrscheinlichsten Wörter zu überprüfen. Es ist, als würde sich der Sicherheitsmann nur um die Menschen kümmern, die in der Nähe des Ausgangs stehen, und die Menschen im hinteren Teil des Raumes ignorieren, die offensichtlich nicht gehen werden. Dies machte den Detektor schnell und genau.

3. Das „Zufälligkeits“-Problem (Stochastisches Dekodieren)

• Das Problem: Manchmal wählt die KI Wörter zufällig aus (wie beim Würfelspiel), anstatt das absolut beste Wort zu wählen. Das lässt den „Punkt“ springen, was den Sicherheitsmann verwirren könnte.
• Die Lösung: Sie fanden heraus, dass selbst wenn die KI ein wenig herumspringt, die Durchschnittsposition des Punktes über den gesamten Satz hinweg immer noch die Wahrheit sagt. Wenn die KI halluziniert, verbringt der Punkt zu viel Zeit in der Nähe der Wände, selbst wenn er springt. Der Detektor funktioniert auch mit dieser Zufälligkeit einwandfrei.

Die Ergebnisse

Die Autoren testeten diese neuen „Sicherheitsmann“-Werkzeuge bei schwierigen Denkaufgaben (wie Mathe- und Logikrätseln).

• Kein zusätzliches Training: Sie mussten der KI nichts Neues beibringen.
• Ein einziger Durchgang (Single Shot): Sie mussten nur einmal die Antwort betrachten (keine Notwendigkeit, die KI die Frage 10 Mal wiederholen zu lassen).
• Bessere Genauigkeit: Diese geometrischen Werkzeuge erkannten Halluzinationen viel besser als bisherige Methoden, selbst wenn die KI kreativ oder zufällig vorging.

Zusammenfassung

Das Papier sagt: Versuchen Sie nicht, einen neuen Lügendetektor zu bauen. Betrachten Sie stattdessen die interne Geometrie der KI. Wenn die Gedanken der KI weit von den „Flaggen“ der gewählten Wörter entfernt sind oder wenn sie direkt neben den „Wänden“ anderer Wörter wackeln, lügt sie wahrscheinlich. Indem wir diese einfachen geometrischen Regeln verwenden, können wir KI-Halluzinationen schnell, kostengünstig und präzise erfassen.