🤖 machine learning

Low-Cost Black-Box Detection of LLM Hallucinations via Dynamical System Prediction

Dieser Beitrag stellt eine kostengünstige, black-box-Methode zur Halluzinationserkennung vor, die LLM-Antworten mithilfe der Koopman-Operator-Theorie als dynamische Systeme modelliert, um in einem einzigen Durchgang einen State-of-the-art-Ergebnis zu erzielen, ohne teures Sampling oder externe Wissensabrufe zu benötigen.

Ursprüngliche Autoren: Dan Wilson, Mohamed Akrout

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dan Wilson, Mohamed Akrout

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hören einem Geschichtenerzähler zu. Manchmal erzählt er Ihnen eine wahre Geschichte aus der Vergangenheit. Zu anderen Zeiten spinnt er eine Geschichte, die sich perfekt flüssig und selbstbewusst anhört, aber vollständig erfunden ist. Genau das tun Large Language Models (LLMs): Sie können „halluzinieren" und Fakten erschaffen, die real klingen, aber nicht wahr sind.

Normalerweise ist es schwierig, diese Lügen aufzudecken. Entweder müssen Sie die KI dieselbe Frage hundertmal stellen, um zu sehen, ob sie ihre Geschichte ändert (was langsam und teuer ist), oder Sie müssen die Antwort an einen separaten Faktenprüfer senden (was Internetzugang und zusätzliche Werkzeuge erfordert).

Dieser Artikel schlägt einen cleveren, kostengünstigen Shortcut vor. Anstatt den Inhalt der Geschichte zu prüfen, hören die Autoren auf den Rhythmus, in dem die Geschichte erzählt wird.

Die Kernidee: Der „tanzende" Bericht

Die Autoren betrachten die KI nicht als Schriftsteller, sondern als ein dynamisches System – eine elegante Bezeichnung für eine Maschine, die sich durch ein vorhersehbares Muster bewegt, wie ein Tänzer, der über eine Bühne schreitet.

Die Bühne (Der Einbettungsraum): Jedes Wort, das die KI ausspricht, wird in einen mathematischen Punkt in einem riesigen, unsichtbaren 3D- (oder sogar 1000D-) Raum umgewandelt. Während die KI einen Satz generiert, bewegt sie sich von Punkt zu Punkt und erzeugt einen Pfad oder eine „Trajektorie".
Die zwei Tanzflächen: Die Forscher entdeckten, dass, wenn eine KI die Wahrheit sagt, ihr Pfad eine bestimmte Tanzfläche (ein „Mannigfaltigkeit") folgt. Wenn sie lügt (halluziniert), tritt sie auf eine völlig andere Tanzfläche. Obwohl die Wörter ähnlich aussehen mögen, sind die mathematischen „Schritte" zwischen den Wörtern unterschiedlich.
Das Vorhersagespiel: Sie bauten zwei „Vorhersager" (wie zwei verschiedene Tanztrainer):
- Trainer A lernte die Schritte des „Wahrheits-Tanzes".
- Trainer B lernte die Schritte des „Lügen-Tanzes".
Die Punktzahl: Wenn ein neuer Satz hereinkommt, bitten sie beide Trainer, den nächsten Schritt vorherzusagen.
- Ist der Satz wahr, sagt Trainer A (Wahrheit) den nächsten Schritt perfekt voraus, während Trainer B (Lüge) stolpert.
- Ist der Satz eine Lüge, sagt Trainer B ihn gut voraus, und Trainer A stolpert.
- Sie berechnen einen „differenziellen Residual-Score": im Wesentlichen, wie viel besser der eine Trainer im Vergleich zum anderen abschnitt. Wenn der „Lügen-Trainer" gewinnt, markiert das System dies als Halluzination.

Warum das eine große Sache ist

Ein-Durchgang-Wunder: Die meisten anderen Methoden müssen die KI dieselbe Frage mehrfach stellen oder Fakten in einer Datenbank nachschlagen. Diese Methode betrachtet die Antwort einmal und entscheidet sofort. Es ist wie das Erkennen eines gefälschten Gemäldes durch einen einzigen Blick auf die Pinselstriche, anstatt es mit einer Galerie echter Gemälde zu vergleichen.
Black-Box-freundlich: Sie müssen nicht das innere Gehirn der KI sehen (das große Unternehmen verstecken). Sie benötigen nur den Text, den sie ausgibt. Es funktioniert wie ein „Black-Box"-Detektor.
Anpassbare Strenge: Die Autoren fügten eine „Kalibrierungs"-Funktion hinzu. Stellen Sie sich vor, Sie sind ein Richter. Manchmal möchten Sie sehr streng sein und sogar winzige Fehler aufspüren. Zu anderen Zeiten interessieren Sie sich nur für große, offensichtliche Lügen. Das System kann mit nur wenigen Beispielen von Ihnen so justiert werden, dass die perfekte „Lügendetektor"-Empfindlichkeit eingestellt wird.

Wie sie es testeten

Sie testeten diesen „Rhythmus-Detektor" an drei verschiedenen Datensätzen:

WikiBio: Überprüfung von Biografien auf faktische Fehler.
HaluEval: Überprüfung von Zusammenfassungen auf erfundene Details.
FELM: Überprüfung des logischen Denkens in Mathematik und Wissenschaft.

Die Ergebnisse:

Ihre Methode schnitt ebenso gut oder besser ab als die derzeit verfügbaren, teuersten und ressourcenintensivsten Methoden.
Interessanterweise stellten sie fest, dass je länger der Satz (je länger der Tanz), desto einfacher es war, den Unterschied zwischen dem „Wahrheits-Tanz" und dem „Lügen-Tanz" zu erkennen.
Selbst wenn sie das System auf einem KI-Modell (wie Llama-3) trainierten und es an einem anderen (wie Mistral) testeten, funktionierte es überraschend gut, was darauf hindeutet, dass der „Rhythmus des Lügens" eine universelle Eigenschaft verschiedener KIs ist.

Das Fazit

Dieser Artikel stellt eine Methode vor, KI-Lügen zu erkennen, indem der mathematische Fluss der Wörter analysiert wird, anstatt die Wörter selbst. Es ist schnell, günstig, benötigt keine externen Datenbanken und funktioniert mit einem einzigen Blick auf den Text. Es ist wie ein Lügendetektor, der auf die Musik der Rede hört, statt auf den Text.

Erwähnte Einschränkungen:
Der Artikel stellt fest, dass diese Methode zwar hervorragend darin ist, eine Lüge zu entdecken, Ihnen aber nicht sagt, was die Wahrheit tatsächlich ist, und auch nicht das Verhalten der KI korrigiert. Es ist ein Detektor, kein Korrektor.

Technisches Fazit: Kostengünstige Black-Box-Erkennung von Halluzinationen in LLMs durch Vorhersage dynamischer Systeme

Problemstellung

Large Language Models (LLMs) erzeugen häufig fließenden, aber faktisch inkorrekten Inhalt, ein Phänomen, das als Halluzination bekannt ist. Dieses Problem stellt eine kritische Hürde für den Einsatz von LLMs in hochriskanten Bereichen wie Gesundheitswesen, Recht und Finanzen dar. Obwohl Halluzinationen aufgrund des Trade-offs zwischen begrenzten Trainingsdaten und offener Generierung theoretisch unvermeidbar sind, stoßen aktuelle Detektionsmethoden auf erhebliche Einschränkungen:

White-Box-/Gray-Box-Methoden: Erfordern Zugriff auf interne Modellzustände (versteckte Zustände, Attention-Karten) oder Token-Level-Wahrscheinlichkeiten, die für kommerzielle, closed-source-Modelle, die über APIs zugänglich sind, nicht verfügbar sind.
Bestehende Black-Box-Methoden: Verlassen sich typischerweise auf rechenintensive stichprobenbasierte Konsistenzprüfungen (z. B. SelfCheckGPT) oder externe Wissensabrufe. Diese Ansätze verursachen hohe API-Kosten, Latenz und Ressourcen-Overhead, was sie für Echtzeit-Anwendungen mit einzelnen Proben unpraktisch macht.

Es besteht ein dringender Bedarf an einem eigenständigen, kostengünstigen Detektionsrahmenwerk, das ausschließlich auf generiertem Text operiert, ohne externe Verankerung oder mehrere Stichprobenläufe zu benötigen.

Methodik

Die Autoren schlagen vor, das LLM als Black-Box-dynamisches System (DS) zu behandeln. Anstatt Token als unabhängige Einheiten zu analysieren, modelliert die Methode die zeitliche Entwicklung von Token-Embeddings als beobachtbare Realisierungen der latenten Zustandsraumdynamik des Modells.

Kernrahmenwerk

Formulierung des dynamischen Systems:
Die LLM-Ausgabe wird als diskretes, nichtlineares System modelliert:
$x_{k+1} = F(x_k), \quad y_k = H(x_k)$
wobei $x_k$ interne Zustände und $y_k$ die beobachtbaren Token-Embeddings darstellt. Die Autoren nutzen die Koopman-Operator-Theorie, um die Dynamik dieser Beobachtbaren zu linearisieren, was die Vorhersage zukünftiger Zustände basierend auf vergangenen Beobachtungen ermöglicht.
Phase 1: Datengetriebene Inferenz des dynamischen Systems (Offline-Anpassung):
- Die Methode nutzt einen kleinen Satz gelabelter Daten, der sowohl faktische als auch halluzinierte Antworten enthält.
- Token-Embeddings werden mittels Extended Dynamic Mode Decomposition (Extended DMD) in einen höherdimensionalen Raum „geliftet".
- Zwei verschiedene lineare dynamische Modelle werden inferiert:
  - $A_c$ : Der Übergangsoperator für faktische (korrekte) Antworten.
  - $A_h$ : Der Übergangsoperator für halluzinierte Antworten.
- Die Hypothese lautet, dass sich faktische und halluzinierte Antworten auf unterschiedlichen Mannigfaltigkeiten ( $M_c$ und $M_h$ ) innerhalb des Embedding-Raums entwickeln, was zu unterschiedlichen Schätzungen des Koopman-Operators führt.
Phase 2: Klassifizierung mittels differenzieller Residual-Score (Inferenz):
- Für eine neue, unbekannte LLM-Antwort berechnet die Methode den Vorhersagefehler (Residuum) für die Token-Embedding-Trajektorie unter Verwendung beider Modelle ( $A_c$ und $A_h$ ).
- Auf Antwortebene wird ein differenzieller Residual-Score ( $\Delta E$ ) berechnet:
  $\Delta E = \sqrt{\sum \epsilon_{h,j}^2} - \sqrt{\sum \epsilon_{c,j}^2}$
  wobei $\epsilon$ den Vorhersagefehler darstellt.
- Logik: Wenn die Antwort halluziniert ist, sollte das an die Halluzination angepasste Modell ( $A_h$ ) die Trajektorie genauer vorhersagen als das faktische Modell ( $A_c$ ), was zu einem negativen $\Delta E$ führt. Umgekehrt ergibt faktischer Text einen positiven $\Delta E$ .
- Ein Entscheidungsschwellenwert $\eta$ wird auf $\Delta E$ angewendet, um die Ausgabe als faktisch (0) oder halluziniert (1) zu klassifizieren.
Präferenzbewusste Kalibrierung:
Um unterschiedliche Benutzeranforderungen (z. B. streng vs. tolerant gegenüber kleinen Ungenauigkeiten) zu berücksichtigen, führen die Autoren einen Kalibrierungsmechanismus ein. Unter Verwendung eines kleinen Satzes benutzerannotierter Demonstrationen wird der Schwellenwert $\eta$ optimiert, um mit spezifischen Sensitivitätspräferenzen übereinzustimmen, wodurch sich der Detektor an individuelle Anwendungsfälle anpassen kann.

Hauptbeiträge

Neuartige dynamische Perspektive: Die Arbeit ist die erste, die LLM-Ausgaben als Black-Box-dynamische Systeme behandelt, bei denen sich faktische und halluzinierte Antworten auf unterschiedlichen Mannigfaltigkeiten im Zustandsraum entwickeln.
Rechen-effiziente Detektion im Ein-Pass-Verfahren: Im Gegensatz zu retrieval-basierten oder Multi-Sample-Methoden identifiziert dieser Ansatz Halluzinationen in einem Ein-Pass-Verfahren ohne Notwendigkeit von Token-Wahrscheinlichkeiten, externen Wissensdatenbanken oder mehreren Vorwärtsdurchläufen.
State-of-the-Art-Leistung: Die Methode erzielt im Vergleich zu ressourcenintensiven Baselines auf drei unterschiedlichen Benchmarks (WikiBio, HaluEval, FELM) konkurrierende oder überlegene Ergebnisse.
Benutzerzentrierte Kalibrierung: Die Einführung eines Mechanismus zur Anpassung der Klassifizierungsschwellenwerte basierend auf benutzerdefinierten Strengegraden ermöglicht eine personalisierte Detektion.

Experimentelle Ergebnisse

Die Methode wurde auf drei Datensätzen evaluiert: WikiBio (Biografien), HaluEval (Zusammenfassung) und FELM (Schlussfolgern in Mathematik, Wissenschaft, Logik).

Leistung:
- Bei der Zusammenfassungsaufgabe HaluEval erreichte die Methode mit dem Llama-3-Embedding-Modell eine Genauigkeit von 99,3 % und schnitt deutlich besser ab als Zero-Shot-Detektoren und andere Black-Box-Baselines.
- Bei WikiBio erreichte die Methode eine AUC-PR von 85,3 (unter Verwendung von Llama-3) zur Erkennung nicht-faktischer Sätze und übertraf damit SelfCheckGPT (81,96).
- Bei FELM erreichte die Llama-3-Variante eine ausgeglichene Genauigkeit von 68,4 und entsprach oder übertraf GPT-4 sowie andere starke Baselines.
Sequenzlänge: Die Leistung verbessert sich mit längeren Token-Sequenzen, da längere Trajektorien reichhaltigere semantische Informationen liefern. Kleinere Embedding-Modelle profitieren am meisten von erhöhten Sequenzlängen, während größere Modelle (wie Llama-3) auch bei kürzeren Sequenzen eine hohe Leistung beibehalten.
Cross-Embedding-Generalisierung: Die Studie beobachtete eine überraschende Übertragbarkeit; dynamische Modelle, die auf einem Embedding-Raum angepasst wurden (z. B. Qwen3), konnten teilweise generalisiert werden, um Antworten zu bewerten, die in einem anderen Raum eingebettet sind (z. B. Llama-3). Dies deutet auf universelle dynamische Signaturen der Faktizität über verschiedene Embedding-Mannigfaltigkeiten hinweg hin.
Effizienz: Der Ansatz vermeidet die Latenz und Kosten externer Abrufe oder mehrfacher Stichproben und bietet eine Lösung mit geringem Overhead, die für Echtzeit-Anwendungen geeignet ist.

Bedeutung und Behauptungen

Die Autoren behaupten, dass diese Arbeit eine kostengünstige, skalierbare Alternative zu bestehenden Halluzinationsdetektionsmethoden bietet. Durch die Neuformulierung des Problems durch die Brille dynamischer Systeme zeigen sie, dass die zeitliche Entwicklung von Token-Embeddings inhärent den Unterschied zwischen faktischem und halluziniertem Inhalt kodiert.

Die Arbeit betont, dass ihre Methode:

keinen Zugriff auf Modellinternes erfordert (echte Black-Box),
keinen externen Wissensabruf erfordert,
keine mehreren Stichprobenläufe erfordert,
State-of-the-Art-Ergebnisse mit reduziertem Ressourcen-Overhead erzielt.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Methode zwar Halluzinationen erkennt, aber keine externen faktischen Korrekturen liefert oder eine Strategie zur Minderung von Halluzinationen (z. B. durch Prompt-Modifikation) bietet. Sie positionieren diese Arbeit jedoch als einen grundlegenden Schritt hin zu eigenständigen, autonomen Detektionsrahmenwerken, die für den zuverlässigen Einsatz von LLMs in kritischen Bereichen notwendig sind.