💬 NLP

Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement

Dieser Beitrag stellt „Concept Fields" vor, ein black-box-Framework, das auf Korpusattributierung basiert und Text als lokale Driftfelder im Embedding-Raum modelliert, um interpretierbare, probabilistische Scores zur Erkennung von Halluzinationen und zur Messung von Neuheit zu liefern, ohne auf Modellinterne zurückzugreifen.

Ursprüngliche Autoren: Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicholas S. Kersting, Vittorio Castelli, Chieh Ting Yeh, Xinzhu Wang, Saad Taame

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige Bibliothek voller Bücher vor, in der Sie nicht die Wörter lesen, sondern jeden Satz in eine eindeutige Koordinate auf einer riesigen, unsichtbaren Karte verwandeln. Auf dieser Karte liegen Sätze, die ähnliche Bedeutungen haben, nah beieinander, während Sätze mit unterschiedlichen Bedeutungen weit voneinander entfernt sind.

Diese Arbeit stellt eine neue Methode vor, um zu prüfen, ob ein von einer KI (oder einem Menschen) geschriebener Satz auf Basis dieser Bibliothek Sinn ergibt. Sie nennen diese Karte das „Konzeptfeld".

So funktioniert es, aufgeschlüsselt in einfache Analogien:

1. Der „Fluss der Ideen" (Das Konzeptfeld)

Stellen Sie sich vor, die Bibliothek ist nicht nur ein statischer Bücherstapel, sondern ein fließender Fluss.

Der Fluss: Wenn Sie einen Satz über das „Kaufen eines Autos" lesen, fließt der Fluss natürlich zum nächsten wahrscheinlichen Satz, wie etwa „ihn nach Hause fahren".
Die Strömung: Die Autoren entwickelten ein System, das die „Strömung" dieses Flusses abbildet. Sie betrachten nicht nur einen einzelnen Satz, sondern die Änderung (das Delta) zwischen einem Satz und dem nächsten.
Die Karte: Sie bauten eine Datenbank (genannt VSDB), die diese Sätze und die sie verbindende „Strömung" speichert. Dies erzeugt ein Feld, in dem jeder Punkt eine Richtung und eine Geschwindigkeit hat, die darstellt, wie Ideen in dieser spezifischen Bibliothek üblicherweise fließen.

2. Der „Kompass-Check" (Bewertung von Halluzinationen)

Stellen Sie sich nun vor, eine KI schreibt eine neue Geschichte. Wie wissen wir, ob sie lügt (halluziniert) oder bei den Fakten bleibt?

Der Test: Sie nehmen den Satz der KI und prüfen, ob er der „Strömung" des Flusses folgt.
Die Punktzahl (Zeta): Das System berechnet eine Punktzahl namens Zeta. Denken Sie daran wie an eine Kompassabweichung.
- Niedrige Punktzahl: Der Satz der KI fließt perfekt mit dem Fluss. Er ist „verankert" (wahrheitsgemäß im Hinblick auf das Quellmaterial).
- Hohe Punktzahl: Der Satz der KI schwimmt gegen die Strömung oder springt ganz aus dem Fluss heraus. Er ist „nicht verankert" (eine Halluzination oder ein wilder kreativer Sprung).
Die Zone „Unentschieden": Manchmal ist der Fluss neblig oder die Karte unvollständig. Das System kann sagen: „Ich bin mir nicht sicher", anstatt eine falsche Antwort zu erzwingen. Dies ist ein „Triage"-System: Verankert, Nicht verankert oder Unentschieden.

3. Das „Physik-Labor" (Das 2D-Ballistik-Beispiel)

Um zu beweisen, dass ihre Idee funktioniert, führten die Autoren einen einfachen Test durch, der auf Physik und nicht auf Text basierte.

Das Setup: Sie simulierten 1.000 Bälle, die in verschiedenen Winkeln in die Luft geworfen wurden. Sie kartierten den Weg jedes Balls.
Das Ergebnis: Sie erstellten eine „Windkarte" (das Konzeptfeld), die zeigt, wohin die Bälle normalerweise fliegen.
Der Test: Als sie einen Ball warfen, der denselben physikalischen Gesetzen folgte, sagte die Karte: „Ja, das passt!" Als sie einen Ball mit „Luftwiderstand" (einer anderen physikalischen Regel) warfen, schrie die Karte: „Nein! Das passt nicht zum Muster!"
Der Punkt: Dies bewies, dass ihre Mathematik auch für Text funktioniert. Wenn sich der „Fluss" der Ideen ändert, erkennt das System dies.

4. Zwei verschiedene Bibliotheken, ein Werkzeug

Die Autoren testeten dies an zwei sehr unterschiedlichen Bibliotheken:

Die Rechtsbibliothek (CFR): Eine Sammlung US-amerikanischer Bundesvorschriften. Hier ist es schlecht, „gegen die Strömung zu fließen" (es ist eine Lüge). Sie nutzten das System, um KI-Halluzinationen in Rechtstexten aufzudecken.
Die Geschichtsbibliothek (Project Gutenberg): Eine Sammlung klassischer Romane. Hier kann es gut sein, „gegen die Strömung zu fließen" (es ist Kreativität). Sie nutzten das System, um zu erkennen, wann eine KI etwas Neues und Kreatives schrieb, anstatt einfach alte Geschichten zu kopieren.

Die Magie: Dieselbe Mathematik funktionierte für beide Fälle. Eine hohe Punktzahl bedeutete in beiden Fällen „anders als die Bibliothek". Im Recht ist das eine Warnung; in Geschichten ist es ein Feature.

5. Warum dies besonders ist (Der „Black-Box"-Vorteil)

Die meisten KI-Detektoren versuchen, in das Gehirn der KI zu spähen (White-Box) oder bitten die KI, sich selbst zu beurteilen (was oft unzuverlässig ist).

Diese Methode ist „Black-Box": Es ist ihr egal, wie die KI funktioniert. Sie betrachtet nur die Ausgabe und vergleicht sie mit der Bibliothek.
Es ist schnell und günstig: Es benötigt keine teuren Supercomputer. Es braucht nur einen Standardcomputer und die Bibliotheksdaten.
Es ist nachvollziehbar: Wenn das System sagt, ein Satz sei eine Halluzination, kann es auf die spezifischen Sätze in der Bibliothek verweisen, die dies beweisen. Es ist wie zu sagen: „Sie haben X gesagt, aber die Bibliothek sagt Y, und hier ist die Seitenzahl."

6. Versteckte Muster finden (Die „Wirbel")

Die Autoren untersuchten auch die Form des Flusses.

Quellen und Senken: Sie fanden Stellen, an denen viele Ideen zu beginnen scheinen (wie ein Springbrunnen) oder enden (wie ein Abfluss).
Wirbel: Sie fanden Stellen, an denen Ideen um ein zentrales Thema zu kreisen scheinen, ohne voranzukommen.
Warum es wichtig ist: Dies sind nicht nur Zahlen; sie repräsentieren verborgene Muster darin, wie Menschen sprechen und schreiben. Ein „Wirbel" könnte beispielsweise ein Thema sein, über das die Leute viel sprechen, das aber nie gelöst zu werden scheint.

Zusammenfassung

Die Autoren erstellten eine Karte darüber, wie Ideen in einer spezifischen Textsammlung fließen. Sie schufen einen Kompass, der Ihnen sagt, ob ein neuer Satz diesem Fluss folgt oder davon abdriftet.

Wenn Sie Fakten prüfen, bedeutet eine Abdrift eine Lüge.
Wenn Sie Kreativität prüfen, bedeutet eine Abdrift eine neue Idee.
Es funktioniert schnell, muss nicht wissen, wie die KI denkt, und kann erklären, warum es eine Entscheidung getroffen hat, indem es auf den Originaltext verweist.

Technisches Fazit: Textkorpora als Konzeptfelder

Problemstellung
Aktuelle Methoden zur Erkennung von Halluzinationen bei Large Language Models (LLMs) oder zur Bewertung von Fundiertheit stützen sich häufig auf White-Box-Modellinterne, Grey-Box-Perplexitätsmetriken oder Black-Box-Ansätze, die eine aufwändige Kalibrierung erfordern (z. B. LLM als Richter). Diese bestehenden Lösungen sind häufig teuer, architekturabhängig oder mangeln an operativer Interpretierbarkeit. Darüber hinaus sind viele geometrische Ansätze im Einbettungsraum auf paarweise Vergleiche (z. B. DTW) beschränkt oder verfügen über keinen Mechanismus, um lokale Unsicherheit innerhalb eines Korpus zu berücksichtigen. Die Autoren schlagen einen Wandel vor: Statt Halluzination als binären Fehler zu betrachten, wird ein breiteres Konzept der Fundiertheit eingeführt: Ob eine Ausgabe durch ein Zielkorpus gestützt wird. Diese Rahmung gilt sowohl für Compliance (wo Abweichung negativ ist) als auch für Kreativität (wo Abweichung positiv ist).

Methodik
Der Kernbeitrag ist das Konzeptfeld, ein lokales Driftfeld mit punktweiser Unsicherheit, das im Satz-Einbettungsraum geschätzt wird. Die Methodik verläuft wie folgt:

Vektorsequenz-Datenbank (VSDB): Die Autoren führen eine Speicherschicht ein, die festdimensionale Satzeinbettungen zusammen mit Sequenzpositions-Metadaten und „Next-Delta"-Informationen ( $\Delta_{i,j} = v_{p+1} - v_p$ ) hält. Dies ermöglicht es dem System, ein Korpus nicht nur als Satteltasche von Sätzen, sondern als Sammlung von Trajektorien im Einbettungsraum zu behandeln.
Konstruktion des Konzeptfelds: Unter Verwendung der VSDB berechnen die Autoren eine lokale Wahrscheinlichkeitsdichte von Satzübergängen. Indem sie das Korpus als „Vektorfeld" behandeln, definieren sie einen deterministischen Drift, bei dem der „Fluss" den wahrscheinlichsten nächsten Begriff darstellt, gegeben einen aktuellen Satz. Dieses Feld wird mittels Inverse Distance Weighting (IDW)-Interpolation über die nächsten Nachbarn im Einbettungsraum geschätzt.
Bewertungsmechanismus ( $\zeta$ ): Um einen Kandidaten-Satzübergang zu bewerten, berechnet das System die mittlere absolute z-Distanz ( $\zeta$ $ζ$ ) zwischen dem beobachteten Delta und der lokalen Gaußschen Schätzung des Konzeptfelds.
- Ein kleines $\zeta$ zeigt statistische Übereinstimmung mit dem Korpusfluss an (fundiert).
- Ein großes $\zeta$ zeigt eine Abweichung vom Korpusfluss an (nicht fundiert oder neuartig).
- Die Bewertung ist vollständig Black-Box (erfordert keine Modellinterne), korpuszuordbar (Rückverfolgung zu spezifischen Korpus-Sätzen) und erlaubt eine direkte probabilistische Interpretation.
Geometrische Analyse: Die Autoren untersuchen die Divergenz und Rotation (Curl) des Konzeptfelds auf dichten Clustern. Eine hohe Divergenz zeigt „Logikquellen" (gemeinsame Ausgangspunkte) oder „Logiksenken" (gemeinsame Schlussfolgerungen) an, während eine hohe Rotation auf „implizite Themen" oder Regionen hindeutet, in denen Vektoren um ein zentrales Konzept kreisen, ohne einen klaren linearen Fluss aufzuweisen.

Hauptbeiträge

Konzeptfeld via VSDB: Eine Korpus-Level-Repräsentation des Satzsequenz-Flusses mit lokaler Unsicherheit, implementiert durch eine neuartige Vektorsequenz-Datenbank.
Selektive Fundiertheits-Erkennung: Eine Triage-Politik (Fundiert / Nicht fundiert / Unsicher) basierend auf $\zeta$ -Schwellenwerten. Dieser Ansatz erzielt starke Fehlerraten bei akzeptierten Fällen, während er einen „unsicheren" Bucket für mehrdeutige Übergänge beibehält.
Domänenübergreifende Robustheit: Derselbe Mechanismus unterstützt sowohl Compliance-artige Fundiertheitsprüfungen (Erkennung von Halluzinationen in juristischen Texten) als auch Neuigkeits-artige Abweichungsprüfungen (Erkennung kreativer Abweichungen in Literatur) ohne Neu-Kalibrierung der Schwellenwerte.
Korpus-Geometrie: Qualitative Belege dafür, dass topologische Merkmale (Divergenz/Rotationsvektor) im Konzeptfeld bedeutungsvollen semantischen Mustern entsprechen, wie etwa gemeinsamen Denkflüssen oder Vermeidungsregionen.

Experimentelle Ergebnisse
Die Autoren bewerteten den Ansatz in zwei groß angelegten Szenarien:

CFR (Code of Federal Regulations): Ein faktisches/juristisches Korpus zur Testung der Halluzinationserkennung. Das System wurde an LLM-umschriebenen Satzpaaren getestet und unterschied zwischen solchen, die die Bedeutung bewahrten (fundiert), und solchen, die die Semantik veränderten (nicht fundiert).
Project Gutenberg: Ein allgemeines Literaturkorpus zur Testung der Neuigkeitserkennung, bei dem „Nicht-Fundiertheit" (hohes $\zeta$ ) eine erwünschte Eigenschaft für kreatives Schreiben ist.

Leistungsbeobachtungen:

Selektive Klassifizierung: Unter einer Triage-Politik (z. B. $\zeta_{low}=1, \zeta_{high}=3.75$ ) erreichte die Methode auf dem CFR-Datensatz einen F1-Score von 0,978 und eine AUC von 0,984 bei einer Abdeckung von ~56 % (44 % der Beispiele wurden als „unsicher" markiert).
Baseline-Vergleich: Das Konzeptfeld übertraf oder entsprach Baselines, die einfache Nächste-Nachbar-Distanzen (Euklidisch oder Kosinus) auf der VSDB verwendeten. Entscheidend ist, dass während distanzbasierte Baselines korpus-spezifische Schwellenwert-Tuning erforderten, das Konzeptfeld konsistente Leistung und Schwellenwert-Interpretation über beide Domänen (CFR und Gutenberg) hinweg beibehielt.
Abdeckungs-Risiko-Verhalten: Die Methode zeigte ähnliche Abdeckungs-Risiko-Trade-offs in beiden Domänen, was die Behauptung stützt, dass die probabilistische Interpretation von $\zeta$ effektiv zwischen faktischen und kreativen Korpora transferiert wird.
Geometrische Einblicke: Qualitative Analysen von Divergenz und Rotation zeigten semantisch kohärente Cluster (z. B. „GOOOOAAALL!!" als Logiksenke im Sportkommentar oder spezifische regulatorische Formulierungen als Logikquellen/Senken im CFR).

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Konzeptfelder ein schnelles, leichtgewichtiges und interpretierbares Signal für Fundiertheit und Neuigkeit bieten, das komplementär zu LLM-als-Richter und White-Box-Detektoren ist.

Interpretierbarkeit: Im Gegensatz zu Black-Box-Richtern führt jeder Score auf nahegelegene Korpus-Sätze zurück und bietet Erklärbarkeit.
Effizienz: Einmal indiziert, ist die Methode schneller und günstiger (kein API-Token-Verbrauch) als LLM-basierte Evaluation und läuft auf handelsüblichen CPUs.
Sprachunabhängigkeit: Der Ansatz ist nicht an spezifische Modellarchitekturen gebunden und somit auf verschiedene Weltsprachen anwendbar.
Bescheidenheit: Die Autoren rahmen die geometrische Analyse (Divergenz/Rotationsvektor) als „hypothesengenerierend" ein und nicht als definitives quantitatives Ergebnis. Sie erkennen an, dass die Qualität des Konzeptfelds datenabhängig ist und bemerken, dass logisch konsistente Korpora (wie Gesetze) zuverlässigere Felder liefern als verrauschte Internetdaten. Die Arbeit wird als grundlegender Schritt präsentiert, der der Gemeinschaft Raum lässt, Einbettungsschemata und Interpolationsmethoden zu verbessern.