Detecting Hallucinations in Authentic LLM-Human Interactions

Die Studie stellt AuthenHallu vor, das erste Halluzinations-Erkennungs-Benchmark, das ausschließlich auf authentischen LLM-Mensch-Interaktionen basiert und zeigt, dass Halluzinationen in realen Szenarien häufiger auftreten als in künstlich erzeugten Datensätzen, während die Fähigkeit von Standard-LLMs, diese zuverlässig zu erkennen, derzeit noch unzureichend ist.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung, als würde man sie einem Freund beim Kaffee erzählen – auf Deutsch.

Das Problem: Wenn KI anfängt zu träumen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber manchmal etwas verwirrten Assistenten (eine KI), der Ihnen bei allem hilft – von der Rechtsberatung bis zum Kochrezept. Manchmal ist dieser Assistent brillant. Aber manchmal träumt er einfach etwas vor sich hin. Er erfindet Fakten, die nicht stimmen, oder widerspricht sich selbst. In der Fachsprache nennt man das Halluzination.

Das ist gefährlich, wenn Sie den Assistenten in wichtigen Dingen wie Medizin oder Recht nutzen. Wenn er Ihnen ein falsches Medikament verschreibt oder ein Gesetz erfindet, kann das katastrophal enden.

Bisher haben Forscher versucht, diesen Assistenten zu testen, indem sie ihm absichtlich dumme Fragen stellten oder Szenarien nachstellten, die im echten Leben kaum vorkommen. Das ist wie ein Flugsimulator, der nur bei perfektem Wetter fliegt. Aber was passiert, wenn der Pilot (der Nutzer) plötzlich in einem echten Sturm sitzt? Die bisherigen Tests haben das nicht gut genug gezeigt.

Die Lösung: Ein echter "Realitäts-Check" (AuthenHallu)

Die Autoren dieses Papers (Yujie Ren, Niklas Gruhlke und Anne Lauscher) haben gesagt: "Halt! Wir müssen den Assistenten nicht in einem Labor testen, sondern im echten Leben."

Sie haben AuthenHallu geschaffen. Das ist wie ein riesiges Tagebuch, das aus echten Gesprächen zwischen echten Menschen und KIs besteht. Sie haben nicht künstlich Fragen erfunden, sondern sich einfach tausende echte Chat-Verläufe angesehen, in denen Menschen ihre echten Probleme mit der KI besprochen haben.

Die Analogie:
Stellen Sie sich vor, Sie wollen testen, wie gut ein Koch kocht.

• Die alten Methoden: Sie geben dem Koch eine Liste mit Zutaten und sagen: "Mach jetzt etwas, das schmeckt, aber sei absichtlich ein bisschen verrückt." (Das ist künstlich).
• Die neue Methode (AuthenHallu): Sie gehen in ein echtes Restaurant, beobachten, wie der Koch echten Kunden bedient, und notieren, wann er sich irrt. (Das ist authentisch).

Was haben sie herausgefunden?

Nachdem sie 400 dieser echten Gespräche genau unter die Lupe genommen haben, kamen sie zu einigen spannenden Ergebnissen:

1. Der "Träum-Faktor" ist hoch: In fast jedem dritten Gespräch (31,4 %) hat die KI etwas erfunden. In schwierigen Themen wie Matheaufgaben war es sogar jeder zweite Fall (60 %).

   • Vergleich: Wenn Sie einen Mathe-Lehrer fragen, der 60 % der Zeit falsche Antworten erfindet, würden Sie ihn nicht mehr als Lehrer einstellen.

2. Die häufigsten Fehler: Die KI verwechselt am häufigsten die Wahrheit (Fakten). Sie sagt Dinge, die einfach nicht stimmen, wie "Der Mond besteht aus Käse".

3. Können KIs sich selbst korrigieren? Das war die große Frage: Können wir eine andere KI nehmen und sie bitten, den Fehler der ersten KI zu finden?

   • Das Ergebnis: Leider nein, nicht wirklich. Die KIs sind wie zwei Freunde, die beide etwas nicht verstehen. Wenn einer den anderen fragt: "Ist das richtig?", antwortet der andere oft auch falsch oder ist unsicher. Selbst wenn man mehrere KIs zusammenbringt (wie eine Jury), verbessern sie sich nur wenig. Sie sind noch nicht gut genug, um als zuverlässige "Fakten-Checker" in echten Situationen zu dienen.

Warum ist das wichtig?

Bisher haben wir gedacht: "Oh, die KI wird immer besser, also wird sie auch immer besser darin, ihre eigenen Fehler zu erkennen." Dieses Paper zeigt uns jedoch: Nein, das ist noch nicht der Fall.

Wenn wir KI in sensiblen Bereichen nutzen wollen (z. B. im Krankenhaus), können wir ihr nicht blind vertrauen, dass sie sagt: "Hey, ich habe gerade gelogen." Sie lügt oft, ohne es zu merken, und andere KIs können das auch nicht zuverlässig aufdecken.

Fazit

Die Forscher haben uns einen neuen, ehrlichen Spiegel vorgehalten. Sie haben gezeigt, dass KIs in der echten Welt viel häufiger halluzinieren als in den künstlichen Tests. Und sie warnen uns: Wir dürfen KIs noch nicht als alleinige Richter über die Wahrheit einsetzen. Wir brauchen immer noch menschliche Aufsicht, besonders wenn es um wichtige Dinge geht.

Kurz gesagt: Die KI ist ein talentierter, aber manchmal sehr fantasievoller Erzähler. Bevor wir ihr blind glauben, müssen wir ihre Geschichten immer noch selbst überprüfen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Detecting Hallucinations in Authentic LLM–Human Interactions" auf Deutsch:

Titel: Detecting Hallucinations in Authentic LLM–Human Interactions

Autoren: Yujie Ren, Niklas Gruhlke, Anne Lauscher (Trustworthy AI Lab, Universität Hamburg)

---

1. Problemstellung

Die Zuverlässigkeit von Large Language Models (LLMs) in sensiblen Bereichen wie Medizin und Recht ist durch das Phänomen der „Halluzinationen" (falsche oder inkonsistente Ausgaben) gefährdet. Obwohl es zahlreiche Benchmarks zur Bewertung von Halluzinationsdetektionsmethoden gibt, leiden diese unter einem fundamentalen Mangel:

• Künstliche Konstruktion: Die meisten bestehenden Datensätze basieren auf entweder absichtlich induzierten Halluzinationen (durch spezifische Prompts wie „erfinde eine falsche Antwort") oder simulierten Interaktionen.
• Fehlende ökologische Validität: Diese künstlichen Szenarien spiegeln nicht die komplexe, heterogene und organische Natur echter Nutzeranfragen wider.
• Folge: Detektionsmodelle, die auf solchen Daten trainiert oder evaluiert werden, können in realen Anwendungsszenarien versagen, da sie nicht die tatsächlichen Halluzinationsmuster echter Mensch-LLM-Interaktionen erfassen.

2. Methodik: Der AuthenHallu-Benchmark

Um dieses Defizit zu beheben, stellen die Autoren AuthenHallu vor, den ersten Halluzinationsdetektions-Benchmark, der vollständig aus authentischen LLM-Mensch-Interaktionen stammt.

Aufbau und Datenerstellung:

• Quelle: Die Daten stammen aus dem LMSYS-Chat-1M-Datensatz (ca. 1 Million echte Gespräche).
• Filterprozess:
  1. Filtration: Es wurden nur englische Dialoge ohne redigierte Inhalte, mit genau zwei Query-Response-Paaren und sicherem Inhalt ausgewählt.
  2. Clustering & Sampling: Um Repräsentativität zu gewährleisten, wurden die User-Queries mittels K-Means-Clustering (basierend auf Silhouette-Score und Inertia) gruppiert. Aus 24 Clustern (z. B. Mathematik, Medizin, Programmierung) wurden proportional zur Clustergröße 400 repräsentative Dialoge extrahiert.
• Annotation:
  • Menge: 400 Dialoge (insgesamt 800 Query-Response-Paare).
  • Prozess: Drei erfahrene Annotatoren markierten manuell, ob Halluzinationen vorliegen.
  • Kategorien: Die Annotation erfolgte in zwei Dimensionen:
    1. Vorkommen: Halluzination vs. Keine Halluzination.
    2. Kategorie: Eingabe-konfliktbehaftet (Input-conflicting), Kontext-konfliktbehaftet (Context-conflicting), Fakten-konfliktbehaftet (Fact-conflicting).
  • Qualitätssicherung: Die Inter-Annotator-Übereinstimmung (Fleiss' Kappa) betrug 0,591 (moderat), was auf eine gut definierte Aufgabe hindeutet.

3. Statistische Analyse der Daten

Die Analyse des AuthenHallu-Datensatzes liefert neue Erkenntnisse über das Verhalten von LLMs in der Wildnis:

• Gesamtrate: 31,4 % aller Query-Response-Paare enthalten Halluzinationen.
• Domänenspezifische Unterschiede: Die Halluzinationsrate variiert stark je nach Thema.
  • Höchste Rate: „Math & Number Problems" (60,0 %) und „Dates, Time & Calendar Info" (60,0 %).
  • Niedrigste Rate: Themen wie „Humor & Jokes" oder „Philosophie" zeigten 0 % Halluzinationen in den ausgewählten Clustern.
• Typenverteilung: Fakten-konfliktbehaftete Halluzinationen (Fact-conflicting) sind mit 62,5 % der häufigste Typ, gefolgt von Eingabe-konfliktbehafteten (33,9 %) und Kontext-konfliktbehafteten (3,6 %).

4. Experimente und Ergebnisse

Die Autoren evaluierten sechs aktuelle LLMs (u. a. Qwen-3, Llama-3.3, Gemma-3, Mistral) als „Vanilla"-Detektoren (ohne zusätzliche Mechanismen wie RAG) auf AuthenHallu.

Aufgaben:

1. Halluzinationsdetektion: Binäre Klassifikation (Halluzination ja/nein).
2. Halluzinationskategorisierung: Klassifikation in die drei oben genannten Kategorien.

Experimentelle Settings:

• Single-Model: Bewertung einzelner Query-Response-Paare.
• Ensemble: Mehrheitsvoting mehrerer Modelle.
• In-Context: Nutzung des vorherigen Dialogpaares als Kontext für die Bewertung des zweiten Paares.

Ergebnisse:

• Unzureichende Leistung: Selbst die besten Modelle erreichten nur F1-Scores im Bereich von 50–64 %. Das beste Modell (Qwen-3-32B) erzielte 63,91 % F1-Score bei der Detektion.
• Recall-Problem: Die Recall-Werte waren oft niedrig (z. B. 27,89 % bei Mistral-7B), was bedeutet, dass viele Halluzinationen übersehen werden.
• Ensemble-Methoden: Die Kombination mehrerer Modelle führte zu stabileren Ergebnissen, übertraf jedoch nicht die Leistung des besten Einzelmodells. Dies deutet auf korrelierte Fehlermuster hin.
• Kontexteinfluss: Die Nutzung von Kontext (In-Context) verbesserte die Ergebnisse bei einigen Modellen leicht, führte bei anderen jedoch zu Verschlechterungen, da der Kontext oft als Rauschen wirkte.
• Kategorisierung: Die Unterscheidung zwischen den Halluzinationstypen war für die Modelle besonders schwierig, insbesondere bei Input- und Context-conflicting Halluzinationen (F1-Scores oft < 10 % für diese Kategorien bei Ensembles).

5. Hauptbeiträge

1. AuthenHallu: Einführung des ersten Benchmarks für Halluzinationsdetektion, der ausschließlich auf authentischen, organisch entstandenen Mensch-LLM-Gesprächen basiert.
2. Empirische Analyse: Umfassende statistische Auswertung, die zeigt, dass Halluzinationen in realen Szenarien häufiger und in spezifischen Domänen (Mathematik, Zeit) kritischer sind als in künstlichen Benchmarks angenommen.
3. Realistische Evaluation: Nachweis, dass aktuelle „Vanilla"-LLMs als Detektoren in echten Interaktionsszenarien noch nicht zuverlässig genug sind, um in Hochrisikobereichen (Medizin, Recht) ohne menschliche Aufsicht eingesetzt zu werden.

6. Bedeutung und Fazit

Das Paper unterstreicht die Dringlichkeit, Benchmarks für die Evaluierung von LLMs auf realen Daten zu basieren, anstatt auf synthetisch erzeugten. Die Ergebnisse zeigen, dass der aktuelle Stand der Technik bei der automatischen Detektion von Halluzinationen in echten Dialogen noch erhebliche Lücken aufweist. AuthenHallu bietet eine solide Grundlage für die zukünftige Entwicklung robusterer Detektionsmechanismen und sensibilisiert die Community für die Komplexität echter Nutzerinteraktionen.

Verfügbarkeit: Daten und Code sind unter https://github.com/TAI-HAMBURG/AuthenHallu öffentlich zugänglich.