How Much Do LLMs Hallucinate in Document Q&A Scenarios? A 172-Billion-Token Study Across Temperatures, Context Lengths, and Hardware Platforms

Diese Studie analysiert auf Basis von 172 Milliarden Token die Halluzinationsraten verschiedener LLMs in Dokumenten-Q&A-Szenarien und zeigt, dass die Modellwahl den größten Einfluss hat, während sich die Fehlerquote mit zunehmendem Kontextumfang drastisch erhöht und Hardware-Plattformen kaum eine Rolle spielen.

Das Wesentliche

🕵️‍♂️ Die große Lügen-Checkliste: Wie sehr erfinden KI-Modelle Fakten?

Stellen Sie sich vor, Sie geben einem extrem gut ausgebildeten Bibliothekar (dem KI-Modell) einen riesigen Stapel Aktenordner und bitten ihn, eine Frage zu beantworten, die sich nur auf das bezieht, was in diesen Ordnern steht.

Die große Frage der Studie lautet: Wie oft erfindet dieser Bibliothekar Dinge, die gar nicht in den Ordnern stehen?

Die Forscher von Kamiwaza AI haben 35 verschiedene „Bibliothekar-KIs" getestet. Sie haben dabei über 172 Milliarden Wörter (Tokens) verarbeitet – das ist mehr Text, als ein Mensch in seinem ganzen Leben lesen könnte. Hier sind die wichtigsten Erkenntnisse, einfach erklärt:

1. Die „Lügen-Quote" ist unvermeidbar (auch bei den Besten)

Selbst die klügsten Bibliothekare lügen manchmal.

• Der beste Bibliothekar: Bei einem kleinen Stapel Akten (32.000 Wörter) erfindet der Top-Modell (GLM 4.5) immer noch in 1,2 % der Fälle etwas. Das klingt wenig, aber bei 100 Fragen bedeutet das: Eine Antwort ist frei erfunden.
• Der Durchschnitt: Die meisten Modelle erfinden bei 25 von 100 Fragen etwas.
• Das Fazit: Es gibt keine KI, die zu 100 % ehrlich ist. Man muss immer damit rechnen, dass sie etwas dazuerfindet.

2. Je mehr Akten, desto mehr Lügen (Der „Wald vor lauter Bäumen"-Effekt)

Stellen Sie sich vor, Sie geben dem Bibliothekar nicht nur einen Ordner, sondern einen ganzen Raum voller Akten (128.000 oder 200.000 Wörter).

• Das Problem: Je mehr Informationen auf einmal da sind, desto mehr verliert die KI den Faden.
• Die Folge: Die Lügen-Quote steigt drastisch. Bei einem riesigen Stapel (200K) erfindet selbst der beste Bibliothekar bei über 10 % der Fragen etwas.
• Ein extremes Beispiel: Ein Modell, das bei kleinen Stapeln sehr gut war, fing bei riesigen Stapeln an, in 70 % der Fälle zu lügen. Es war so überwältigt von der Menge der Daten, dass es einfach fingierte Antworten gab.

3. Nicht alle Bibliothekare sind gleich (Familie ist wichtiger als Größe)

Man könnte denken: „Je größer und stärker der Bibliothekar, desto ehrlicher ist er." Das ist falsch.

• Die Größe täuscht: Ein riesiger Bibliothekar mit 400 Milliarden „Gehirnzellen" (Parametern) lügt genauso oft wie ein kleinerer.
• Die Familie zählt: Es kommt darauf an, wie der Bibliothekar ausgebildet wurde.
  • Die GLM-Familie und MiniMax waren wie ehrliche Prüflinge: Sie sagten oft „Ich weiß das nicht", wenn die Antwort nicht in den Akten stand.
  • Die Llama-Familie (ein sehr beliebter KI-Typ) war oft wie ein selbstbewusster Lügner: Sie fanden die richtigen Fakten im Text, aber erfindeten trotzdem gerne Dinge dazu, wenn sie unsicher waren.
• Lehre: Kaufen Sie nicht einfach das größte Modell. Wählen Sie das Modell, das für Ehrlichkeit trainiert wurde.

4. Der „Zitter-Modus" (Temperatur)

KI-Modelle haben einen Regler namens „Temperatur".

• Temperatur 0 (Starr): Der Bibliothekar ist extrem konzentriert und wählt immer das erste, was ihm einfällt. Das ist gut für Genauigkeit, aber schlecht für die Stabilität. Bei großen Aktenstapeln gerät er oft in eine Endlosschleife (er wiederholt sich, bis er abbricht).
• Temperatur 1 (Locker): Der Bibliothekar ist etwas entspannter und probiert verschiedene Wege aus.
• Die Überraschung: Ein etwas lockererer Modus (Temperatur 0,4 oder 0,7) führte oft zu weniger Lügen und verhinderte, dass der Bibliothekar in Endlosschleifen geriet. Der starre „Null-Modus" ist also nicht immer die beste Wahl!

5. Der Computer macht keinen Unterschied

Die Forscher haben die KIs auf drei verschiedenen Computer-Chips getestet (von NVIDIA, AMD und Intel).

• Ergebnis: Es war völlig egal, auf welchem Computer die KI lief. Ein Bibliothekar lügt auf einem Apple-Computer genauso oft wie auf einem Windows-Computer. Die Hardware ist also kein Grund für Fehler.

6. Das größte Missverständnis: „Finden" vs. „Erfinden"

Das ist der wichtigste Punkt der Studie:

• Fähigkeit A (Finden): Die KI kann Informationen im Text suchen und finden.
• Fähigkeit B (Nicht-Erfinden): Die KI kann sagen: „Das steht hier nicht, also antworte ich nicht."
• Das Problem: Ein Modell kann super im Suchen sein, aber schrecklich im Nicht-Erfinden.
  • Beispiel: Ein Bibliothekar findet perfekt die Seite 42, aber wenn Sie ihn nach etwas fragen, das auf Seite 42 gar nicht steht, erfindet er sich eine Antwort aus dem Kopf.
  • Warnung: Viele Tests prüfen nur, ob die KI findet. Das reicht nicht! Man muss auch testen, ob sie lügt, wenn sie nichts findet.

🚀 Was bedeutet das für die Praxis?

Wenn Sie eine KI in Ihrem Unternehmen einsetzen wollen, um Dokumente zu durchsuchen:

1. Wählen Sie das richtige Modell: Suchen Sie nicht nach der größten KI, sondern nach einer, die für ihre Ehrlichkeit bekannt ist (wie GLM oder MiniMax).
2. Achten Sie auf die Aktenmenge: Wenn Sie sehr lange Dokumente haben, erwarten Sie mehr Fehler. Testen Sie die KI mit der tatsächlichen Länge der Dokumente, nicht nur mit kurzen Beispielen.
3. Nicht zu starr sein: Stellen Sie die KI nicht auf den absolut strengsten Modus (Temperatur 0). Ein leichtes „Zittern" (Temperatur 0,4) macht sie oft ehrlicher und verhindert, dass sie in Endlosschleifen gerät.
4. Überprüfen Sie alles: Gehen Sie davon aus, dass die KI manchmal lügt. Bauen Sie Sicherheitsnetze ein, um diese Lügen zu erkennen.

Zusammenfassend: KIs sind wie sehr intelligente, aber manchmal etwas zu selbstbewusste Bibliothekare. Je mehr Bücher sie gleichzeitig lesen müssen, desto mehr erfinden sie. Und manchmal ist ein etwas lockererer Umgangston besser als totale Strenge.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Forschungsartikels auf Deutsch:

Technische Zusammenfassung: "How Much Do LLMs Hallucinate in Document Q&A Scenarios?"

1. Problemstellung

Die Fähigkeit von Large Language Models (LLMs), Fragen basierend auf bereitgestellten Dokumenten zu beantworten (Document Q&A, RAG), ist eine der kritischsten Anwendungen im Unternehmensumfeld. Das Hauptproblem ist jedoch die Halluzination: Modelle erfinden Informationen, die nicht in den Dokumenten enthalten sind, oder verknüpfen Fakten falsch.

Bisherige Messungen dieser Phänomene litten unter drei fundamentalen Mängeln:

1. Datenkontamination: Statische Benchmarks enthalten oft Daten, die während des Trainings der Modelle gesehen wurden, was die Leistung künstlich aufbläht.
2. Verzerrte Bewertung: Der Einsatz von "LLM-as-a-Judge" (Bewertung durch andere LLMs) führt zu systematischen Verzerrungen.
3. Mangelnde statistische Signifikanz: Viele Studien basieren auf zu kleinen Datensätzen oder einzelnen Durchläufen, was keine verlässlichen Schlussfolgerungen zulässt.

Die zentrale Forschungsfrage lautet: Wie stark halluzinieren LLMs tatsächlich in Dokumenten-Q&A-Szenarien, und wie beeinflussen Kontextlänge, Temperatur und Hardware diese Rate?

2. Methodik: RIKER

Die Studie nutzt die RIKER-Methode (Retrieval Intelligence and Knowledge Extraction Rating), die einen Paradigmenwechsel darstellt:

• Ground-Truth-First-Ansatz: Anstatt Fakten aus existierenden Dokumenten zu extrahieren (was menschliche Annotation erfordert), werden die Dokumente und Fragen generiert aus einer bekannten, strukturierten Ground-Truth-Datenbank (relationale Datenbank).
• Deterministische Bewertung: Da die Ground Truth bekannt ist, kann jede Antwort deterministisch und ohne menschliche Annotation oder LLM-Bewerter bewertet werden.
• Skalierbarkeit: Die Methode ermöglicht die Generierung beliebiger Mengen an Testdaten ohne Kontaminationsrisiko.

Experimentelles Design:

• Umfang: Über 172 Milliarden Token wurden evaluiert (eine Größenordnung mehr als vorherige Studien).
• Modelle: 35 Open-Weight-Modelle (u.a. GLM, Llama, Qwen, DeepSeek, MiniMax) mit Parametern von 1B bis 480B.
• Kontextlängen: 32K, 128K und 200K Token.
• Temperaturen: 0.0, 0.4, 0.7 und 1.0 (jeweils 8 Durchläufe pro Konfiguration).
• Hardware: NVIDIA H200, AMD MI300X und Intel Gaudi3.
• Metriken:
  • Faithfulness: Gesamte Genauigkeit bei beantwortbaren Fragen.
  • Grounding: Genauigkeit beim Extrahieren existierender Fakten (L01–L04).
  • Fabrication: Fehlerrate bei Fragen zu nicht-existierenden Entitäten (L11–L12) – der reinste Indikator für Halluzinationen.
  • Aggregation: Fähigkeit, Informationen über mehrere Dokumente hinweg zu synthetisieren.
  • Coherence Loss: Rate der Abbruchfälle durch unendliche Generierungsschleifen.

3. Wichtige Ergebnisse

A. Hardware-Unabhängigkeit

Die Wahl der Hardware (NVIDIA, AMD, Intel) hat keinen signifikanten Einfluss auf die Modellleistung oder Halluzinationsraten. Unterschiede zwischen den Plattformen waren minimal (oft <1 %) und kleiner als die durch Temperaturänderungen verursachten Schwankungen.

B. Kontextlänge und Leistungseinbruch

Die Leistung verschlechtert sich mit zunehmender Kontextlänge drastisch, und zwar nicht linear:

• 32K Kontext: Die besten Modelle (z. B. GLM 4.5) erreichen eine Halluzinationsrate von nur 1,19 %. Top-Modelle liegen bei 5–7 %. Der Median liegt bei ca. 25 %.
• 128K Kontext: Die Halluzinationsraten steigen fast um das Dreifache. Nur 5 von 26 Modellen bleiben unter 10 %.
• 200K Kontext: Kein Modell bleibt unter einer Halluzinationsrate von 10 %.
  • Beispiel: GLM 4.6 fällt von 93,26 % Genauigkeit (32K) auf 37,65 % (200K) und halluziniert in 71,62 % der Fälle bei nicht-existierenden Entitäten.
• Fazit: Die beworbene Kontextlänge ist oft keine verlässliche Obergrenze für nutzbare Kapazität.

C. Temperatur-Effekte

Die gängige Empfehlung, Temperatur 0.0 für maximale Faktizität zu verwenden, wird widerlegt:

• Genauigkeit: T=0.0 liefert in ca. 60 % der Fälle die beste Gesamtgenauigkeit, aber in 40 % der Fälle sind höhere Temperaturen (0.4–1.0) besser.
• Halluzinationen: Höhere Temperaturen reduzieren die Halluzinationsrate in 53 % der Fälle.
• Kohärenzverlust (Infinite Loops): Dies ist der kritischste Punkt. Bei T=0.0 treten unendliche Generierungsschleifen (Abbrüche) bei längeren Kontexten massiv häufiger auf.
  • Bei 200K Kontext kann T=0.0 zu einer 48-fach höheren Rate an Kohärenzverlusten führen als T=1.0 (z. B. bei GLM 4.7).
  • Empfehlung: Für Enterprise-Deployments ist eine moderate Temperatur (0.4 oder 0.7) oft der beste Kompromiss zwischen Genauigkeit, niedriger Halluzination und Zuverlässigkeit.

D. Entkopplung von Grounding und Fabrication

Grounding (Fakten finden) und Fabrication Resistance (Fakten nicht erfinden) sind unterschiedliche Fähigkeiten:

• Modelle wie Llama 3.1 70B erreichen eine hohe Grounding-Rate (>90 %), halluzinieren aber in fast 50 % der Fälle bei Fragen zu nicht-existierenden Inhalten.
• Modelle der GLM-Familie zeigen eine starke Entkopplung: Sie finden Fakten gut und erfinden sie selten.
• Dies zeigt, dass reine Retrieval-Benchmarks täuschen können; ein Modell kann "gut im Suchen" sein, aber "schlecht im Nicht-Erfinden".

E. Modellfamilie vs. Modellgröße

Die Modellfamilie ist ein besserer Prädiktor für Halluzinationsresistenz als die reine Parametergröße.

• GLM & MiniMax: Zeigen durchgehend niedrige Halluzinationsraten über verschiedene Größen hinweg.
• Llama 3.x: Zeigt hohe Halluzinationsraten, unabhängig davon, ob es sich um 8B oder 405B Parameter handelt.
• MoE-Architekturen: Modelle wie Qwen3 Next 80B-A3B zeigen eine bemerkenswerte Stabilität über lange Kontexte hinweg.

4. Bedeutung und Implikationen

1. Keine Null-Halluzination: Selbst unter optimalen Bedingungen halluzinieren Modelle unvermeidbar. Enterprise-Systeme müssen zwingend Sicherheitsmechanismen (Guardrails) gegen Halluzinationen implementieren.
2. Modellauswahl ist entscheidend: Die Wahl des Modells hat einen größeren Einfluss auf die Leistung als Hardware-Optimierung oder Temperatur-Tuning. Familien mit nachgewiesener niedriger Halluzinationsrate (z. B. GLM) sollten bevorzugt werden.
3. Kontextlänge managen: Die beworbene Kontextlänge ist kein Garant für Zuverlässigkeit. Tests müssen zwingend mit der tatsächlichen Produktions-Kontextlänge durchgeführt werden.
4. Temperatur-Dogma aufbrechen: T=0.0 ist nicht immer die beste Wahl. Es erhöht das Risiko von Systemausfällen (Infinite Loops) drastisch bei langen Kontexten.
5. Evaluation neu denken: Benchmarks müssen explizit "Fabrication-Probes" (Fragen zu nicht-existierenden Inhalten) enthalten, um Modelle auf ihre Zuverlässigkeit zu testen, nicht nur auf ihre Fähigkeit, vorhandene Informationen zu extrahieren.

5. Fazit

Die Studie liefert mit 172 Milliarden Token die bisher umfassendste quantitative Analyse von Halluzinationen in LLMs. Sie zeigt, dass Halluzinationen ein inhärentes, nicht auf Null reduzierbares Problem bleiben, das stark von der Kontextlänge und der Modellarchitektur abhängt. Die Entkopplung von Retrieval-Fähigkeit und Halluzinationsresistenz erfordert eine Neubewertung aktueller Evaluierungsstandards. Für die Praxis bedeutet dies: Wähle das richtige Modell (Familie), teste bei der echten Kontextlänge und vermeide dogmatische Temperatur-Einstellungen.