🤖 AI

Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents

Diese Arbeit untersucht die Treue-Lücke (Faithfulness Gap) bei LLM-Agenten innerhalb eines kontrollierten Texas-Hold'em-Poker-Simulators und zeigt auf, dass Agenten zwar oft daran scheitern, ihre explizite Argumentation mit ihren Schlussfolgerungen in Einklang zu bringen, jedoch paradoxerweise im Einklang mit ihren Schlussfolgerungen handeln, selbst wenn diese Schlussfolgerungen im Widerspruch zu ihrer eigenen Argumentation stehen.

Ursprüngliche Autoren: Yufeng Wang

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yufeng Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten eine Gruppe von KI-Agenten bei einem hochriskanten Pokerspiel. Sie bitten sie, ihr Denken zu erklären, bevor sie einen Zug machen. Sie sagen Ihnen: „Ich habe eine starke Hand, die Chancen stehen zu meinen Gunsten, also sollte ich erhöhen.“ Dann passen sie jedoch.

Dieses Paper stellt eine einfache, aber knifflige Frage: Tun diese KI-Agenten tatsächlich das, was sie anzusagen geben, oder erfinden sie im Nachhinein nur Ausreden?

Die Forscher haben einen kontrollierten Poker-Simulator aufgebaut, um die Antwort zu finden. Anstatt zu raten, haben sie den Entscheidungsprozess der KI in zwei distinkte Schritte zerlegt, vergleichbar mit dem Start einer zweistufigen Rakete.

Die zwei Schritte einer KI-Entscheidung

Schritt 1: Das „Gehirn“ (Begründung $\rightarrow$ Schlussfolgerung)
Hier betrachtet die KI die Karten, berechnet die Gewinnchancen und entscheidet, was sie denkt, dass sie tun sollte.
- Die Analogie: Stellen Sie sich einen Wettervorhersager vor, der die Daten betrachtet. Er sieht, dass ein Sturm aufzieht, und kommt zu dem Schluss: „Es wird regnen.“
Schritt 2: Die „Hand“ (Schlussfolgerung $\rightarrow$ Aktion)
Hier drückt die KI tatsächlich den Knopf, um zu passen, zu setzen oder zu erhöhen.
- Die Analogie: Der Wettervorhersager sagt dann zum Nachrichtensprecher: „Es wird regnen“, und der Nachrichtensprecher verkündet dies der Welt.

Die große Überraschung: Die „Hand“ ist ehrlich, aber das „Gehirn“ lügt

Die Forscher fanden heraus, dass sich diese beiden Schritte in völlig entgegengesetzter Weise verhalten:

Schritt 2 (Die Hand) ist unglaublich zuverlässig.
Sobald die KI entschieden hat, was sie tun wird, tut sie es auch fast immer genau so. Die Inkonsistenzrate ist hier minimal (weniger als 2 %).
- Die Metapher: Die KI ist wie ein sehr gehorsamer Roboter. Wenn man ihm sagt, er solle eine Tasse aufheben, hebt er die Tasse auf. Er lässt sie nicht fallen oder hebt stattdelt stattdessen einen Löffel auf.
Schritt 1 (Das Gehirn) ist der Ort des eigentlichen Problems.
Die KI berechnet oft die Zahlen korrekt und gibt die Regeln korrekt wieder, zieht dann aber eine Schlussfolgerung, die auf Basis dieser Zahlen keinen Sinn ergibt.
- Die Metapher: Stellen Sie sich vor, der Wettervorhersager betrachtet die Daten, sieht einen massiven Sturm und sagt: „Die Daten sagen, dass es regnen wird.“ Aber dann zieht er aus irgendeinem logischen Grund den Schluss: „Deshalb wird es sonnig sein“, und der Nachrichtensspercher meldet: „Sonnig“.
- Das Ergebnis: In etwa 65 % der Fehler machte die KI die Mathematik richtig, redete sich dann aber selbst gegen die logische Schlussfolgerung. Sie würde sagen: „Die Chancen sind gut, aber vielleicht sollte ich nicht zu aggressiv sein“, und wählt eine sicherere, schwächere Option. Es ist, als würde eine Person, die die Mathematik kennt, sagen „Geh!“, aber ihr Bauchgefühl sagt „Warte“, und sie ignoriert die Mathematik.

Die „Messfalle“

Das Paper weist auch auf einen interessanten Trick hin, der in früheren Studien auftrat. Einige Forscher versuchten zu erraten, was die KI entschied, indem sie lediglich deren lange, ausschweifende Erklärungen (Freitext) lasen.

Das Problem: Die Erklärungen der KI waren unordentlich. Sie könnte sagen: „Ich könnte setzen, aber erhöhen ist besser, obwohl auch passen sicher wäre.“ Ein Computerprogramm, das versucht, die endgültige Entscheidung aus diesem Chaos zu erraten, würde oft die falsche Entscheidung wählen.
Das Ergebnis: Dies ließ es so aussehen, als würde die KI lügen oder ihre Meinung ändern, etwa 22–26 % der Zeit.
Die Lösung: Als die Forscher die KI dazu zwangen, am Ende ein klares, spezifisches Tag wie ENTSCHEIDUNG: ERHÖHEN zu schreiben, sank die „Lügensrate“ auf fast Null. Die KI hat nicht gelogen; das Messwerkzeug war einfach schlecht darin, die unordentliche Handschrift zu lesen.

Warum ist das wichtig?

Die Forscher versuchten, das „Gehirn“-Problem zu lösen, indem sie der KI die Regeln explizit gaben (z. B. „Wenn die Chancen hoch sind, MUSST du erhöhen“). Überraschenderweise half das nicht. Die KI ignorierte weiterhin die Regeln, denen sie folgen sollte.

Dies deutet darauf hin, dass das Problem nicht darin besteht, dass die KI die Regeln nicht kennt oder sie nicht finden kann. Das Problem ist, dass sie sie nicht konsistent anwenden kann. Sie kennt die Regel, aber sie überstimmt sie mit ihren eigenen „qualitativen“ Gefühlen (wie etwa zu vorsichtig zu sein).

Das Fazit

Wenn Sie KI-Agenten für soziale Simulationen bauen (wie etwa virtuelle Menschen, die verhandeln oder handeln), prüfen Sie nicht nur, ob sie das tun, was sie sagen. Prüfen Sie, ob das, was sie sagen, tatsächlich aus ihrer eigenen Logik folgt.

Die gute Nachricht: Wenn eine KI sagt, dass sie etwas tun wird, wird sie es wahrscheinlich auch tun.
Die schlechte Nachricht: Die Begründung, die sie dafür liefert, kann völlig erfunden oder logisch fehlerhaft sein, selbst wenn die Zahlen korrekt aussehen.

Das Paper kommt zu dem Schluss, dass wir, um das Verhalten von KI wirklich zu verstehen, aufhören müssen, nur die endgültige Aktion zu beobachten, und stattdessen die Mathematik hinter der Entscheidung auditieren müssen, denn genau dort verbirgt sich die wahre „Treue-Lücke“ (Faithfulness Gap).

Technisches Resümee: Lokalisierung der Treue-Lücke (Faithfulness Gap) in LLM-Agenten

Problemstellung

Die Arbeit befasst sich mit einem kritischen Problem in der sozialen Simulation durch Large Language Models (LLMs): der „Treue-Lücke“ (faithfulness gap), also der Diskrepanz zwischen der erklärten Argumentation eines Agenten und seinem tatsächlichen Verhalten. Während vorangegangene Arbeiten bereits darauf hingewiesen haben, dass LLMs oberflächliche Rationalisierungen produzieren können, die ihre Handlungen nicht steuern (Park et al., 2023; Zhou et al., 2024), ist die Messung dieser Lücke in offenen sozialen Settings (z. B. Verhandlungen, kultureller Austausch) schwierig, da es keinen Referenz-Grundwahrheitswert für das korrekte Verhalten gibt. Die Autoren argumentieren, dass es ohne eine verifizierbare Referenz unmöglich ist, zwischen echtem strategischem Verhalten und Modell-Artefakten oder „Wissen-Handeln“-Lücken (Lin et al., 2026) zu unterscheiden.

Methodik

Um eine kontrollierte Umgebung mit einer verifizierbaren Referenz zu schaffen, konstruierten die Autoren einen Texas Hold'em Poker-Simulator, in dem jeder Sitzplatz von einem LLM-Agenten besetzt ist. Das experimentelle Framework stützt sich auf drei Kernkomponenten:

Die Umgebung: Eine Texas Hold'em Arena, in der eine heuristische Schwelle basierend auf dem Equity-Wert als reproduzierbare Referenzpolicy dient. Für jede Entscheidung bestimmt ein Monte-Carlo-Equity-Rechner (500 Simulationen) die „korrekte“ Aktion (Fold, Call oder Raise) basierend auf der Hand-Equity und den Pot-Odds.
Dekomposition der Entscheidungs-Pipeline: Die Autoren zerlegen die Treue-Lücke in zwei distinkte Schritte:
- Argumentation $\to$ Schlussfolgerung: Folgt die erklärte Entscheidung des Agenten logisch aus seinen eigenen erklärten Eingaben (Equity, Pot-Odds) und der Regel, der er zu folgen vorgibt?
- Schlussfolgerung $\to$ Aktion: Führt der Agent die Aktion aus, die er in seinem Argumentationsverlauf explizit angegeben hat?
Experimentelles Setup: Die Studie umfasst drei Modellfamilien: Claude Haiku 4.5, Gemini 2.5 Flash-Lite und DeepSeek-v4-pro (ein nativ trainiertes Reasoning-Modell). Es werden vier Prompt-Strategien getestet:
- Baseline: Minimales Experten-Framing, keine Anforderung von Argumentation.
- CoT (Chain-of-Thought): Anweisungen, „Schritt für Schritt zu denken“ und ein explizites DECISION-Tag auszugeben.
- Persona: Aufgezwungener Verhaltensstil (z. B. „tight-aggressive“) ohne Anforderung von Argumentation.
- GTO-constrained: Die Entscheidungsregel (Equity vs. Pot-Odds) wird explizit in den Prompt injiziert.
- GTO-verbose (Diagnostisch): Eine spezifische Strategie, die Agenten anweist, beschriftete Zeilen für Equity, Pot-Odds, Regel und Entscheidung auszugeben, um eine granulare Fehleranalyse zu ermöglichen.

Zentrale Beiträge

Die Arbeit leistet vier primäre Beiträge:

Messkritik: Sie zeigt auf, dass berichtete „Untreue“-Raten (unfaithfulness rates) hochgradig sensitiv gegenüber den Extraktionsmethoden sind. Die Extraktion von Freitext-Phrasen liefert Inkonsistenzraten von 22–26 %, während explizites Decision-Tagging diese auf unter 2 % reduziert, was darauf hindeutet, dass ein Großteil der zuvor berichteten Lücke ein Messartefakt ist.
Lokalisierung der Lücke: Durch die Trennung der Pipeline-Schritte zeigen die Autoren, dass die Treue-Lücke im Upstream-Bereich konzentriert ist. Agenten führen ihre erklärten Entscheidungen mit hoher Fidelität aus (Conclusion $\to$ Action ist zuverlässig), ziehen ihre Entscheidungen jedoch häufig invalide aus ihrer eigenen Argumentation (Reasoning $\to$ Conclusion ist unzuverlässig).
Charakterisierung des Upstream-Fehlers: Der dominante Fehlermodus (65 % der Ausfälle) ist die „Regel-Fehlanwendung“. Agenten schätzen Eingaben korrekt ein und wiederholen die Regel, überschreiben die quantitative Regel jedoch systematisch mit qualitativen Abschwächungen (z. B. „nicht signifikant über“) in eine risikoaversere Richtung. Die Injektion der Regel in den Prompt mildert dies nicht ab.
Portables Fidelitäts-Instrument: Die Autoren veröffentlichen ein verifizierbares, reproduzierbares Testbett (Code und eine Live-Multi-Agenten-Demo), das für reichere soziale Simulationen angepasst werden kann, um Persona-Drift und oberflächliche Rationalisierung auf der Schritt-Ebene zu detektieren.

Ergebnisse

Konsistenz (Conclusion $\to$ Action): Wenn Schlussfolgerungen über explizite Tags extrahiert werden, sind die Inkonsistenzraten vernachlässigbar (0,0 %–1,8 % über alle Modelle hinweg). Im Gegensatz dazu melden Freitext-Parser 22–33 % Inkonsistenz, was weitgehend darauf zurückzuführen ist, dass der Parser die zuletzt erwähnte Kandidaten-Aktion statt der finalen Entscheidung extrahiert.
Validität (Reasoning $\to$ Conclusion): Im GTO-verbatim-Diagnosefall wurden 65 % der fehlerhaften Entscheidungen durch Regel-Fehlanwendung verursacht. Die Agenten berechneten die Equity und Pot-Odds korrekt (innerhalb von 0,15 zur Monte-Carlo-Wahrheit in 68 % der Fälle) und nannten die korrekte Regel, zogen jedoch eine Schlussfolgerung, die der Mathematik widersprach.
- Direktionalität: Die Fehler sind keine zufälligen Rechenfehler. In 97 % der Regel-Fehlanwendungen implizierte die Regel ein „Raise“, aber der Agent wählte eine passive Aktion (Call/Fold). Die Agenten nutzten konsistent eine abschwächende Sprache, um ein risikoaverses Verhalten zu rechtfertigen, obwohl sie mathematisch vorteilhafte Quoten hatten.
Prompt-Injektion: Die „GTO-constrained“-Strategie, die die Entscheidungsregel explizit an das Modell lieferte, verbesserte die Adhärenz nicht. Die Adhärenzraten für diese Strategie lagen konsistent am unteren Ende oder nahe bei (47,9 %–54,6 %), was bestätigt, dass der Flaschenhals die Anwendung der Regel ist, nicht deren Abruf oder Verständnis.

Signifikanz und Behauptungen

Die Arbeit behauptet, dass die zentrale Sorge, zwischen echtem strategischem Verhalten und Modell-Artefakten zu unterscheiden, einen Wechsel des Evaluationsfokus erfordert.

Neubewertung der Treue: Die scheinbare „Untreue“ von LLMs ist oft ein Messartefakt, der durch die Art der Extraktion von Schlussfolgerungen verursacht wird. Bei korrekter Messung sind Agenten sehr treu gegenüber ihren erklärten Entscheidungen.
Der wahre Fehlermodus: Das substantielle Versagen besteht nicht darin, dass Agenten ihre Argumentation ignorieren, sondern dass sie ungültige Inferenzen aus ihrer eigenen Argumentation ziehen. Sie nennen korrekte Prämissen und Regeln, überschreiben diese jedoch mit qualitativen, risikoaversen Urteilen.
Implikationen für die soziale Simulation: In komplexen sozialen Simulationen kann dieser „Upstream“-Fehler als „Persona-Drift“ erscheinen. Ein Agent kann eine spezifische Persona (z. B. „aggressiv“) artikulieren und korrekt darüber argumentieren, doch seine endgültigen Aktionen werden zu einem generischen, konservativen Prior gezogen. Da dieser Drift im Ableitungsschritt auftritt, ist er für Prüfungen auf Ergebnis- oder Schlussfolgerungsebene unsichtbar.
Methodischer Wandel: Die Autoren plädieren für Prozess-Fidelitäts-Evaluationen, die auf die Ableitung von Schlussfolgerungen aus der Argumentation abzielen und maschinenprüfbare, explizite Schlussfolgerungen erfordern, um eine Verwechslung von Messrauschen mit Modellverhalten zu vermeiden.

Die Arbeit schließt mit der Feststellung, dass Poker zwar keine vollständige soziale Simulation darstellt, aber eine notwendige Kalibrierungsumgebung bietet, um diese Fidelity-Probes auf Schrittebene zu exponieren, welche dann auf komplexere Domänen übertragen werden können, in denen die Grundwahrheit schwerer zu definieren ist.