🤖 AI

When Agents Say One Thing and Do Another: Validating Elicited Beliefs from LLMs

Dieser Beitrag schlägt einen entscheidungstheoretischen Rahmen vor, um die Konsistenz zwischen den von großen Sprachmodellen abgeleiteten Wahrscheinlichkeitsüberzeugungen und ihren Entscheidungen zu validieren, und zeigt auf, dass selbst die leistungsfähigsten Modelle zwar nur geringfügige Diskrepanzen zwischen ihren geäußerten Überzeugungen und ihren Handlungen aufweisen, diese Überzeugungen jedoch keine perfekten Zusammenfassungen der Informationen darstellen, die ihre Entscheidungen antreiben.

Ursprüngliche Autoren: Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stellen einen medizinischen Berater ein, der ein Experte für die Diagnose von Patienten ist. Sie fragen ihn zwei Dinge über einen bestimmten Patienten:

Die Schätzung: „Wie hoch ist die prozentuale Wahrscheinlichkeit, dass dieser Patient an einer bestimmten Krankheit leidet?"
Die Handlung: „Basierend auf dem, was Sie wissen, was sollten wir tun? Behandeln wir ihn, schicken wir ihn nach Hause oder führen wir weitere Tests durch?"

Dieser Artikel stellt eine einfache, aber knifflige Frage: Stimmt die „Schätzung" des Beraters tatsächlich mit seiner „Handlung" überein?

Manchmal sagen Menschen (oder KI) das eine, tun aber das andere. Vielleicht sagt der Berater: „Ich bin nur zu 60 % sicher, dass es die Krankheit ist", handelt dann aber so, als wäre er zu 99 % sicher, indem er sofort eine riskante Operation verschreibt. Oder vielleicht handelt er vorsichtig, obwohl er behauptet, sehr zuversichtlich zu sein.

Die Forscher in diesem Artikel bauten einen „Wahrheitsdetektor", um zu prüfen, ob Large Language Models (LLMs) – die intelligenten KI-Chatbots – konsistent sind. Sie prüften nicht nur, ob die Mathematik der KI korrekt war; sie prüften, ob die Worte der KI (ihre geäußerten Überzeugungen) ihre Wahlentscheidungen tatsächlich erklärten.

Die Detektivarbeit im „Schwarzen Kasten"

Die Forscher behandeln die KI wie einen „Schwarzen Kasten". Sie können nicht in ihr Gehirn schauen, um zu sehen, wie sie denkt. Sie können nur sehen, was herauskommt: die Wahrscheinlichkeit, die sie laut ausspricht, und die Entscheidung, die sie trifft.

Um die KI zu testen, verwendeten sie zwei Haupt-„Lackmustests", die durch folgende Analogien verstanden werden können:

1. Der Test „Keine zusätzlichen Geheimnisse" (Bedingte Unabhängigkeit)

Stellen Sie sich vor, die KI ist ein Detektiv, der einen Bericht schreibt.

Die Überzeugung: Der Bericht sagt: „Ich denke, der Verdächtige ist mit 80 % Sicherheit schuldig."
Die Handlung: Der Detektiv verhaftet den Verdächtigen.

Wenn der Bericht eine vollständige Zusammenfassung alles dessen ist, was der Detektiv weiß, dann sollten Sie, sobald Sie den Teil mit der „80 %igen Sicherheit" gelesen haben, nichts Neues erfahren, indem Sie sich die Verhaftungsentscheidung ansehen. Die Verhaftungsentscheidung sollte vollständig durch diese 80 % erklärt sein.

Das Ergebnis: Die Forscher stellten fest, dass bei vielen KI-Modellen die Zahl „80 %" nicht die ganze Geschichte war. Selbst nachdem man wusste, dass die KI „80 %" sagte, lieferte der Blick darauf, was die KI tat (verhaftete oder nicht verhaftete), immer noch zusätzliche Informationen über den wahren Zustand des Patienten.

Analogie: Es ist wie bei einem Wettervorhersager, der sagt: „Es gibt eine 50 %ige Wahrscheinlichkeit für Regen", aber dann sieht man, wie er einen schweren Regenschirm trägt. Wenn man nur die „50 %" gehört hätte, würde man den Regenschirm nicht erwarten. Die Tatsache, dass er den Regenschirm trug, bedeutet, dass er etwas „wusste", das er nicht sagte. Die Handlungen der KI enthüllten versteckte Informationen, die ihre gesprochenen Worte nicht einfingen.

2. Der Test „Bewegliches Ziel" (Monotonie)

Stellen Sie sich vor, Sie beobachten eine Ampel.

Wenn die Ampel Rot ist (hohes Risiko), halten Sie an.
Wenn die Ampel Gelb ist (mittleres Risiko), fahren Sie langsam.
Wenn die Ampel Grün ist (niedriges Risiko), fahren Sie weiter.

Wenn die KI konsistent ist, sollten ihre Handlungen, wenn die von ihr genannte „Risikozahl" steigt, vorhersehbar in Richtung vorsichtigerer Entscheidungen wechseln. Wenn die KI sagt, das Risiko liege bei 10 %, sollte sie auf eine Weise handeln. Wenn sie 90 % sagt, sollte sie anders handeln.

Das Ergebnis: Die Forscher prüften, ob sich die Handlungen der KI in die richtige Richtung bewegten, wenn sich die Zahlen änderten.

Die gute Nachricht: Bei den stärksten, fortschrittlichsten KI-Modellen bewegten sich die Handlungen in die richtige Richtung. Wenn die KI sagte, das Risiko sei höher, handelte sie vorsichtiger.
Die schlechte Nachricht: Der Zusammenhang war nicht perfekt. Manchmal sagte die KI ein hohes Risiko, handelte aber so, als wäre es ein niedriges Risiko, oder umgekehrt. Es war wie eine Ampel, die manchmal zwischen den Farben flackert, selbst wenn das Auto bereits fährt.

Das Urteil: „Nahe dran, aber nicht perfekt"

Der Artikel kommt zu dem Schluss, dass die besten KI-Modelle zwar besser darin werden, ihre Worte mit ihren Handlungen in Einklang zu bringen, aber noch nicht vollständig konsistent sind.

Der „nahezu rationale" Agent: Die Forscher bewiesen mathematisch, dass eine KI, die diese Tests besteht, so handelt, als würde sie wirklich glauben, was sie sagt. Sie verhält sich wie eine rationale Person mit einem klaren internen Überzeugungssystem.
Der Realitätscheck: Die meisten Modelle bestanden den Test „Keine zusätzlichen Geheimnisse" nicht. Das bedeutet, dass das interne „Gehirn" der KI mehr Informationen über den Patienten enthält, als sie bereit ist, in eine einfache Prozentzahl zu stecken. Die geäußerte Überzeugung ist eine unvollkommene Zusammenfassung dessen, was die KI tatsächlich weiß.

Warum das wichtig ist (laut dem Artikel)

Die Autoren betonen, dass wir in hochriskanten Bereichen wie der Medizin einer KI nicht einfach vertrauen können, nur weil sie sagt: „Ich bin zu 90 % sicher."

Wenn die Handlungen der KI nicht mit ihren Worten übereinstimmen, können wir ihrer Erklärung nicht vertrauen.
Der Artikel bietet eine Möglichkeit, diese Überzeugungen zu validieren. Anstatt dem Wort der KI zu glauben, können wir prüfen, ob ihr Verhalten beweist, dass sie diese Überzeugung tatsächlich hält.

Kurz gesagt: Der Artikel lehrt uns, wie wir KI-Agenten dabei ertappen können, wenn sie das eine sagen, aber das andere tun. Er zeigt, dass zwar die intelligentesten KI-Modelle näher daran rücken, ehrlich und konsistent zu sein, aber sie immer noch „versteckte Gedanken" in ihren Handlungen haben, die ihre gesprochenen Worte nicht vollständig offenbaren.

Technische Zusammenfassung: Validierung elizitierter Überzeugungen von LLMs

Problemstellung

Large Language Models (LLMs) werden zunehmend in hochriskanten Bereichen wie der medizinischen Diagnose eingesetzt, wo Entscheidungsfindung die Bildung probabilistischer Überzeugungen über unbekannte Ergebnisse erfordert. Obwohl Forscher LLMs dazu anregen können, verbalisierte Wahrscheinlichkeiten auszugeben (z. B. „die Wahrscheinlichkeit für Krankheit X beträgt 80 %"), bleibt unklar, ob diese Ausgaben kohärente interne Überzeugungen widerspiegeln, die tatsächlich die Entscheidungen des Modells steuern. Ein Modell könnte eine Wahrscheinlichkeit verbalisieren, die von seinem Entscheidungsprozess entkoppelt ist, möglicherweise aufgrund von Feinabstimmungsartefakten oder Präferenzoptimierung, die verbalisierte Wahrscheinlichkeiten verzerrt, ohne die zugrunde liegende Entscheidungslogik zu verändern. Bestehende Arbeiten konzentrieren sich auf die Kalibrierung (Genauigkeit gemeldeter Wahrscheinlichkeiten), adressieren jedoch nicht, ob die gemeldeten Überzeugungen die ausreichenden Statistiken sind, die die Aktionen des Modells steuern. Die Kernherausforderung besteht darin, auf Black-Box-Weise zu validieren, ob die elizitierten Überzeugungen eines LLM eine aussagekräftige Erklärung für seine Entscheidungen sind, ohne starke Annahmen über die Nutzenfunktion des Modells zu treffen oder Zugriff auf interne Repräsentationen zu benötigen.

Methodik

Die Autoren schlagen ein entscheidungstheoretisches Rahmenwerk vor, um die Konsistenz zwischen elizitierten Überzeugungen und beobachteten Entscheidungen zu testen. Das Rahmenwerk basiert auf der Annahme eines „nahezu rationalen" Entscheidungsträgers, formalisiert als gestörter Nutzenmaximierer. Diese Klasse von Agenten maximiert den erwarteten Nutzen unterliegt einem streng konvexen Regularisierer (z. B. Entropie), was stochastische Entscheidungen und unbeobachtete Nutzenkomponenten zulässt; dies ist allgemeiner als die strikte Maximierung des erwarteten Nutzens.

Das Rahmenwerk stützt sich auf zwei empirisch testbare Bedingungen, die aus dieser Formalisierung abgeleitet wurden:

Bedingte Unabhängigkeit (Überzeugungsausreichendheit):
- Hypothese: Wenn die Aktionen eines Agenten ausschließlich von seiner subjektiven Überzeugung $P_S(\theta|x)$ getrieben werden, dann sollte die Bedingung auf diese Überzeugung die Aktion $A$ unabhängig vom wahren Ergebnis $\theta$ machen. Formal: $A \perp \theta \mid P_S(\theta|x)$ .
- Test: Die Autoren testen die Nullhypothese $I(A; \theta \mid p) = 0$ mittels eines nicht-parametrischen k-Nächste-Nachbarn-Tests für bedingte gegenseitige Information (CMI). Zusätzlich messen sie die Vorhersageverbesserung des wahren Ergebnisses, wenn die Aktion $A$ zu einem Modell hinzugefügt wird, das bereits auf der elizitierten Überzeugung $p$ konditioniert. Wenn die Aktion signifikante zusätzliche Vorhersagekraft liefert, ist die Überzeugung keine ausreichende Statistik.
Zyklische Monotonie (Handlungsleitende Überzeugungen):
- Hypothese: Für einen gestörten Nutzenmaximierer muss die Abbildung von elizitierten Überzeugungen zu Wahlwahrscheinlichkeiten bezüglich des erwarteten Nutzenindex zyklisch monoton sein. In binären Zustandssettings impliziert dies, dass mit steigender elizitierter Wahrscheinlichkeit eines positiven Zustands die Wahrscheinlichkeit, Aktionen zu wählen, die in diesem Zustand wertvoller sind, monoton zunehmen muss.
- Test: Die Autoren bündeln elizitierte Wahrscheinlichkeiten und schätzen die Wahlanteile innerhalb der Bündel. Sie formulieren ein signiertes-Rand-Lineares-Programm (SignedLP), um einen Nutzenunterschiedsvektor $d$ zu finden, der strenge Monotonie über die Bündel hinweg erfüllt. Eine positive Statistik $\hat{\gamma}$ zeigt strenge Monotonie an; ein negativer Wert zeigt eine Verletzung an.

Das Rahmenwerk wird auf vier medizinische Diagnoseaufgaben (strukturelle Herzerkrankungen, Diabetes, pädiatrisches Fieber und Schreien von Säuglingen) angewendet, wobei Datensätze aus realen Aufzeichnungen und von Experten konstruierte Bayessche Netzwerke verwendet werden. Die Studie bewertet mehrere LLM-Familien (GPT-5-Varianten, DeepSeek-R1, Llama-4), indem sie Überzeugungen und Entscheidungen in separaten Kontextfenstern elizitiert, um Kontamination zu vermeiden.

Hauptbeiträge

Formales Rahmenwerk für Black-Box-Validierung: Die Arbeit führt die ersten formalen, entscheidungstheoretischen Bedingungen ein, um zu testen, ob elizitierte LLM-Überzeugungen mit ihren Aktionen kohärent sind. Entscheidend ist, dass diese Tests agnostisch gegenüber der Nutzenfunktion des Agenten sind und sich nur auf die Struktur der gestörten Nutzenmaximierung stützen.
Notwendige und hinreichende Bedingungen: Die Autoren beweisen (Proposition 5), dass bedingte Unabhängigkeit und zyklische Monotonie gemeinsam notwendig und hinreichend sind, damit eine beobachtete Verteilung von Überzeugungen und Aktionen durch einen gestörten Nutzenmaximierer rationalisiert werden kann, der die elizitierte Überzeugung als seine wahre subjektive Wahrscheinlichkeit hält.
Empirisches Validierungsprotokoll: Die Studie operationalisiert diese theoretischen Bedingungen in praktische statistische Tests (CMI und SignedLP), die auf jeden Black-Box-LLM angewendet werden können.
Unterscheidung zwischen Kohärenztypen: Die Arbeit unterscheidet zwischen entscheidungstheoretischer Kohärenz (Überzeugungen leiten Aktionen) und probabilistischer Kohärenz (Einhaltung von Axiomen wie dem Gesetz der iterierten Erwartung) und zeigt, dass dies unterschiedliche Eigenschaften sind.

Ergebnisse

Unvollkommene Ausreichendheit: Über alle Modelle und Datensätze hinweg lehnt der Test der bedingten Unabhängigkeit die Nullhypothese ab. Elizitierte Überzeugungen sind keine ausreichenden Statistiken; die Aktionen der Modelle enthalten residuale Informationen über das wahre Ergebnis, die in ihren verbalisierten Wahrscheinlichkeiten nicht erfasst sind. Dies deutet darauf hin, dass Modelle „mehr wissen, als sie sagen" oder dass ihre entscheidungsrelevante Information in der elizitierten Überzeugung nicht vollständig kommuniziert wird.
Monotonie gilt (meistens): Der Test der zyklischen Monotonie zeigt, dass für die meisten Modell-Datensatz-Kombinationen die Beziehung zwischen elizitierten Überzeugungen und Aktionen monoton ist. Konkret zeigten 9 von 16 Kombinationen strenge Monotonie (positives $\hat{\gamma}$ ), und nur eine (Fever–Llama) zeigte eine Verletzung. Dies deutet darauf hin, dass, obwohl Überzeugungen nicht perfekt ausreichend sind, sie die Entscheidungen im Allgemeinen in die richtige Richtung lenken.
Modell- und Domänenvarianz:
- Stärkste Modelle: Die stärksten Modelle (z. B. DeepSeek-R1, GPT-High) weisen die geringsten Diskrepanzen zwischen Überzeugungen und Aktionen auf, was darauf hindeutet, dass sie beobachtungstechnisch näher an Agenten mit kohärenten Überzeugungen liegen.
- Domäneneffekte: Der Diabetes-Datensatz zeigte die schwächste Monotonie, wobei kein Modell eine streng positive Randlinie aufwies.
Kalibrierung behebt Ausreichendheit nicht: Die Anwendung einer isotonen Kalibrierung auf die elizitierten Überzeugungen verbesserte die marginale Kalibrierung, stellte jedoch keine bedingte Unabhängigkeit wieder her. Dies bestätigt, dass das Versagen der Ausreichendheit struktureller Natur ist und nicht nur ein Kalibrierungsproblem.
Interne Konsistenz: Tests unter Verwendung des Gesetzes der iterierten Erwartung (LIE) ergaben, dass probabilistische Kohärenz (Einhaltung von Wahrscheinlichkeitsaxiomen) nicht notwendigerweise mit entscheidungstheoretischer Kohärenz übereinstimmt. Modelle, die bei entscheidungskonsistenten Tests gut abschnitten, schnitten nicht notwendigerweise bei Tests der probabilistischen Konsistenz gut ab.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass elizitierte Wahrscheinlichkeiten von LLMs unvollkommene, aber verhaltensinformative Zusammenfassungen entscheidungsrelevanter Informationen sind. Die Autoren argumentieren, dass Modelle zwar nicht so handeln, als ob sie perfekt kohärente Überzeugungen halten (wie das Versagen der Ausreichendheit belegt), die Diskrepanzen jedoch für State-of-the-Art-Modelle relativ gering sind.

Die Bedeutung dieser Arbeit liegt in der Bereitstellung einer prinzipiellen Black-Box-Methode, um zu validieren, ob das verbalisierte Vertrauen eines LLM eine vertrauenswürdige Erklärung für seine Entscheidungen ist. Dies ist für Sicherheit und Transparenz in hochriskanten Umgebungen wie der Medizin entscheidend. Die Autoren betonen, dass ihre Tests nicht beweisen, dass ein Modell im philosophischen Sinne „wirklich" eine Überzeugung hält, sondern vielmehr, dass das Modell beobachtungstechnisch nicht unterscheidbar von einem rationalen Agenten ist, der diese Überzeugung hält. Folglich schließt die Arbeit, dass elizitierte Überzeugungen empirisch validiert werden sollten, anstatt davon auszugehen, dass sie Modellüberzeugungen getreu widerspiegeln. Dies bietet ein Diagnosewerkzeug für Entwickler, um Fehlermodi zu verstehen (z. B. Unterscheidung zwischen Übervertrauen und Kostenwahrnehmungsproblemen bei medizinischen Agenten).