💬 NLP

Distilling Bayesian Belief States into Language Models for Auditable Negotiation

Die Arbeit stellt BOND vor, ein Framework, das die explizite Inferenz von Gegnerüberzeugungen eines auf einem LLM basierenden bayesschen Lehrers in ein kleineres 8B-Studentenmodell destilliert und im Vergleich zu state-of-the-art-Baselines eine überlegene Verhandlungsleistung sowie eine überprüfbare Verfolgung von Überzeugungen erzielt.

Ursprüngliche Autoren: Zongqi Cui, Baihan Lin

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zongqi Cui, Baihan Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten ein Pokerspiel mit hohen Einsätzen. Sie sehen, wie ein Spieler einen Zug macht, aber Sie haben keine Ahnung, warum er ihn gemacht hat. Hat er geblufft, weil er dachte, Sie seien schwach? Hat er folden, weil er wusste, dass er eine verlierende Hand hatte? Oder hat er einfach nur geraten?

In der Welt der KI-Verhandlungen sind Large Language Models (LLMs) wie diese Pokerspieler. Sie können sehr fließend sprechen und Deals aushandeln, aber ihr „Denkprozess" ist in einer Blackbox verborgen. Wir können nicht sehen, was sie über die Prioritäten der anderen Person glauben, was es schwierig macht, ihren Entscheidungen zu vertrauen oder sie zu debuggen.

Dieser Artikel stellt ein neues System namens BOND (Bayesian Opponent-belief Negotiation Distillation) vor, um dieses Problem zu lösen. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Blackbox"-Verhandler

Aktuelle KI-Verhandler sind wie Zauberer. Sie ziehen ein Kaninchen aus einem Hut (schließen einen Deal), aber Sie können weder das Kaninchen noch den Hut sehen. Wenn die KI sagt: „Ich gebe dir das Brennholz", wissen Sie nicht, ob sie glaubt, dass Sie Brennholz lieben, oder ob sie einfach nur wiederholt, was sie zuvor gehört hat. Dies macht die KI „nicht überprüfbar" – Sie können ihre Mathematik nicht nachprüfen.

2. Die Lösung: Das „Lehrer-Schüler"-Team

Die Autoren haben ein zweigeteiltes System entwickelt, um das Denken der KI sichtbar zu machen.

Der Lehrer (Der Mathematiker): Dies ist eine intelligente KI, die wie ein Detektiv agiert. Sie hört dem Gespräch zu und fragt: „Basierend auf dem, was die andere Person gesagt hat, wie hoch ist die Wahrscheinlichkeit, dass sie sich am meisten um Nahrung, Wasser oder Brennholz kümmert?"
- Statt einfach nur zu raten, verwendet der Lehrer eine mathematische Methode (Bayessche Inferenz), um seine Überzeugungen nach jedem einzelnen Satz zu aktualisieren. Er führt eine laufende Punktekarte über die sechs möglichen Arten, wie der Gegner die Gegenstände priorisieren könnte.
- Das Ergebnis: Der Lehrer weiß genau, was er glaubt, dass der Gegner will, und er kann Ihnen diese Punktekarte zeigen.
Der Schüler (Der Schauspieler): Der Lehrer ist gut in Mathematik, aber langsam und teuer im Betrieb. Daher haben die Autoren das Gehirn des Lehrers in eine kleinere, schnellere KI namens Schüler „destilliert" (komprimiert).
- Der Schüler lernt, sich wie der Lehrer zu verhalten. Aber hier ist der Zaubertrick: Wenn der Schüler spricht, sagt er nicht nur: „Ich nehme Ihr Angebot an." Er flüstert auch seine interne Punktekarte an die Welt weiter.
- Er gibt ein Tag aus wie: <posterior> Ich bin zu 80 % sicher, dass Sie Wasser wollen, zu 15 % Brennholz, zu 5 % Nahrung </posterior>.
- Dies macht den Glaubenszustand der KI überprüfbar. Sie können genau sehen, was er dachte, bevor er handelte.

3. Das Experiment: Das Campsite-Spiel

Um dies zu testen, verwendeten sie einen Datensatz namens CaSiNo, der zwei Personen simuliert, die über einen Campingplatz verhandeln. Sie müssen drei Gegenstände aufteilen: Nahrung, Wasser und Brennholz.

Jede Person hat heimlich eine Prioritätenliste (z. B. „Ich brauche Wasser am meisten, dann Brennholz, dann Nahrung").
Die Aufgabe der KI ist es, die geheime Liste der anderen Person herauszufinden und einen fairen Deal zu schließen.

4. Die Ergebnisse: Kleiner ist besser für Transparenz

Der Artikel stellte einige überraschende Dinge fest:

Der Lehrer war sehr gut darin, die Prioritäten des Gegners zu erraten (ein „Brier-Score" von 0,085, was sehr niedrig und gut ist).
Der Schüler (das kleinere, schnellere Modell) lernte, das Denken des Lehrers sehr gut zu kopieren. Er erreichte einen Score von 0,114.
Der große Konkurrent: Sie verglichen dies mit einem massiven KI-Modell mit 70 Milliarden Parametern (die „70B-Basis"). Während die große KI bei der Schließung des richtigen finalen Deals etwas besser war, war sie schrecklich darin zu erklären, warum. Ihre internen Vermutungen waren verwirrt und nicht kalibriert (Score von 0,194).
Das Fazit: Der kleinere 8-Milliarden-Parameter-Schüler ist der Gewinner für Transparenz. Er ist klein genug, um leicht zu laufen, aber intelligent genug, um Ihnen seine „Funktionsweise" klar zu zeigen.

5. Der Haken: Das „Flüstern" vs. die „Handlung"

Der Artikel fand auch einen kleinen Fehler. Während der Schüler hervorragend darin ist, zu berichten, was er glaubt, handelt er nicht immer aufgrund dieser Überzeugungen.

Stellen Sie sich einen Schüler vor, der die Hand hebt, um eine Frage richtig zu beantworten (die Überzeugung), aber dann die falsche Antwort auf den Test schreibt (die Handlung).
Die Autoren stellten fest, dass die KI lernte, ihre Überzeugungen genau zu „flüstern", aber die Verbindung zwischen diesem Flüstern und ihrer endgültigen Entscheidung manchmal schwach war. Es ist, als hätte die KI gelernt, einen Berichtskarten perfekt auszufüllen, aber manchmal vergessen, diese Berichtskarte zu verwenden, um ihren nächsten Zug zu steuern.

Zusammenfassung

BOND ist ein Rahmenwerk, das einen KI-Verhandler zwingt, seine Hausaufgaben zu zeigen. Statt Ihnen nur einen Deal anzubieten, sagt es Ihnen: „Ich denke, Sie wollen X, also biete ich Y an."

Warum es wichtig ist: Es verwandelt eine mysteriöse „Blackbox"-KI in einen transparenten Partner, bei dem Sie seine Überzeugungen sehen, prüfen können, ob sie falsch sind, und verstehen, warum es einen Fehler gemacht hat.
Die Grenze: Der Artikel räumt ein, dass die KI zwar jetzt transparent ist, aber die Kunst, diese Überzeugungen zu nutzen, um perfekte Entscheidungen zu treffen, noch nicht vollständig gemeistert hat. Es ist ein Schritt hin zu „überprüfbarer" KI, bei der wir dem System vertrauen können, weil wir seine Logik sehen können, nicht nur seine Ergebnisse.

Technische Zusammenfassung: Verflüssigung bayesianischer Glaubenszustände in Sprachmodelle für überprüfbare Verhandlungen

Problemstellung

Verhandlungsagenten benötigen die Fähigkeit, verborgene Werte eines Gegners zu inferieren, diese Glaubenszustände über Dialogwechsel hinweg zu aktualisieren und unter Unsicherheit Handlungen auszuwählen. Während end-to-end Large Language Models (LLMs) fließende Verhandlungsdialoge generieren können, sind ihre internen Repräsentationen von Gegnerglaubenszuständen typischerweise implizit und undurchsichtig. Dieser Mangel an Transparenz erschwert die Unterscheidung, ob eine Handlung des Agenten aus einem stabilen, aktualisierten Modell des Gegners oder aus oberflächlicher Dialogimitation resultiert. Umgekehrt bieten traditionelle bayesianische kognitive Modelle explizite Priori-Wahrscheinlichkeiten, Likelihoods und Posteriori-Wahrscheinlichkeiten, verlassen sich jedoch oft auf handgefertigte Likelihood-Funktionen, die nicht auf freie, strategische Verhandlungssprache skalieren. Die Kernherausforderung besteht darin, die sprachliche Flexibilität von LLMs mit der Interpretierbarkeit bayesianischer Inferenz zu kombinieren, um einen Verhandlungsagenten zu schaffen, der sowohl effektiv als auch überprüfbar ist.

Methodik: Das BOND-Framework

Die Autoren schlagen BOND (Bayesian Opponent-belief Negotiation Distillation) vor, ein modulares Framework, das Sprachinterpretation, Glaubensrevision und Handlungsauswahl trennt. Das System operiert im CaSiNo-Verhandlungsbereich, in dem zwei Teilnehmer über drei Gegenstände (Nahrung, Wasser, Brennholz) mit privaten Prioritätsreihenfolgen verhandeln. Der Hypothesenraum besteht aus sechs möglichen Prioritätsreihenfolgen ( $\Theta$ , wobei $|\Theta|=6$ ).

1. Der bayesianische Lehrer

Der Lehrer-Agent fungiert als „Likelihood-Schätzer" und nicht als Black-Box-Policy. Seine Architektur umfasst vier Stufen:

Sprachbewertung: Ein LLM (Llama-3.1-8B-Instruct mit LoRA) bewertet die Kompatibilität des beobachteten Dialogkontexts gegenüber jeder der sechs Kandidaten-Gegner-Prioritätsreihenfolgen. Diese Scores dienen als likelihood-ähnliche Signale.
Bayesianische Aktualisierung: Ein bayesianisches Modul wandelt diese Scores unter Verwendung der Formel in eine Posteriori-Verteilung über die sechs Reihenfolgen um:
$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$
wobei $\tilde{L}_t$ den temperatur-skalierten und geklammerten Likelihood-Score darstellt. Die Priori ist zunächst uniform.
Menübewertung: Der Agent enumeriert machbare Allokationen und bewertet sie basierend auf seinem eigenen Nutzen und dem erwarteten Nutzen des Gegners, marginalisiert über die Posteriori-Verteilung.
Entscheidung: Der Agent wählt eine Handlung (annehmen, ablehnen, Gegenangebot etc.) basierend auf den Menü-Scores aus.

2. Verflüssigung auf den Schüler

Die Autoren verflüssigen den bayesianischen Lehrer in ein kleineres 8B-Schülermodell. Im Gegensatz zu Standard end-to-end-Agenten wird der Schüler so trainiert, dass er eine strukturierte, getaggte Ausgabe erzeugt, die Folgendes umfasst:

<posterior>: Eine normalisierte Wahrscheinlichkeitsverteilung über die sechs Gegner-Prioritätsreihenfolgen.
<selected_intent>: Die gewählte Handlung (z. B. einreichen, annehmen, ablehnen).
<selected_content>: Die spezifische Allokation, falls zutreffend.
<utterance>: Die natürliche Sprachantwort.

Dieses Design externalisiert den Glaubenszustand und ermöglicht es, diesen in jedem Wechsel zu bewerten und zu inspizieren.

3. Evaluierungsprotokoll

Das System wird auf einem zurückgehaltenen Satz von 150 CaSiNo-Dialogen (1.054 turn-level-Vorhersagen) evaluiert. Wichtige Metriken umfassen:

Posteriori Brier-Score: Misst die Kalibrierung der vorhergesagten Wahrscheinlichkeitsverteilung gegenüber der wahren Gegnerreihenfolge.
Annahme-Vorhersage (F1): Genauigkeit der Annahme-/Ablehnungsentscheidungen.
Gebotsähnlichkeit: Kosinus-Ähnlichkeit zwischen vorhergesagten und menschlichen Allokationen.
Überprüfbarkeitsdiagnostik: Zerlegung von Fehlern in „Glaubensfehler" (falsche Posteriori) vs. „Policy-Fehler" (falsche Handlung gegeben die Posteriori) und Interventionen, bei denen der Posteriori-Tag gewaltsam ersetzt wird.

Wichtige Ergebnisse

Posteriori-Kalibrierung und Verflüssigung

Lehrer-Leistung: Der bayesianische Lehrer erreicht einen mittleren Brier-Score von 0,085 über die sechs Gegner-Prioritäts-Hypothesen und übertrifft damit signifikant den uniformen Referenzwert von $5/36 \approx 0,139$ .
Schüler-Leistung: Der verflüssigte 8B-Schüler bewahrt ein Großteil dieses Signals und erreicht einen Brier-Score von 0,114. Dies liegt ebenfalls deutlich unter dem uniformen Referenzwert, was darauf hindeutet, dass der Schüler erfolgreich lernt, kalibrierte Glaubenszustände auszugeben.
Vergleich mit 70B-Baseline: Eine 70B-Strukturierte Chain-of-Thought (CoT)-Baseline erreicht eine höhere Annahme-F1 (0,947 vs. 0,908), liefert jedoch keine kalibrierte Posteriori. Wenn sie gezwungen wird, über Selbstkonsistenz eine Posteriori auszugeben, erreicht die 70B-Baseline einen Brier-Score von 0,194, was schlechter als der uniform Referenzwert und signifikant schlechter als der 8B-Schüler ist.

Überprüfbarkeit und Fehlerzerlegung

Trennung von Fehlern: Die Analyse von 181 Entscheidungswechseln zeigt, dass Glaubensfehler und Handlungsfehler trennbar sind. Beispielsweise hatten 67 Wechsel die korrekte MAP (Maximum A Posteriori)-Glaubensvorstellung, aber eine inkonsistente Handlung, während 27 Wechsel einen falschen Glauben, aber eine mit diesem falschen Glauben konsistente Handlung hatten.
Interventionsgrenzen: Wenn der Posteriori-Tag gewaltsam durch den Ground Truth (korrekter-Präfix-Eingriff) oder einen falschen Wert (adversarialer-Präfix-Eingriff) ersetzt wurde, änderte sich die Handlung des Schülers nur in 1,5 % bis 1,8 % der Fälle. Dies deutet darauf hin, dass der Schüler zwar lernt, Glaubenszustände berichtet genau zu melden, die kausale Kopplung zwischen dem gemeldeten Posteriori und der Handlungsauswahl (die „Posteriori $\to$ Planer"-Abhängigkeit) im verflüssigten Schüler jedoch schwächer ist als beim Lehrer.

Ablationsbefunde

Vollkontext vs. Inkrementell: Der Lehrer stützt sich auf die Bewertung des gesamten Dialogkontexts. Ein inkrementeller Ansatz (Bewertung nur der neuesten Äußerung) scheiterte und erzeugte Posteriori-Werte, die schlechter als uniform waren, was darauf hindeutet, dass der Aufmerksamkeitsmechanismus des LLM für die Integration zeitlicher Evidenz entscheidend ist.
Rolle der Tags: Das Entfernen des Posteriori-Tags während des Trainings (Nur-Aktion-Schüler) führte zu leicht besseren Entscheidungsmetriken (Annahme-F1 0,921), was bestätigt, dass der primäre Wert des Posteriori-Tags die Inspektierbarkeit und nicht die Entscheidungsleistung ist.

Bedeutung und Behauptungen

Die Arbeit behauptet nicht, dass der verflüssigte Schüler die überlegene Verhandlungspolicy in Bezug auf Gewinnresultate ist; tatsächlich übertrifft die 70B-Baseline ihn bei Entscheidungsmetriken. Stattdessen liegt die Bedeutung von BOND in der Überprüfbarkeit:

Externalisierte Glaubenszustände: Das Framework verflüssigt erfolgreich eine gültige, bewertbare Glaubensschnittstelle in ein kleineres Modell. Der Schüler gibt in jedem Wechsel eine kalibrierte Posteriori-Verteilung aus, wodurch Forschende zwischen „falscher-Glaubens"-Fehlern und „richtiger-Glaubens/falscher-Handlung"-Fehlern unterscheiden können.
Transparenz vor Black-Box-Leistung: Die Arbeit demonstriert, dass ein kleineres Modell (8B) einen gültigen Glaubenszustand offenlegen kann, der besser kalibriert ist als ein viel größeres Modell (70B), das strukturiertes Prompting verwendet.
Grenzen aktueller Verflüssigung: Die Autoren vermerken bescheiden, dass die Standard-Supervised Fine-Tuning (SFT)-Verflüssigung die Berichterstattung von Glaubenszuständen effektiver überträgt als die kausale Nutzung dieser Glaubenszustände für die Entscheidungsfindung. Die schwache Glaubens-Aktions-Kopplung im Schüler deutet darauf hin, dass zukünftige überprüfbare Agenten eingeschränkte Dekodierung oder auxiliary Planungsverluste benötigen werden, um sicherzustellen, dass Handlungen strikt auf den gemeldeten Glaubenszuständen basieren.

Zusammenfassend bietet BOND eine Methode, um das verborgene Gegnermodell eines Verhandlungsagenten explizit, verflüssigbar und bewertbar zu machen und bietet damit eine neue diagnostische Linse zum Verständnis, wo und warum Verhandlungsagenten versagen.