💬 NLP

Distilling Bayesian Belief States into Language Models for Auditable Negotiation

Het artikel introduceert BOND, een raamwerk dat de expliciete inferentie van tegenstanders overtuigingen van een op een LLM gebaseerde Bayesiaanse leraar distilleert naar een kleiner 8B-studentmodel, waardoor superieure onderhandelingsprestaties en controleerbare bijhouden van overtuigingen worden bereikt in vergelijking met de state-of-the-art baselines.

Oorspronkelijke auteurs: Zongqi Cui, Baihan Lin

Gepubliceerd 2026-05-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zongqi Cui, Baihan Lin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een pokerspel met hoge inzetten bekijkt. Je ziet een speler een zet doen, maar je hebt geen idee waarom hij die zet heeft gedaan. Heeft hij gebluft omdat hij dacht dat je zwak was? Heeft hij zich teruggetrokken omdat hij wist dat hij een verliezende hand had? Of raakte hij gewoon?

In de wereld van AI-onderhandelingen zijn Large Language Models (LLM's) als die pokerspelers. Ze kunnen vloeiend praten en deals sluiten, maar hun "denkproces" is verborgen in een black box. We kunnen niet zien wat ze denken over de prioriteiten van de ander, wat het moeilijk maakt om hun beslissingen te vertrouwen of te debuggen.

Dit artikel introduceert een nieuw systeem genaamd BOND (Bayesian Opponent-belief Negotiation Distillation) om dit probleem op te lossen. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Black Box"-onderhandelaar

Huidige AI-onderhandelaars zijn als goochelaars. Ze trekken een konijn uit een hoed (sluiten een deal), maar je kunt het konijn of de hoed niet zien. Als de AI zegt: "Ik geef je het brandhout", weet je niet of hij denkt dat je van brandhout houdt, of dat hij gewoon herhaalt wat hij eerder heeft gehoord. Dit maakt de AI "oncontroleerbaar" – je kunt zijn rekenwerk niet controleren.

2. De Oplossing: Het "Leraar-Leerling"-team

De auteurs hebben een tweeledig systeem ontwikkeld om het denken van de AI zichtbaar te maken.

De Leraar (De Wiskundige): Dit is een slimme AI die werkt als een detective. Hij luistert naar het gesprek en vraagt zich af: "Op basis van wat de ander heeft gezegd, wat is de waarschijnlijkheid dat hij het meest geeft aan Eten, Water of Brandhout?"
- In plaats van alleen maar te gokken, gebruikt de Leraar een wiskundige methode (Bayesiaanse inferentie) om zijn overtuigingen na elke zin bij te werken. Hij houdt een lopende scorekaart bij van de zes mogelijke manieren waarop de tegenstander items kan prioriteren.
- Het Resultaat: De Leraar weet precies wat hij denkt dat de tegenstander wil, en hij kan die scorekaart aan je laten zien.
De Leerling (De Acteur): De Leraar is goed in wiskunde, maar traag en duur om te draaien. Daarom hebben de auteurs het brein van de Leraar "gedistilleerd" (gecomprimeerd) tot een kleinere, snellere AI genaamd de Leerling.
- De Leerling leert zich te gedragen als de Leraar. Maar hier is de goocheltruc: Wanneer de Leerling spreekt, zegt hij niet alleen: "Ik accepteer je aanbod." Hij fluistert ook zijn interne scorekaart naar de wereld.
- Hij geeft een tag uit zoals: <posterior> Ik ben 80% zeker dat je Water wilt, 15% Brandhout, 5% Eten </posterior>.
- Dit maakt de overtuigingsstatus van de AI controleerbaar. Je kunt precies zien wat hij dacht voordat hij handelde.

3. Het Experiment: Het Kampeerterrein-spel

Om dit te testen, gebruikten ze een dataset genaamd CaSiNo, die twee mensen simuleert die onderhandelen over een kampeerterrein. Ze moeten drie items verdelen: Eten, Water en Brandhout.

Elke persoon heeft stiekem een prioriteitenlijst (bijvoorbeeld: "Ik heb het meest Water nodig, dan Brandhout, dan Eten").
De taak van de AI is om de geheime lijst van de ander te achterhalen en een eerlijke deal te sluiten.

4. De Resultaten: Kleiner is Beter voor Transparantie

Het artikel vond enkele verrassende dingen:

De Leraar was zeer goed in het raden van de prioriteiten van de tegenstander (een "Brier-score" van 0,085, wat zeer laag en goed is).
De Leerling (het kleinere, snellere model) leerde het denken van de Leraar zeer goed na te bootsen. Hij behaalde een score van 0,114.
De Grote Concurrent: Ze vergeleken dit met een enorme AI van 70 miljard parameters (de "70B-baseline"). Hoewel de grote AI iets beter was in het sluiten van de juiste uiteindelijke deal, was hij verschrikkelijk in het uitleggen waarom. Zijn interne gokken waren verward en niet gekalibreerd (score van 0,194).
De Conclusie: De kleinere Leerling van 8 miljard parameters is de winnaar voor transparantie. Hij is klein genoeg om eenvoudig te draaien, maar slim genoeg om zijn "werk" duidelijk aan je te laten zien.

5. De Haken: Het "Fluisteren" versus de "Actie"

Het artikel vond ook een klein gebrek. Hoewel de Leerling goed is in het rapporteren van wat hij gelooft, handelt hij niet altijd op basis van die overtuigingen.

Stel je een student voor die zijn hand opsteekt om een vraag correct te beantwoorden (de overtuiging), maar vervolgens het verkeerde antwoord op het proefwerk schrijft (de actie).
De auteurs ontdekten dat de AI leerde om zijn overtuigingen nauwkeurig te "fluisteren", maar dat de verbinding tussen dat fluisteren en zijn uiteindelijke beslissing soms zwak was. Het is alsof de AI leerde om een rapportkaart perfect in te vullen, maar soms vergat die rapportkaart te gebruiken om zijn volgende zet te sturen.

Samenvatting

BOND is een raamwerk dat een AI-onderhandelaar dwingt zijn huiswerk te tonen. In plaats van je alleen een deal te geven, zegt hij: "Ik denk dat je X wilt, dus ik bied Y aan."

Waarom het belangrijk is: Het verandert een mysterieuze "black box"-AI in een transparante partner waar je zijn overtuigingen kunt zien, kunt controleren of ze verkeerd zijn, en kunt begrijpen waarom hij een fout heeft gemaakt.
De Beperking: Het artikel geeft toe dat hoewel de AI nu transparant is, hij de kunst nog niet volledig onder de knie heeft om die overtuigingen te gebruiken om perfecte beslissingen te nemen. Het is een stap naar "controleerbare" AI, waarbij we het systeem kunnen vertrouwen omdat we zijn logica kunnen zien, niet alleen zijn resultaten.

Technische Samenvatting: Het distilleren van Bayesiaanse overtuigingsstaten in taalmodellen voor controleerbare onderhandeling

Probleemstelling

Onderhandelingsagenten vereisen de mogelijkheid om verborgen waarden van een tegenstander af te leiden, deze overtuigingen bij te werken naarmate het gesprek vordert, en acties te kiezen onder onzekerheid. Hoewel end-to-end Large Language Models (LLM's) vloeiende onderhandelingsdialogen kunnen genereren, zijn hun interne representaties van tegenstanderovertuigingen doorgaans impliciet en ondoorzichtig. Dit gebrek aan transparantie maakt het moeilijk om te onderscheiden of de actie van een agent voortkomt uit een stabiel, bijgewerkt model van de tegenstander of uit oppervlakkige dialogimitatie. Daarentegen bieden traditionele Bayesiaanse cognitieve modellen expliciete a priori-kansen, waarschijnlijkheidsfuncties en a posteriori-kansen, maar vertrouwen deze vaak op handmatig ontworpen waarschijnlijkheidsfuncties die niet schalen naar vrij vormgegeven, strategische onderhandelings taal. De kernuitdaging bestaat erin de linguïstische flexibiliteit van LLM's te combineren met de interpreteerbaarheid van Bayesiaanse inferentie om een onderhandelingsagent te creëren die zowel effectief als controleerbaar is.

Methodologie: Het BOND-kader

De auteurs stellen BOND (Bayesian Opponent-belief Negotiation Distillation) voor, een modulair kader dat taalinterpretatie, overtuigingsherziening en actiekeuze scheidt. Het systeem werkt in het CaSiNo-onderhandelingsdomein, waar twee deelnemers onderhandelen over drie items (Voedsel, Water, Brandhout) met privé-prioriteitsordeningen. De hypothese ruimte bestaat uit zes mogelijke prioriteitsordeningen ( $\Theta$ , waarbij $|\Theta|=6$ ).

1. De Bayesiaanse Leraar

De leraar-agent fungeert als een "waarschijnlijkheidsschatting" in plaats van een black-box beleid. Zijn architectuur omvat vier fasen:

Taalscore: Een LLM (Llama-3.1-8B-Instruct met LoRA) scoort de compatibiliteit van de waargenomen dialogcontext tegenover elk van de zes kandidaat-prioriteitsordeningen van de tegenstander. Deze scores dienen als waarschijnlijkheid-achtige signalen.
Bayesiaanse Update: Een Bayesiaanse module converteert deze scores naar een a posteriori-verdeling over de zes ordeningen met behulp van de formule:
$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$
waarbij $\tilde{L}_t$ de temperatuur-geschaalde en afgekapte waarschijnlijkheidsscore voorstelt. De prior is aanvankelijk uniform.
Menescore: De agent somt haalbare toewijzingen op en scoort deze op basis van zijn eigen nut en het verwachte nut van de tegenstander, gemarginaliseerd over de a posteriori-verdeling.
Beslissing: De agent kiest een actie (accepteren, afwijzen, contra-offer, enz.) op basis van de menuscores.

2. Distillatie naar de Student

De auteurs distilleren de Bayesiaanse leraar naar een kleiner 8B-studentmodel. In tegenstelling tot standaard end-to-end agenten, wordt de student getraind om een gestructureerde, getagde output te genereren die het volgende bevat:

<posterior>: Een genormaliseerde kansverdeling over de zes prioriteitsordeningen van de tegenstander.
<selected_intent>: De gekozen actie (bijv. indienen, accepteren, afwijzen).
<selected_content>: De specifieke toewijzing indien van toepassing.
<utterance>: Het natuurlijke taalantwoord.

Dit ontwerp externaliseert de overtuigingsstaat, waardoor deze bij elke beurt kan worden gescoord en geïnspecteerd.

3. Evaluatieprotocol

Het systeem wordt geëvalueerd op een vastgehouden set van 150 CaSiNo-dialogen (1.054 voorspellingen op beurniveau). Belangrijke metrieken omvatten:

Posterior Brier Score: Meet de kalibratie van de voorspelde kansverdeling tegen de ware ordening van de tegenstander.
Accept Prediction (F1): Nauwkeurigheid van accepteren/afwijzen beslissingen.
Bodgelijkheid: Cosinusgelijkheid tussen voorspelde en menselijke toewijzingen.
Controleerbaarheidsdiagnostiek: Decompositie van fouten in "overtuigingsfouten" (verkeerde posterior) versus "beleidfouten" (verkeerde actie gegeven de posterior) en interventies waarbij de posterior-tag geforceerd wordt vervangen.

Belangrijkste Resultaten

Posterior Kalibratie en Distillatie

Leraarprestaties: De Bayesiaanse leraar behaalt een gemiddelde Brier-score van 0,085 over de zes hypothese van tegenstanderprioriteiten, wat significant beter is dan de uniforme referentie van $5/36 \approx 0,139$ .
Studentprestaties: De gedistilleerde 8B-student behoudt een groot deel van dit signaal, met een Brier-score van 0,114. Dit ligt ook ruim onder de uniforme referentie, wat aangeeft dat de student succesvol leert om gekalibreerde overtuigingsstaten te genereren.
Vergelijking met 70B-baseline: Een 70B gestructureerde Chain-of-Thought (CoT)-baseline behaalt een hogere Accept-F1 (0,947 versus 0,908), maar faalt in het leveren van een gekalibreerde posterior. Wanneer deze wordt gedwongen een posterior te genereren via zelfconsistentie, behaalt de 70B-baseline een Brier-score van 0,194, wat slechter is dan de uniforme referentie en aanzienlijk slechter dan de 8B-student.

Controleerbaarheid en Foutdecompositie

Scheiding van Fouten: Analyse van 181 beslissingsbeurten toont aan dat overtuigingsfouten en actiefouten scheidbaar zijn. Bijvoorbeeld, 67 beurten hadden de juiste MAP (Maximum A Posteriori) overtuiging maar een inconsistente actie, terwijl 27 beurten een verkeerde overtuiging hadden maar een actie die consistent was met die verkeerde overtuiging.
Grenzen van Interventie: Wanneer de posterior-tag geforceerd werd vervangen door de grondwahrheid (correct-prefix-interventie) of een verkeerde waarde (adversariale-prefix-interventie), veranderde de actie van de student slechts in 1,5% tot 1,8% van de gevallen. Dit suggereert dat hoewel de student leert om overtuigingen nauwkeurig te rapporteren, de causale koppeling tussen de gerapporteerde posterior en de actiekeuze (de "posterior $\to$ planner"-afhankelijkheid) zwakker is in de gedistilleerde student dan in de leraar.

Ablatiebevindingen

Volledige Context versus Incrementeel: De leraar vertrouwt op het scoren van de volledige dialogcontext. Een incrementele aanpak (alleen de nieuwste uiting scoren) faalde en produceerde posteriors die slechter waren dan uniform, wat aangeeft dat het attentiemechanisme van de LLM cruciaal is voor de integratie van tijdsgebonden bewijs.
Rol van Tags: Het verwijderen van de posterior-tag tijdens het trainen (alleen-actie student) resulteerde in iets betere beslissingsmetrieken (Accept-F1 0,921), wat bevestigt dat de primaire waarde van de posterior-tag inspecteerbaarheid is, niet beslissingsprestatie.

Betekenis en Aanspraken

Het artikel claimt niet dat de gedistilleerde student het superieure onderhandelingsbeleid is in termen van winnende uitkomsten; in feite presteert de 70B-baseline beter op beslissingsmetrieken. De betekenis van BOND ligt in controleerbaarheid:

Externaliserde Overtuigingsstaten: Het kader distilleert succesvol een geldige, scorebare overtuigingsinterface naar een kleiner model. De student onthult bij elke beurt een gekalibreerde a posteriori-verdeling, waardoor onderzoekers onderscheid kunnen maken tussen "verkeerde-overtuigings"-fouten en "juiste-overtuigings/verkeerde-actie"-fouten.
Transparantie boven Black-Box Prestaties: Het werk toont aan dat een kleiner model (8B) een geldige overtuigingsstaat kan onthullen die beter gekalibreerd is dan een veel groter model (70B) dat gebruikmaakt van gestructureerde prompting.
Beperkingen van Huidige Distillatie: De auteurs merken nederig op dat standaard Supervised Fine-Tuning (SFT)-distillatie het rapporteren van overtuigingen effectiever overdraagt dan het causale gebruik van die overtuigingen voor besluitvorming. De zwakke overtuigings-actie koppeling in de student suggereert dat toekomstige controleerbare agenten beperkte decoding of aanvullende planningsverliezen vereisen om ervoor te zorgen dat acties strikt zijn geconditioneerd op de gerapporteerde overtuigingen.

Kortom, BOND biedt een methode om het verborgen tegenstandermodel van een onderhandelingsagent expliciet, distilleerbaar en scorebaar te maken, en biedt een nieuwe diagnostische lens om te begrijpen waar en waarom onderhandelingsagenten falen.