💬 NLP

Distilling Bayesian Belief States into Language Models for Auditable Negotiation

L'article présente BOND, un cadre qui distille l'inférence explicite des croyances de l'adversaire d'un enseignant bayésien basé sur un LLM vers un modèle étudiant plus petit de 8B, atteignant des performances de négociation supérieures et un suivi des croyances auditable par rapport aux bases de référence les plus avancées.

Auteurs originaux : Zongqi Cui, Baihan Lin

Publié 2026-05-07

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zongqi Cui, Baihan Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez une partie de poker à enjeux élevés. Vous voyez un joueur faire un mouvement, mais vous ne savez pas pourquoi il l'a fait. A-t-il bluffé parce qu'il pensait que vous étiez faible ? A-t-il plié parce qu'il savait qu'il avait une main perdante ? Ou était-il simplement en train de deviner ?

Dans le monde de la négociation par intelligence artificielle, les grands modèles de langage (LLM) sont comme ces joueurs de poker. Ils peuvent parler et conclure des accords avec une grande fluidité, mais leur « processus de pensée » est caché à l'intérieur d'une boîte noire. Nous ne pouvons pas voir ce qu'ils croient concernant les priorités de l'autre personne, ce qui rend difficile la confiance ou le débogage de leurs décisions.

Ce papier présente un nouveau système appelé BOND (Distillation des croyances de l'adversaire bayésienne pour la négociation) pour résoudre ce problème. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le Négociateur « Boîte Noire »

Les négociateurs IA actuels sont comme des magiciens. Ils sortent un lapin d'un chapeau (concluent un accord), mais vous ne pouvez ni voir le lapin ni voir le chapeau. Si l'IA dit : « Je vous donnerai le bois de chauffage », vous ne savez pas si elle pense que vous aimez le bois de chauffage, ou si elle répète simplement ce qu'elle a entendu auparavant. Cela rend l'IA « inauditable » — vous ne pouvez pas vérifier ses calculs.

2. La Solution : L'Équipe « Enseignant-Élève »

Les auteurs ont créé un système à deux parties pour rendre la pensée de l'IA visible.

L'Enseignant (Le Mathématicien) : Il s'agit d'une IA intelligente qui agit comme un détective. Elle écoute la conversation et se demande : « Sur la base de ce que l'autre personne a dit, quelle est la probabilité qu'elle se soucie le plus de la Nourriture, de l'Eau ou du Bois de chauffage ? »
- Au lieu de simplement deviner, l'Enseignant utilise une méthode mathématique (inférence bayésienne) pour mettre à jour ses croyances après chaque phrase. Il maintient un tableau de bord en cours d'exécution des six façons possibles dont l'adversaire pourrait prioriser les éléments.
- Le Résultat : L'Enseignant sait exactement ce qu'il pense que l'adversaire veut, et il peut vous montrer ce tableau de bord.
L'Élève (L'Acteur) : L'Enseignant est excellent en mathématiques, mais lent et coûteux à exécuter. Les auteurs ont donc « distillé » (compressé) le cerveau de l'Enseignant dans une IA plus petite et plus rapide appelée Élève.
- L'Élève apprend à agir comme l'Enseignant. Mais voici l'astuce de magie : lorsque l'Élève parle, il ne dit pas seulement : « J'accepte votre offre ». Il chuchote également son tableau de bord interne au monde.
- Il produit une balise comme : <posterior> Je suis sûr à 80 % que vous voulez de l'Eau, 15 % du Bois de chauffage, 5 % de la Nourriture </posterior>.
- Cela rend l'état de croyance de l'IA auditable. Vous pouvez voir exactement ce qu'elle pensait avant d'agir.

3. L'Expérience : Le Jeu du Campement

Pour tester cela, ils ont utilisé un ensemble de données appelé CaSiNo, qui simule deux personnes négociant autour d'un campement. Ils doivent se partager trois éléments : Nourriture, Eau et Bois de chauffage.

Chaque personne possède secrètement une liste de priorités (par exemple : « J'ai le plus besoin d'Eau, puis du Bois de chauffage, puis de la Nourriture »).
Le travail de l'IA est de déterminer la liste secrète de l'autre personne et de conclure un accord équitable.

4. Les Résultats : Plus Petit est Meilleur pour la Transparence

Le papier a révélé quelques choses surprenantes :

L'Enseignant était très bon pour deviner les priorités de l'adversaire (un « score de Brier » de 0,085, ce qui est très faible et bon).
L'Élève (le modèle plus petit et plus rapide) a appris à imiter la pensée de l'Enseignant très efficacement. Il a obtenu un score de 0,114.
Le Grand Concurrent : Ils ont comparé cela à une énorme IA de 70 milliards de paramètres (la « base 70B »). Bien que la grande IA soit légèrement meilleure pour conclure le bon accord final, elle était terrible pour expliquer pourquoi. Ses conjectures internes étaient confuses et mal calibrées (score de 0,194).
La Conclusion : Le petit Élève de 8 milliards de paramètres est le gagnant en matière de transparence. Il est assez petit pour être exécuté facilement, mais assez intelligent pour vous montrer clairement ses « mécanismes ».

5. L'Inconvénient : Le « Chuchotement » vs l'« Action »

Le papier a également découvert un petit défaut. Bien que l'Élève soit excellent pour rapporter ce qu'il croit, il n'agit pas toujours en fonction de ces croyances.

Imaginez un élève qui lève la main pour répondre correctement à une question (la croyance) mais qui écrit ensuite la mauvaise réponse sur le test (l'action).
Les auteurs ont constaté que l'IA apprenait à « chuchoter » ses croyances avec précision, mais que le lien entre ce chuchotement et sa décision finale était parfois faible. C'est comme si l'IA apprenait à remplir un bulletin de notes parfaitement, mais oubliait parfois d'utiliser ce bulletin pour guider son prochain mouvement.

Résumé

BOND est un cadre qui force un négociateur IA à montrer ses devoirs. Au lieu de simplement vous donner un accord, il vous dit : « Je pense que vous voulez X, donc je vous propose Y. »

Pourquoi c'est important : Cela transforme une IA mystérieuse de « boîte noire » en un partenaire transparent où vous pouvez voir ses croyances, vérifier si elles sont erronées et comprendre pourquoi elle a fait une erreur.
La Limite : Le papier admet que, bien que l'IA soit désormais transparente, elle n'a pas encore totalement maîtrisé l'art d'utiliser ces croyances pour prendre des décisions parfaites. C'est un pas vers une IA « auditable », où nous pouvons faire confiance au système parce que nous pouvons voir sa logique, et non pas seulement ses résultats.

Résumé Technique : Distillation des États de Croyance Bayésiens dans les Modèles de Langage pour une Négociation Auditable

Énoncé du Problème

Les agents de négociation doivent pouvoir inférer les valeurs cachées d'un adversaire, mettre à jour ces croyances au fil des tours de dialogue, et sélectionner des actions dans l'incertitude. Bien que les modèles de langage de grande taille (LLM) de bout en bout puissent générer des dialogues de négociation fluides, leurs représentations internes des croyances de l'adversaire sont généralement implicites et opaques. Ce manque de transparence rend difficile la distinction entre une action de l'agent découlant d'un modèle stable et mis à jour de l'adversaire, ou d'une imitation superficielle du dialogue. À l'inverse, les modèles cognitifs bayésiens traditionnels offrent des a priori, des vraisemblances et des postérieurs explicites, mais reposent souvent sur des fonctions de vraisemblance conçues à la main qui ne s'adaptent pas au langage de négociation stratégique libre. Le défi central consiste à combiner la flexibilité linguistique des LLM avec l'interprétabilité de l'inférence bayésienne pour créer un agent de négociation à la fois efficace et auditable.

Méthodologie : Le Cadre BOND

Les auteurs proposent BOND (Bayesian Opponent-belief Negotiation Distillation), un cadre modulaire qui sépare l'interprétation du langage, la révision des croyances et la sélection d'actions. Le système opère dans le domaine de négociation CaSiNo, où deux participants négocient trois articles (Nourriture, Eau, Bois de chauffage) avec des ordres de priorité privés. L'hypothèse de travail comprend six ordres de priorité possibles ( $\Theta$ , où $|\Theta|=6$ ).

1. L'Enseignant Bayésien

L'agent enseignant fonctionne comme un « estimateur de vraisemblance » plutôt que comme une politique boîte noire. Son architecture comporte quatre étapes :

Évaluation du Langage : Un LLM (Llama-3.1-8B-Instruct avec LoRA) évalue la compatibilité du contexte de dialogue observé par rapport à chacun des six ordres de priorité candidats de l'adversaire. Ces scores servent de signaux de type vraisemblance.
Mise à Jour Bayésienne : Un module bayésien convertit ces scores en une distribution postérieure sur les six ordres de priorité en utilisant la formule :
$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$
où $\tilde{L}_t$ représente le score de vraisemblance mis à l'échelle par la température et tronqué. L'a priori est initialement uniforme.
Évaluation du Menu : L'agent énumère les allocations réalisables et les note en fonction de sa propre utilité et de l'utilité attendue de l'adversaire, marginalisée sur la distribution postérieure.
Décision : L'agent sélectionne une action (accepter, rejeter, contre-offre, etc.) basée sur les notes du menu.

2. Distillation vers l'Étudiant

Les auteurs distillent l'enseignant bayésien dans un modèle étudiant de 8B plus petit. Contrairement aux agents de bout en bout standard, l'étudiant est entraîné à émettre une sortie structurée et étiquetée incluant :

<posterior> : Une distribution de probabilité normalisée sur les six ordres de priorité de l'adversaire.
<selected_intent> : L'action choisie (par exemple, soumettre, accepter, rejeter).
<selected_content> : L'allocation spécifique le cas échéant.
<utterance> : La réponse en langage naturel.

Cette conception externalise l'état de croyance, permettant qu'il soit noté et inspecté à chaque tour.

3. Protocole d'Évaluation

Le système est évalué sur un ensemble maintenu à l'écart de 150 dialogues CaSiNo (1 054 prédictions au niveau du tour). Les métriques clés incluent :

Score Brier du Postérieur : Mesure l'étalonnage de la distribution de probabilité prédite par rapport au véritable ordre de l'adversaire.
Prédiction d'Acceptation (F1) : Précision des décisions d'acceptation/rejet.
Similarité des Offres : Similarité cosinus entre les allocations prédites et humaines.
Diagnostics d'Auditabilité : Décomposition des erreurs en « erreurs de croyance » (postérieur incorrect) par rapport aux « erreurs de politique » (action incorrecte étant donné le postérieur) et interventions où l'étiquette postérieure est remplacée de force.

Résultats Clés

Étalonnage du Postérieur et Distillation

Performance de l'Enseignant : L'enseignant bayésien atteint un score Brier moyen de 0,085 sur les six hypothèses de priorité de l'adversaire, surpassant significativement la référence uniforme de $5/36 \approx 0,139$ .
Performance de l'Étudiant : L'étudiant distillé de 8B préserve une grande partie de ce signal, atteignant un score Brier de 0,114. Cela est également bien en dessous de la référence uniforme, indiquant que l'étudiant apprend avec succès à émettre des états de croyance étalonnés.
Comparaison avec la Référence 70B : Une référence structurée Chain-of-Thought (CoT) de 70B obtient un Accept-F1 plus élevé (0,947 contre 0,908) mais échoue à fournir un postérieur étalonné. Lorsqu'elle est forcée d'émettre un postérieur via la cohérence de soi, la référence 70B atteint un score Brier de 0,194, ce qui est pire que la référence uniforme et nettement pire que l'étudiant 8B.

Auditabilité et Décomposition des Erreurs

Séparation des Erreurs : L'analyse de 181 tours de décision révèle que les erreurs de croyance et les erreurs d'action sont séparables. Par exemple, 67 tours avaient la croyance MAP (Maximum A Posteriori) correcte mais une action incohérente, tandis que 27 tours avaient une croyance erronée mais une action cohérente avec cette croyance erronée.
Limites des Interventions : Lorsque l'étiquette postérieure a été remplacée de force par la vérité terrain (intervention de préfixe correct) ou une valeur incorrecte (intervention de préfixe adversaire), l'action de l'étudiant n'a changé que dans 1,5 % à 1,8 % des cas. Cela suggère que, bien que l'étudiant apprenne à rapporter les croyances avec précision, le couplage causal entre le postérieur rapporté et la sélection d'actions (la dépendance « postérieur $\to$ planificateur ») est plus faible chez l'étudiant distillé que chez l'enseignant.

Résultats d'Ablation

Contexte Complet vs Incrémental : L'enseignant repose sur l'évaluation du contexte complet du dialogue. Une approche incrémentale (évaluant uniquement le dernier énoncé) a échoué, produisant des postérieurs pires que l'uniforme, indiquant que le mécanisme d'attention du LLM est crucial pour l'intégration des preuves temporelles.
Rôle des Étiquettes : Le retrait de l'étiquette postérieure pendant l'entraînement (étudiant uniquement sur l'action) a entraîné des métriques de décision légèrement meilleures (Accept-F1 0,921), confirmant que la valeur principale de l'étiquette postérieure est l'inspectabilité, et non la performance décisionnelle.

Signification et Revendications

L'article ne revendique pas que l'étudiant distillé soit la politique de négociation supérieure en termes de résultats gagnants ; en fait, la référence 70B le surpasse sur les métriques de décision. Au contraire, la signification de BOND réside dans l'auditabilité :

États de Croyance Externalisés : Le cadre distille avec succès une interface de croyance valide et notable dans un modèle plus petit. L'étudiant expose une distribution postérieure étalonnée à chaque tour, permettant aux chercheurs de distinguer les échecs de « croyance erronée » des échecs de « croyance juste/action erronée ».
Transparence sur la Performance Boîte Noire : Le travail démontre qu'un modèle plus petit (8B) peut exposer un état de croyance valide qui est mieux étalonné qu'un modèle beaucoup plus grand (70B) utilisant un prompting structuré.
Limites de la Distillation Actuelle : Les auteurs notent modestement que la distillation standard par Affinage Supervisé (SFT) transfère le rapport des croyances plus efficacement que l'utilisation causale de ces croyances pour la prise de décision. Le faible couplage croyance-action chez l'étudiant suggère que les futurs agents auditable nécessiteront un décodage contraint ou des pertes de planification auxiliaires pour garantir que les actions sont strictement conditionnées aux croyances rapportées.

En résumé, BOND fournit une méthode pour rendre explicite, distillable et notable le modèle d'adversaire caché d'un agent de négociation, offrant une nouvelle lentille diagnostique pour comprendre où et pourquoi les agents de négociation échouent.