技术摘要：将贝叶斯信念状态蒸馏至语言模型以实现可审计的谈判

问题陈述

谈判智能体需要具备推断对手隐藏价值、在对话轮次中更新这些信念，并在不确定性下选择行动的能力。尽管端到端的大语言模型（LLM）能够生成流畅的谈判对话，但其对对手信念的内部表征通常是隐式且不透明的。这种缺乏透明度的特性使得难以区分智能体的行动是源于对对手稳定且更新的模型，还是源于浅层的对话模仿。相反，传统的贝叶斯认知模型提供了显式先验、似然和后验，但通常依赖于手工设计的似然函数，这些函数难以扩展到自由形式、策略性的谈判语言中。核心挑战在于结合大语言模型的语言灵活性与贝叶斯推理的可解释性，以创建一个既高效又可审计的谈判智能体。

方法论：BOND 框架

作者提出了 BOND（贝叶斯对手信念谈判蒸馏），这是一个将语言解释、信念更新和行动选择分离的模块化框架。该系统在 CaSiNo 谈判领域运行，两名参与者就三件物品（食物、水、木柴）进行谈判，每件物品具有私人的优先级排序。假设空间由六种可能的优先级排序组成（$\Theta$，其中 $|\Theta|=6$）。

1. 贝叶斯教师

教师智能体充当“似然估计器”，而非黑盒策略。其架构包含四个阶段：

• 语言评分：一个大语言模型（Llama-3.1-8B-Instruct 配合 LoRA）针对观察到的对话上下文，对六种候选对手优先级排序的兼容性进行评分。这些评分作为类似然信号。
• 贝叶斯更新：贝叶斯模块利用以下公式将这些评分转换为六种排序的后验分布：
  $$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$$
  其中 $\tilde{L}_t$ 代表经过温度缩放和截断的似然评分。先验初始为均匀分布。
• 菜单评分：智能体枚举可行的分配方案，并根据其自身效用以及对手在边缘化后验分布后的期望效用对其进行评分。
• 决策：智能体根据菜单评分选择行动（接受、拒绝、还价等）。

2. 蒸馏至学生模型

作者将贝叶斯教师蒸馏至一个较小的 80 亿参数学生模型。与标准的端到端智能体不同，该学生模型被训练为输出包含以下内容的结构化、带标签输出：

• <posterior>：六种对手优先级排序的归一化概率分布。
• <selected_intent>：选定的行动（例如，提交、接受、拒绝）。
• <selected_content>：如果适用，具体的分配方案。
• <utterance>：自然语言回复。

这种设计将信念状态外化，使其能够在每一轮对话中被评分和检查。

3. 评估协议

该系统在 150 个 CaSiNo 对话的保留集（共 1,054 个轮次级预测）上进行评估。关键指标包括：

• 后验 Brier 分数：衡量预测概率分布相对于真实对手排序的校准程度。
• 接受预测（F1）：接受/拒绝决策的准确率。
• 出价相似度：预测分配与人类分配之间的余弦相似度。
• 可审计性诊断：将错误分解为“信念错误”（后验错误）与“策略错误”（给定后验下的行动错误），以及强制替换后验标签的干预实验。

关键结果

后验校准与蒸馏

• 教师性能：贝叶斯教师在六种对手优先级假设上的平均 Brier 分数为 0.085，显著优于 $5/36 \approx 0.139$ 的均匀参考值。
• 学生性能：蒸馏后的 80 亿参数学生模型保留了大部分信号，Brier 分数为 0.114。这也远低于均匀参考值，表明学生模型成功学会了输出校准后的信念状态。
• 与 700 亿参数基线的比较：一个 700 亿参数的结构化思维链（CoT）基线在“接受-F1"指标上表现更高（0.947 对比 0.908），但未能提供校准后的后验。当强制其通过自一致性输出后验时，700 亿参数基线的 Brier 分数为 0.194，这比均匀参考值更差，且显著差于 80 亿参数学生模型。

可审计性与错误分解

• 错误分离：对 181 个决策轮次的分析显示，信念错误和行动错误是可分离的。例如，有 67 个轮次具有正确的最大后验（MAP）信念但行动不一致，而有 27 个轮次信念错误但行动与该错误信念一致。
• 干预限制：当后验标签被强制替换为真实值（正确前缀干预）或错误值（对抗前缀干预）时，学生模型的行动仅在 1.5% 至 1.8% 的案例中发生改变。这表明，虽然学生模型学会了准确报告信念，但在蒸馏后的学生模型中，报告的后验与行动选择之间的因果耦合（“后验 $\to$ 规划器”依赖）比在教师模型中更弱。

消融研究结果

• 全上下文与增量式：教师依赖于对完整对话上下文的评分。增量式方法（仅评分最新话语）未能奏效，产生的后验分布比均匀分布更差，这表明 LLM 的注意力机制对于时间证据整合至关重要。
• 标签的作用：在训练期间移除后验标签（仅行动学生）导致决策指标略有提升（接受-F1 为 0.921），这证实了后验标签的主要价值在于可检查性，而非决策性能。

意义与主张

本文并未声称蒸馏后的学生在获胜结果方面是更优越的谈判策略；事实上，700 亿参数基线在决策指标上优于它。相反，BOND 的意义在于可审计性：

1. 外化的信念状态：该框架成功地将一个有效、可评分的信念接口蒸馏到了较小的模型中。学生模型在每一轮都暴露出校准后的后验分布，允许研究人员区分“错误信念”导致的失败和“信念正确但行动错误”导致的失败。
2. 透明度优于黑盒性能：这项工作证明，较小的模型（80 亿参数）可以暴露出比使用结构化提示的大得多的模型（700 亿参数）校准得更好的有效信念状态。
3. 当前蒸馏的局限性：作者谦逊地指出，标准的监督微调（SFT）蒸馏在信念的报告方面比信念在决策中的因果使用转移得更为有效。学生模型中信念与行动耦合的薄弱表明，未来的可审计智能体需要受限解码或辅助规划损失，以确保行动严格基于报告后的信念。

总之，BOND 提供了一种方法，使谈判智能体的隐藏对手模型变得显式、可蒸馏且可评分，为理解谈判智能体在何处以及为何失败提供了新的诊断视角。