技術的サマリー：監査可能な交渉のためのベイズ信念状態の言語モデルへの蒸留

問題定義

交渉エージェントは、対戦相手の隠れた価値を推論し、対話のターンを通じてこれらの信念を更新し、不確実性下で行動を選択する能力を必要とする。エンドツーエンドの大規模言語モデル（LLM）は流暢な交渉対話を生成できるが、対戦相手の信念に関する内部表現は通常、暗黙的で不透明である。この透明性の欠如により、エージェントの行動が、対戦相手の安定した更新モデルに由来するのか、それとも表面的な対話の模倣に由来するのかを区別することが困難になる。一方、従来のベイズ認知モデルは明示的な事前分布、尤度、事後分布を提供するが、自由形式で戦略的な交渉言語に拡張できない手動設計された尤度関数に依存することが多い。核心的な課題は、LLM の言語的柔軟性とベイズ推論の解釈可能性を組み合わせ、効果的かつ監査可能な交渉エージェントを構築することである。

手法：BOND フレームワーク

著者は、言語解釈、信念更新、行動選択を分離するモジュール型フレームワークであるBOND（Bayesian Opponent-belief Negotiation Distillation：ベイズ対戦相手信念交渉蒸留）を提案する。このシステムは、2 人の参加者が 3 つのアイテム（食料、水、薪）について、それぞれの私的な優先順位に基づいて交渉するCaSiNo交渉ドメインで動作する。仮説空間は 6 つの可能な優先順位付け（$\Theta$、ここで $|\Theta|=6$）から構成される。

1. ベイズ教師

教師エージェントは、ブラックボックスのポリシーではなく「尤度推定器」として機能する。そのアーキテクチャは 4 つの段階を含む：

• 言語スコアリング: LLM（LoRA を用いた Llama-3.1-8B-Instruct）が、観測された対話コンテキストと 6 つの候補となる対戦相手の優先順位付けのそれぞれとの互換性をスコアリングする。これらのスコアは尤度のようなシグナルとして機能する。
• ベイズ更新: ベイズモジュールが、以下の式を用いてこれらのスコアを 6 つの順序に関する事後分布に変換する：
  $$p_t(\theta) = \frac{\tilde{L}_t(\theta)p_{t-1}(\theta)}{\sum_{\theta' \in \Theta} \tilde{L}_t(\theta')p_{t-1}(\theta')}$$
  ここで、$\tilde{L}_t$ は温度スケーリングされクリップされた尤度スコアを表す。事前分布は当初一様分布である。
• メニュースコアリング: エージェントは実行可能な配分を列挙し、自身の効用と事後分布で周辺化された対戦相手の期待効用に基づいてそれらをスコアリングする。
• 意思決定: エージェントはメニューのスコアに基づいて行動（受諾、拒否、対案提示など）を選択する。

2. 学生への蒸留

著者は、ベイズ教師をより小さな8B の学生モデルに蒸留する。標準的なエンドツーエンドのエージェントとは異なり、この学生は構造化されたタグ付き出力を生成するように訓練される。これには以下が含まれる：

• <posterior>: 6 つの対戦相手の優先順位付けに対する正規化された確率分布。
• <selected_intent>: 選択された行動（例：提出、受諾、拒否）。
• <selected_content>: 該当する場合の具体的な配分。
• <utterance>: 自然言語による応答。

この設計により、信念状態が外部化され、各ターンでスコアリングおよび検査が可能になる。

3. 評価プロトコル

システムは、150 の CaSiNo 対話（1,054 のターンレベル予測）からなるホールドアウトセットで評価される。主要な指標は以下の通りである：

• 事後分布のブライアスコア: 予測された確率分布と真の対戦相手の順序との較正を測定する。
• 受諾予測（F1）: 受諾/拒否の決定の精度。
• 入札の類似性: 予測された配分と人間の配分の間のコサイン類似性。
• 監査可能性診断: 誤りを「信念誤り」（誤った事後分布）と「ポリシー誤り」（事後分布が与えられた際の誤った行動）に分解し、事後分布タグを強制的に置換する介入を行う。

主要な結果

事後分布の較正と蒸留

• 教師のパフォーマンス: ベイズ教師は、6 つの対戦相手優先順位仮説に対して平均ブライアスコア0.085を達成し、$5/36 \approx 0.139$ である一様参照を大幅に上回った。
• 学生のパフォーマンス: 蒸留された 8B の学生はこのシグナルの多くを保持し、ブライアスコア0.114を達成した。これも一様参照より十分に低く、学生が較正された信念状態を生成することを学習したことを示している。
• 70B ベースラインとの比較: 70B の構造化された連鎖思考（CoT）ベースラインは、より高い受諾-F1（0.947 対 0.908）を達成するが、較正された事後分布を提供することはできない。自己整合性を通じて事後分布の生成を強制された場合、70B ベースラインのブライアスコアは0.194となり、一様参照よりも悪く、8B の学生よりも著しく劣る。

監査可能性と誤りの分解

• 誤りの分離: 181 の意思決定ターンを分析した結果、信念誤りと行動誤りは分離可能であることが明らかになった。例えば、67 のターンでは正しい MAP（最大事後確率）の信念を持っていながら矛盾する行動をとっており、27 のターンでは誤った信念を持っていたが、その誤った信念に一貫した行動をとっていた。
• 介入の限界: 事後分布タグを真の値（正しいプレフィックス介入）または誤った値（敵対的プレフィックス介入）に強制的に置換した場合、学生の行動が変化したのは**1.5% から 1.8%*のケースのみであった。これは、学生が信念を正確に報告*することを学習している一方で、報告された事後分布と行動選択との間の因果的結合（「事後分布 $\to$ プランナー」の依存関係）は、教師よりも蒸留された学生において弱いことを示唆している。

除去実験の知見

• 完全コンテキスト対増分的アプローチ: 教師は完全な対話コンテキストのスコアリングに依存している。最新の発話のみをスコアリングする増分的アプローチは失敗し、一様分布よりも悪い事後分布を生み出した。これは、LLM の注意機構が時間的証拠の統合に不可欠であることを示している。
• タグの役割: 訓練中に事後分布タグを除去した場合（行動のみの学生）、決定指標がわずかに向上した（受諾-F1 0.921）。これは、事後分布タグの主な価値は決定性能ではなく検査可能性であることを確認するものである。

意義と主張

本論文は、蒸留された学生が勝利の結果という点で優れた交渉ポリシーであると主張するものではない。実際、決定指標において 70B ベースラインの方が上回っている。むしろ、BOND の意義は監査可能性にある：

1. 外部化された信念状態: このフレームワークは、有効でスコアリング可能な信念インターフェースをより小さなモデルに正常に蒸留することに成功した。学生は各ターンで較正された事後分布を露呈し、研究者が「誤った信念」による失敗と「正しい信念・誤った行動」による失敗を区別することを可能にする。
2. ブラックボックス性能に対する透明性: この研究は、構造化されたプロンプトを使用するはるかに大きなモデル（70B）よりも、より小さなモデル（8B）が有効な信念状態を露呈し、より良好に較正できることを実証している。
3. 現在の蒸留の限界: 著者は控えめに、標準的な教師あり微調整（SFT）による蒸留は、信念の報告を、意思決定のためのそれらの信念の因果的な使用よりも効果的に転移させることを指摘している。学生における弱い信念 - 行動結合は、将来の監査可能なエージェントが、行動が報告された信念に厳密に条件付けられるようにするために、制約付きデコーディングまたは補助的な計画損失を必要とすることを示唆している。

要約すると、BOND は、交渉エージェントの隠れた対戦相手モデルを明示的、蒸留可能、かつスコアリング可能にする手法を提供し、交渉エージェントがどこで、なぜ失敗するのかを理解するための新たな診断的レンズを提供する。