技術的サマリー：暗黙的敵対的選好最適化による健康コーチングのための双エージェント共同トレーニング

問題定義

動機付け面接（MI）は、精神衛生の改善や行動変容の促進において実証済みのアプローチであるが、そのスケーラビリティは、訓練された人間のコーチの不足と高いサービスコストによって制限されている。AI アシスタントは存在するものの、既存の健康コーチングのトレーニング手法は、通常、相互作用の片側のみを最適化する：固定されたクライアント環境に対して対話エージェントをトレーニングするか、固定されたアシスタントに対してクライアントシミュレータをトレーニングするかである。この非対称的な設定は、相互作用空間の探索を制限し、高品質なコーチングに必要な複雑で文脈に敏感な能力を効率的に開発することに失敗する。さらに、MI の成功は、最終的な結果だけでなく、セッション全体における行動の質に依存しており、単一のスカラー報酬ではなく、複数の次元（例：変化談話の育成、維持談話の緩和、共感）にわたる最適化を必要とする。

手法：DACT

著者は、健康コーチエージェントとクライアントシミュレータを対話を通じて共同でトレーニングするフレームワークであるDACT（Dual-Agent Co-Training）を提案する。中核的な革新は、クライアントがますます困難な相互作用を生成することを学習し、コーチの改善を強制する暗黙的敵対的トレーニングダイナミクスである。

1. 選好対話ツリーの構築

高価な専門家デモンストレーションに依存する代わりに、DACT はロールアウト手順を通じて選好ツリーを構築する：

• 初期化：対話ツリーをランダムなクライアントペルソナで初期化する。
• 分岐：選択された対話状態において、コーチは複数の候補発話をサンプリングする。各コーチの発話に対して、クライアントは独立して複数の応答をサンプリングする。
• 拡張：この分岐とロールアウトのプロセスは、事前に定義された深さまで再帰的に継続され、兄弟ノード（同じ深さの発話）が同等のロールアウト予算の下で比較されるバランスの取れたツリーを作成する。

2. 多次元 LLM ジャッジと Q 値推定

人間の専門家なしでコーチングの質を評価するために、著者は MITI 4.2.1 コーディングマニュアルに基づいた多次元 LLM ジャッジを採用し、コーチの発話を以下の 3 つの次元でスコアリングする：

• 変化談話の育成（CCT）
• 維持談話の緩和（SST）
• 共感

ジャッジは 3 つの段階で動作する：(1) クライアントの状態（例：関与中、両義的、感情的）の特定、(2) コーチの応答における各文の機能（例：オープンな質問、反映、無断の助言）のラベル付け、(3) 推論に基づくスコアの集約。

• Q 値の伝播：即時のターンレベルのスコアは、対話の軌道への下流の影響を考慮してコーチ発話の長期的な価値（$Q$）を推定するために、割引再帰的バックアップを用いてツリーを上方へ伝播される。

3. 暗黙的敵対的選好トレーニング

このフレームワークは、両エージェントに対して直接選好最適化（DPO）を使用するが、同じ Q 値から導出される相反する目的を持つ：

• コーチ最適化：コーチはパレート支配的な選好ペアでトレーニングされる。コーチの応答 $A$ が $B$ よりも好まれるのは、$A$ の Q ベクトルがすべての次元で $B$ を弱支配し、少なくとも 1 つの次元で厳密に支配する場合である。これにより、コーチはトレードオフなしにすべての次元で同時に改善されることを保証する。
• クライアント最適化：クライアントは敵対的にトレーニングされる。その選好シグナルはコーチの Q 値の否定（$S(u) = -Q(u)$）である。クライアントは、下流のコーチングの質が低下する（つまり、コーチにとって Q 値が小さくなる）発話を好むようにトレーニングされる。これにより、クライアントは現在のコーチの弱点に挑戦する「より困難な」MI 行動（例：強い抵抗、複雑な両義性、感情的苦痛）を学習するようになる。

4. 確率ゲーム解釈

著者は、この共同トレーニングプロセスが自然な確率ゲーム解釈を許容することを示す。コーチとクライアントは、相反する潜在的効用を持つゲームの 2 人のプレイヤーと見なすことができる：コーチは下流の多次元コーチングの質を最大化しようとし、クライアントはそれを最小化しようとする。交互の DPO 更新は、これらの敵対的に結合されたプレイヤーに対する KL 正則化されたポリシー改善ステップに対応する。

主要な貢献

1. 双エージェント選好ツリー構築：ツリーロールアウトと多次元 LLM ジャッジを使用してトレーニング中に選好ペアを収集する効率的で低コストな手法であり、専門家デモンストレーションへの依存を回避する。
2. 多次元 LLM ジャッジ：状態の特定、機能ラベル付け、推論に基づく集約に判断を分解し、CCT、SST、共感にわたる Q 値を推定する臨床的に根拠のある評価システム。
3. 暗黙的敵対的選好トレーニング：クライアントがコーチの選好を逆転するようにトレーニングされる新しいトレーニングダイナミクスであり、手動の難易度スケジューリングなしにコーチをますます困難な対話状況に曝す自己ペースの敵対的カリキュラムを作成する。
4. 確率ゲームの形式化：相反する効用を持つ 2 プレイヤー確率ゲームとしての共同トレーニングダイナミクスの理論的解釈。

実験結果

著者は、DACT を 3 つのベースラインに対して評価した：教師あり微調整（SFT）ベースライン、標準的なプロンプトを備えた GPT-5.5 ベースライン（GPT-COACH）、およびスコアリングルブリックをプロンプトに埋め込んだ GPT-5.5 ベースライン（GPT-RUBRIC）。

• 性能：DACT は、分布内「ストレステスト」クライアント（R8-CLIENT）と 3 つの分布外シミュレータ（感情的、抵抗的、両義的）を含む 4 つのクライアント条件全体で、最も高い総合コーチングの質（mean3 スコア）を達成した。困難な R8-CLIENT において、DACT は 4.25 をスコアし、GPT-RUBRIC ベースライン（3.33）を大幅に上回った。
• アンチパターンの抑制：DACT は、次に良い手法と比較して、MI アンチパターン（臨床的に望ましくない行動）の発生率を 20〜40 倍削減した。例えば、R8-CLIENT において、DACT のアンチパターン率は 0.41% であったのに対し、GPT-RUBRIC は 16.15% であった。
• 共進化ダイナミクス：アブレーション研究により、共進化が重要であることが示された。クライアントを固定した場合（Client-Frozen）、コーチの性能は早期に頭打ちになった。適応的なクライアントのみによって、コーチは特に CCT および SST 次元において改善を続けた。
• 人間との整合性：訓練された MI 実践者によるブラインドランキング研究により、LLM ジャッジの選好と人間の専門家ランキングの間で強い一致（77.5%）が示され、LLM ジャッジが専門家評価の代理として有効であることが検証された。

意義と主張

本論文は、DACT がコーチとクライアントが共進化する自己改善ループを作成することにより、片側トレーニングの制限を効果的に克服すると主張している。その意義は以下の点にある：

• スケーラビリティ：人間の専門家デモンストレーションの prohibitively 高いコストなしに高品質な AI 健康コーチをトレーニングする手法を提供する。
• ロバスト性：共同トレーニングプロセスは、困難な分布外のクライアント行動によく一般化し、臨床的に有害なアンチパターンを抑制するコーチを生み出す。
• 理論的洞察：このフレームワークは、選好最適化とゲーム理論を橋渡しし、暗黙的敵対的ダイナミクスが確率ゲームとして形式化できることを示している。

著者は謙虚であり、結果は単一のベースモデルに基づいており、分布内ストレステストにおける改善の大きさは完全な専門家による MITI 評価の下では変動する可能性があることに言及している。追加のベースモデルでの再現と完全な専門家評価を次の必要なステップとして特定している。