💬 NLP

CoSToM:Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models

この論文は、大規模言語モデルの心の理論（ToM）能力を外部の行動に安定して反映させるため、因果追跡を用いて内部特徴を特定し、それらの層を標的としたアクティベーション・ステアリングによる軽量アライメントフレームワーク「CoSToM」を提案するものである。

原著者： Mengfan Li, Xuanhua Shi, Yang Deng

公開日 2026-04-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mengfan Li, Xuanhua Shi, Yang Deng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「COSTOM」の解説：AI に「心の機微」を教える新しい方法

この論文は、大型言語モデル（LLM、つまり高度な AI）が、人間の「心の機微（Theory of Mind：ToM）」を本当に理解しているのか、そしてそれを会話の中でどう使えるかという問題に挑んだ研究です。

タイトルにあるCOSTOM（コストム）は、「Costume（衣装）」と発音しますが、意味は「因果関係に基づいた方向付け（Causal-oriented Steering）」です。

これをわかりやすく説明するために、**「天才的な俳優と、その演技を導く演出家」**という例えを使ってみましょう。

1. 問題：AI は「演技」が下手？

まず、現在の AI の状態を見てみましょう。

現状の AI：テスト問題（例：「サリーとアンの実験」のような心理テスト）を解くときは、非常に高い正解率を出します。まるで、**「役者としての知識は完璧に持っている天才」**のようです。
しかし、実際の会話になると…：
論文の図 1 にあるように、AI は相手の「薪が欲しい」という気持ちを正しく推測できるのに、いざ交渉の場面になると、なぜか「水」を差し出すような、おかしな提案をしてしまいます。
- なぜ？：AI は「相手の気持ちを考えなさい」という指示（プロンプト）があるときは一生懸命考えますが、指示がないと、その「心の知識」を忘れて、ただの機械的な返事をしてしまいます。
- 本質的な問題：AI は「心の機微」を**「記憶している」だけで、「体得（内面化）していない」のです。まるで、「台本は暗記しているが、役になりきれていない俳優」**のようです。

2. 解決策：COSTOM（コストム）の登場

そこで研究者たちは、AI の「頭の中（内部の仕組み）」を直接操作する新しい方法COSTOMを開発しました。

ステップ 1：心の場所を探す（探偵役）

まず、AI の脳（ニューラルネットワーク）のどこに「相手の気持ち」を処理する情報が隠れているかを探します。

発見：意外なことに、高度な推論は深い層ではなく、**「脳の浅い部分（最初の数層）」**に集中していることがわかりました。
例え：AI の脳は巨大な図書館のようですが、心の機微に関する本は、入り口すぐの棚にしか置いていなかったのです。

ステップ 2：心のスイッチをオンにする（演出家役）

場所がわかったら、その部分の「電気（活性化）」を調整します。

仕組み：AI が会話をする際、浅い層の信号を「相手の気持ちを正しく理解している状態」に微調整（ステアリング）します。
例え：これは、俳優に「もっと相手の気持ちに寄り添って！」と大声で指示するのではなく、**「役者の感情を直接コントロールする特殊なイヤホン」**をつけて、自然と役になりきるように導くようなものです。
特徴：AI 全体をやり直す（ファインチューニング）必要はなく、**「必要な部分だけ」**を軽く調整するだけなので、非常に軽量で効率的です。

3. 結果：劇的な変化

この方法（COSTOM）を適用した AI はどうなったでしょうか？

安定した演技：指示がなくても、自然と相手の気持ちを汲み取って反応できるようになりました。
交渉と説得の向上：
- 交渉：相手の「欲しいもの」を正しく理解し、互いに納得できる提案ができるようになりました。
- 説得：相手の懸念点に寄り添った、共感的な言葉を選べるようになりました。
比較：従来の「指示を出すだけ」や「全体を学習させる」方法よりも、はるかに人間らしく、賢い会話ができるようになりました。

4. まとめ：なぜこれがすごいのか？

これまでの AI 研究は、「どう指示すればいいか（プロンプト）」や「どう学習させるか（ファインチューニング）」に焦点を当てていました。

しかし、COSTOM は**「AI の脳そのものの仕組み」**にアプローチしました。

従来の方法：「もっと考えて！」と外から叫ぶ（指示）。
COSTOM の方法：「心の回路」を直接つなぎ直し、AI が**「本能的に」**相手の気持ちを理解できるようにする。

これは、AI が単なる「知識のデータベース」から、「相手の気持ちを感じ取れる社会的な存在」へと進化するための重要な一歩です。まるで、AI に「衣装（Costume）」を着せるのではなく、「心（Mind）」そのものを整えてあげたようなものです。

一言で言うと：
COSTOM は、AI が「テストは得意だが、実際の人間関係は苦手」という弱点を、**「脳の奥深くにある心の回路を直接調整する」**ことで克服し、本当に人間らしく会話ができるようにする画期的な技術です。

論文「COSTOM: Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models」の技術的サマリー

1. 概要と背景

本論文は、大規模言語モデル（LLM）における心の理論（Theory of Mind: ToM）の内在的メカニズムを解明し、それを安定した行動へ変換するための新しいフレームワーク「COSTOM」（Causal-oriented Steering for ToM alignment）を提案するものです。

背景と課題

ToM の重要性: 心の理論（他者の信念、欲求、意図を推測する能力）は、社会的知性の核心であり、交渉や説得などの複雑な対話タスクに不可欠です。
既存の限界: 現在の LLM は、構造化されたベンチマークでは ToM 推論を正しく行えるものの、実際の対話タスク（交渉など）では、その推論を行動に反映できず、一貫性のない応答を生成することがあります。
プロンプト依存の問題: 既存の手法は、ToM 推論を促すために高度に設計されたプロンプト（スキャフォールディング）に依存しており、モデル内部に「本質的な ToM 認知」が定着しているとは限りません。プロンプトが変更されると、推論能力が失われる「アドホックなシミュレーション」に過ぎない可能性があります。
核心となる問い: LLM は本質的に ToM 認知を持っていますか？また、その内部知識を安定した高品質な行動へ変換することは可能でしょうか？

2. 提案手法：COSTOM

COSTOM は、ブラックボックス的なプロンプトエンジニアリングを超え、モデルの内部状態を**「解釈（Interpretation）」し、「介入（Intervention）」**することで、ToM 能力を内在的にアライメントさせるフレームワークです。

手法の 3 つの段階

ToM の解釈（Causal Tracing）:
- 目的: LLM のどの層に ToM 関連情報（信念、欲求、意図：BDI）がエンコードされているかを特定する。
- 手法: 因果トレース（Causal Tracing）を用いる。対話履歴をエンコーダーで処理し、特定の層 $\ell$ の隠れ状態（activation）を抽出して、凍結されたプロベ・デコーダーに注入する。デコーダーが ToM に関する質問（例：「相手の欲求は何か？」）に正確に回答できるかを確認することで、情報の所在を特定する。
- 発見: 従来の「高度な推論は深い層にある」という仮説とは異なり、ToM 情報はモデルの浅い層（Early Layers: 0-3 層付近）に集中的にエンコードされていることが判明した。
ToM の誘導（Activation Steering）:
- 目的: 特定された ToM 重要層の活性化を制御し、モデルの推論能力を向上させる。
- 手法: **勾配ブリッジ（Gradient Bridge）**メカニズムを導入。
  - エンコーダーの特定層の活性化を、ToM 推論タスク（BDI ラベル予測）を行うデコーダーに渡す。
  - デコーダーの出力と正解ラベルの間の損失（クロスエントロピー）を計算し、その勾配をデコーダー経由で逆伝播させる。
  - 重要点: デコーダーは凍結されており、勾配は「パッチされた活性化インターフェース」を越えてエンコーダーの浅い層（0〜 $\ell$ 層）にのみ伝播する。これにより、**LoRA（Low-Rank Adaptation）**を用いて浅い層の重みのみを少量更新し、モデルを ToM 推論に適した状態に「誘導（Steer）」する。
- 特徴: 全層の微調整（Full Fine-tuning）ではなく、特定層の活性化を制御する軽量かつ効率的なアプローチ。
下流タスクへの適用（Dialogue Generation）:
- 目的: 内部で整えられた ToM 表現を、実際の対話生成に活用する。
- 手法: 学習済みの ToM 強化エンコーダーと、凍結されたデコーダー（タスク固有の指示用）を使用。
- プロセス: 対話履歴をエンコーダーで処理し、ToM 情報が強化された潜在表現を生成。これをデコーダーに渡して、交渉や説得などのタスクに応じた一貫性のある応答を生成する。

3. 主要な貢献

ToM 表現の局在性の解明: 大規模言語モデルにおいて、ToM 関連情報は深い推論層ではなく、エンベディング直後の浅い層に主として存在することを因果トレースにより実証した。
軽量かつ効率的な介入フレームワークの提案: COSTOM を提案。特定層の活性化を制御するだけで、モデルの内部表現を安定した社会的推論に誘導できる。パラメータ更新は最小限（LoRA）で済み、プラグ＆プレイとして機能する。
対話タスクでの性能向上: 交渉（Negotiation）と説得（Persuasion）タスクにおいて、COSTOM を適用したモデルは、既存のベースライン（ゼロショット、プロンプトベース、フル層 LoRA 微調整など）を大幅に上回る性能を示した。

4. 実験結果

データセット: NEGOTIATIONTOM（交渉）と PERSUASIVETOM（説得）を使用。ベースモデルとして Llama-3-8B と Qwen2.5-7B を採用。
RQ1（解釈）: 浅い層（Layer 0-3）で ToM 情報の復元精度が最も高く、深い層に行くほど情報が消失（Representation Collapse）することが確認された。
RQ2（誘導効果）:
- 安定性: COSTOM 適用により、深い層でも ToM 情報が維持され、表現の崩壊が防がれた。
- 増幅: 浅い層の信号も強化され、例えば「欲求（Desire）」の推論精度が 51% から 99% 近くまで向上した。
RQ3（対話生成）:
- ToM 推論品質: 人間の評価者および LLM ジャッジによる評価で、ベースラインモデル（ToM スコア 0.081）に対し、COSTOM は約 6 倍（0.499）のスコア向上を達成。
- 対話の質: 文脈の整合性（Contextual Coherence）や戦略の有効性（Strategy Effectiveness）も大幅に改善。
- 局所最適化の優位性: 全層を微調整する Full-Layer LoRA よりも、特定層のみを誘導する COSTOM の方が、社会的推論のニュアンスを捉える上で優れていた。これは、無差別な微調整が重要な事前学習特徴を破壊する可能性があることを示唆している。

5. 意義と結論

理論的意義: LLM が「本質的な ToM 認知」を有しており、それが浅い層にエンコードされていることを示し、単なるプロンプト依存のシミュレーションではないことを実証した。
実用的意義: 対話エージェントの社会的知性を向上させるための、計算コストが低く、汎用的な「プラグ＆プレイ」モジュールを提供する。
限界: 現在はオープンウェイトモデル（内部活性化へのアクセスが可能）に限定されており、より広範な社会的シナリオへの一般化は今後の課題である。

総じて、COSTOM は、LLM の「思考（内部表現）」と「行動（出力）」の間のミスマッチを解消し、機械的な解釈可能性に基づいてモデルを社会的に適応させるための画期的なアプローチです。