🤖 AI

Artificial Empathy: Towards a Framework for Unsupervised Agency Detection and Policy Reconstruction

本論文は、独立したタスクで学習された強化学習エージェントを事前知識として活用することで、環境の観測のみから他のエージェントの非教師あり検出およびその方策の再構成を可能にするフレームワークを提案する。

原著者： Peter Kuhn, Chris Pang, Sonakshi Chauhan

公開日 2026-08-25

📖 1 分で読めます☕ さくっと読める

原著者： Peter Kuhn, Chris Pang, Sonakshi Chauhan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能研究の静かな片隅では、ある根本的な問いが残り続けている。すなわち、機械はいかにして、世界の他の何かが目的を持って動いていることを理解できるのか、という問いである。コンピュータが人間や他の機械と協力するためには、まず、重力によって岩が落下しているのと、人がその岩を取ろうとして手を伸ばしているのとを区別できなければならない。この「エージェンシー検出（主体性の検知）」と呼ばれる能力は、社会的相互作用の基盤である。これなしでは、人工知能は単なる混沌とした出来事の流れしか見ておらず、ランダムなノイズと、目標に向けた計画との違いを判別することができない。さらに、機械がその他のエージェントが「何を」しようとしているのかを解明しなければならない場合、その課題はより大きくなる。これは「ポリシー再構成（方策の再構成）」と呼ばれるタ持ちである。もし、機械がこれらの隠れた意図を特定し、明示的に教えられることなくそれらをモデル化することを学べれば、それは真に協力的なパートナーへと向かうための大きな一歩となり、周囲の存在が持つ目標と自らの目標を一致させることが可能になるだろう。

ケンブリッジのヒューマン・インダクティブ・バイアス・プロジェクトの研究チームは、「人工的共感（アーティフィシャル・エンパシー）」と呼ぶシステムを提案することで、このパズルを解くための重要な一歩を踏み出した。彼らは、複雑な「心の理論」を一から構築しようとするのではなく、AIが自分自身の内部メカニズムをガイドとして用いることで、他者を理解できる可能性を示唆している。核心となる考え方は、意思決定を行い世界に対して行動するエージェントであるAI自身が、すでに「エージェンシー（主体性）とはどのようなものか」という理解を内蔵しているという点にある。研究者たちは、自身の学習された行動パターンに基づいて未来を予測するようにシステムを訓練することで、環境をスキャンし、他のエージェントを見つけ出し、それらのエージェントが何を達成しようとしているのかを、人間のラベル付けや指示なしに解明できるフレームワークを作り上げた。

研究者たちは、この概念を制御されたデジタル環境、すなわちエージェントが報酬を集めるために動き回る単純なグリッドワールドでテストした。彼らは、特定のタスク（例えば、ポイントを得るためにグリッドの左下隅に到達すること）を解決するように訓練された標準的なAIエージェントを訓練した。この訓練されたエージェントは、「エキスパート」あるいは理解されるべき対象としての「他者」の役割を果たした。このタスクを難しく、かつ現実的なものにするために、研究者たちは、風に吹かれる葉のようにランダムに動く、二つ目の偽のエージェントを導入した。この新しいシステムの目標は、ランダムな動きを無視し、真のエージェントを正しく特定した上で、目標に到達するためのその特定の戦略を模倣することを学ぶことだった。システムには、どちらが真のエージェントであるかは教えられず、自力で見つけ出さなければならなかった。

これを達成するために、新しいシステムには、食べ物を集めるという全く無関係なタスクで訓練された別のAIの「脳」をロードさせることで、先行知識を与えた。この事前ロードされた知識は、エージェントが一般的にどのように振る舞い、その行動がどのように世界を変化させるかについての期待値、すなわち「事前分布（プライア）」として機能した。システムはその後、グリッドワールドにおける出来事の流れを観察した。システムは自身の内部モデルを用いて、「もしここでエージェントが行動していると仮定した場合、次に何が起こると予測できるか？」という単純な問いを投げかけた。ランダムウォーカーを観察したとき、その動きには目標追求の論理的なパターンが存在しないため、予測は失敗した。しかし、エキスパートエージェントを観察したとき、その動きは目標に到達しようとするエージェントの論理と一致していたため、予測はうまく機能した。予測と現実の間の誤差を最小化することで、システムは効果的にノイズをフィルタリングし、真のエージェントへと焦点を絞り込んだのである。

実験結果は有望であった。環境を短期間観察した後、システムはデコイ（おとり）となるランダムな動きを無視し、エキスパートエージェントの戦略を正常に採用することに成功した。一連の試行において、システムのパフォーマンスはランダムな推測を素早く上回り、最終的には元のエキスパートのスキルレベルにまで達した。これは、システムが確かに非教師ありの「エージェンシー検出」を実行でき、混沌の中から目的を持った行為者を特定し、そのポリシーを再構成できることを示した。研究者たちは、この成功が、システムが自身の内部的なダイナミクスを世界を見るレンズとして用いたことに依拠していると指摘した。つまり、「私には目標を持つ感覚があるのだから、他者の中にもそれを認識できる」と言っているのである。

これらの心強い発見にもかかわらず、研究者たちは、これを完成した解決策ではなく、あくまで初期の概念実証として慎重に位置づけている。実験は、真のエージェントが一つ、偽のエージェントが一つ存在する、完全に可視化された小さなグリッドワールドで行われた。システムは、事前分布となるエージェントとターゲットとなるエージェントが構造的に類似しているという事実に大きく依存しており、エージェントが大きく異なる場合や、環境が複雑で部分的に隠されている場合に、このアプローチがどの程度うまく機能するかはまだ分かっていない。この研究は、自己参照的な事前分布がエージェンシーの検出をサポートし得ることを示唆しているが、現実世界において人工知能を人間の価値観に適合させるという、より広範な問題を解決したと主張するものではない。この研究は、AIがまず自分自身を理解することを通じて、他者を思いやること（ケアすること）を学べるという扉を開いたが、完全に協力的な未来への道のりは、依然として長く、未知数である。

技術要約：人工共感（Artificial Empathy）：非教師ありエージェンシー検出および方策再構成のためのフレームワークに向けて

問題定義

本論文は、AIアライメントおよびマルチエージェント・システムにおける相互に関連する2つの課題に取り組んでいる：

エージェンシー検出（Agency Detection）： 環境内における、エージェント的な振る舞い（目標指向的な活動）と、非エージェント的なランダムなダイナミクスを区別するタスク。
方策再構成（Policy Reconstruction）： 報酬関数やラベル付きのアクション・トラジェトリへのアクセスなしに、観測された行動のみから、対象となるエージェントの潜在的な方策（ $\pi_O$ ）を推論するタスク。

逆強化学習（IRL）は方策の再構成を行うが、通常は前処理済みの観測・アクションのペアを必要とし、エージェントのアイデンティティが既に既知であることを前提としている。著者らは、これら両方のタスクを非教師ありの手法で同時に解決することが、AIアライメントへの不可欠なステップであると主張している。これにより、システムが自身の目標と他者の目標を統合した「共同方策」を展開することを可能にし、実質的に他者を「ケアする」性質を付与できる。

手法

著者らは、**人工共感（Artificial Empathy: AE）**を提案している。これは、AIシステムが自身の学習済みエージェント・ダイナミクスを事前分布として利用し、他のエージェントを検出しモデル化するフレームワークである。このアプローチは、モデルベース強化学習（RL）アーキテクチャに基づいている。

1. ベース・エージェント・アーキテクチャ

基盤となるのは、変分オートエンコーダ（VAE）に着想を得た、学習可能なワールドモデルによって拡張された深層Q学習エージェントである。このアーキテクチャは以下で構成される：

エンコーダ ( $p_\theta$ ): 観測（ $o_t$ ）から潜在的なワールド状態（ $s_t$ ）を推論する畳み込みネットワーク。
遷移モデル ( $q_\phi$ ): 現在の状態とアクション（ $s_t, a_t$ ）から、次の潜在状態（ $s_{t+1}$ ）を予測する高密度ネットワーク。
デコーダ ( $d_\omega$ ): 潜在状態から観測を再構成する。
Qネットワーク ( $Q_\rho$ ): ワールド状態に対するQ値を予測する。

ベース・エージェントは、以下の要素からなる結合損失関数（ $L_{base}$ ）を用いて訓練される：

再構成損失 ( $L_{recon}$ ): 真の観測と再構成された観測の間のMSE（平均二乗誤差）。
遷移損失 ( $L_{trans}$ ): モデル化された事後分布と近似事後分布の間のKLダイバージェンス。
Q損失 ( $L_Q$ ): ターゲットQ値と予測Q値の間のMSE。

2. 人工共感（AE）システム

AEシステムは、エージェント的なダイナミクスの構造的事前分布として、訓練済みのベース・エージェント（「事前エージェント」）を利用する。これは、環境内で行動する「ターゲット」または「エキスパート」エージェントの方策を再構成しようとする試みである。

初期化: AEシステムは、重み空間におけるガウス事前分布をペナルティ項（ $R_p, R_q, R_Q$ ）を通じて強制することにより、事前エージェントの重みに基づいて重みを初期化する。
予測メカニズム: AEシステムは、環境内にエージェントが存在すると仮定する。エージェントは観測を潜在状態へとエンコードし、AEのQネットワークから導出された各アクションの確率で重み付けされた全可能なアクション（ $N$ ）について周辺化を行うことで、次の状態（ $p^*(s_{t+1}|s_t, A)$ ）を予測する：
$p^*(s_{t+1}|s_t, A) = \sum_{i=0}^{N} P(a_i)q'(s_{t+1}|s_t, a_i)$
損失関数: システムは、エージェンシーの仮定の下での、エンコードされたワールド状態と予測されたワールド状態の間の不一致を最小化する。総損失（ $L_{AE}$ $L_{A E}$ ）には以下が含まれる：
- KLダイバージェンス ( $L_{KL}$ ): エンコードされた分布とエージェント予測分布との間。
- エントロピー・ペナルティ ( $R_H$ ): システムが滑らかな分布ではなく、特定の行動にコミットするように強制するため。
- 重みペナルティ ( $R_p, R_q, R_Q$ ): 事前エージェントとの構造的類似性を維持するため。

実験設定と結果

著者らは、2つの異なるタスクを持つ15×15のグリッドワールドを用いて、本フレームワークを検証した：

Food-Game: 3つの食物アイテムを収集する。
Edge-Game: 左下の端に到達する。

設定:

Food-Gameで訓練されたエージェントが**事前分布（prior）**として機能した。
Edge-Gameで訓練されたエージェントがエキスパートとして機能した。
AEシステムはFood-Gameの事前分布を用いて初期化され、Edge-Gameのエキスパートを模倣するようタスクが与えられた。
攪乱要因: エージェンシー検出をテストするため、ランダムウォークを行う「デコイ（囮）」エージェントが観測ストリームに追加された。

結果:

AEシステムは、構造的に異なる事前分布（Food-Game）を用いて初期化されていたにもかかわらず、エキスパートの方策（Edge-Game）を模倣することに成功した。
極めて重要な点として、システムはエージェンシー検出のタスクを暗黙的に解決した。すなわち、デコイ・エージェントのランダムなダイナミクスを無視し、エキスパートのエージェント的な振る舞いに焦点を当てた。
パフォーマンス指標によれば、35エピソード後、AEエージェントの累積報酬はランダムウォークを大幅に上回り、ベースとなるエキスパート・エージェントのレベルに接近した。

主な貢献

フレームワークの提案: 非教師ありのエージェンシー検出および方策再構成のための、第一原理に基づくフレームワークとしての「人工共感」の導入。
自己参照的な事前分布: 認知科学におけるシミュレーション理論やミラーニューロンのメカニズムに着想を得て、他のエージェントを特定しモデル化するために、自身の学習済みワールドモデル（エージェントのダイナミクス）を事前分布として用いるという斬新な手法。
共同タスクの解決: 単一のアーキテクチャが、ラベルデータなしに、エージェント的な活動と非エージェント的な活動を同時に区別し、かつ基礎となる方策を再構成できることを実証した。

意義と主張

本論文は、この研究をAIアライメント問題を解決するための基礎的なステップとして位置付けている。他のエージェントの目標を検出しモデル化することを可能にすることで、システムは自身の目的と他者の目的を統合した共同方策（ $\pi_\Omega$ ）を構築でき、協力的な振る舞いを促進できる。

著者らは、現在の結果は堅牢性やスケールを示すものではなく、あくまで**実現可能性（feasibility）**を示すものであることを明示している。実験は、単一の攪乱エージェントが存在する、小規模で完全観測可能なグリッドワールドに限定されている。本論文はAIアライメントを解決したと主張しているのではなく、人工共感をフレームワークとして確立することが、他のエージェントを「ケア」できるシステムを開発するための必要条件であると示唆している。今後の課題として、部分観測性、マルチエージェント、および非定常な方策への拡張が挙げられている。