🤖 AI

Humans' ALMANAC: A Human Collaboration Dataset of Action-Level Mental Model Annotations for Agent Collaboration

本論文は、LLMエージェントが整合したメンタルモデルを維持し、人間の協調行動をシミュレートする能力を訓練および評価する際のギャップを埋めるために設計された、Map Taskにおける人間のダイアディックなコラボレーションから導出された2,987のアクションレベルのメンタルモデル・アノテーションを含むデータセット、ALMANACを紹介するものである。

原著者： Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

公開日 2026-06-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jiaju Chen, Yuxuan Lu, Jiayi Su, Chaoran Chen, Songlin Xiao, Zheng Zhang, Yun Wang, Yunyao Li, Jian Zhao, Tongshuang Wu, Toby Jia-Jun Li, Dakuo Wang, Bingsheng Yao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは友人と一緒に宝の地図を描こうとしている場面を想像してください。ただし、二人は別々の部屋にいます。二人がやり取りできるのは、テキストチャットのみです。一人は「ガイド」であり、正しい経路が描かれたオリジナルの地図を持っています。もう一人は「フォロワー」であり、ランドマーク（山や橋など）は描かれていますが、経路は描かれていない白紙の地図を持っています。

成功するためには、二人で協力しなければなりません。ガイドが経路を説明し、フォロワーがそれを描きます。

これは、ALMANACと呼ばれる新しい研究プロジェクトの核心です。ここでは、研究者たちが何を行い、なぜそれが重要なのかを、日常的な例えを用いて簡単に解説します。

1. 問題点：ロボットは「実行」は得意だが、「共に考える」ことが苦手

現在のAIエージェント（高度なチャットボットなど）は、指示に従うことは得意です。「航空券を予約して」と言えば、彼らはそれを実行します。しかし、真の人間同士のコラボレーションとは、単に指示に従うことではありません。それは**メンタル・アライメント（精神的な一致）**なのです。

人間のチームをジャズバンドに例えてみましょう。彼らは単に楽譜を読んでいるのではありません。常に互いの音を聴き、相手が次にどんな音を奏でようとしているかを推測し、リアルタイムで自分のリズムを調整しています。彼らには「共有されたメンタルモデル（共通の思考モデル）」が存在します。

自己推論： 「なぜ自分はこの音を奏でているのか？」
パートナーの意図： 「相棒は何をしようとしているのか？」
チームの目標： 「私たちはまだジャズを演奏しているのか、それともロックに変わったのか？」

論文では、現在のAIは「自分の楽器を完璧に弾くことはできるが、他のバンドメンバーが何を考えているのか全く理解していないロボット」のようなものであると述べています。既存のデータセットは、人々が「何を言ったか」「何をしたか」を記録していますが、彼らの頭の中にある「なぜ（理由）」を見落としています。

2. 解決策：ALMANAC（「心を読み取る」データセット）

研究者たちは、これを解決するためにALMANACという新しいデータセットを構築しました。彼らは上記の「マップ・タスク」を取り入れ、そこに特別な観察レイヤーを追加しました。

データの収集方法：

ゲーム： 50人の参加者が、ペアになってマップ・タスクを行いました（計25ペア）。
チェックポイント： タスクの進行度が25%、50%、75%に達するたびに、ゲームを一時停止しました。プレイヤーはマイクに向かって素早く答えなければなりませんでした。「今、私たちの目標は何だと思いますか？」「あなたのパートナーは何をしようとしていると思いますか？」「なぜ今、その行動をとったのですか？」
リプレイ： ゲーム終了後、プレイヤーは自分たちの行動のリプレイを視聴しました。すべての動き（線を引く、間違いを消す、メッセージを送るなど）に対して、彼らは再び自分の精神状態をラベル付けしました。

結果：
最終的に、2,987個の具体的なアクションが得られました。そして、そのすべてのアクションに対して、以下の記録が残されました。

行われたアクション（例：「線を引いた」）
チームの目標（例：「橋と山をつなげようとしている」）
パートナーの意図（例：「パートナーが方向について混乱していると思う」）
自己推論（例：「山が左にあると思ったので、これを描いた」）
根拠（ラショナール）（思考プロセスに関する自由形式の説明）

3. 実験：AIは「心を読める」のか？

研究者たちは、6つの異なるAIモデル（GPT-5.5やClaudeなどの大規模なものを含む）をテストし、この新しいデータセットを使用して、人間のようなコラボレーターとして振る舞えるかどうかを検証しました。彼らはAIに2つの役割を与えました。

次の動きを予測する： 「これまでの経過に基づくと、人間は次に何をしますか？」
精神状態を予測する： 「これまでの経過に基づくと、人間は今、何を考えていますか？」

研究結果：

「何をするか」は容易、「なぜするか」は困難： AIモデルは、次のアクション（例：「人間はおそらく線を引くだろう」）を予測することには比較的優れていました。
「心」は難しい： モデルは、内部の思考（メンタルモデル）を予測することに苦戦しました。共有された目標（例：「私たちは橋を作っている」）を推測することはある程度できましたが、個人のプライベートな推論（例：「緊張しているから、このように描いている」）を推測することは非常に困難でした。
役割による違い：
- ガイド（指示を出す側）は、精神的な予測がより困難でした。なぜなら、彼らの思考には、必ずしも言葉に出されない複雑な空間計画が含まれるからです。
- フォロワー（描く側）は、精神的な予測がより容易でした。なぜなら、彼らの思考はガイドによる明示的な指示によって直接形作られるからです。
学習の効果： この特定のデータセットを用いて（ファインチューニングにより）小さなAIモデルを「教育」すると、そのモデルは人間のような行動をシミュレートすることが非常に上手くなり、巨大で高価なモデルに肉薄しました。

4. 結論

本論文は、AIを真のコラボレーターにするためには、単にタスクを完了させる方法を教えるだけでは不十分であると結論付けています。私たちは、人間が共に作業している時にどのように考えているかを教える必要があります。

ALMANACは、人間の行動と、これらの「アクションレベルのメンタルモデル」を組み合わせた最初のデータセットです。これは、AIが人間の行動をシミュレートすることには長けてきていても、人間同士のチームワークを成立させている「目に見えない内部的な推論」を理解することには、まだ苦労していることを示しています。このデータセットは、AIが単に命令に盲従するのではなく、自身のメンタルモデルを人間のものと一致させる方法を教えるための「補助輪」を提供するものです。

技術要約: ALMANAC

問題提起

大規模言語モデル（LLM）エージェントの最近の進歩は、多段階の推論やツールの使用といった複雑な認知能力を彼らに授け、人間との潜在的な協力者としての地位を確立させた。しかし、効果的なコラボレーションには、単なるタスクの完了以上のものが必要である。すなわち、自身の行動、認識されたパートナーの意図、および共有されたチーム目標に対する理解といった、自己の推論を含む「メンタルモデル」の継続的な維持と整合（アライメント）が必要となる。

現在の人間とエージェントのコラボレーション研究およびベンチマーク（例：ToolBench、WebArena、MultiAgentBench）は、主にタスク指向のやり取りや独立したタスク完了を評価している。これらは、アクションレベルのメンタルモデル・アノテーションを含む、真正な人間同士のコラボレーションデータを欠いている。既存の人間同士のデータセットは、観察可能な相互作用（対話、結果）は捉えているものの、協調行動の背後にある重要な認知的内容を欠落させている。その結果、コミュニティには、プロセスレベルの協調能力、および人間の協調行動をシミュレートし、潜在的な精神状態を推論する能力をエージェントに導くためのデータが不足している。

手法

データセット構築: ALMANAC

このギャップを埋めるため、著者らは、社会科学における古典的な二者間ルーティングタスクである「マップ・タスク（Map Task）」から派生したALMANAC（Action-Level Mental model ANnotations for Agent Collaboration）を提示する。

タスク設計: 2人の参加者（ガイドとフォロワー）が、テキストベースのコミュニケーションとワークスペース上のアクション（描画、消去）を通じて、マップ上にルートを再現するために協力する。ガイドはルート全体を把握しており、フォロワーはランドマークのみを把握している。
実験条件: キャンバスの可視性を被験者間因子として操作する：
- $C_{not\_visible}$ : ガイドはフォロワーのリアルタイムの描画を見ることができない。
- $C_{visible}$ : ガイドはフォロワーのライブキャンバスを閲覧できる。
アノテーション・フレームワーク: チームワークのプロセス、状況認識、および共通基盤（Common Ground）の理論に基づき、以下の2段階のプロセスを通じて、アクションレベルでのメンタルモデルを捉える：
1. セッション中のチェックポイント: タスク進行の25%、50%、75%の時点で、参加者はチーム目標、パートナーの意図、および自己の推論について、音声録音による簡潔なリアルタイム報告を行う。
2. セッション後の回顧的ラベル付け: タスク終了直後、参加者は自身の行動軌跡とスクリーンショットをレビューする。すべての行動に対して、以下を提供する：
  - 自由形式の根拠（Rationale）: 行動の背後にある認知プロセスを説明する。
  - 構造化ラベル: 「チーム目標（Team Goal）」、「認識されたパートナーの意図（Perceived Partner Intent）」、「自己の推論（Self-Reasoning）」に関するカテゴリ選択、およびアライメント状態のインジケーター。
データ規模: データセットは、25の二者間セッションにおける50人の参加者から得られた2,987個のコラボレーション・アクションで構成される。LLMによる処理を容易にするため、アクションは離散的なグリッド表現に標準化されている。

ベンチマーク実験

著者らは、6つのLLM（オープンソース/プロプライエタリの4つ：Qwen3.6-35B, Llama 3.3 70B, GPT-5.5, Claude 4.6 Sonnet、およびファインチューニングされた2つ：Qwen3-4B, Qwen3-30B-A3B）を、以下の2つのタスクで評価した：

次ターンの行動予測: 相互作用の履歴とペルソナが与えられたとき、次のアクション（メッセージ、描画、消去など）を予測する。
メンタルモデル予測: 次のターンの参加者の精神状態（チーム目標、パートナーの意図、自己の推論、根拠）を予測する。

実験では、標準的なプロンプティング、ALMANACによるファインチューニング、およびグラウンドトゥルースのメンタルモデル・アノテーションを入力信号として含める手法を比較した。

主な貢献

ALMANACデータセット: 真正なコラボレーション行動と、理論に基づいたアクションレベルのメンタルモデル・アノテーションを組み合わせた、初の人間によるコラボレーション・データセット。
アノテーション・フレームワーク: セッション中のチェックポイントとセッション後の回顧的ラベル付けを組み合わせ、個々の行動の粒度で動的なメンタルモデルと自由形式の根拠を捉える新しい設計。
実証的ベンチマーキング: 6つのLLMを包括的に評価し、メンタルモデルのアノテーションは協調行動を予測するための有用な信号を提供するものの、現在のモデルはプライベートな推論プロセスを推論することに苦慮していることを示した。

結果

次ターンの行動予測

役割の非対称性: ガイドの次の行動（メッセージに限定される）の予測は極めて容易（精度100%）であったが、フォロワーの行動（描画、消去、解釈を含む）の予測は著しく困難であった。
可視性の影響: モデルは一般に、 $C_{visible}$ 条件よりも $C_{not\_visible}$ 条件において高い性能を示した。著者らは、これは可視条件における行動の多様性の高さと、テキスト履歴のみからは推論が困難な視覚的に根ざした修正への依存に起因すると考えている。
メンタルモデルの影響: グラウンドトゥルースのメンタルモデル・アノテーションをインプットとして追加すると、特に $C_{not\_visible}$ 条件における描画の正確性において、フォロワーの行動予測の性能が向上した。これは、フォロラーの行動がガイドのアクションよりも潜在的な推論状態に深く根ざしていることを示唆している。
ファインチューニング: ALMANACでファインチューニングされた小型モデル（Qwen3-4B）は、大型のプロプライエタリモデルに匹敵する性能を達成しており、コラボレーション特化型のデータによる標的を絞った指導が、大型モデルとの差を埋められることを示している。

メンタルモデル予測

予測可能性の階層: チーム目標とパートナーの意図は、自己の推論よりも有意に予測が容易であった。これは、共有された要素は対話や進行状況に反映されやすい一方で、自己の推論は明示的に表現されないプライベートな動機を捉えるものであるという観察と一致する。
役割の非対称性: フォロワーのメンタルモデルは、ガイドのメンタルモデルよりも予測が容易であった。ガイドの推論は複雑な空間計画とパートナーのモニタリングを含んでおり、相互作用の履歴のみから推論することが困難である。
ファインチューニングの有効性: ファインチューニングされたモデル（特にQwen3-4B）は、プロンプトベースのモデルと比較して、フォロワーのメンタルモデルと根拠の予測において優れた性能を示した。これは、ALMANACがコラボレーションに関連する推論を学習するための効果的な指導を提供することを示唆している。
限界: すべての条件下で一貫して他を圧倒する単一のモデルは存在しなかった。自己の推論予測における低い精度は、プライベートなメンタルモデルを推論することの難しさを浮き彫りにしている。

意義と主張

本論文は、ALMANACが、単なるタスク解決者ではなく、真の協調パートナーとして機能するLLMエージェントを開発するための基礎的なリソースを提供すると主張している。

診断的価値: 結果は、メンタルモデルのアノテーションは相互作用の履歴を超える信号を提供するものの、現在のLLMはそれらをプライベートな推論の推論に信頼性を持って活用できていないことを示している。共有された状態（チーム目標）の予測とプライベートな状態（自己の推論）の予測の間のギャップは、効果的なコラボレーションを駆動する認知プロセスをシミュレートする能力における、現在のモデルの根本的な限界を浮き彫りにしている。
プロセスレベルの能力: 真正な人間のデータと理論に基づいたアノテーションに根ざすことで、ALMANACは、タスク完了のみに焦点を当てた現在のエージェント・ベンチマークにおける決定的な欠陥に対処し、メンタルモデルを維持・整合させることができるエージェントへの道を開くものである。
限定的な範囲: 著者らは、回顧的報告への依存（想起バイアスを受けやすいこと）、大規模なNLPベンチマークと比較したデータセットの規模の小ささ、および単一のタスク領域（マップ・タスク）への制限といった限界を認めている。彼らは、これらの知見を多様で現実世界のドメインに拡張し、より優れた空間理解のためのマルチモーダルなアプローチを探求するために、今後の研究が必要であると述べている。