テクニカル・サマリー：溝を埋める：人間とLLM生成タスク間の乖離

問題提起

大規模言語モデル（LLM）は、仮想世界において自律的な振る舞いをシミュレートできる生成エージェントの創出を可能にしてきたが、これらのモデルが人間と同じ認知原理に基づいて動作しているかどうかは依然として不透明である。現在の性能ベンチマーク（TaskBench、AgentGenなど）は、計画能力や自動化能力に焦点を当てているが、「LLMは真に人間の目標設定を駆動する深い認知メカニズムを複製しているのか、それとも単に表面的なパターンを模倣しているだけなのか」という根本的な問いを見落としがちである。

人間の自律的な目標設定は、以下の2つの核心的な柱によって駆動されると理論化されている：

1. 価値駆動型のモチベーション： 個人の何が望ましいと感じるかを導く、安定した個人的価値観（例：変化への開放性 vs 保守性）。
2. 身体化された経験： 現実の世界における行動を地に足のついたものにする、感覚運動的な制約および物理的・社会的環境との蓄積された相互作用。

著者らは、純粋にテキストのみで学習された現在のLLMは、価値の優先順位付けのための内部メカニズムや、人間のような身体化された目標を生成するために必要な感覚運動的な接地（グラウンディング）を欠いていると仮説を立てている。本研究は、心理学的プロファイルを提供することがこのギャップを埋められるかどうかを判断するために、人間とLLMのタスク生成の間の乖離を定量化することを目的とする。

方法論

本研究では、人間のタスク生成とGPT-4oのタスク生成を比較するために、2つの実験デザインを採用した。

実験1：タスク生成

• 参加者： Prolificを通じて募集された176名の人間。
• 設計： 以下の変数を操作する2×2被験者間要因デザイン：
  • 環境の複雑性： 高（3着のリビングルームのアイテム） vs 低（高アフォーダンスの娯楽オブジェクトを除いた25個のアイテム）。
  • 社会的文脈： 社会的（「人物」アイコンの存在） vs 非社会的（「マネキン」の存在）。
• 手順： 参加者は、提供されたアイテムを使用して「時間を潰す」ためのタスクを少なくとも3つ生成するよう求められ、タイトル、オブジェクト、セットアップ、目標、およびスコアリングの詳細を記述した。
• 心理学的測定： 生成に先立ち、参加者は以下を完了した：
  • PVQ21： 個人的価値観（変化への開放性 vs 保守性、自己利益 vs 自己超越）を測定するため。
  • TWS質問票： 認知スタイル（直感的 vs 系統的）を測定するため。
  • BFI-2： 社会性を測定するため。
• LLM条件：
  • Raw（生）条件： GPT-4oはタスクプロンプトのみを受け取る。
  • Matched（一致）条件： GPT-4oはタスクプロンプトに加え、対応する人間の参加者の完全な心理学的プロファイル（価値観と認知スタイル）を受け取る。
  • 両方のLLM実行では、多様性を促進するために温度（temperature）を1.0とした。

実験2：タスク属性の評価

• 参加者： 75名の独立した評価者。
• 刺激： 人間が生成したタスク（575個）と、Matched GPT-4oが生成したタスク（176個、プロファイルごとに1つ）のサブセット。
• 手順： 評価者は、以下の次元において0〜10のスケールでタスクを評価した：
  • 創造性： 楽しさ、新規性。
  • 身体性（エンボディメント）： 精神的負荷、身体的負荷、身体部位の関与、全体的な難易度。
• 分析： 評価者間信頼性を確認（ICC 0.58–0.90）。統計的比較には、トピック分布にはカイ二乗検定を、評価された属性にはマン・ホイットニーのU検定を用いた。

主な結果

1. ヒューマン・シグネチャー：価値駆動型かつ環境感受性

人間のタスク生成は、心理的特性によって系統的に予測された：

• 価値観： 「変化への開放性」が高いほど、より新規性が高く楽しいと評価されるタスクを生成することが有意に予測された。「自己利益」にはそのような関係は見られなかった。
• 認知スタイル × 環境： 思考スタイルと環境の複雑性の間に交互作用効果が観察された。系統的な思考スタイルを持つ個人は、単純な環境においてより楽しいタスクを生成し、直感的な思考スタイルを持つ個人は、複雑な環境においてより多様なタスクを生み出すことで成功した。これは、人間が環境の要求に対して認知戦略を柔軟に適応させていることを示唆している。

2. 人間とLLMのギャップ

心理学的プロファイルに基づいた条件付けを行ったにもかかわらず、GPT-4oは人間の行動シグネチャを再現することに失敗した：

• テーマのバイアス： LLMは抽象的な「精神的・芸術的」タスク（例：音楽、執筆）への強いバイアスを示した（Matched GPTの出力の74%を占める）。対照的に、人間は「リラクゼーションおよび家事」活動を含むバランスの取れた混合を生成した（人間は32%、LLMは約5%）。
• 社会的欠如： 社会的文脈において、人間のタスクの58%はマルチプレイヤー/社会的であったが、LLMが社会的タスクを生成したのは24〜29%であった。
• 身体性のギャップ： LLMのタスクは、人間よりも有意に精神的負荷が高く、身体的負荷が低いと評価された。これらは腕や下半身の関与が少なく、感覚運動的な接地（グラウンディング）の欠如を反映していた。
• 創造性のパラドックス： これらのギャップにもかかわらず、LLMが生成したタスクは、人間よりも新規性が高く、楽しいと評価された。著者らは、これをLLMが物理的な実現可能性や社会的規範に縛られない組み合わせ的な創造性を生み出す能力によるものと考えており、おそらく、日常的なリアリズムよりも即時的なエンゲージメントを最適化するRLHF（人間からのフィードバックによる強化学習）のアライメントによって増幅されている。

主な貢献

1. ヒューマン・シグネチャの証拠： 本研究は、自律的な人間のタスク生成が、安定した個人的価値観（特に変化への開放性）や認知スタイルによって系統的に形成されるという行動的証拠を提供し、目標設定における価値駆動型の説明を支持している。
2. LLMの限界の特定： 明示的な心理学的プロファイルを与えられたとしても、LLMは核心的な人間のシグネチャを示すことができないことを本研究は示している。LLMは価値の優先順位付けのための内部メカニズムを欠いており、抽象化へのテーマ的バイアスを持ち、物理的および社会的現実から切り離された出力を生成する。
3. 「非接地された創造性」のトレードオフ： 本研究は、LLMが物理的・社会的制約に接地していないからこそ、非常に創造的で新規性が高いと知覚されるテキストを生成できるという、決定的な断絶を浮き彫りにしている。

意義と主張

本論文は、価値駆動型で身体化された性質を持つ人間の認知と、LLMの統計的パターンとの間には核心的なギャップが存在すると結論付けている。

• AI研究に向けて： これらの知見は、真に人間と整合した自律エージェントを作成するには、LLMのスケールアップやテキストへのファインチューニング以上のものが必要であることを示唆している。言語的な習熟度と身体化された目標生成の間のギャップを埋めるためには、内発的動機付けシステム、世界モデル、および感覚運動的な接地を組み込むことが不可欠である。
• 認知科学に向けて： 本研究で提案されたテキストベースのタスク生成パラダイムは、目標設定を自然な文脈で研究するためのスケーラブルなツールを提供し、人間と機械の出力との間の新たな比較を可能にする。

著者らは、本研究が単一のアーキテクチャ（GPT-4o）とテキストベースのパラダイムに焦点を当てていることを踏まえ、これらの知見の一般性をテストするために、より広範なモデル範囲やインタラクティブな3D環境へと研究を拡大する必要があるとし、控えめな立場をとっている。