Humans use a dual policy to improve inferences during epistemic information seeking

この研究は、人間が報酬の獲得だけでなく世界を理解するために情報を収集する際、仮説を検証する「ストリーキング」と不確実性に基づく探索という 2 段階のポリシーを採用することで、ノイズのある信念更新下でも推論精度を向上させていることを示しています。

要約

この論文は、私たちが「新しいことを学びたい」と思うとき、脳がどのように情報を集めているかを解明した面白い研究です。

一言で言うと、**「私たちは新しいことを知ろうとするとき、まず『一か所を徹底的に調べる』という、一見非効率に見える独特な癖を持っている」**という発見です。

これをわかりやすく、3 つのポイントで解説しますね。

1. 2 つの「探検モード」がある

私たちが新しい場所や物事を調べる時、脳は実は 2 つの異なるモードを使い分けています。

• モード A：お宝探し（報酬重視）

  • 例： 自動販売機で「一番美味しいお菓子」を探す。
  • 行動： 「これ美味しそうだな」と思ったら、すぐにそのお菓子を買い続ける。失敗したら次に移る。
  • 特徴： 「今、一番得になりそうなもの」を選びます。

• モード B：好奇心探検（知識重視）

  • 例： 知らない街を歩き回り、「この街の地図」を頭の中で作りたい。
  • 行動： ここでは「美味しいお菓子」ではなく、「この袋に入っている宝石の色は何だろう？」という謎を解くことが目的です。
  • 特徴： すぐに答えが出なくても、**「何がわからないか（不確実性）」**を減らすために動きます。

この研究では、この「モード B（知識重視）」の時に、人間がとる驚くべき行動に焦点を当てました。

2. 「ストリーキング（連続採掘）」という不思議な癖

実験では、参加者は 2 つの袋（それぞれ青い宝石が主か、オレンジ色が主か分からない）から宝石を一つずつ取り出しました。

ここで面白いことが起きました。
人間は、新しい袋を初めて見たとき、**「一度選んだ袋を、すぐに切り替えずに、何回も連続して開ける」**傾向がありました。

• 人間の行動： 「袋 A を開ける→青かった」「袋 A を開ける→青かった」「袋 A を開ける→青かった」→「よし、袋 A は青っぽいな」と確信してから、やっと袋 B に移る。
• この行動の名前： 論文ではこれを**「ストリーキング（連続採掘）」**と呼んでいます。

【イメージしやすい例え】
これは、**「新しい料理屋さんに初めて行ったとき、メニューの『特選セット』を 3 回も注文して、味が本当に合うか確認してから、次に違うメニューを試す」ようなものです。
一見すると「同じものばかり食べているから、他のメニューも試すべきでは？」と思えますが、人間はこうして「一つの仮説（この店は青い宝石が主だ）を、根拠が揃うまで徹底的にテストする」**のです。

3. なぜ人間はこんなことをするの？（AI との違い）

研究チームは、この行動を再現するために**人工知能（AI）**にも同じゲームをさせました。

• AI の結果： AI は「最も情報が足りない袋」を選ぶことはすぐに学びましたが、「同じ袋を連続して開ける」という癖は全く身につけませんでした。 AI は合理的に、常に「一番わからない方」を交互に選んでいました。
• 人間の結果： 人間は、この「一見非効率な連続採掘」をする人ほど、最終的な推論の精度が高かったのです。

【なぜ？】
人間の脳は、情報を処理するときに少しの「ノイズ（雑音）」や「記憶のすり減り」があります。

• AI のように交互に選ぶと： 記憶が薄れ、ノイズが混じって、どっちがどっちだか混乱しやすくなります。
• 人間のように連続して選ぶと： 短期間で同じ情報を大量に浴びることで、「この袋は青い！」という確信を、ノイズに負けないくらい強く、鮮明に脳に焼き付けることができます。

つまり、「同じことを繰り返す」という一見無駄に見える行動は、人間の脳が「ノイズだらけの世界」で正しく判断するために、実はとても賢い戦略だったのです。

4. 性格との関係

さらに面白いことに、この「連続採掘」をするかどうかは、人の性格と関係していました。

• すぐに結論を出したい人（認知の閉鎖性が高い人）： 「早く答えが知りたい！」と思う人は、同じ袋を何回も開けるのを嫌がり、すぐに切り替えてしまいます。
• じっくり考える人： 結論を急がない人は、この「連続採掘」をよく行い、結果としてより正確な判断ができました。

まとめ

この論文が教えてくれるのは、**「新しいことを学ぶとき、次々と手当たり次第に試すのが一番良いとは限らない」**ということです。

人間の脳は、**「一度に一つのことを、根拠が揃うまで徹底的に掘り下げる（ストリーキング）」**という、AI にはない独自の戦略を持っています。それは、私たちが不完全な脳で、それでも正確に世界を理解しようとするために進化した、とても賢い「人間の知恵」なのです。

「あれこれ手を出しすぎず、まずは一つに集中して深く調べる」という行動は、実は科学的にも理にかなっていたんですね！

技術概要

以下は、提示された論文「Humans use a dual policy to improve inferences during epistemic information seeking（人間は認識的情報探索において推論を向上させるために二重の方策を用いる）」の技術的サマリーです。

1. 研究の背景と問題設定

日常の意思決定は、報酬の獲得だけでなく、世界についての学習（知識の獲得）を目的とすることが多い。従来の心理学・神経科学における「探索・利用のジレンマ（explore–exploit dilemma）」研究は、主に報酬最大化の文脈（バンドット課題など）で展開されてきた。しかし、報酬に直接結びつかない純粋な**認識的情報探索（epistemic information seeking）**において、人間がどのような方策（ポリシー）を採用し、それがどのように推論精度に影響するかは十分に解明されていなかった。

本研究の核心的な問いは以下の通りである：

• 報酬を排除した純粋な情報探索タスクにおいて、人間はどのように情報を収集するか？
• 人間の探索戦略は、最適化された人工知能（ニューラルネットワーク）とどう異なるか？
• 個体差（心理特性や認知能力）は、これらの探索戦略とどう関連しているか？

2. 研究方法

参加者: 合計 702 名の参加者（主要分析には 420 名、追加の個人差分析には 391 名）を対象とした大規模オンライン実験。

実験課題:
2 つの条件（MATCH 条件と GUESS 条件）を比較する逐次サンプリング課題。

• 課題構造: 2 つの「袋（オプション）」があり、それぞれ青またはオレンジの宝石が混在している（支配的な色が存在するが、確率的に誤りがある）。参加者は宝石を 1 つずつ取り出し、色の分布を推測する。
• MATCH 条件（報酬探索）: 特定のターゲット色（例：青）に一致する宝石を可能な限り多く集めることを目的とする。即時報酬の最大化が求められる。
• GUESS 条件（認識的情報探索）: ターゲット色は存在せず、最終的に「どちらの袋がどちらの色支配的か」を推測する。サンプリング段階では報酬は発生せず、最終的な推論精度のみが評価される。

分析手法:

1. モデルフリー解析: 行動データから選択パターン（不確実性指向、反復傾向など）を直接分析。
2. 計算論的モデリング: 人間の行動を記述するための拡張された証拠蓄積モデル（Suboptimal Evidence Accumulation Model）を構築し、パラメータ推定を行った。
   • 主要なパラメータ：不確実性感度（$\beta_c$）、報酬感度（$\beta_v$）、反復バイアス（$\beta_r$）、学習ノイズ（$\sigma$）、記憶漏れ（$\delta$）。
   • 新規要素: 初期段階での「ストリーキング（streaking）」を記述するための閾値（$\theta$）と反復確率（$\varepsilon$）を導入。
3. 再帰型ニューラルネットワーク（RNN）のトレーニング: 人間と同じタスクを、異なる目的関数（報酬最大化、状態予測、メタ認知確信最大化）で最適化された RNN に学習させ、人間と AI の戦略の差異を比較。
4. 個人差分析: 認知閉塞への欲求（NFCS）や一般認知能力（ICAR）などの心理尺度と、計算モデルで推定されたパラメータとの関連を回帰分析・媒介分析で検証。

3. 主要な結果

A. 二重の方策の発見（ストリーキングと不確実性指向探索）

• MATCH 条件: 参加者はターゲット色に一致するオプションを選択する「報酬指向探索」を示した。
• GUESS 条件: 参加者は全体的に「不確実性指向探索」（最も不確実なオプションを選ぶ）を示したが、ゲーム序盤（試行 2〜5 程度）に特有の「ストリーキング」現象が観察された。
  • ストリーキング: 一度選んだオプションを、そのオプションに対する信念が一定の閾値を超えるまで、連続して反復してサンプリングする行動（例：A, A, A, A, B, B, B...）。
  • この行動は、仮説検証の初期段階において、一時的に「確実な」オプションを繰り返し試すことで、暫定的な仮説を迅速に確立しようとする局所的な方策である。
• モデル適合性: 計算モデルの適合度比較（ELBO）により、GUESS 条件の行動は「初期ストリーキング段階＋その後の不確実性指向探索」という二段階モデルで最もよく説明されることが示された。

B. 計算モデルと RNN による検証

• RNN の結果: 状態予測やメタ認知確信を最大化するようにトレーニングされた RNN は、人間と同様の「不確実性指向探索」を獲得したが、「ストリーキング」行動は自発的に獲得しなかった。
• ストリーキングの機能: RNN によるシミュレーション（ノイズ除去実験）により、ストリーキングは「学習ノイズ（信念更新の誤差）」が存在する環境において、推論精度を向上させる適応的な役割を果たすことが示された。ノイズがある場合、一度の選択で切り替えるよりも、一時的に集中してサンプリングする方が、信念の安定化に寄与する。

C. 個人差と心理的特性の関連

• 二重の方策の相関: ストリーキング傾向（EoS）と不確実性指向探索感度（$\beta_c$）は、同じ個人内で正の相関を示す（両方が高い人は高い）。
• 心理的特性との二重分離（Double Dissociation）:
  • 認知閉塞への欲求（NFCS）: ストリーキング傾向（EoS）と負の相関。閉塞欲求が高い（結論を急ぎたい）人は、ストリーキング（一時的な集中と忍耐）を行わず、推論精度が低下する。
  • 一般認知能力（ICAR）: 不確実性指向探索感度（$\beta_c$）と正の相関。認知能力が高い人は、不確実性を適切に評価して探索を行う。
• 結論: 動機的特性（NFCS）は局所的なサンプリングルール（ストリーキング）に影響し、認知能力（ICAR）はグローバルな探索方策（不確実性指向）に影響を与える。

4. 主な貢献

1. 認識的情報探索における二重方策の解明: 報酬探索とは異なり、純粋な知識獲得においては「局所的なストリーキング（仮説検証のための反復）」と「グローバルな不確実性指向探索」が組み合わさった二重構造が働くことを実証した。
2. 人間と AI の戦略的差異の特定: 最適化された RNN はグローバルな探索戦略は学習できるが、人間の「ストリーキング」のような、一見非効率的に見える局所的なルールは獲得できないことを示し、これが人間の認知制約（ノイズ耐性など）に由来する独自の方策であることを示唆した。
3. ノイズ耐性としてのストリーキング: 人間の脳には学習ノイズが存在するため、最適化された理論的な方策（常に不確実な方を選ぶ）よりも、ストリーキングのような構造化されたサブオプティマルな方策の方が、実際の推論精度を高めるという逆説的な知見を提供した。
4. 個人差の計算論的解像: 心理特性（NFCS, ICAR）が、単に行動の傾向として現れるだけでなく、計算モデルの異なるパラメータ（局所的閾値 vs. グローバル感度）を通じて推論パフォーマンスに影響を与えることを明らかにした。

5. 意義

本研究は、人間の情報探索行動が単一の「探索・利用」トレードオフで説明されるものではなく、「グローバルな最適化の方策」と「局所的な認知制約に適合したサブオプティマルなルール」が共存・協調する多層的なシステムであることを示した。

特に、ストリーキングのような行動が「非合理的」ではなく、ノイズのある神経計算環境において推論精度を高めるための適応的メカニズムとして機能している点は、人間の認知プロセスの理解に新たな視点を提供する。また、AI 開発において、単なる目的関数の最適化だけでなく、人間の認知制約や学習ノイズを考慮したアーキテクチャや学習則の重要性を浮き彫りにしている。