🧠 neuroscience

The unique value of zero prediction errors in reinforcement learning

本研究は、予測誤差がゼロであることは単なる中立的な事象ではなく、心理学的および計算論的に重要な意味を持ち、瞬時的な幸福感、明確な信念状態、そして神経フィードバック処理を能動的に形成することで、人間の強化学習におけるその後の学習に影響を与えることを示している。

原著者： Lloyd, B., Kikumoto, A., Wurm, F., Vives, M.-L.

公開日 2026-07-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Lloyd, B., Kikumoto, A., Wurm, F., Vives, M.-L.

原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

あなたの脳が、超スマートな天気予報士だと想像してみてください。毎朝、あなたは雨が降るかどうかを予想し、それから空を確認します。通常、学習は「間違えたとき」に起こります。もしあなたが「晴れ」と言ったのに土砂降りになったら、脳はこう言います。「おっと！予報を更新しなきゃ！」これは学習の古典的な考え方です。間違いが私たちを前へと突き動かすのです。

しかし、もし完璧に的中したらどうなるでしょうか？あなたが「晴れ」と予想し、実際に太陽が輝いたとしたら。旧来の考え方では、これは単なる退屈な「ニュースなし」の瞬間でした。あなたの脳は、修正すべきエラーがないので、そのままスルーして次に進むはずでした。

新しい研究は、完璧に的中することが、実は脳にとって非常にエキサイティングな出来事であることを示唆しています。それは単なる「エラー・ゼロ」ではありません。それはあなたを幸せにし、学習の仕方を変え、さらには脳を独特な方法で活性化させる特別なシグナルなのです。

「パーフェクト・ヒット」の感覚

研究者たちは、次に現れる数字を当てるゲームを用意しました。数字は可能性の雲（クラウド）からやってきます。時には雲が引き締まっていて（予測しやすい）、時には広く乱雑で（予測しにくい）こともありました。

ここでひねりが加わります。研究者たちは、80ラウンドのうち15ラウンドを、プレイヤーの予想と現れた数字が完全に一致するように密かに仕組んでいました。プレイヤーたちはこれが起きているとは知らず、ただ自分が運が良いのだと思っていました。

プレイヤーに「今、どのくらい幸せですか？」と尋ねたところ、驚くべき結果が出ました。人々が最も幸せを感じたのは、大きな予想外のボーナスを得たときではなく、自分の予測が完璧に正確だったときでした。それは甘美な喜びのスイートスポットのようでした。予測が少し外れたり、大きく外れたりすると、幸福度は下がりました。しかし、あの完璧な「ブルズアイ（中心）」の瞬間はどうでしょう？そこがピークだったのです。

この研究は、私たちの脳がこの「完璧な一致」を、単に良い賞品を得ることとは別の、それ自体が報酬である特別な出来事として扱っていることを示唆しています。それは、「分かってた！本当に分かっていたんだ！」という感覚なのです。

「二つの経路」を持つ脳

では、脳はこの完璧な瞬間をどのように利用しているのでしょうか？研究者たちは3つのアイデアをテストしました：

古いやり方： 完璧な一致は特別なことは何もせず、学習は間違えたときにのみ起こる。
「粘着」するやり方： 完璧な一致は人をただ頑固にし、同じことを予測し続けさせる。
「二つの経路」方式（勝者）： 完璧な一致が起きたとき、脳はそれ専用の秘密の別ファイルを作成する。

研究の結果、「二つの経路」のアイデアが最も適切であることが分かりました。これは、完璧な予測が的中したとき、脳はそれを単に無視するのではなく、完璧な瞬間のためだけの特別な「ゼロ予測エラー」フォルダを開くことを示唆しています。脳は、正しかったときのことだけに基づいた、世界の仕組みに関する別個の信念を保持するのです。

これは、世界が混乱しているとき（不確実性が高いとき）に特に顕著です。物事が混沌として予測しにくいとき、的中することは大きな安堵感をもたらします。研究によると、一般的に不確実性を嫌う人（予測不能な状況になると不安を感じる人）は、この「完璧な一致」のフォルダにより強く依存していました。彼らは、安全を感じるために、自分が正しかった瞬間に強くしがみついていたのです。

脳の「P3」の火花

頭の中で何が起きているのかを見るために、研究者たちは40人のボランティアの頭皮に電極を貼り、脳波を読み取りました。

彼らは、完璧な予測が起きたとき、脳はただ静かになるのではなく、独特の電気的な火花、つまり「P3レスポンス」と呼ばれる大きな活動の波を放つことを発見しました。これは、人々が間違えたときとは異なる動きでした。

ここからが最も面白い部分です。この脳の火花の大きさは、その人の次の行動を予測しましたが、状況に応じて逆方向に働きました：

間違っていた場合： 脳の火花が大きいほど、次回は予想を大きく変える傾向がありました。（火花はこう言っています。「よし、大きなミスだ、修正しよう！」）
正しかった場合： 脳の火花が大きいほど、その予想にさらに固執する傾向がありました。（火花はこう言っています。「完璧だ！これを確定させよう！何も変えるな！」）

まるで、脳が同じ「警告」信号を使って、ミスに対してパニックになって修正するか、成功に対して祝福して倍増させるかを使い分けているかのようです。

これが意味すること

この研究は、これが魔法の治療法であるとか、あらゆる状況で機能するということは言っていません。むしろ、「正解すること」が、単なる一時停止ボタンではなく、強力で能動的な学習ツールであることを示唆しています。

世界を完璧に予測するとき、私たちはただ静止しているわけではありません。私たちは幸福感に包まれ、脳は特別な「私は正しかった」という記憶を構築し、世界が混沌としているときに、その瞬間を利用して自らの信念を安定させているのです。結局のところ、正解することは、間違えることと同じくらい、学習にとって重要なことなのです。

技術的要約：強化学習における予測誤差ゼロの独自の価値

問題提起

強化学習（RL）の理論は伝統的に、学習は予測誤差（PE）——期待値と観察された結果の不一致——によって駆動されると仮定してきた。標準的なモデル（例：Rescorla & Wagner, 1）では、期待と完全に一致する結果（ゼロPE）は、報酬そのもの以上の情報価値を持たない「学習信号の不在」として扱われる。しかし、この枠組みには、「完璧な予測」が心理的に中立的なものなのか、それとも感情、信念更新、および神経処理を能動的に形成する独特で情報に満ちたイベントなのかという問いが残されている。具体的には、ゼロPEが、特に不確実な環境や不確実性への耐性が高い個人において、分離された潜在的な信念状態の形成といった独自の計算メカニズムを誘発するのかどうかは不明である。

方法論

本研究では、行動実験、計算モデリング、および電気生理学（EEG）を組み合わせたマルチモーダルなアプローチを用いて、ゼロPEの影響を調査した。

実験デザイン:

タスク: 参加者は、異なる幅（低、中、高の不確実性）を持つガウス分布から抽出された報酬を予測する「数生成タスク」を行った。
操作: 参加者に知られることなく、ブロック内の18.75%（80試行中15試行）の試行において、報酬の結果が予測と正確に一致するように実験的に制約を設け、「ゼロ予測誤差」を作成した。
測定項目:
- 感情: 参加者は3試行ごとに瞬間的な幸福感を報告した。
- 行動: 試行ごとの予測更新を記録した。
- 神経: 参加者の一部（ $N=40$ ）において、報酬ロックされたEEGを記録し、事象関連電位（ERP）を分析した。
参加者: 2つの実験（オンライン研究 $N=97$ 、およびEEG実験室研究 $N=40$ ）を実施し、合計 $N=137$ とした。

計算モデリング:
階層ベイズ推論を用いて、3つの強化学習モデルを比較した。

PH-standard: 学習率がPEの大きさに比例する標準的なPearce-Hallモデル。ゼロPEでは更新が発生しない。
PH-persist: ゼロPEが「持続（persistence）」状態を誘発し、将来の予測を確認された結果へとバイアスさせる拡張モデル。
ZePE (Zero Prediction Error) モデル: ゼロPEが、標準的な信念状態（ $B_{std}$ ）と並行して追跡される、別の潜在的な信念状態（ $B_{zero}$ ）の形成を誘発するという新しいモデル。最終的な予測は、パラメータ $\omega$ によって制御されるこれら2つの状態の加重混合である。

分析:

行動: 混合効果回帰を用いて、幸福度評価と予測更新を分析した。
モデル比較: Leave-one-outクロスバリデーション（LOO）および期待対数予測密度（ELPD）を用いて、最適なモデルを決定した。
EEG: マス単変量回帰（GLM）およびクラスターベースの置換検定を用いて、PEに対する神経応答を分析した。心理物理学的相互作用（PPI）分析を用い、残留神経活動がその後の行動的な更新を予測するかどうかをテストした。

主な結果

1. 感情的影響：ゼロPEは幸福度を最大化する

「幸福度は正のPEの大きさに比例する」という仮定に反し、参加者はゼロPEの後に最も高い瞬間的な幸福感を報告した。

幸福度はPEの大きさと逆U字型の関係を示し、ゼロでピークに達し、大きな正および負のPEに対しては減少した。
幸福度の計算モデリングにより、報酬の大きさや標準的なPEのみに依存するモデルと比較して、ゼロPEのための特定の項を追加することがモデルの適合性を有意に向上させることが確認された。ゼロPEは、報酬の結果そのものよりも幸福度の強力な予測因子であった。

2. 行動的適応：ZePEモデル

ZePEモデルは両方の実験において行動データに最も良く適合し、PH-standardおよびPH-persistモデルを大幅に上回った。

明確な潜在状態: データは、ゼロPEが、標準的な信念更新を導く別の潜在的な信念状態を誘発するという仮説を支持している。
不確実性による変調: ゼロPEの状態の影響を制御する重みパラメータ $\omega$ は、環境の不確実性が高まるにつれて増加した。参加者は、高不確実性ブロックにおいて、より強くゼロPEの状態に依存した。
個人差: 不確実性への耐性（IUS）尺度のスコアが高いほど、 $\omega$ の値が高くなる傾向があり、これは不確実性を忌避する個人が、信念を安定させるために完璧な予測により大きな重みを置くことを示唆している。
更新パターン: 低不確実性ブロックではゼロPEの後に絶対的な予測更新が大きくなり、この効果は高不確実性下でより強まった。これは、完璧な予測が既存の信念を確認するだけでなく、学習ダイナミクスを能動的に形成していることを示している。

3. 神経学的シグネチャー：明確なEEG応答

EEG分析により、ゼロPEは標準的なPEとは異なる独特の神経応答を引き起こすことが明らかになった。

ERP成分: ゼロPEは、前頭中央および中頭頂部電極において、大きな正のPEに匹敵し、他のPE条件よりも有意に大きい、頑健で持続的な後期陽性応答（P3様成分、500–800 ms）を誘発した。
潜在状態の符号化: 回帰分析により、ゼロPE試行におけるEEG活動はゼロPE潜在信念状態（ $B_{zero}$ ）からの偏差を追跡し、標準的な試行は標準的な信念状態（ $B_{std}$ ）からの偏差を追跡することが示された。
神経・行動結合: 残留EEG活動（モデルで説明されない活動）は、試行タイプに応じて、逆方向の更新を予測した。
- 標準試行: 強力な残留活動は、強化された更新（学習）を予測した。
- ゼロPE試行: 強力な残留活動は、減衰した更新（信念の定着）を予測した。
- この結合は $\omega$ によって変調され、 $\omega$ が高いほどこの解離が増幅された。

意義と主張

著者らは、本研究が、ゼロ予測誤差は中立的なイベントではなく、人間の学習を能動的に形作る独特で情報に満ちた信号であるという最初の系統的な証拠を提供するものであると主張している。

正統的理論への挑戦: 本知見は、学習は不一致を通じてのみ起こるという標準的なRLの仮定に異を唱えるものである。代わりに、「試行と的中（trial-and-hit）」（完璧な予測）は、相補的な学習メカニズムとなる。
内在的報酬: 完璧な予測は、外部の報酬の大きさとは無関係に、不確実性の解消によって、内在的に報酬をもたらす（幸福感を生む）ようである。
計算メカニズム: 本研究は、脳が標準的なPEとゼロPEに対して並行した潜在的な信念状態を維持することを提案している。これらの状態の重み付け（ $\omega$ ）は、環境の不確実性と個人の特性（不確実性への耐性）によって影響を受ける柔軟な制御パラメータである。
神経学的特異性: ゼロPEは、信念を更新するのではなく安定させる役割を果たす（P3様活動に反映される）特定の神経回路を動員しており、これは予測が成功した際の「信念の定着」メカニズムとして機能する。

結論として、完璧に予測された結果は学習にとって不可欠であり、特に不確実性を嫌う個人において、信念を安定させ不確実性を軽減する役割を果たす。これは、期待の確認が、期待の違反と同様に計算的に重要であるという、より複雑な学習アーキテクチャを示唆している。