Stimulus prior and reward probability differentially affect response bias in perceptual decision making

ラットを用いた 5 つの実験により、報酬比率の変化が刺激提示比率の変化よりもはるかに強く反応バイアスに影響し、その学習速度が 10 倍以上異なることが示されたが、既存のモデルではこの差を説明できず、被験者は刺激の事前確率や分布を明示的に表現している可能性が示唆された。

要約

この論文は、**「ラット（ネズミ）が、音の聞き分けゲームをするとき、どうやって『正解』の基準を調整しているのか」**という不思議な現象を解明しようとした研究です。

まるで**「探偵が、証拠を元に犯人を特定する」**ようなプロセスを、脳の中でどう行っているのかを調べる実験でした。

以下に、難しい専門用語を避け、日常の例え話を使って分かりやすく解説します。

---

1. 実験の舞台：音の聞き分けゲーム

まず、実験に使われたラットたちを想像してください。彼らは「音の聞き分けゲーム」をやっていました。

• ゲームの内容: 2 種類の音（A 音と B 音）が流れます。ラットは「どちらの音か？」を判断し、左の穴か右の穴に鼻を突っ込んで答えます。
• ご褒美: 正解したら、美味しいお水がもらえます。
• ルールの変化: 研究者は、ゲームのルールをこっそり変えてみました。
  1. 音の出現頻度を変える: 「A 音」が 8 割、「B 音」が 2 割のように、どちらか一方の音がよく出るようにする。
  2. ご褒美の確率を変える: 「A 音」に正解したら 8 割の確率でお水、「B 音」に正解したら 2 割の確率でお水、のようにご褒美の確率を変える。

2. 核心の問い：「基準」はどう変わる？

人間もラットも、このゲームをするとき、脳の中に**「判断の基準（シフト）」**を持っています。

• もし「A 音」が頻繁に出るなら、「とりあえず A 音だと思って答えておこう」と基準を A 側に傾けます。
• もし「A 音」に正解するとご褒美がもらいやすいなら、「A 音に賭けておこう」と基準を A 側に傾けます。

この研究の目的は、「音の頻度（出現回数）」と「ご褒美の確率（もらえる確率）」のどちらが、ラットの判断基準をより大きく動かすのか？ を突き止めることでした。

3. 驚きの発見：「ご褒美」の方が圧倒的に強い！

実験の結果、面白いことが分かりました。

• 音の頻度を変えても: ラットは少しだけ基準を動かしますが、あまり激しく動きません。
• ご褒美の確度を変えると: ラットは**「えっ、こっちの方がお得だ！」と気づき、基準をガクンと大きく動かします。**

【イメージ例え】

• 音の頻度（SPR）: 「毎日、隣の部屋から『猫』の鳴き声が 8 回聞こえる」ような状況。
  • ラットの反応：「あ、猫が多いんだな。でも、本当に猫がいるか分からないから、少しだけ猫だと思い込んでおこうかな」
• ご褒美の確率（RR）: 「猫の鳴き声に正解したら、高級な魚が 8 割の確率でもらえる。犬の鳴き声だと、おやつが 2 割しかもらえない」
  • ラットの反応：「おいしすぎる！魚がもらえる方（猫）に賭けるしかない！基準を猫側にガッツリ寄せる！」

結論： ラットにとって、「音の頻度」よりも「ご褒美の確率」の方が、判断基準を動かす力が10 倍以上も強いことが分かりました。

4. 矛盾した実験：どちらを信じる？

さらに面白い実験もしました。
「音は『猫』の方が 8 割出るけど、ご褒美は『犬』の方が 8 割もらえる」という、矛盾するルールにしました。

• 理想的なラットなら: 「音の頻度」と「ご褒美」を掛け合わせて計算すれば、どちらに賭けるべきか（中立）が分かるはずです。
• 実際のラット: 「ご褒美の方」を信じて、「犬」に賭ける方へ基準を大きく動かしました。

これは、ラットが「音の頻度」を無視しているわけではなく、「ご褒美のインパクト」の方が脳内で圧倒的に優先されていることを示しています。

5. 既存のモデル（計算式）はなぜ失敗した？

研究者たちは、この行動を説明するために、3 つの有名な「脳の計算モデル」を使ってみました。

1. 信号検出モデル（KDB モデル）: 過去の成功・失敗から基準を少しずつずらす。
2. マッチング則モデル（DT モデル）: 得られたご褒美の比率に合わせて行動を調整する。
3. 強化学習モデル（RL モデル）: 「この行動を選べば、どれくらい得するか」を学習する。

しかし、どのモデルも、今回の実験結果（特に「ご褒美の方が強い」という点）を完全に再現できませんでした。
特に、音の頻度とご褒美の確率が矛盾する状況では、モデルは「中立」を予測するのに対し、ラットは「ご褒美」に偏りました。

【なぜ失敗したのか？】
今のモデルは、「音の頻度」を脳がどう扱っているかを十分に考慮していません。
ラットは、単に「ご褒美の確率」を計算しているだけでなく、「今、どんな音が流れているか（音の分布）」を頭の中でイメージしながら、その上で「ご褒美」を評価しているのではないか？と考えられます。

6. まとめ：何が分かったのか？

1. ご褒美が王様: 判断基準を変えるとき、ラットにとって「ご褒美がもらえる確率」は、「音が鳴る頻度」よりもはるかに強力な影響力を持っています。
2. 学習の速さ: ご褒美の確率が変わると、ラットは非常に速く（10 倍の速さで）学習して基準を変えます。
3. 報酬の量（密度）は関係ない: 「1 回ご褒美がもらえる確率」は同じでも、「1 時間に何回ご褒美がもらえるか（全体の密度）」を変えても、学習の速さにはあまり影響しませんでした。
4. 新しいモデルが必要: 今の「脳の計算式」は不完全です。これからの研究では、**「ラットが音の頻度をどう頭の中で理解し、それをどうご褒美と結びつけているか」**を詳しく描ける新しいモデルを作る必要があります。

一言で言うと：
ラットは、単なる「確率の計算機」ではなく、**「ご褒美の匂いに敏感な、賢い探偵」**でした。彼らは、ご褒美がもらえる可能性に強く反応し、そのために判断基準を大きく変えるのです。この「ご褒美への反応の強さ」を説明できる新しい脳の理論が、今後の研究の鍵となります。

技術概要

1. 問題設定 (Problem)

信号検出理論（SDT）は、二つの刺激から一つを選ぶ課題において、被験者が「証拠変数」を静的な「決定基準（criterion）」と比較して判断を下すと仮定しています。しかし、実際にはこの決定基準は試行ごとに変動し、実験操作（SPP や RP の偏り）によって影響を受けることが知られています。

既存の研究では、SPP と RP の偏りがともに反応バイアスを生じさせることは示されていますが、以下の点について未解明な部分がありました。

• SPP の操作と RP の操作は、反応バイアス（基準のシフト）に対して同程度の影響を与えるのか、それとも異なるメカニズムで作用するのか？
• 報酬密度（Global Reward Rate、全体の報酬獲得率）は、基準の学習速度に影響を与えるのか？
• これらの要因を説明できる、試行ごとの学習メカニズムを備えた計算モデルは存在するのか？

2. 手法 (Methodology)

実験対象と課題

• 対象: 9 匹の雄性ラット。
• 課題: 2 刺激（S1, S2）- 2 選択（R1, R2）の聴覚弁別課題。
  • 刺激：中心周波数が異なる 12 音の和音。
  • 反応：中央のノーズポートから刺激提示後、左右のポートのいずれかを突く。
  • 報酬：正解時に水（30µl）が与えられる。

実験デザイン（5 つの実験）

1. 実験 1 (SPP 操作): 報酬確率を固定（0.5:0.5）し、刺激提示比率（SPP）を 1:4 から 4:1 まで変化させた。
2. 実験 2 (RP 操作): 刺激提示比率を固定（0.5:0.5）し、報酬確率比率（RP）を 1:4 から 4:1 まで変化させた。
   • 比較: 実験 1 と 2 で同じ比率操作を行った際、行動バイアスの大きさを比較。
3. 実験 3 (対立操作): SPP と RP を逆方向に操作（例：SPP が 1:4 で RP が 4:1）。最適基準は中立（0）になるはずだが、どちらの要因が優勢かを確認。
4. 実験 4 (報酬密度操作): SPP と RP を 1:1 に固定し、全体の報酬密度（0.25, 0.5, 0.75, 1.0）のみを変化させた。
5. 実験 5 (RP と報酬密度の交互作用): 異なる RP 比率と報酬密度の組み合わせを操作し、学習速度への影響を調査。

計算モデル

3 つの試行ごとの学習モデルをデータにフィットさせ、比較検討しました。

1. 修正 KDB モデル (Modified KDB Model):
   • Kac, Dorfman, Biderman のモデルを拡張。
   • 報酬があった試行で基準を一定量（$\Delta$）シフトさせ、レキー（漏れ）項（$\gamma$）で基準をベースラインに戻す。
2. DT モデル (Davison-Tustin Model):
   • SDT とマッチング則（Matching Law）を統合。
   • 基準の更新ステップサイズが現在の基準位置と報酬感度（$a$）に依存し、平衡状態がマッチング則に従うように設計。
3. 強化学習モデル (RL Model):
   • Lak らのモデルを適応。
   • 各反応の「行動価値（Action Value）」を保持し、刺激の確信度と掛け合わせて Q 値を計算。報酬予測誤差に基づいて価値を更新。

解析手法

• 各セッションごとの基準値を推定（One-criterion-per-session model）。
• 3 つのモデルの尤度（NLL）とベイズ情報量基準（BIC）を用いたモデル比較。
• 生成シミュレーションによるモデルの挙動検証。

3. 主要な貢献と結果 (Key Contributions & Results)

A. SPP と RP の非対称な影響

• 結果: 実験 1（SPP 操作）と実験 2（RP 操作）を比較したところ、RP の操作の方が SPP の操作よりも反応バイアス（基準のシフト）に顕著な影響を与えました。
  • 同じ比率（例：1:4）であっても、報酬確率を偏らせた場合の方が、基準値がより極端な値（より強いバイアス）を示しました。
  • 実験 3（対立操作）では、SPP と RP が逆方向に働いた際、ラットはRP に基づくバイアスに従って行動しました（SPP の影響を無視し、報酬が多い方の反応を選択する傾向が強かった）。
• モデルパラメータ: 3 つのモデルすべてにおいて、RP 操作条件下での学習率（$\Delta$, $\Delta_{max}$, $\alpha$）が SPP 操作条件下よりも10 倍以上高い値でフィットされました。
• モデルの限界: どのモデルも、実験 3 のような「SPP と RP が対立する状況」におけるラットの行動を再現できませんでした。既存モデルは SPP と RP を同等に扱うか、あるいは SPP の事前確率を明示的に学習するメカニズムを持っていないためです。

B. 報酬密度（Global Reward Rate）の影響

• 結果: 実験 4 と 5 において、報酬密度（全体の報酬頻度）を変化させても、学習速度や基準の安定値に系統的な影響は見られませんでした。
  • 報酬密度が高い・低いに関わらず、学習率パラメータに一定の傾向（例：報酬が少ないほど学習率が上がるなど）は確認されませんでした。
  • 複数の学習率を持つモデル版は単一学習率版より BIC が改善しましたが、それは報酬密度そのものの効果ではなく、条件ごとの個別の学習軌跡を柔軟にフィットさせた結果に過ぎませんでした。

C. モデル比較の知見

• DT モデルと修正 KDB モデル: 実験 1 と 2 のデータにはよくフィットしましたが、実験 3 の対立条件では失敗しました。
• RL モデル: 実験 2（RP 操作のみ）では比較的よくフィットしましたが、実験 1（SPP 操作）や実験 3 では、ラットが示す「緩やかな適応」や「極端なバイアス」を再現できませんでした。これは RL モデルが刺激の事前分布（Prior）を固定（0.5:0.5）として扱っており、変化する SPP を学習していないことが原因と考えられます。

4. 意義と結論 (Significance & Conclusions)

1. SPP と RP のメカニズム的差異:
   従来の SDT やマッチング則に基づくモデルは、SPP と RP が決定基準に同じ重みで影響すると仮定しがちですが、本研究は**「報酬確率（RP）の影響が、刺激提示確率（SPP）の影響よりも支配的かつ急速に学習される」**ことを実証しました。これは、動物が単に「どの反応が報酬を得やすいか」だけでなく、「どの刺激が出現したか」という文脈を統合して学習している可能性を示唆しています。

2. モデルの改良の必要性:
   既存の 3 つのモデル（KDB, DT, RL）のいずれも、SPP と RP の非対称な影響を説明できませんでした。特に、実験 3 の結果は、動物が刺激の事前確率（Stimulus Priors）や刺激分布そのものを明示的に表現・更新していることを強く示唆しています。

   • 今後のモデルは、単なる報酬の履歴だけでなく、**「刺激分布の学習メカニズム」**を組み込む必要があります。
   • 刺激の事前確率が変化する状況において、動物がどのようにその分布を推定し、決定基準に反映させているかを解明することが今後の課題です。

3. 報酬密度の非影響:
   報酬密度（全体の報酬頻度）が学習速度に影響を与えないという結果は、マッチング則の予測と一致しますが、報酬密度が行動戦略（Win-stay/Lose-switch）に影響を与えるという他の研究（霊長類など）との対比において、知覚的不確実性下での学習メカニズムの特殊性を浮き彫りにしました。

総括:
本研究は、信号検出理論における「決定基準の動的変化」を理解する上で、刺激の出現確率と報酬の確率が同等に扱われるべきではないことを示しました。将来的なモデル構築においては、刺激分布の明示的な表現と学習を統合したアプローチが不可欠であるという結論に至っています。