Evolutionary rise of a synaptic mechanism for creating and diversifying key reinforcement signals

脳の学習ループ：クイック・プライマー

あなたの脳が、レベルをクリアする方法を学ぼうとしている超スマートなビデオゲーム機だと想像してみてください。上達するためには、自分がミスをしたのか、それとも正しいことができたのかを知る必要があります。神経科学の世界では、この「エラー信号」は**強化信号（reinforcement signal）**と呼ばれます。これは、脳が「おい、今のやり方はダメだった、別の方法を試せ！」、あるいは「よし！次も同じことをしろ！」と伝えるための方法なのです。

長い間、科学者たちはこれらの信号は単純なものだと考えてきました。ニューロンは「行け！」と言うために発火する（興奮）か、「止まれ！」と言うために静かにしている（抑制）かのどちらかである、というものです。しかし、自然界はルールを破ることを好みます。**外側被蓋核（lateral habenula、略してLHb）**と呼ばれる脳の小さく深い領域では、事態は奇妙なものになります。この小さな領域は、脳の報酬システムにおける交通整理の警察官のような役割を果たしています。LHbは脳の他の部位からのメッセージを受け取り、ドーパミン（私たちに快感を与え、学習のモチベーションを高める化学物質）の放出を増強するか、あるいは抑制するかを決定します。

大きな謎は、「この交通整理の警察官はどうやってこれほど迅速かつ正確に情報を処理しているのか？」ということでした。具体的には、LHbへのいくつかの入力は、グルタミン酸（「行け」という信号）とGABA（「止まれ」という信号）という2種類の異なる化学物質を同時に放出していることが科学者たちによって気づかれました。それは矛盾しているように見えました。どうすれば、一つのニューロンに対して同時に「発火しろ」と「止まれ」と命じることができるのでしょうか？そして、なぜ脳はこのような混乱を招くようなシステムを進化させたのでしょうか？本論文はこのパズルを掘り下げ、この「二重スパイ」のようなシグナリングが、実は学習のための巧妙なトリックなのかどうか、そして動物が魚類からサルへと進化するにつれて、この仕組みがいかに複雑に成長してきたのかを探ります。

---

脳の「微分」トリック：信号を混ぜることで生まれるよりスマートな学習

この研究の著者たちは、シンプルな問いを立てました。「もし脳細胞が、『行け』という信号と『止まれ』という信号を全く同時に受け取ったら、何が起こるのか？」を知るために、彼らはコンピュータ上に仮想の脳細胞を構築しました。これは生物物理学的にリアルなシミュレーションです。飛行シミュレーターのようなものですが、飛行機の代わりにニューロンをテストしています。彼らはこの仮想ニューロンに、現実の脳内のチャットを模したランダムな活動のバースト（突発的な活動）を入力し、入力がグルタミン酸とGABAの両方を同時に放出したときに、ニューロンがどのように反応するかを観察しました。

ここで彼らが発見した魔法があります。これら2つの化学物質の混合は、数学的な**微分（derivative）**として機能するのです。数学の授業では、微分とは単に現在の数値がいくらであるかではなく、物事がどれほどの速さで「変化しているか」を教えてくれるものです。車を運転している場合、スピードメーターは速度（値）を教えてくれますが、微分はあなたが加速しているのか、それとも急ブレーキを踏んでいるのか（変化）を教えてくれます。

彼らのシミュレーションでは、入力活動が突然スパイクしたとき（例えば、突然の「危険！」という信号のようなとき）、GABAによるメッセージはグルタミン酸よりも少し遅れて作用しました。このわずかな遅延により、ニューロンは素早い活動のバーストを起こした後、たとえ「危険」信号がまだ存在していても、すぐに元の状態へと落ち着きました。逆に、入力が突然停止すると、ニューロンは逆方向への素早い「ショック」を与えました。結果として、ニューロンは信号の「レベル」を報告するのではなく、信号の「変化」を報告するようになったのです。これは、報酬が予想よりも良かったか悪かったかを判断するために、強化学習アルゴリズムが使用する「時間的差分（Temporal Difference: TD）」の数学とまさに一致します。これは、脳が単に古いパターンを繰り返すのではなく、驚きから学ぶための、組み込み済みの「変化検出器」を持っているようなものです。

しかし、ここからが重要な点です。研究者たちは、すべてのニューロンが同じではないことを発見しました。実際の脳では、ニューロンによって「行け」と「止まれ」の化学物質の比率が異なります。GABAが少ないものもあれば、多いものもあります。これは、脳が単一の「変化検出器」を持っているのではなく、多様なツールキットを持っていることを意味します。あるニューロンは微細な変化に敏感であり、別のニューロンは大きな変化にのみ反応します。この多様性により、脳はリスクのある賭けと安全な賭けを天秤にかけるような、複雑で高次の意思決定を行うことができるのです。

このトリックは進化したのか？ 魚類からサルへ

チームは次にこう考えました。「この奇妙な二重シグナリングは、マウス特有の癖なのか、それとも動物が進化するにつれて洗練されてきた機能なのか？」。これに答えるため、彼らはゼブラフィッシュ、マウス、ラット、サルの脳を調査するという、種を越えた宝探しを行いました。

彼らはハイテクな機械学習分類器を使用しました。これは、基本的には顕微微鏡画像を見るように訓練された非常にスマートなコンピュータプログラムです。プログラムは、グルタミン酸とGABAの2つの色で光る小さな点（シナプス末端）を見つけ出すよう学習されました。もし点が両方の色を持っていれば、それは「共放出（co-releasing）」末端でした。

結果は、進化の過程を示す明確な物語でした。

• ゼブラフィッシュ： 魚類の脳では、これらの二重色の点はほとんど存在しませんでした。魚の被蓋核は主に単一シグナリングの末端を使用していました。
• マウス： マウスでは、これらの二重色の点が現れましたが、それらは主に特定の領域に集まっていました。
• ラット： ラットはさらに多くのこれらの混合末端を持っており、その比率の多様性もマウスより高くなっていました。
• サル： サルは最も多くを誇っていました。混合末端が多いだけでなく、それらはマウスやラットには発達していない「進化的に新しい」脳の部位へと広がっていました。

データは、動物が進化の階段を上がるにつれて、これらの混合末端が劇的に増加したことを示しました。サルにおいては、両方の化学物質を放出する末端の割合は、ラットやマウスよりも有意に高い数値を示しました。機械学習は、これが偶然ではないことを裏付けました。コンピュータは極めて正確であり、従来のカウント方法よりもはるかに少ない間違いしか犯しませんでした。

これが「スマート」な行動に意味すること

では、これらは私たちにとって何を意味するのでしょうか？ 本論文は、この混合信号の進化的な爆発が、柔軟で高次の意思決定の背後にある「秘伝のソース」である可能性を示唆しています。

シミュレーションにおいて、速い「行け」信号と遅い「止まれ」信号の混合は、非対称な反応を生み出しました。ニューロンは、活動の急激な増加（悪いニュース）に対して、活動の急激な減少（良いニュース）とは異なる反応を示しました。この非対称性は、学習において極めて重要です。これにより、報酬が常に保証されているわけではなく、リスクが常に存在するという、人生の混沌とした現実に脳が対処できるようになります。

著者らは、哺乳類が魚類からサルへと進化するにつれて、単に脳が大きくなっただけでなく、学習においてより「賢く」なったのだと提唱しています。これらの二重シグナリング末端の使用を拡大することで、脳はより多様な「エラー信号」を生成できるようになりました。この多様性により、ドーパミン系（脳の報酬センター）は、例えばスロットマシンが0%または100%ではなく、「10%の確率で払い戻される」といった複雑な確率分布を理解することができるのです。

この論文は、人間の知能の謎を解明したと主張しているわけではありませんが、この特定のシナプス機構――「行け」と「止まれ」の信号を混ぜて変化を検知すること――が、重要な進化上のアップグレードであったことを強く示唆しています。それは、世界に反応するだけの単純な脳を、予測し、計算し、予期せぬ事態に適応する洗練された脳へと変えたのです。次にあなたが難しい選択をしたり、新しいスキルを学んだりするとき、あなたは、一度に2つの言語を話すことを学んだ、あなたの脳内の小さく古めかしい回路に感謝することになるかもしれません。