A Hierarchical Energy-Based Model for Multimodal Cognition

脳の秘密の気象図

都市がどのように機能しているかを理解しようとしている場面を想像してみてください。建物のすべてのレンガを一つずつ調べることもできますが、交通パターンや天候、人々の流れを見ることで、その都市がどのように「感じられ」、どのように「動いているか」を理解することもできます。脳科学の世界では、どちらのアプローチが優れているかについて大きな論争があります。すべてのニューロンをレンガ一つひとつの設計図のようにマッピングしようとする科学者がいる一方で、著者のように、心の「気象」を見るべきだと提案する科学者もいます。彼らは、私たちの思考や知覚は単に電線が火花を散らしている状態ではなく、エネルギーの風景の中を移動する状態の流れであり、それはまるで丘を転がり落ちるボールや、海へと至る道を見つける川の流れのようなものであると提案しています。

このアイデアは、「予測的処理（predictive processing）」と呼ばれる概念に基づいています。あなたの脳を、単に目に見えるものを記録するカメラとしてではなく、超スマートな「推測者」として考えてみてください。毎秒、あなたの脳は次に何が起こるのか——次にどんな音が聞こえるのか、どんな形が見えるのか、あるいは文章の次にどの言葉が来るのか——について、絶えず予測を行っています。感覚がその推測と一致しているとき、すべてはスムーズに感じられます。しかし、現実があなたを驚かせたとき（例えば、静寂を予想していたのに犬が吠えたとき）、脳は予測を更新するために、より懸命に働かなければなりません。この論文は、脳がこのような「驚き」や「誤差」を最小限に抑えるために、内部モデルを絶えず調整しているという考えに基づいています。それは、部屋の温度を完璧に保とうとするサーモスタットのようなものです。ただし、熱の代わりに、世界に対する理解を正確に保とうとしているのです。

偉大なる脳のハブ：IM-LEPP

ここで、IM-LEPP（統合マルチモーダル潜在エネルギーベース予測的処理：Integrated Multimodal Latent Energy-based Predictive Processing）の登場です。これはスビル・ヴァルマ（Subir Varma）によって提案された新しいモデルです。あなたの脳を、巨大で賑やかな空港だと想像してください。この空港では、異なるターミナルが異なる種類の情報を扱います。視覚（世界を見ること）のためのターミナル、言語（言葉を聞いたり読んだりすること）のためのターミナル、そして感情や音のためのターミナルなどです。長い間、科学者たちはこれらの別々のターミナルがどのように対話しているのか疑問に思ってきました。赤いリンゴを見たことが、瞬時に「リンゴ」という言葉や空腹感へと、どのように結びつくのでしょうか？

ヴァルマの論文は、これらすべてのターミナルが、**前側頭葉（ATL）**と呼ばれる脳の特定の部位にある中央の「コントロールタワー」に報告を送っていることを示唆しています。このタワーは、あらゆる異なる情報の流れが単一の統一された現実のイメージへと融合する、巨大なハブとして機能します。このモデルが「ハブ・アンド・スポーク（軸と車輪のスポーク）」と呼ばれるのは、ターミナル（スポーク）が中央のハブに情報を送り込み、ハブがターミナルへと指示を戻すからです。

ここにある魔法のトリックを紹介しましょう。このモデルは、脳がこれまで聞いたすべての言葉や見たすべての画像を巨大なリストとして保存しているのではないと示唆しています。その代わりに、脳は「拡散（diffusion）」プロセスを使用します。これは、可能性の緩やかで慎重なダンスのようなものです。あるシーンを見るとき、脳は単に写真をパシャリと撮るのではなく、次の瞬間がどのようになるかの予測を生成します。ボールが跳ねているのを見ているとき、脳は次にボールがどこにあるかを予測します。文章を読んでいるとき、脳は次の単語を予測します。

IM-LEPPが特別なのは、見ることと話すことの違いをどのように扱うかという点にあります。あなたの目は、ビデオ映像のように連続的なストリームとして世界を見ています。しかし、言語は、一連の「踏み石（単語）」のように、断片的な塊としてやってきます。モデルは、視覚ターミナルが絶えず更新される一方で、言語ターミナルはバースト（断続的な発生）によって更新されることで、この問題を解決します。中央のハブは翻訳者の役割を果たし、速い動きの視覚ストリームと、遅い動きの言葉のストリームを取り込み、それらを一つの滑らかな体験へと融合させるのです。これにより、なぜあなたが車が通り過ぎるのを見て、同時に「その車は赤い」という文章を、感覚の速度の違いによる混乱なしに理解できるのかが説明されます。

なぜこれが重要なのか：「盲点」と「ガーデンパス」の解決

この論文は、このモデルを用いて、私たちの思考に関する非常に奇妙な現象を説明しています。

第一に、**不注意盲（Inattentional Blindness）**を考えてみましょう。人々がバスケットボールをパスしている最中に、ゴリラの着ぐるみを着た人物が通り過ぎる有名な動画を知っているでしょう。しかし、視聴者の半分はそのゴリラを見ていません。論文は、脳が現在注意を向けているものに対してのみ、詳細な「パイプライン」を構築するため、このようなことが起こると示唆しています。あなたがボールに集中しているとき、脳はボールに対する強力な予測モデルを構築します。注目していないゴリラは、専用のパイチップラインを持っていません。それは、予測を破るほど驚くべき行動をとるまで、単なる背景の「ノイズ」の一部なのです。モデルは、脳が追跡することを決定していないものに対しては、本質的に「盲目」であることを示しています。

第二に、このモデルは**ガーデンパス文（Garden-Path Sentences）**を説明します。これらは、「馬が納屋を通り過ぎたレース（raced）された時、倒れた（fell）」のように、あなたを欺く文章です。これを読むとき、あなたの脳は「raced」が主要な動作であると予測します。しかし、「fell」に当たったとき、脳は、馬が実はレースをしていたのではなく、レースされていた側であったと気づくために、突然の、激しいUターンを強いられます。論文は、これは単なる間違いではなく、物理的な「エネルギーの跳躍」であると示唆しています。脳は誤った意味という「低エネルギーの谷」に陥っており、正しい意味という別の谷へ飛び越えるために、大きな驚きのエネルギーによる押し上げを必要とするのです。

人間の脳とAIの違い

論文は、人間が言語を学ぶ方法と、現代のAI（皆さんが知っているようなチャットボットなど）が学習する方法との間に明確な線を引いています。AIモデルは、インターネット全体を読み込んだものの、本物のリンゴを見たことも、太陽を感じたこともない学生のようなものです。彼らは、どの言葉がどの言葉の隣に現れるかを見ることで、純粋に言語を学習します。彼らは「リンゴ」がどのような「感じ」であるかを知りません。

IM-LEPPは、人間の子供が異なる方法で学習することを示唆しています。子供の言語ハブは、視覚や感覚のハブとつながっているため、子供はリンゴという言葉を、リンゴの実際の視覚的、触覚的な体験と結びつけることで学びます。これは**グラウンディング（接地）**と呼ばれます。論文は、これが、子供たちがAIが必要とするよりもはるかに少ないデータで話すことを学べる理由であると示唆しています。彼らは単に単語のパターンを暗記しているのではなく、言葉を、現実世界に存在する豊かな地図に貼り付けているのです。

この論文が（まだ）述べていないこと

この論文は、あくまで一つの提案であり、脳が「どのように機能する可能性があるか」という設計図であることを注記しておく必要があります。著者は、人間のように見て話すことができる完全に機能するロボットの脳をまだ構築していません。著者は、自身の数学的モデルが、なぜトリッキーな文章で混乱するのか、あるいはなぜビデオの中でゴリラを見逃してしまうのかといった事象を説明できることを示しました。もし、これらのルールに従ってコンピュータプログラムを構築すれば、それは特定の側面において人間の脳のように振る舞うであろう、と彼らは主張しています。

また、論文は依然として謎が残っていることも認めています。例えば、特定の出来事（あなたの誕生日パーティーなど）の長期記憶と、一般的な事実（犬とは何かなど）の記憶を、脳がどのように区別して保存しているのかについては完全には説明していません。論文は、驚きや感情的な出来事が起きたときにのみ、脳が記憶を書き込むシステムを提案していますが、この「記憶のファイリングシステム」の正確な詳細は、今後の研究に委ねられています。

要約すると、IM-LEPPは、精神（心）についての遊び心に満ちた、エネルギッシュな考え方を提示しています。それは、静的なコンピュータとしてではなく、私たちの注意、感覚、そして言葉が絶えず衝突し、融合しながら、現実という物語を作り上げていく、ダイナミックで転がるような風景として捉えるものです。人間の知性の秘密は、単に巨大なデータベースを持っていることではなく、次に何が起こるかを予測するための、賢く、地に足のついた方法を持っていることにあると、このモデルは示唆しているのです。