脳細胞の秘密の生活

想像してみてください。あなたはコンピュータに、写真の中の猫を認識させる方法を教えようとしています。あなたは、「ニューロン」と呼ばれる小さく単純なプロセッサの層で構成されたデジタル脳を構築します。これらのデジタル脳の標準的なバージョンでは、すべてのニューロンは硬直した、単一の目的を持ったロボットのように振る舞います。それは情報を取り込み、数値を計算し、ただ一つの明確な答え、つまり特定の数値を吐き出します。もしそのロボットが「0.8」と言えば、それがそのロボットが知る唯一の真実です。それは、自分が推測しているのか、写真がぼやけているのか、あるいは単に機嫌が悪いのかを知りません。それは、たとえ世界が混沌としていても、絶対的な確信に満ちた世界なのです。

しかし、現実の世界は「たぶん」に満ちています。霧の中でぼやけた形を見るとき、あなたは単に「猫」か「猫ではない」と判断するのではなく、少し不安を感じます。科学者たちは長い間、コンピュータにその不確実性を教えようとしてきました。通常は、脳全体を揺さぶったり、最後に「疑い」の層を追加したりすることで行われます。しかし、ある新しい研究は、私たちが問題を間違った角度から見ている可能性を示唆しています。脳全体を不確実にするのではなく、もし個々の小さな構成要素自体を不確実にしたらどうなるでしょうか？この研究は、シンプルで遊び心のある問いを投げかけます。「もしデジタル脳のすべてのニューロンが、硬直したロボットではなく、いくつかの異なる可能性をポケットに忍ばせている小さなギャンブラーだったらどうなるだろうか？」と。

EVE：選択肢を常に開いておくニューロン

この論文の中で、イヴ・ラフェナック（Yves Ruffenach）という研究者は、EVEと呼ばれる新しい種類のデジタルニューロンを紹介しています。標準的なニューロンを、毎回特定の部品をプレス成形する工場作業員だと考えてみてください。対照的にEVEは、単に一つの部品をプレスするだけでなく、少しずつ異なるバージョンの部品の箱を作り、その中から一つをランダムに選び、それを使って次の層を構築する作業員のようなものです。

論文ではこれを「分布的ニューロン（distributional neuron）」と呼んでいます。単一の数値（例えば5.0）を伝える代わりに、EVEは「分布」――つまり、起こりうる数値の雲のようなもの――を伝えます。これは、内部に「事後分布（posterior）」（現在の最善の推測を表す専門用語）と「事前分布（prior）」（一般的に可能であると考えるもの）を持つことによって実現されます。EVEはこの雲からランダムな「潜在状態（latent state）」をサンプリングし、そのランダムな状態を使って作業を行い、その結果を次に伝えます。決定的なのは、ニューロンが「KL正則化（KL regularization）」というペナルティを用いて、内部の推測を誠実に保つよう訓練されていることです。これは、根拠もなく派手に推測し始めたニューロンを、教師が優しく叱るようなものです。

この研究は、科学者が単一の細胞を観察し、次に一つの器官を構築し、最後にそれを複雑な機械に組み込むように、3つの異なる段階でこのアイデアをテストしています。

ステージ1：顕微鏡
まず、研究者たちは単一のニューロンを隔離し、それが単独で何ができるかを確認しました。彼らは、特定の変化する「ノイズ（ランダム性）」が付随する数値を予測することを目標としたゲームを設定しました。彼らはEVEを、以下の3種類の他のニューロンと比較しました：

1. 標準的な、退屈な決定論的ニューロン（硬直したロボット）。
2. 同じ計算能力を持ちながらランダム性を持たない「一致した」決定論的ニューロン。
3. 最後に明示的に不確実性を予測するように指示された特別な「ヘテロスケダスティック（不等分散）」ニューロン。

結果は非常に興味深いものでした。標準的なロボットは数値を当てることはできても、自分がどれほど不確かであるかを知ることには極めて劣っていました。「一致した」ロボットも標準的なものと同様に不確かでした。しかし、EVEはどうだったでしょうか？それはスターでした。数値の予測精度においては強力な「一致した」ロボットと同等でしたが、真の不確実性を追跡することにおいて驚異的な能力を発揮しました。実際、EVEは93.9%の確率で真のノイズパターンと一致しましたが、標準的なロボットはゼロを辛うじて上回る程度でした。EVEは、単一のニューロンが、出力時だけでなく、その内部に不確実性を保持することを学習できることを証明したのです。

ステージ2：深いスタック
次に、研究者たちはこう問いかけました。「これらを128層積み重ねたとき、それでも機能するのか？」彼らは、建物のエネルギー効率を予測するために、大規模で深いニューラルネットワーク（128層、各層に128個のニューロン）を構築しました。これは真の「構成（composition）」のテストです。これらの不確実なニューロンは、システム全体が混沌に陥ることなく、共に機能することができるのでしょうか？

答えは、明確な「イエス」、ただし「条件付き」でした。深いネットワークをテストした際、EVEはモデルの不確実性を扱う能力を大幅に向上させました。負の対数尤度（モデルが全範囲の可能性をどれだけうまく予測できるかを示すスコア）を約18.8%減少させ、他の不確実性スコアにおいても、5回のテストラン全体で4.5%から8.3%の改善を見せました。しかし、正確な数値を当てること（MSEおよびMAEで測定）に関しては、EVEは標準的なロボットとほぼ同等であり、時にはわずかに良く、時にはわずかに劣りました。大きな勝利は、「不確実性」が信号が128層を通過しても消滅せず、生き続け、測定可能な状態で維持されたことです。ただし、研究者たちは、これにはコストが伴うことも指摘しています。余分なサンプリングと計算を行う必要があるため、Eブーブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブブプト 7.1 倍遅かったといいます。

ステージ3：トランスフォーマーの架け橋
最後に、研究者たちはEVEを、エッセイを書いたりチャットをしたりする言語モデルに使われているような、現代的な「トランスフォーマー（Transformer）」アーキテクチャに適合させようと試みました。彼らはトランスフォーマーの標準的な「フィードフォワード」部分をEVEニューロンに置き換え、物語の次の単語を予測させました（PG-19というデータセットを使用）。

結果は、EVEがこれらの複雑で現代的なシステムの中に組み込むことが実際に可能であることを示唆していました。EVEを搭載したトランスフォーマーは、次の単語を予測する能力を向上させ（パープレキシティを189.74から161.94に低下）、正しい単語を当てる精度も向上させました（精度が0.1938から0.2064に上昇）。また、「非退化的なモンテカルロ不確実性信号」も生成しました。これは、モデルに何度も予測を求めたとき、単に同じ答えを繰り返すのではなく、不確実性を反映した多様で興味深い答えを返したことを意味します。しかし、研究では、この「不確実性」は主にネットワークの最初の層で発生しており、より深い層ではまだその潜在能力を十分に活用できていないことも判明しました。

これが意味すること（そして意味しないこと）

この論文は、不確実性を計算の基本単位として、ニューロンの内部に組み込むことが、実現可能かつ強力なアイデアであることを示唆しています。これは、この挙動を単独で分離し、これを用いた深いネットワークを構築し、さらには最も高度な言語モデルにさえ組み込めることを示しています。

しかし、著者たちはこれが魔法の杖であるとは主張していません。彼らは、これが単に計算能力を増やしたことによる結果ではないことを明確に述べています。なぜなら、同じパワーを持つ標準的なニューロンでは、同様の結果が得られなかったからです。また、EVEは不確実性の扱いには長けていますが、必ずしも正確な数値を当てることにおいて常に勝るわけではないことも指摘しています。深いネットワークのテストでは、標準的なエラー率（MSEおよびMAE）は非常に近く、時には標準的なモデルの方が優れていました。さらに、本研究は、トランスフォーマーの実験における「不確実性」が、まだ全ての層で完璧にバランスが取れているわけではないことも認めています。

要約すれば、EVEは、もしコンピュータに世界の混沌とした性質を理解させたいのであれば、単に最後に「疑い」のボタンを追加するのではなく、小さな構成要素そのものに、いくつかの選択肢を保持し、それらからサンプリングし、未知の状態に対して慣れることを教えるべきである、ということを示唆しています。これはデジタル脳の構築における小さく遊び心のある転換ですが、コンピュータが私たちと同じように世界を見ることができるようになる助けとなるかもしれません。