Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks

技術要約：神経細胞の制約がRNNにおける優れた学習を駆動する

問題提起
神経科学と機械学習の接点における中心的な課題は、大脳皮質の特定の幾何学的構造、配線、および機能的組織がいかにして回帰計算を形作っているかを理解することである。リカレントニューラルネットワーク（RNN）は時間的ダイナミクスをモデル化するための強力なツールであるが、通常、重みはランダムに初期化され、接続制約も持たない。これは、ニューロンが物理的空間を占有し、配線の経済性の原理に従い、構造化された解剖学的・機能的関係に参加している生物学的回路とは対照的である。先行研究では、生物学的な制約（例：空間的埋め込み）を課すことで学習が改善されることが示唆されているが、ほとんどの研究は、測定された皮質組織ではなく、様式化された、あるいはランダム化された埋め込みに依存している。未解決の問いは、実際の皮質回路の測定された幾何学、配線、および機能的構造が、一般的な生物学的インスピレーションと比較して、強力な誘導バイアスとして機能し、優れた学習を駆動できるかどうかである。

手法
著者らは、マウスの視覚野からのマルチモーダルな機能的コネクトミクス・リソースである**MICrONS（Machine Intelligence from Cortical Networks）**データセットを活用している。このデータセットは、同一のニューロン集団（約12,000個の興奮性ニューロン）に対して、高密度な2光子カルシウムイメージング（機能的活動）と高解像度電子顕微鏡（解剖学的接続性と空間座標）を特異的に共登録している。

本研究では、3つの特定の皮質プライア（事前知識）の寄与を系統的に分離するために、11種類の生物学に基づいたRNNバリアントを構築している。

1. 機能的重み初期化 ($W^*$ または $W!$): 回帰重みを、ニューロン活動から導出された機能的関係（ピアソン相関およびスパイク・タイム・タイリング係数、またはSTTC）を用いて初期化する。コントロール・バリアント（$W!$）は、統計的分布を維持しつつ、特定のニューロンと重みの対応関係を破壊するようにこれらの重みを置換する。
2. 実空間埋め込み ($D^*$): リカレント・ユニットを、人工的なグリッド（$D$）ではなく、MICrONSから測定されたニューロンの細胞体座標に基づいて配置する。
3. コミュニカビリティに基づく正則化 ($C$ または $C^*$): 学習中、長距離通信を罰するか、あるいはモデルのコミュニカビリティ分布と解剖学的接続性から導出された経験的分布との間の類似性を強制する正則化項を適用する。

これらのモデルは、3つの認知的意思決定タスク（One-Choice Inference、Perceptual Decision-Making、Go/NoGo）で訓練される。性能評価は、タスクの正確さだけでなく、学習された重み行列の創発的なグラフ理論的特性（エントロピー、モジュラリティ、アソーティビティ、スモールワールド性）についても行われる。さらに、リカレント重みを厳密に正の値に制限する（興奮性のみのレジーム）条件下での堅牢性もテストされる。

主要な貢献

• 皮質プライアの実証的検証: 本研究は、RNNを測定された皮質の幾材、配線、および機能に基づかせることで、制約のない、あるいは部分的に制約されたベースラインよりも大幅に優れた学習結果が得られることを実証している。
• プライアの階層的寄与: アブレーション研究を通じて、著者らは以下の誘導バイアスの階層を確立している：
  • 機能的初期化は、最大かつ最も一般的な性能向上をもたらす。
  • 実空間埋め込みは、強固な二次的改善を提供する。
  • コミュニカビリティ正則化は、選択的かつ文脈依存的な洗練を提供する。
• 構造と機能の相乗効果: 機能的初期化に実空間座標とコミュニカビリティ制約を組み合わせることで、より正確であるだけでなく、生物学的ネットワークの特徴である低エントロピー、モジュラリティ、およびスモールワールドのトポロジーへと収束するネットワークが構築されることを示している。
• 符号制約下での堅牢性: 著者らは、リカレント・アーキテクチャが正の重みのみに制約されている場合（興奮性のみのレジームを模倣）でも、機能的初期化が学習を安定させ、ランダムに初期化されたモデルが失敗する条件下でも高い精度を維持できることを示している。

結果

• タスク性能: 完全な制約を持つモデル（例：$W^*D^*C$ および $W^*D^*C^*$）は、すべてのタスクにおいてベースラインおよび部分的に制約されたバリアントを一貫して上回った。例えば、タスク1において、完全制約モデルは約0.985の精度を達成したが、ベースラインは約0.625であった。
• アブレーションによる洞察:
  • 機能的初期化を取り除くと、特にタスク2とタスク3において劇的な性能低下が生じた。
  • 実座標をグリッド（$D$）に置き換えると性能が著しく低下し、実際の皮質幾何学が意味のある計算的プライアとして機能していることが確認された。
  • 置換された重みバリアント（$W!$）は、構造化されたバリアント（$W^*$）と同等の性能を示したことは、生物学的な重み分布の統計的構造が主要な駆動要因であり、精密な一対一の対応関係ではないことを示唆している。
• 創発的トポロジー:
  • エントロピー: 生物学的に制約されたモデルは、低エントロピー（高度に構造化された）の重み分布へと収束したが、ベースラインは高エントロピー（ランダムに近い状態）に留まった。
  • モジュラリティとスモールワールド性: 直接的なコミュニカビリティ正則化と実座標を持つモデルは、強いモジュラリティとスモールワールド構造（$\sigma \approx 1.5–2.5$）を発達させた。注目すべきは、一部のバリアントは強いモジュラリティなしでも低エントロピーと高い性能を達成しており、これらが独立しつつも関連した結果であることを示唆している。
  • アソーティビティ: 機能的初期化はネットワークを非アソーティブ（ハブと周辺部）な構造へと向かわせる傾向があったが、空間のみの制約はアソーティブ（ハブが豊富な）構造を導くことがあった。
• 正の重みのみのレジーム: 正の重みのみの制約下では、ランダムに初期化されたモデルはチャンスレベルの性能に崩壊したが、機能的に初期化されたモデルは高い精度を維持した。これは、生物学的プライアが困難なパラメータ空間における最適化を安定させ得ることを示している。

意義と主張
本論文は、「皮質の機構」――具体的にはその幾何学、配線、および機能的構造――が、リカレントネットワークを構築するための強力な誘導基盤として活用できると主張している。著者らは、これらのプライアは単にモデルを「生物学的にリアル」にするだけでなく、学習の効率性と堅牢性を根本的に向上させると論じている。

著者らが強調する主なポイントは以下の通りである：

1. 複雑性よりも誘導バイアス: より優れたリカレント計算は、モデルのサイズやアーキテクチャの複雑さを増すことによってではなく、生物学に基づいたプライアによって最適化のランドスケープを再形成することによって達成される。
2. 構造と機能の相互依存性: 解剖学的構造は足場を提供するが、機能的情報（活動から導出された関係性）こそが、リカレント・ダイナミクスを指定するための決定的な制約となる。構造だけではダイナミクスを一意に決定できず、効果的なレジームへと解空間を絞り込むためには機能的プライアが必要である。
3. AIのデザイン原則: これらの知見は、皮質の組織化原理（空間的埋め込み、機能的初期化、配線の経済性）が計算上重要であり、特にデータ効率と堅牢な内部組織を必要とする領域において、人工システムのための再利用可能なデザイン原則として機能し得ることを示唆している。

著者らは、興奮性ニューロンへの焦点、MICrONSデータの特定の設定、および因果的な機能測定ではなく統計的な手法を用いていることなどの限界を認めつつ、研究の範囲を控えめに設定している。しかし、これらの結果は、皮質マイクロ回路が、人工的なリカレントネットワークに効果的に転移可能な効率性の原理に基づいて構成されているという仮説を直接的に裏付けるものであると主張している。