Bidirectional representational alignment between biological and artificial neural networks

技術要約：生物学的および人工的神経ネットワーク間における双方向的な表現アライメント

問題提起
計算神経科学および機械学習における近年の研究により、生物学的および人工的神経ネットワーク間の表現アライメント（representational alignment）は、本質的に非対称であることが確立されている。具体的には、人工モデルの表現は生物学的応答を予測する能力（順方向予測性：forward predictivity）が、生物学的応答がモデルの表現を予測する能力（逆方向予測性：reverse predictivity）よりも著しく高い。タスクの最適化は、神経表現の基本原理を回復させ得るが、タスク性能の向上が必ずしもアライメントの向上と相関するわけではない。この非対称性は、学習された特徴量の「表現幾何学（representational geometry）」が、この双方向的な不一致に寄与しているのではないかという重要な問いを投げかけている。著者らは、表現のスペクトル幾何学を学習中に系統的に制御することで、このアライメントを調整できるという仮説を立てている。

手法
この仮説を検証するため、著者らはスペクトル正則化（spectral regularization）と双方向予測性解析を統合した計算フレームワークを開発した。

• モデルおよびデータセット： フレームワークは、自己教師あり対照学習モデル（SimCLR、エンコーダとしてResNet-50を使用）を用いて実装された。学習にはImageNet-1kのサブセットを用い、評価にはマカク猿の側頭下皮質（IT cortex）のベンチマーク（3,200個の視覚刺激に対する神経応答）を用いた。
• スペクトル・ステアリング（Spectral Steering）： 本手法の核心となる革新は、標準的なInfoNCE対照損失にスペクトル正則化項を追加することである。この項は、学習された表現の固有値スペクトルにおける目標スペクトル減衰指数（$\hat{\alpha}$）からの偏差にペナルティを課す。
  • 正則化は、強い順方向予測性を持つことが知られている層（encoder.layer4.0.bn1）の活性化に対して適用される。
  • スペクトル指数 $\alpha$ は、正規化された説明分散（主成分5〜15）のログ・ログ・スペクトルに対する最小二乗法によって推定される。
  • 全体的な損失関数は $L_{total} = L_{InfoNCE} + \lambda|\alpha - \hat{\alpha}|$ であり、ここで $\lambda$ は正則化の強さを制御する。
• 評価指標：
  • 順方向予測性（Forward Predictivity）： モデルの活性化が神経応答をどの程度予測できるかを測定する（モデルからニューロンへのリッジ回帰）。
  • 逆方向予測性（Reverse Predictivity）： 神経応答がモデルの活性化をどの程度予測できるかを測定する（ニューロンからモデルへのリッジ回帰）。
  • 双方向予測性（Bidirectional Predictivity: BPI）： 非対称性を考慮しつつアライメントを定量化する合成指標（$BPI = \frac{2R_{fwd}R_{rev}}{R_{fwd} + R_{rev}}$）。
  • 有効次元数（Effective Dimensionality）： 説明分散のスペクトルの参加比（participation ratio）として算出される。
• 実験設計： モデルは、変化する目標スペクトル指数（$\hat{\alpha}$）および正則化強度（$\lambda$）の下で学習された。分析は、正則化強度が目標値に正確に到達しなかったケースを考慮し、目標値ではなく「測定された」スペクトル指数（$\alpha$）に基づいて行われた。

主な結果
実験の結果、表現幾何学を制御することが、双方向のアライメントに系統的な影響を与えることが示された：

1. スペクトル幾何学の制御： スペクトル正則化は、学習された表現の測定されたスペクトル指数を正常に制御した。正則化が強いほど（$\lambda$ が大きいほど）、測定された指数と目標指数の合致度が高まった。
2. 非対称性の減少：
   • 逆方向予測性： 測定されたスペクトル指数（$\alpha$）が増加すると、逆方向予測性が大幅に向上した。$\lambda=3$ のとき、逆方向の説明分散は、ベースラインの12%から、最も高い $\alpha$ のビンにおいて29%へと改善した。
   • 順方向予測性： 順方向予測性は、ベースラインと比較してスペクトル正則化の下でわずかな減少を示したが、固定された正則化強度の下では、異なる $\alpha$ の値に対しても比較的安定していた。
   • 双方向予測性： 全体的な効果として、双方向予測性は大幅に改善され、約20%から31%へと増加した（相対的に55%の向上）。これは、順方向と逆方向の非対称性が大幅に減少したことを示している。
3. メカニズムに関する洞察：
   • 共通ユニット vs 固有ユニット： 改善は「共通ユニット」（逆方向予測性でランク付けされた上位20%のモデルユニット）において最も顕著であった。このサブセットにおいて、中間的なスペクトル指数の下で、順方向と逆方向の予測性はほぼ対称となった。
   • 次元数： スペクトル指数の増加は、有効次元数の減少を伴っていた。これは、スペクトル正則化によって表現の分散がより少ない有効次元へと集中されることを示唆している。
   • 部分空間の再編成： これらの知見は、スペクトル正則化が人工ネットワークと生物学的ネットワークの間で共有される表現部分空間を優先的に再編成し、モデルの表現からの神経活動の線形回復性を向上させていることを示唆している。

意義と主張
本論文は、表現幾何学が制御可能な特性であり、それが双方向の表現アライメントを直接的に調整できることを示す制御フレームワークを提供している。

• 固定された非対称性への挑戦： 著者らは、順方向と逆方向の非対称性が、タスク最適化されたモデルの固定的な特性であるという概念を否定している。代わりに、学習中にスペクトル幾何学を変更することで、この非対称性を系統的に減少させられることを示した。
• 幾何学は因果的要因である： 結果は、表現幾何学がアライメントの質に寄与するという仮説を支持している。具体的には、スペクトル指数を高めることは、「逆方向」のアライメントを向上させる一方で、「順方向」の方向への壊滅的な損失をもたらさない。
• 指数のマッチングを超えて： 本研究は、アライメントが視覚野で観察されるスペクトル指数（$\alpha \approx 1$）を超えても改善し続けることを指摘している。これは、単に生物学的なスペクトル統計量を一致させることが、アライメントを最大化するために十分ではないことを示唆しており、むしろ「ステアリング（制御）」のプロセス自体が有益な再編成を誘発していることを示唆している。
• 限界と範囲： 著者らは、これらの知見を特定のアーキテクチャ（ResNet-50）および単一の神経ベンチマークを用いた初期のデモンストレーションとして控えめに位置づけている。スペクトル指数は幾何学の一つの特徴量に過ぎず、他の幾何学的特性も役割を果たしている可能性があることを認めている。これらの知見を異なるアーキテクチャ、学習目的、およびデータセットに一般化するためには、今後の研究が必要である。

要約すると、本研究は、人工ネットワークの内部幾何学を「ステア（制御）」して生物学的システムにより適合させる手法を確立しており、これはメカニスティックな解釈可能性および知能の創発の研究における新たな道を開くものである。