Misalignment Between Backpropagation and the Hierarchy of Brain Responses to Images

技術的サマリー：画像に対する脳応答の階層性と逆伝播の不一致

問題提起
深層ニューラルネットワーク（DNN）と哺乳類の視覚系は、順方向の表現階層において驚くべき類似性を共有しているが、深層学習の中核となる学習アルゴリズムである逆伝播の生物学的妥当性は、計算神経科学における未解決の中心的な課題として残されている。標準的な逆伝播は、シナプスの対称性（重み輸送）と勾配の上から下への計算を必要とし、これらは生物学的に非現実的であると考えられている。DNN の順方向活性化が皮質階層と整合することを過去の研究が確立したにもかかわらず、逆伝播された勾配の上から下への階層性が神経応答と類似の対応を示すかどうかは依然として不明である。本研究は、逆伝播された勾配が人間の脳活動にマッピングされるか、またそれらの空間的・時間的組織が逆伝播のアルゴリズム的予測と整合するかどうかを検証することにより、脳が機能的に逆伝播と同等のメカニズムを実装しているかどうかを扱う。

方法論
著者は、高度なエンコード分析を組み合わせたマルチモーダル脳画像アプローチを採用した。

• データソース: 本研究では、高時間分解能のために THINGS-MEG データセット（磁気脳波、4 名の被験者、22,500 枚の画像）を、高空間分解能のために Natural Scenes Dataset（7T fMRI、8 名の被験者、10,000 枚の画像）を利用した。
• モデル: 主要な分析は、脳が予測符号化に依存する可能性と整合する教師なし学習目的を持つ最先端の自己教師あり Vision Transformer である DINOv3 に焦点を当てた。一般化性を確保するため、結果は、教師あり CNN、教師あり ViT、および視覚言語モデル（CLIP、SigLIP2 など）を含む多様な 8 つの視覚モデル全体で再現された。
• エンコード分析: 著者は、モデル特徴を神経データにマッピングするために標準的な線形エンコード分析を適応させた。
  • 順方向活性化: 層ごとの活性化を抽出した。
  • 逆伝播された勾配: DINOv3 の場合は教師ネットワークと生徒ネットワーク間の標準的な逆伝播を用いて、他のモデルの場合はネイティブの損失関数を用いて勾配を計算した。
  • 残差逆伝播: 勾配固有の信号を分離するため、著者は順方向と逆方向の信号の組み合わせのエンコードスコアから順方向活性化のエンコードスコアを減算することにより、「残差逆伝播」スコアを計算した。
• 次元削減: 勾配ベクトルの高次元性（約 400 万）により、信号はランダム行列 onto 投影され、その後エンコード前に主成分分析（PCA）により 300 次元に削減された。
• 学習ダイナミクス: 実験の一部には、トレーニング反復全体にわたるエンコードスコアの進化を観察するために、DINOv3-S をゼロからトレーニングすることが含まれた。

主要な貢献

1. エンコード分析の拡張: 本研究は、標準的な順方向活性化エンコードを拡張して逆伝播された勾配を神経データにマッピングし、脳における学習信号の相関を直接テストするものである。
2. 残差勾配マッピング: 保守的な残差分析を導入することにより、著者は、逆伝播された勾配が順方向活性化のみでは説明できない神経分散を説明することを示した。
3. 体系的な分離: 本論文は、順方向活性化が脳のボトムアップ階層と整合する一方で、逆伝播された勾配は生物学的に妥当な逆伝播理論が予測するトップダウンの時間的・空間的組織に従わないという実証的証拠を提供する。

結果

• 勾配の予測力: DINOv3 および他のモデルからの逆伝播された勾配は、特に高次視覚野および後期の遅延において、fMRI および MEG 信号の両方を確実に予測する。このマッピングは、多様なアーキテクチャと学習目的全体で維持される。
• 残差分散: 順方向活性化から独立した勾配である残差逆伝播は、脳活動を有意に予測し、特に後期視覚野（例えば、腹内側および側頭頭頂葉皮質）および刺激後 0.5 秒から 1.7 秒の後の時間窓における表現を符号化する。
• 空間的不一致:
  • 順方向パス: 浅い層は初期視覚野（V1）を予測し、深い層は連合皮質を予測する。これはボトムアップ階層を反映している。
  • 逆方向パス: 逆伝播のトップダウン予測とは対照的に、深い勾配は初期感覚野と最もよく整合し、浅い勾配は連合領域と整合する。これは負の空間相関を示し、事実上期待される階層を逆転させる。
• 時間的不一致:
  • 順方向パス: エンコードは順次的にピークに達し、浅い層は早期に、深い層は後期にピークに達する。
  • 逆方向パス: 逆伝播された勾配のすべての層は、順方向パスの最終層と同時にピークに達する。順序立てられたトップダウンの遅延はない。勾配は、誤り信号が皮質層を介して順次的に伝播される場合に期待される時間的階層を示さない。
• 学習ダイナミクス: 順方向および逆伝播スコアはトレーニング中に対数的に増加し、高次領域および後期の遅延に向かって拡大する。これに対し、残差逆伝播は非単調な軌跡をたどり、10,000 反復でピークに達した後、教師ネットワークと生徒ネットワークが収束するにつれて減少する。

意義と主張
著者は、深層ネットワークと脳が表現内容（順方向活性化の整合によって証明されるように）を共有する可能性がある一方で、これらの表現を学習するために根本的に異なるメカニズムに依存している可能性があると結論づけている。本研究は、脳内で観測された逆伝播された勾配の空間的および時間的組織が、生物学的に妥当な逆伝播メカニズム（例えば、誤り信号の順序立てられたトップダウン伝播）の下で期待されるパターンから大きく乖離していると主張する。

本論文は、これらの知見が生物学的学習の理論に対する実証的制約を提供すると提唱している。結果が勾配に基づく学習を完全に否定するわけではないが、もしそのようなメカニズムが脳内に存在するとしても、標準的な逆伝播の特定の空間的および時間的特徴で現れるわけではないことを示唆している。著者は、明示的な誤り勾配伝播を必要としない局所的ヘッビアン則、対照学習、または予測符号化アーキテクチャなどの代替フレームワークの方が、観測された神経ダイナミクスをよりよく説明できる可能性があると示唆している。この研究は、生物学的学習の効率性と現在の深層学習アルゴリズムとの間の潜在的なギャップを浮き彫りにし、脳の実際の学習戦略を理解することが、より効率的で頑健な機械学習アプローチを刺激する可能性を示唆している。