テクニカル・サマリー：視覚階層に沿った効率的符号化

問題提起

深層学習モデルは、視覚野の表現や視覚的行動を予測する上で最先端の性能を達成している。しかし、生物学的視覚の根本的な特性である「限られたデータから有用な表現を学習する能力」を捉えることには失敗している。生物学的システムは、最小限の経験で感覚刺激の潜在的な統計構造に適応するが、現代の深層学習は、数百万から数十億の訓練サンプルを用いた教師あり、あるいは自己教師ありの更新に依存している。この相違は、生物学的視覚が根本的に異なる学習原理によって形成されている可能性を示唆している。著者らは、効率的符号化（efficient coding）——すなわち、生物学的な制約の下で、自然な刺激に関する情報を最大限に伝えるように神経表現が形作られるという理論——を用いることで、ラベルやバックプロパゲーション（誤差逆伝播法）なしに、限られたデータから人間と整合した視覚的特徴の深い階層を構築できるかどうかを調査している。

手法

モデルアーキテクチャ

著者らは、**スキャタリング・ネットワーク（scattering network）**アーキテクチャ（Guth et al., 2024）に基づいた11層の畳み込みニューラルネットワークを開発した。このアーキテクチャは、重みを空間成分とチャネル成分に分解する：

1. 固定された空間フィルタリング： 各層は、固定された$N$個のウェーブレット・フィルタ（具体的には、一つの低域通過フィルタ$\phi$と、様々な方向を持つ8つのモレット・バンドパス・フィルタ$\psi$）で始まる。これらのフィルタは、方向性のあるバンドパス特徴と粗い構造を検出する。
2. 学習可能なチャネル混合： 空間フィルタリングと整流（rectification）に続き、学習可能な$1\times1$の畳み込みがチャネル間で情報を混合する。
3. ダウンサンプリング： 2層ごとにストライド付き畳み込みを用い、空間次元を2分の1に減少させることで、深い層における有効受容野を拡大させる。
4. 正規化： バッチ正規化および空間$L_2$正規化を適用し、出力の平均をゼロ、分散を1に保ち、振幅の支配を防ぐ。

非教師あり学習プロトコル（ディープ・エフィシェント・コーディング）

核心となる革新は、グローバルな目的関数、ラベル、およびバックプロパゲーションを必要としない、層ごとの非教師あり学習手順である：

• 局所統計量： 各層において、ウェーブレット・フィルタリング、整流、およびグローバル平均プーリングの後に活性化（activations）を収集する。
• 主成分分析（PCA）： 自然画像（ImageNet）を用いて、これらの空間的にプーリングされた活性化の共分散行列を計算する。最も支配的な分散モードを表す上位$K$個の固有ベクトルを抽出する。
• 重みの最適化： これらの固有ベクトルが層の$1\times1$畳み込みの重みとして機能し、入力を自然画像の統計量に整合した$K$次元の部分空間へと効果的に圧縮する。
• 拡張： 次の層では、固定されたウェーブレット・フィルタが、この圧縮された表現を$N$倍に拡張する。
• 根拠： 著者らがICA（独立成分分析）やホワイトニングではなくPCAを選択したのは、PCAが最大分散の特徴（高次処理におけるサンプリング制限のあるレジームに関連する）を直接最適化し、一意かつグローバルに最適な解を提供するためである。

ハイブリッド学習と評価

本研究では、3つの学習パラダイムを評価している：

1. 非教師あり効率的コーディング： ネットワークは、層ごとのPCA手順のみによって学習される。
2. 従来の教師あり学習： ネットワークは、画像分類タスクに対する教師ありバックプロパゲーションを用いて、ランダムな初期化から学習される。
3. ハイブリッド学習： ネットワークはまず非教師ありの効率的コーディングフェーズを経て、その後に分類タスクのための教師あり微調整（fine-tuning）を受ける。

評価指標：

• 行動的解釈可能性： ヒューマン・パーティシパント（実験参加者）がマッチング・タスクを行い、特定のクラスターの画像（高活性 vs 低活性）がターゲットのクラスターと一致するかを選択することで、ネットワークのチャネルが知覚的に意味のある特徴を符号化しているかを評価した。
• 脳との整合性： ネットワークの層の活性化から、自然な場面データセット（NSD）（7T解像度、8被験者）のfMRI応答を予測するために、正則化線形回帰を用いたエンコーディング・モデルを適合させた。性能は、予測された皮質応答と実際の応答との間の相関によって測定された。
• データの効率性： miniImageNetにおける分類精度を、訓練サンプル数の関数として測定した。これには、転移性をテストするために初期層を凍結（freeze）させた実験も含まれる。

主な結果

1. 階層的特徴の創発

非教師ありのディープ・エフィシェント・コーディング・モデルは、ラベルなしで階層的な特徴を学習することに成功した。

• 低次層： エッジ、方向、色といった単純な特徴に対する選択性を示した。
• 高次層： テクスチャ、形状、物体を含む複雑な特徴に対する選択性を示した。
  この進行は、効率的コーディングの原理を階層的に適用することによってのみ実現された。

のリバンス（行動的関連性）

• 人間の認識： 参加者は、特定のネットワーク・チャネルによって表される特徴を高い信頼度で識別できた。非教師ありモデル（わずか10,000枚の画像で学習）は、未学習のアーキテクチャ（$M=0.68$）と比較して、マッチング・タスクにおいて有意に高い精度（$M=0.87$）を達成し、100万枚の画像で訓練された完全教師ありモデル（$M=0.96$）の性能に迫る結果となった。
• 反応時間： 反応時間はチャネルの分散ランクと有意に相関していた（$\rho = 0.37$）。参加者は、より高い分散を持つチャネルの特徴をより迅速に識別しており、これは効率的コーディングが、統計的に顕著な次元が知覚的に際立つように表現を整理していることを示唆している。
• 階層の必要性： 最終層にのみPCAを適用した（他の層を未学習のままにした）コントロール・モデルは、有意に低い性能を示し、階層構造が極めて重要であることを裏付けた。

2. データ制限下での脳との整合性

• 低データ性能： わずか1,000枚の画像（ImageNetの各カテゴリにつき1枚）で訓練された場合、ハイブリッド学習（非教師あり事前学習 ＋ 教師あり微調整）のアプローチは、腹側視覚路におけるfMRI応答の予測において、従来の教師あり学習を、特に深い層（レイヤー6以降）において有意に上回った。
• データのスケーリング： 学習データが10,000枚に増加すると、ハイブリッド学習と従来の学習の性能差は縮まったが、ハイブリッド学習は非教師ありベースラインにおいても優位性を維持した。
• 空間的分布： ハイブリッド学習の利点は、特定の領域に限定されず、視覚野全体に広く分布していた。

3. データ効率的なカテゴリ学習

• 収束の速さ： ハイブリッド・モデルは、従来のモデルと同じ分類精度に到達するために、より少ない教師あり訓練サンプルを必要とした。
• 凍結に対する堅牢性： 非教師あり事前学習の後に、中間層まで（レイヤー5まで）を凍結した場合でも、ハイブリッド・モデルは高い分類精度を維持した。対照的に、ランダムに初期化されたネットワークで同様の層を凍結すると、性能が劇的に低下した。
• 限定的なカテゴリ： 非教師あり事前学習の利点は、カテゴリ数が少なく、カテゴリあたりのサンプル数が少ない設定において最も顕著であった。これは、迅速なカテゴリ学習を促進する。

意義と主張

著者らは、これらの知見は、効率的コーディングの原理が（V1のような）低次処理だけでなく、視覚階層全体にわたって表現を形作っている可能性があることを示唆していると主張している。本研究は、生物学的視覚が以下の組み合わせによって最適化されているという新しい理論的視点を提示している：

1. ボトムアップの効率的コーディング： 自然画像の統計構造への非教師あり適応であり、これにより再利用可能で行動に関連する特徴の基礎が構築される。
2. トップダウンの目標駆動型学習： 特定の行動タスクのための、これらの表現の教師あり精緻化。

本論文は、このハイブリッド・メカニズムが生物学的視覚のデータ効率性を説明しており、限られた経験から有用な表現を迅速に学習することを可能にしていると論じている。エンドツーエンドのバックプロパゲーションに依存する従来の目標駆動型モデルとは異なり、このフレームワークは、局所的な非教師あり学習ルールが、神経学的に整合し、かつタスクに関連した階層的表現を切り出すことができることを実証した。著者らは、効率的コーディングが教師あり学習のための強力な初期化として機能し、ラベル付きデータが乏しいコンピュータビジョンの課題に対する潜在的な解決策を提供すると結論づけている。