Efficient coding along the visual hierarchy

技術的概要：視覚階層に沿った効率的符号化

問題提起
深層学習モデルは、現在、視覚皮質の表現や視覚行動の予測において高い性能を達成しているが、生物学的視覚の定義的な特徴である「限られたデータから有用な表現を学習する能力」を捉えきれていない。生物学的システムは限られた経験から学習するのに対し、現代の深層学習は、数百万から数十億の訓練サンプルにわたる教師ありまたは自己教師ありの更新に依存している。この不一致は、生物学的視覚が根本的に異なる学習原理によって形成されている可能性を示唆している。著者らは、効率的符号化（神経表現が自然入力統計構造を捉えるという仮説）が、タスクラベルや大域的な逆伝播に依存することなく、限られたデータから人間と整合する視覚特徴の階層を構築するために利用し得るかを調査する。

手法
著者らは、層別効率的符号化に基づき、散乱ネットワークアーキテクチャを用いた深層教師なし学習手順を開発した。手法の中核的構成要素は以下の通りである。

• アーキテクチャ: 11 層の畳み込みネットワーク。各層は以下の 2 つの操作で構成される。
  1. 固定空間フィルタリング: 9 種類のモルレト波letフィルタ（異なる方位の 8 種類のバンドパスフィルタと 1 種類のローパスフィルタ）による固定された畳み込み。これはエッジ検出や方位特徴に対する強力な帰納的バイアスを提供する。
  2. 学習可能なチャネル混合: 情報チャネル間で混合を行う学習可能な $1 \times 1$ 畳み込み。
  • ネットワークは、波letフィルタによる拡張とチャネル混合による圧縮を交互に行う。ストライド付き畳み込みが交互の層で空間次元を縮小する。
• 教師なし学習プロトコル:
  • モデルはラベル、タスク、逆伝播なしで学習する。
  • 各層において、アルゴリズムは自然画像（ImageNet 訓練セット）からの空間的プーリングされた活性化の共分散行列を計算する。
  • 主成分分析（PCA） が適用され、自然画像における分散の支配的なモードを捉える上位 $K$ 個の固有ベクトルを抽出する。
  • これらの固有ベクトルは $1 \times 1$ 畳み込みの重みとして機能し、入力を自然画像統計に整合した $K$ 次元部分空間に圧縮する。
  • このプロセスは逐次的かつ層別であり、各層は直近の入力の局所統計に基づいて最適化される。
• ハイブリッド学習: この教師なし初期化の有用性を検証するため、著者らは効率的符号化フェーズを画像分類タスク（ImageNet および miniImageNet）における教師あり微調整と組み合わせた。これらは以下のものと比較された。
  • 従来の教師あり学習（ランダム初期化）。
  • 純粋な教師なし学習。
  • 未学習のネットワーク。
• 評価指標:
  • 行動的関連性: 人間の被験者が特定のネットワークチャネルによって符号化された特徴を認識できるかどうかを判断する類似性判断タスクを実施した。
  • 脳との整合性: 正則化線形回帰を用いて、自然風景データセット（NSD）からの fMRI 応答を予測するエンコーディングモデルを適合させた。
  • 下流タスクの性能: miniImageNet における分類精度。これには、教師なし特徴の転移可能性をテストするために初期層を固定する実験も含まれる。

主要な貢献と結果

1. 教師なし符号化による複雑な特徴の出現:

   • 1 万枚の画像のみでラベルなしに訓練された深層効率的符号化モデルは、初期層では単純なエッジや色から、後続の層では複雑なテクスチャ、形状、物体へと進展する特徴の階層を成功裡に学習した。
   • 行動的検証: 人間の被験者はネットワークのチャネルが表現する特徴を信頼性高く識別でき（精度 $M=0.87$）、未学習のネットワーク（$M=0.68$）を大幅に上回り、100 万枚の画像で訓練された完全な教師ありモデル（$M=0.96$）の性能に迫った。
   • 反応時間との相関: 特徴の識別にかかる反応時間は、チャネル分散のランクと有意に相関していた（$\rho = 0.37$）。これは、効率的符号化によって優先される高分散の特徴が、より知覚的に顕著であることを示している。

2. 極端なデータ制限下での脳との整合性:

   • 極めて制限されたデータセット（1,000 枚、すなわち ImageNet 各カテゴリあたり 1 枚）で訓練された場合、ハイブリッドモデル（効率的符号化＋教師あり微調整）は、人間の腹側視覚皮質の応答を予測する点で、従来の教師あり学習を大幅に上回った。
   • 教師なし学習のみでも、未学習のベースラインに対して大幅な改善をもたらした。
   • ハイブリッドアプローチは、低データ条件下において、特に後段のネットワーク層（6 層以上）で、従来の学習法よりも高いエンコーディングスコアをもたらした。データが 1 万枚に増加すると、ハイブリッド法と従来の学習法の間の性能差は縮小した。

3. データ効率的なカテゴリ学習:

   • 深層効率的符号化で初期化されたネットワークは、ランダム初期化のネットワークと同じ分類精度に達するために、より少ない教師あり訓練サンプルを必要とした。
   • 層固定に対する頑健性: 教師なし事前学習後に初期から中間層（5 層まで）を固定した場合、ハイブリッドモデルは高い分類精度を維持した。一方、ランダム初期化のネットワークで同様の層を固定すると、性能が劇的に低下した。
   • 低データ領域: 教師なし事前学習の利点は、カテゴリ数とカテゴリあたりの画像数の両方が制限されている場合に最も顕著であった。

意義と主張
本論文は、効率的符号化の原理が、低次処理（例えば網膜、V1）だけでなく、視覚階層全体にわたって表現を形成する可能性があると主張している。発見は以下のことを示唆している。

• 生物学的視覚のデータ効率性は、神経系がまず教師なしの局所学習則（具体的には分散の最大化／効率的符号化）を通じて自然刺激の統計構造に適応する学習メカニズムによって説明され得る。
• この教師なしフェーズは、迅速な下流学習を促進する再利用可能で行動的に関連する特徴の基盤を創出する。
• 提案された枠組みは、エンドツーエンドの教師ありまたは自己教師あり学習という支配的なパラダイムに対する代替案を提供する。それは、腹側視覚路における表現が、ボトムアップの効率的符号化（自然統計への教師なし適応）とトップダウンの目標駆動学習（教師あり微調整）の組み合わせによって形成されると仮定している。
• この研究は、単純で局所的な教師なしアルゴリズムが、神経整合的でタスクに有用な階層的表現を迅速に形成し得ることを実証しており、「教師なし事前学習」はラベルも報酬も必要としない中核的な生物学的学習原理である可能性を示唆している。

著者らは、実装において PCA と固定空間フィルタを計算的な足場として使用しているが、中核的な発見は、高分散方向を優先する局所的に訓練された階層システムが、転移可能で脳に似た特徴を発達させ得る点にあると指摘している。また、強力な分類性能には依然として教師信号が必要であるため、効率的符号化とタスク駆動学習は相互排他的ではなく、相補的であると認めている。