Covariance-Aware Goodness for Scalable Forward-Forward Learning

技術的サマリー：スケーラブルなフォワード・フォワード学習のための共分散認識型グッドネス

問題定義
フォワード・フォワード（FF）アルゴリズムは、各層を局所的な「グッドネス」目的関数を用いて学習することで、逆伝播（BP）に代わる原理的な代替手段を提供し、逆伝播に必要な中間活性化の保存を不要にします。しかし、既存の BP 不要の FF 手法は、ImageNet-100 や Tiny-ImageNet などの複雑で大規模な畳み込みベンチマークに適用される際、構造的なボトルネックに直面します。標準的なグッドネスの定式化は、チャネルごとの二乗活性化の和を計算するもので、特徴ボリュームを 1 次統計量（周辺チャネルエネルギー）に集約してしまいます。このアプローチは、深層ネットワークにおける識別表現に不可欠な、チャネル間相関や空間的共活性化パターンといった重要な 2 次依存関係を破棄してしまいます。その結果、CIFAR などの小規模データセットでは FF 手法が適切に機能する一方で、大規模ベンチマークでは BP に比べて著しく性能が劣り、ネットワークの深さやタスクの複雑さが増すにつれてその性能差は拡大します。加えて、局所的に学習された深層ネットワークは、ブロック境界における表現の不一致と、容量が飽和する固定のランダムな読み出し層に悩まされます。

手法
著者は、VGG-16 構造に統合された 3 つの主要コンポーネントを通じて、これらの表現および最適化のボトルネックを解決する局所学習フレームワークを提案します。

1. 双軸共分散グッドネス（BiCovG）: これが中核的な革新であり、明示的な共分散行列推定の $O(C^2)$ という非現実的な計算複雑性なしに、2 次統計量を捉えるためにグッドネス関数を 2 つの直交軸に沿って拡張します。

   • チャネル間投影: 独立したチャネルごとの集約の代わりに、この手法は学習可能な線形投影を用いて二乗する前にチャネルを混合します。これにより対角外の共分散構造を調査し、特徴間の相互作用を捉えます。
   • ネスト型マルチスケール空間集約: この手法は空間領域を複数のスケール（$s_1, s_2$）のグリッドに分割し、これらの領域内で局所エネルギーを計算します。これにより、グローバルプーリングが破棄してしまう空間的な 2 次依存関係やスケール不変な特性を捉えます。
   • 得られる特徴ベクトルは、これらのスケールにわたるチャネルごとの空間的グッドネスとチャネル間グッドネスを連結したものです。

2. 特徴整合層（FAL）: 勾配から隔離されたブロックにネットワークを分割することによって引き起こされる表現の不一致を緩和するため、ブロック境界に軽量な残差アダプターを挿入します。これは、ブロックの出力が次のブロックに入る前に、ゼロ初期化されたチャネルごとの加算補正（$\Delta$）を適用します。これにより、後続のブロックは貪欲な局所最適化の性質を乱すことなく分布のシフトに適応できます。

3. ロジスティック融合: 単一の層の予測や固定のランダム投影に依存するのではなく、このフレームワークは、軽量で学習可能な融合ヘッドを用いて、すべての層別分類器からのログオッドを集約します。これにより、より深い層の表現への寄与を増幅し、ネットワークの深さにわたる補完的な情報を活用します。

4. ハイブリッドグッドネスブロック（HGB）: 実用的な拡張として、著者はネットワークをサイズ $m$ のブロックに分割する学習方式を導入します。ブロック内の層は（ブロック内部で）標準的な BP によって共同で学習される一方、ブロック間は勾配から隔離されたままです。これにより、厳密な層別 FF（$m=1$）と完全なエンドツーエンドの BP（$m=L$）の間の調整可能な連続体が生み出され、メモリ効率と精度の間のトレードオフが可能になります。

主な貢献

• 双軸共分散グッドネス（BiCovG）: 対角外のチャネル間共分散とマルチスケール空間相関を同時にモデル化する新しいグッドネス符号化です。これは共分散認識型学習に対する扱いやすい近似を提供し、層ごとの一貫した +3% から +7% の改善をもたらし、深い層の利用率を向上させます。
• 特徴整合層（FAL): ゼロ初期化された補正を通じて、深層の局所学習ネットワークにおける表現の不一致を修正する、ブロック境界固有の残差アダプターの適応です。
• ハイブリッドグッドネスブロック（HGB）: 局所的な BP 不要学習と完全な逆伝播の間のギャップを埋める構成可能な学習方式であり、大幅なメモリ節約を維持しながら精度の回復を可能にします。

結果
提案された手法は CIFAR-100、Tiny-ImageNet、ImageNet-100 上で評価されました。

• BP 不要の性能: 完全な BP 不要モデル（BiCovG + FAL）は、ImageNet-100 で73.01%、Tiny-ImageNet で**50.30%**の精度を達成しました。これは以前の FF 手法（例：SCFF は Tiny-ImageNet で約 35%）を大幅に上回るものであり、FF 学習の実用的な深さを約 2 倍に増大させ、VGG-16 などの 16 層構造への堅牢な利用を可能にします。
• ハイブリッド性能: ブロックサイズ $m=4$ の HGB を使用すると、ImageNet-100 においてエンドツーエンドの BP との差を**3.6%**まで狭め（83.98% 対 BP の 87.61%）、Tiny-ImageNet においては BP の性能と一致します（54.48% 対 54.17%）。
• 効率性: BP 不要モデルは、ImageNet-100 において標準的な BP と比較してピーク GPU メモリ使用量を約**47.8% から 53.1%**削減します。これは主にブロック間活性化の保存を排除することによるものです。また、全結合ヘッドを層ごとの線形読み出しに置き換えたことにより、パラメータ数も標準 VGG-16 の 134.7M から 34.9M に削減されました。
• メカニズム分析: 層ごとの分析は、BiCovG が「減少領域（ピーク後の劣化）」を大幅に減少させ、「有効な層数（$N_{eff}$）」を増加させることを示しており、この手法が局所的な教師信号をネットワークのより深い部分まで生産的に維持していることを確認しました。

重要性
本論文は、フォワード・フォワード学習のスケーラビリティを制限してきたグッドネス抽出における構造的ボトルネックを特定し、解決したと主張しています。対角成分の 1 次統計量を超えて、構造化された 2 次依存関係（共分散および空間相関）を取り入れることで、著者らは BP 不要の局所学習が複雑で高解像度のベンチマークにスケーラブルであることを実証しました。この研究は、ImageNet-100 におけるグローバルな BP 不要 CNN 学習の新たな最先端を確立し、HGB を通じてメモリ効率と完全な逆伝播の性能とのバランスを取る実用的な道筋を提供します。著者らは、これをこれらのベンチマークにおいて現在までに報告された中で最強の CNN ベースのグローバル BP 不要 FF 結果として位置付けています。