Mono-Forward: Revisiting Forward-Forward through Objective-Locality Decomposition

技術概要：Mono-Forward：目的と局所性の分解による Forward-Forward の再検討

問題定義
逆伝播（BP）は深層ニューラルネットワークのトレーニングにおいて支配的なアルゴリズムであり続けていますが、多大なメモリオーバーヘッドを伴い、生物学的に妥当性が疑問視されるグローバルな誤差伝播に依存しています。ヒントンによって導入された Forward-Forward（FF）アルゴリズムは、順伝播と逆伝播のパスを正と負の 2 つの順伝播パスに置き換え、各層を局所的な「善さ（goodness）」目的関数を用いてトレーニングすることで、生物学的に妥当な代替手段を提供します。しかし、FF は一貫して BP よりも精度が劣ります。この性能格差が、局所的な学習（局所情報のみを用いてパラメータを更新すること）の固有的な限界に起因するのか、それとも FF で使用される特定の対照的善さ目的関数（正負の二重パスと閾値ベースの損失に依存するもの）に起因するのかという、未解決の核心的な問いが存在します。元の FF 定式化においてこれら 2 つの設計選択が密接に結合しているため、性能不足の根源を特定することは困難でした。

手法
著者らは、FF アルゴリズムをその 2 つの中核コンポーネント、すなわち（1）局所誤差信号の使用（層ごとの局所学習）と（2）対照的善さトレーニング目的関数とに分解することを提案します。目的関数と局所性のどちらが主要なボトルネックであるかを調査するため、著者らは**Mono-Forward（MF）**を導入しました。

MF は FF の簡略化された変種であり、層ごとの局所学習構造は維持しつつ、トレーニング目的関数を根本的に変更します：

1. 目的関数の置換： 元の FF の正負二重パスの対照的目的関数の代わりに、MF は各層で局所的に標準的な多クラス交差エントロピー目的関数を適用します。
2. アーキテクチャ： 各層 $i$ は、層固有の「善さ行列」$M_i \in \mathbb{R}^{n \times m}$（ここで $n$ はニューロン数、$m$ はクラス数）を備えています。活性化ベクトル $a_i$ が与えられると、層は善さベクトル $g_i = a_i^\top M_i$ を計算します。
3. トレーニング： これらの善さスコアから即座に局所的な交差エントロピー損失を計算し、その特定の層とその善さ行列のパラメータを更新します。その後、活性化は切り離され、次の層へ順伝播されます。
4. 推論： 推論時、MF はすべての層にわたって善さスコアを累積するか、または最終層の善さスコアのみを依存します。後者のほうがメモリ効率が高いです。

本論文ではまた、グローバル誤差伝播、完全比較善さ目的関数（FC-FF）、および層間 L2 正規化の影響を分析するための広範なアブレーション研究を実施しており、標準的な分類目的関数と比較して、元の FF 目的関数が性能低下の重要な要因であることを実証しています。

主な貢献

• FF の分解： 本論文は、FF と BP の間の性能格差が局所性のみによるものではなく、教師あり分類タスクにおける元の対照的善さ目的関数の非効率性に大幅に影響されていることを示す概念的な分解を提供します。
• Mono-Forward（MF）： 局所学習のための最小かつ制御されたベースラインとしての MF の導入。これは FF 目的関数を標準的な交差エントロピー損失に置き換えることでその効果を分離し、局所パラメータ更新を維持します。
• 実証的検証： MNIST、FashionMNIST、CIFAR-10/100、PathMNIST、TinyImageNet などのデータセットにおける MLP、畳み込みニューラルネットワーク（CNN）、MLP-Mixer アーキテクチャにわたる広範な実験。
• メモリ効率分析： メモリ消費の詳細な分析。MLP 設定では MF がメモリ使用量を削減する一方で、高解像度の特徴マップに対する善さ行列の保存により、CNN におけるそのメモリコストは BP を超える可能性があることを強調しています。

結果

• 精度の向上： MLP ベンチマーク全体において、MF はバニラ FF および各種 FF 変種（例：Collaborative FF、SymBa）を一貫して上回ります。MLP において、MF は BP と同等の精度を達成し、MNIST および FashionMNIST ではわずかにそれを上回り、CIFAR-10 および CIFAR-100 においても競争力があります。
• MLP-Mixer の性能： PathMNIST において、MF は特定の構成において BP をわずかに上回る精度（89.32% 対 87.62%）を達成しつつ、BP が消費するメモリのわずか**31%**しか必要としません。
• CNN の限界： CNN に適用された場合、MF のメモリコストは空間解像度とクラス数に比例して増加し、完全結合型 MLP で大幅な節約が見られるのとは異なり、BP のメモリ使用量を超えることがあります。
• 表現の質： リニアプローブ精度、k-NN 精度、フィッシャー比を用いた分析は、MF がバニラ FF よりも、特に深い層において強力な層ごとの表現を学習し、BP と競争力のあるままであることを示しています。
• ハードウェア効率： MF は CPU 上でエポックあたりのウォールクロック時間を削減（BP 時間の 0.88〜0.93 倍）しますが、標準的な逆伝播に比べて層ごとの局所目的関数向けに高度に最適化されたカーネルが欠如しているため、GPU 上では遅くなります（BP 時間の 1.18 倍）。

意義と主張
本論文は、教師あり設定における Forward-Forward アルゴリズムの主な限界は、その更新の局所性ではなく、むしろそれが採用する特定の対照的目的関数にあると主張しています。これらの要因を分離することで、著者らは局所学習が標準的な分類目的関数と組み合わされれば非常に効果的であることを実証しています。

Mono-Forward の意義は二重です：

1. 実用的： 特定のアーキテクチャ（MLP および MLP-Mixer）において、大幅に削減されたメモリ要件で逆伝播に近い精度を達成するトレーニング手法を提供し、リソース制約のある環境でのアクセシビリティ向上を潜在的に可能にします。
2. 分析的： 局所学習分野における「制御されたプローブ」として機能します。著者らは、局所学習手法を、その局所性制約を緩和する変種（グローバル誤差信号を導入するもの）と比較することが、性能格差が局所性によるものか、トレーニング目的関数の選択によるものかを特定するための有用な戦略であると提唱しています。

著者らは、MF が明示的なラベルと勾配ベースの最適化に依然として依存しているため、忠実な生物学的モデルではないこと、およびその効率はハードウェアに依存することを認め、謙虚な姿勢を保っています。彼らは MF が BP に普遍的に優れていると主張するのではなく、適切に設計された局所目的関数が、特にメモリ効率が最重要となる特定の設定において有利であることを示唆しています。