技術的概要：フォワード・フォワード学習のための適応型マルチスケールグッドネス集約

1. 問題提起

ヒントンによって導入されたフォワード・フォワード（FF）アルゴリズムは、実データと負のデータに対する 2 つのフォワードパスを利用し、層を独立して学習させることで、バックプロパゲーションの生物学的に妥当な代替手段を提供する。このアプローチは、勾配計算のための中間活性化の保存を不要とし、メモリ使用量を削減するとともに、「重み輸送」の問題を回避する。しかし、ベースラインの FF アルゴリズムは、バックプロパゲーションに基づくモデルと比較して（MNIST において約 92% 対 約 98% など）、顕著な性能の差に悩まされている。

著者らは、この性能の差が FF の核心的な概念に起因するものではなく、元の実装における 4 つの具体的かつ過度に単純化された設計選択に由来すると特定している。

1. 単一スケールのグッドネス: 元のアルゴリズムは、「グッドネス」（活性化の質の尺度）を単一のスカラー（活性化の二乗和）として計算しており、異なる抽象化レベルでの情報を捉え損なっている。
2. 静的な負のサンプリング: 負のサンプルはランダムなシャッフルによって生成され、訓練信号が極めて容易か、破壊的に困難かのいずれかとなり、カリキュラムに基づく進行が欠如している。
3. 固定された閾値: 単一の静的な閾値（$\theta$）がすべての層および訓練プロセス全体に適用されており、ネットワークの深さや訓練の進行に伴って変化する活性化分布を無視している。
4. 静的な学習率: 固定された学習率の使用は、グッドネススコアや閾値がまだ収束していない初期の訓練段階における不安定性を考慮していない。

2. 手法：適応型マルチスケールグッドネス集約（AMSGA）

本論文は、FF の核心的な層ごとの非バックプロパゲーション構造を維持しつつ、4 つの弱い設計選択を適応型メカニズムに置き換えるフレームワークであるAMSGAを提案する。

A. マルチスケールグッドネス集約

単一のグッドネス指標の代わりに、AMSGA は 3 つのスケールでグッドネスを計算し、深さに依存する重みを用いてこれらを組み合わせる。

• 局所グッドネス（$g_{local}$）: 1 神経あたりの平均二乗活性化。これは初期層で重く重み付けされ、微細な低レベルの特徴を捉える。
• 中間グッドネス（$g_{inter}$）: 神経をパーティションにグループ化し、グループ内で平均二乗活性化を平均化する。これは安定した中レベルの信号を提供する。
• 大域グッドネス（$g_{global}$）: すべての神経とサンプルにわたる平均二乗活性化であり、層全体のエネルギーを捉える。これは深い層でより重く重み付けされる。
• 重み付け方式: 層$l$における最終的なグッドネス$g(h, l)$は、線形結合として以下のように定義される。
  $$g(h, l) = w_{local}(l) \cdot g_{local} + 0.35 \cdot g_{inter} + w_{global}(l) \cdot g_{global}$$
  ここで、重みは初期層における局所構造の優位性から、深い層における大域的な活動へと線形的にシフトする。

B. カリキュラム学習による適応型負のマイニング

負のサンプルの選択は、訓練の進行（$p = \text{現在のエポック} / \text{総エポック}$）に基づいて動的に調整される。

• 初期段階（$p < 0.3$）: 「境界近接性」に焦点を当て、決定閾値に近い負のサンプルを選択し、安定した初期学習を確保する。
• 中期段階（$0.3 \le p < 0.7$）: 難易度のバンドを拡大し、表現を洗練させるために、高いグッドネススコアを持つ「非常に困難な」負のサンプルを 40% の割合で導入する。
• 後期段階（$p \ge 0.7$）: バンドをさらに広げ、非常に困難な負のサンプルのサンプリング率を 50% に引き上げることで、モデルを積極的に洗練させる。
• セーフティメカニズム: 選択基準がサンプルを過少に生成した場合、アルゴリズムは最も困難な残存サンプルを追加することで、最小バッチサイズを保証する。

C. 層依存型適応閾値

閾値$\theta$はもはやグローバルな定数ではない。これは層の深さ（$l$）と訓練の進行（$p$）の両方に基づいて適応される。
$$\theta(l, p) = \theta_0 \times \left(1 + 0.15 \frac{l}{L}\right) \times (1 + 0.3 p)$$
これにより、より抽象的な特徴を処理する深い層と、表現がより洗練された訓練の後期段階では、より高い閾値が利用され、決定境界の適切な較正が維持される。

D. 学習率スケジューリング

グッドネススコアと閾値の初期の収束期間中の不安定性を防ぐため、AMSGA はウォームアップ段階（訓練の最初の 10% 間で学習率を線形に増加させる）の後に、残りをコサインアンニリングで実行する。これは、システムが安定する前に大規模で不安定化させる更新を避けるために、FF において極めて重要である。

3. 主要な貢献

1. 新規集約メカニズム: 深さに依存する重み付けを用いて局所、中間、大域の信号を活用するマルチスケールグッドネス集約の導入。
2. カリキュラムベースの訓練: 訓練の進行と同期してサンプルの難易度が変化する適応型負のマイニング戦略の実装。
3. 動的較正: 固定された閾値を、層と段階に依存する適応閾値に置き換えること。
4. 安定化戦略: 局所学習則の固有のダイナミクスに特化したウォームアップとコサインアンニリングの統合。
5. 性能検証: これらの修正が、アルゴリズムのメモリ効率や生物学的妥当性を犠牲にすることなく、FF とバックプロパゲーション間の性能ギャップを著しく縮小することを示した。

4. 実験結果

実験は、マルチレイヤーパーセプトロン（MLP）アーキテクチャを用いてMNISTおよびFashion-MNISTで行われた。

• MNIST:

  • ベースライン FF: 92.00% のテスト精度。
  • AMSGA: **94.45%**のテスト精度。
  • 改善: +2.45%。
  • モデルは 0.1% 未満の訓練 - テストギャップを達成し、強力な汎化能力を示した。

• Fashion-MNIST:

  • ベースライン FF: 81.00% のテスト精度。
  • AMSGA: **84.50%**のテスト精度。
  • 改善: +3.5%。

• 計算効率:

  • AMSGA は最小限の計算オーバーヘッドしか導入しない。集約とマイニングロジックの複雑さが追加されたにもかかわらず、エポックあたりの時間はわずかに増加しただけである（例：MNIST において 2.5 秒から 2.7 秒へ）。
  • この手法は FF の核心的な利点を維持している。つまり、バックパスが存在せず、大域的な勾配の保存が不要であり、層ごとの最適化が可能であること。

5. 意義と主張

本論文は、局所学習則（FF など）の限界は概念そのものにあるのではなく、「野心的でないデフォルト」の設計選択の結果であると論じている。グッドネスの測定方法、負のサンプルの選択方法、および訓練ダイナミクスの形成方法を扱うことで、著者らは生物学的に妥当な学習が標準的なベンチマークにおいてバックプロパゲーションと競争可能になり得ることを実証している。

著者らは、AMSGA が生物学的に妥当な学習を「単に理論的に興味深いもの」から「実際に競争力のあるもの」へと導く一歩であると主張している。彼らは、より困難なタスクにおいて最先端のバックプロパゲーションモデルと比較して依然としてギャップが残っていることを強調しつつも、ここで達成された性能向上は、そのギャップが主に局所則が複雑な表現を学習する根本的な能力の欠如によるものではなく、訓練ダイナミクスに起因するものであることを証明していると述べている。この研究は、将来の改善は局所学習パラダイムを放棄するのではなく、ラベル情報の埋め込み方法や層ごとの独立性の管理方法を洗練させることにある可能性を示唆している。