技術的要約：精度と勾配コサイン類似性が捉え損ねるもの

問題提起

ディープラーニングの成功にもかかわらず、生物学的に妥当でハードウェア効率の高いメカニズムを通じて深いネットワークを訓練することは、依然として未解決の課題である。フィードバック・アライメント（FA）手法は、逆伝播（BP）の制約（具体的には重みの対称性と逐次的な更新）に対処するため、逆方向の重みを固定されたランダム行列に置き換える。FAおよびその変種であるダイレクト・フィードバック・アライメント（DFA）は、トランスフォーマーのような現代的なアーキテクチャの訓練において有望な結果を示しているが、その評価は、標準的な報告ペアである「タスク精度」と「手法のクレジット信号とBP勾配との集計コサイン類似度」に依存している。

本論文は、この標準的な報告ペアは不十分であり、ネットワークの深い層を実際に訓練できていない手法を、誤って合格させてしまう可能性があると主張する。著者らは、標準的な指標が、深い層において有用なクレジット割り当てに失敗しているにもかかわらず、誤解を招く肯定的な信号を与えてしまう、2つの独立した失敗モードを特定している。

メソドロジーおよび診断プロトコル

これらの失敗を診断するために、著者らは、制御された監査を実施し、残差構造（ResMLP、ViT-Mini、StudentNet）において、訓練レシピは同一であるが、クレジット伝搬ルールのみが異なる3つの手法（BP、FA、DFA）を比較した。彼らは、標準的な指標が、深いブロックが実質的に使用されていない、あるいは有害である場合に、それを検知できないことを観察した。

これらの観察に基づき、著者らは、標準的な報告ペアを補完または置き換えるための「3つのチェックによる診断評価プロトコル」を提案する。

1. スケール安定性 (診断1): 訓練終了時における最大ブロックごとの残差成長（$\rho = \max_l \|h_{l+1}\|/\|h_l\|$）を測定する。
   • 閾値: $\rho > 50$ の場合にフラグを立てる。
   • 目的: 「残差ストリームの爆発」を検出し、これは参照勾配の崩壊の前兆となる。
2. 参照妥当性 (診断2): 最深部のBP参照勾配のノルム（$\|g_L\|$）を測定する。
   • 閾値: $\|g_L\| < 10 \cdot \epsilon$ （ここで $\epsilon$ はコサイン実装の分母のフロア値、通常fp32では $10^{-8}$）の場合にフラグを立てる。
   • 目的: **測定の退化（Measurement Degeneracy）**を検出する。ターミナルLayerNormアーキテクチャにおいて、残差の爆発はBP勾配を数値的なフロアへと圧縮する。これが起こると、コサイン類似度は意味のある方向ではなく、浮動小数点ノイズに対して計算されるため、指標が解釈不能になる。
3. 深層の有用性 (診断3): 訓練済みモデルのテスト精度と、アーキテクチャが一致する凍結ブロック・ベースライン（残差ブロックをランダム初期値のまま保持し、埋め込み、LayerNorm、ヘッドのみを訓練したもの）との差を算出する。
   • 閾値: 差が2パーセントポイント未満の場合にフラグを立てる。
   • 目的: 訓練された深層が予測に真に寄与しているかを検出する。このチェックは、たとえコサイン測定が有効であっても、クレジット方向への更新が有用な深層訓練へと構成されることを保証しないため、必要である。

また、プロトコルは、層ごとの不均一性を隠蔽することを避けるため、集計された報告ではなく、層ごとのコサイン報告を義務付けている。

主要な知見と失敗モード

本論文は、標準的な指標が見逃してしまう2つの因果的に独立した失敗モードを特定している。

• モード1：測定の退化（参照の崩壊）。
  • メカニズム: ターミナルLayerNormを持つ残差アーキテクチャにおいて、残差ストリームの無制限な成長（ローカル損失の形式に起因）は、BP参照勾配を逆方向に縮小させる。最終的に、勾配ノルムは数値的なフロアを下回る。
  • 結果: 報告されるコサイン類似度は、真のBP方向ではなく、正規化された浮動小数点残差（ノイズ）に対して計算される。このモードは、ターミナルLayerNormを備えたアーキテクチャ（ResMLP、ViT-Miniなど）では一般的であるが、それを持たないアーキテクチャ（StudentNetなど）には存在しない。
• モード2：集計の崩壊（層ごとの不均一性）。
  • メカニズム: 集計コサインは、ネットワークの両端に集中している層ごとのコサインを平均化したものである。例えば、FAは深い層でのみ整列し、DFAは浅い層（埋め込み層）でのみ整列することがある。
  • 結果: 集計コサインは正の値を示し、整列を示唆するが、実際には深い層（または手法によっては浅い層）が整列したクレジットを全く寄与していない。
• コサインは深層の有用性を予測しない。
  • モード1が緩和され（スケールペナルティによる）、コサイン測定が有効であっても、高いコサイン整列が、深い層の精度向上を予測するとは限らない。著者らは「State Bridge」および「Credit Bridge」プローブを用いて、コサイン整列が低い手法の方が、高い整列を示す手法よりも高い精度を達成できることを示した。

結果

著者らは、複数のアーキテクチャと設定においてプロトコルを検証した。

• 標準的な指標の失敗: 代表的な設定（例：CIFAR-10におけるResMLP）において、FAとDFAは非自明な精度と正の集計コサインを報告した。しかし、標準的なペアは、これらの手法が凍結ブロック・ベースラインを超えられなかったという信号を与えなかった。
• プロトコルの成功: 提案されたプロトコルは、すべての失敗を正しく特定した。
  • DFAは、ターミナルLayerNormを持つアーキテクチャにおいて、一貫してモード1（スケール爆発と参照の崩壊）および深層の有用性の失敗を引き起こした。
  • FAは、モード1（参照の妥当性は維持）をパスすることが多かったが、深層の有用性のチェックで失敗した。これは、参照は測定可能であったものの、クレジット信号が効果的に深い層を訓練していなかったことを示している。
• 因果的独立性: ペナルティ介入（ローカル損失にスケールペナルティを追加すること）により、モード1は緩和された（参照の妥当性が回復した）が、モード2（深い層の整列の低さ）を即座に修正することはできなかった。これは、これら2つの失敗モードが別個のものであり、個別の診断を必要とすることを裏付けている。
• 汎用性: 失敗パターンは、CIFAR-10およびCIFAR-100、ならびにResMLPおよびViT-Miniのアーキテクチャ全体で保持されていた。

意義と主張

本論文は、フィードバック・アライメントのための標準的な評価プロトコルは、深い残差アーキテクチャに対して根本的に欠陥があることを主張している。精度と集計コサインに依存することで、研究者は、深い層が機能していない、あるいはむしろ有害である手法の上に積み上げてしまうリスクを負うことになる。

本研究の意義は以下の点にある：

1. サイレントな失敗の特定: 標準的な指標を無意味にする2つの独立したメカニズム（測定の退化と集達の崩壊）を明らかにしたこと。
2. 診断プロトコルの提供: 実務者が、スケールアップやデプロイを行う前に、FA手法が実際に深い層を訓練しているかどうかを検証するために使用できる、具体的かつ実行可能な一連のチェック（スケール安定性、参照妥当性、深層の有用性）を提供したこと。
3. コサインの役割の明確化: コサイン整列は、たとえ妥当に測定されていても、深層訓練の機能的な有用性の十分なプロキシ（代理指標）ではないことを確立したこと。

著者らは、プロトコルに合格することが、その手法がバックプロパゲーションの普遍的な代替手段であることを証明するものではないが、不合格であることは、その手法がテストされた特定のアーキテクチャの深い層を訓練することに成功していないことを示す、と強調している。本研究の目的は、機能していないクレジット割り当てメカニズムをスケールさせることを防ぐことにある。