技術的概要：伝播場：深層学習の幾何学的基盤理論

1. 問題定義

現代の深層学習は、主にニューラルネットワークをタスク固有の損失関数を通じて最適化される、入力から出力へのエンドポイント関数として扱っている（LeCun ら、2015）。このアプローチは大きな成功を収めてきたが、情報伝播の内部メカニズムは依然として十分に理解されていない。標準的な訓練は境界挙動（入力 - 出力マッピング）を制約するが、層ごとの表現の幾何学と内部状態の軌跡は未決定のままとどめている。このギャップは、敵対的ロバスト性（Szegedy ら、2013）やコンテキスト内学習（Brown ら、2020）から、継続学習における破滅的忘却（Kirkpatrick ら、2017）に至るまで、多様な問題として現れる。

ここで扱われる中心的な問題は、エンドポイントの教師信号が、内部伝播場を一意に特定しないという点である。2 つのモデルが「エンドポイント等価」（ほぼ同一のタスク損失を達成する）であっても、隠れ状態の軌跡や局所ヤコビアン演算子を含む、内部幾何構造が著しく異なる可能性がある。その結果、標準的なスケーリング則はエンドポイント損失のスケーリングを記述するが、必ずしも内部伝播品質のスケーリングを記述するわけではない。

2. 手法：伝播場フレームワーク

著者らは、物理学における力に基づく力学から幾何学的場理論（一般相対性理論やヤン・ミルズ理論など）への転換に触発された「伝播場」の視点を提案する。層を離散的な計算ステップとして見るのではなく、ネットワークを、深さにわたる隠れ状態の軌跡と局所ヤコビアンの集合によって定義される場として捉える。

2.1 核心的な定義

• 伝播場 ($\Phi_\theta$): 隠れ状態の集合 $\{h_0, \dots, h_L\}$ と局所ヤコビアン $\{J_0, \dots, J_{L-1}\}$（ここで $J_\ell = \partial h_{\ell+1} / \partial h_\ell$）の集合として定義される。連続フローモデルの場合、これには軌道 $h(t)$ とベクトル場 $f_\theta(h, t)$ が含まれる。
• エンドポイント等価性: 2 つのモデルのタスク損失が許容誤差 $\epsilon$ 未満で異なる場合、それらはエンドポイント等価である。本論文は（命題 2.3）、エンドポイント等価性が場等価性を意味しないことを証明している。モデルは同一の精度を持ちながら、軌道およびヤコビアン構造において桁違いの差異を示す可能性がある。
• 場距離: 2 つのモデルの隠れ状態軌道とヤコビアン構造の不一致を定量化する指標 $d_{field}$。

2.2 観測可能な指標

伝播場を測定可能にするため、著者らは標準的なネットワークで計算可能な離散幾何学指標を導入する。

• 経路長: 深さにわたる表現の全変位。
• 離散曲率: 隠れ軌道の曲がり具合の代理指標。
• 速度整合性: 層を超えた伝播方向の一貫性。
• 経路感度: 異なる観測経路（例えば、異なるパッチ順序や時間ウィンドウ）を介して同じ入力が提示された際の、隠れ状態または出力の分散。
• ソルバー整合性: 同じ基礎的な場を異なるステップサイズまたは数値ソルバーで離散化した場合の、終端状態の安定性。
• 保持スコア（FRS/JRS）: 継続学習において、新旧モデル間の隠れ軌道（FRS）と局所ヤコビアン（JRS）のドリフトを測定する指標。

2.3 最適化目的

本論文は、内部幾何学を正則化するための場意識型目的関数を導入する。

• マルチパス整合性 ($L_{reveal}$): 異なる観測経路にわたる隠れ状態/ロジットの差異を最小化する。
• ソルバー整合性 ($L_{solver}$): 異なる数値離散化の下でも終端状態が一貫して保たれることを保証する。
• ヤコビアン滑らかさ ($L_{jac}$): 局所伝播演算子の滑らかさを正則化する。
• 場保存正則化 (FPR): 継続学習において、FPR は標準的なリプレイや蒸留を補完するものとして、以前のタスクの隠れ軌道とヤコビアン場を保存する制約を追加する。

3. 主要な貢献と実験結果

本論文は、制御されたシステム、現実世界のタスク、継続学習の設定において、実証的な証拠を提供する。

3.1 制御されたシステム（ティーチャーフローおよび偏微分方程式）

• 未決定性: ティーチャーフロー実験において、エンドポイント精度が同一（0.9975）のモデルでも、場教師信号を適用した場合、軌道回復誤差が58.7 倍（3.52 対 0.06）異なっていた。
• 法則の回復: 偏微分方程式（PDE）の外挿タスクにおいて、標準的なエンドポイント適合は基礎となる伝播法則の回復に失敗した（$T=2.0$ における MSE = 1.217）。一方、ジェネレータ型の場モデルは有意に低い誤差（MSE = 0.195）を達成し、エネルギー進化を保持した。
• 結論: エンドポイント適合は行動の等価クラスを特定するが、基礎となる伝播法則を回復することはできない。

3.2 現実のマルチパスタスク

• タスク整合性: 場意識型目的関数は、タスク構造と整合している場合のみ、汎化能力（OOD 精度、未観測経路精度）と較正を改善する。
  • 成功: Tiny-ImageNet において、完全な場意識型目的関数は精度（0.097 $\to$ 0.118）、OOD 精度、較正を向上させ、経路感度を低下させた。
  • 失敗（崩壊）: CIFAR-100 において、場整合性を強制すると経路感度は低下したが、場の崩壊を引き起こし、精度が 0.0405 から 0.0093 に劣化した。これは、低い経路感度だけでは識別性能にとって不十分であり、場は十分な方向的多様性を保持しなければならないことを示している。
• 最適化のトレードオフ: 勾配分析により、タスク目的と場目的の間の対立（最大 36% の負の勾配割合）が明らかになった。標準的な逆伝播は、自動的に最適なタスク - 場トレードオフを見つけることはできず、パレトフロンティアを探索するには専用アルゴリズム（例：LocalFieldMatch）が必要である。

3.3 継続学習

• 場対関数の保持: Split CIFAR-100 において、単独の場保存正則化（FPR）は内部場指標（JRS = 0.033）を成功裏に保持したが、エンドポイント精度（AA = 0.037）の維持には失敗した。逆に、標準的なリプレイ手法（DER++）は精度を保持した（AA = 0.135）が、場のドリフトを許容した（JRS = 0.177）。
• 相補性: FPR と DER++ の組み合わせ（DER++ + FPR-Full）は、両方の次元を同時に改善し、平均精度（0.125 $\to$ 0.136）と後方転送を向上させつつ、場のドリフトを減少させた。これは、場保持と関数保持は冗長ではなく、相補的な目的であることを示唆している。

4. 意義と主張

本論文は、伝播場の品質を、エンドポイント性能を超えて存在する、ニューラルネットワークの測定可能かつ学習可能な特性として確立することを主張する。

• 理論的転換: 静的な入力 - 出力マップの最適化から、動的な内部幾何学的基盤の管理へと、深層学習の枠組みを再定義する。
• 識別可能性: エンドポイント教師信号は内部伝播場を一意に決定するには不十分であることを示し、経路依存性や長期的プロセスを伴うタスクには、明示的な場意識型目的関数が必要であることを示す。
• 実用的有用性: 場意識型目的関数は、特定の領域（例：マルチパスタスク）においてロバスト性と汎化性を強化できるが、「場の崩壊」（識別能力を犠牲にして幾何学的整合性を最適化する状態）を避けるために慎重なバランスが必要である。
• 継続学習: 忘却は場レベル（内部伝播法則の書き換え）で発生し、この幾何学を保持することは、従来の関数レベルの保持戦略を補完するという提案。

著者らは、「カケヤ的な方向性原理」で結論付けている。有用な伝播場は、不要な経路感度を低減しつつ、識別のための十分な方向的多様性を保持しなければならない。この研究は、将来の深層学習研究が、最終出力だけでなく、内部伝播の幾何学を明示的に測定し最適化すべきであることを示唆している。