技術要約：学習と力学における構成的ダイナミクス

問題提起

本論文は、勾配ベースの学習（ニューラルネットワークにおけるバックプロパゲーションなど）とハミルトン型の力学（粒子系の波動方程式など）を、同一の基礎的な構造のインスタンスとして扱う統一的かつ構成的なフレームワークの欠如に対処している。両分野とも、共ベクトル（勾配または運動量）を「反応的」な構造（計量またはシンプレクティック形式）を介してベクトル（パラメータ更新または速度）へと変換することに依存しているが、通常は異なる構文（syntax）と意味論（semantics）でモデル化されている。本研究の目的は、「滑らかな適応的配置（smooth adaptive arrangements）」のための単一の構文を構築し、これらの構成から明示的な離散時間力学系を生成する関手的な意味論を構築することである。

手法

著者らは、カテゴリー論、特にオペラド、多項式関手、およびレンズ（lenses）を用いて、二段階のフレームワークを構築している。

1. 構文（オペラド ArrSm）:
   本論文は、「滑らかな適応的配置」の構文としてオペラド ArrSm を定義する。その対象は入出力インターフェース（多様体のペア）であり、その射は滑らかな適応的配置である。この配置は以下で構成される：

   • 反応的パラメータ空間 $Q$: 「シャープ」写像 $\sharp_Q: Q^* \to Q$ を備えたベクトル空間。
   • レンズ $(f_-, f_+)$: 前方写像 $f_+: Q \times M^+ \to N^+$ と、情報をルーティングするための後方写像 $f_-: Q \times M^+ \times N^- \to M^-$。
   • ポテンシャル $U: Q \times M^+ \times N^- \to \mathbb{R}$: その微分がダイナミクスを駆動する。

   この構文は、サブシステムの間の結合が、時間とともに進化する内部パラメータや外部信号に依存することを可能にすることで、静的な配線図を一般化している。

2. 意味論（多項式余代数への関手）:
   意味論は、$\mathbf{PC}$（離散入出力力学系の多項式余代数の2-カテゴリー）への関手 $\Phi: \text{ArrSm} \to \mathbf{PC}$ である。構成は以下の3つのステップで行われる：

   • レンズの内在化: 重要な技術的成果は、レンズ・インターフェース $(c^-, c^+)$ をオブジェクト $[c^-, I] \otimes c^+$ に内在化する、緩やかな対称モノイダル関手 $\Theta: \text{Lens}_\mathcal{C} \to \mathcal{C}$ の構成である（系図 3.3.4）。これにより、後方パスとポテンシャルを周囲のカテゴリー内のデータとして扱うことが可能になる。
   • 多項式的解釈: 滑らかなデータ（多様体、写像、ポテンシャル）は、余接関手 $\text{cot}: \text{Mfd} \to \text{Poly}$ を通じて多項式関手へと写される。これは、多様体を、位置が点であり方向が共ベクトルであるインターフェースへと翻訳する。
   • インテグレータ（積分器）: 多項式写像を離散力学系に変換するために、本論文では「インテグレータ」を導入する。インテグレータは、状態空間 $S$ と、入ってくる共ベクトルに基づいて $S$ を更新する規則を指定する。本論文では、2つの特定のインテグレータを定義している：
     • 構成インテグレータ ($\Phi_{\text{conf}}$): 状態はパラメータ空間 $Q$ である。更新は降下則（例：$q \mapsto q - \sharp_Q(\nabla U)$）に従う。
     • 位相インテグレータ ($\Phi_{\text{phase}}$): 状態は余接束 $T^*Q$（位置と運動量）である。更新は、特定の条件下で標準的なシンプレクティック・ペアリングを保存するシンプレクティック・オイラー・ステップに従う。

主な貢献

• レンズの内在化: 本論文は、レンズ・インターフェースを対称モノイダル閉カテゴリーのオブジェクトに内在化するための一般的なカテゴリー論的メカニズム（定理 3.3.3、系図 3.3.4）を確立し、双方向のデータフローを標準的な射として扱うことを可能にした。
• 統一された構文と意味論: ArrSm オペラドと、2つの異なる意味論的関手 $\Phi_{\text{conf}}$ および $\Phi_{\text{phase}}$ を構築し、学習と力学が同一の構文的対象の異なる「読み方」であることを示した。
• 標準的なアルゴリズムの回収:
  • $\Phi_{\text{conf}}$ をパラメータ化されたニューラルネットワークに適用すると、後方パスがレンズの後方写像となる勾配降下法（バックプロパゲーションを伴う）が回収される。
  • 特定のヘッセ行列に基づくシャープ写像を持つ閉じたシステムに $\Phi_{\text{conf}}$ を適用すると、ニュートン法が回収される。
  • 調和粒子の一連の連鎖に $\Phi_{\text{phase}}$ を適用すると、離散波動方程式が回収される。
  • 同じ調和粒子の連鎖に $\Phi_{\text{conf}}$ を適用すると、離散熱方程式が回収される。
• シンプレクティック性の証明: 本論文は、閉じた調和的配置（定数対称シャープ、二次ポテンシャル）に対して、位相力学関数 $\Phi_{\text{phase}}$ が標準的なシンプレクティック・ペアリングを保存する線形同型写像による更新をもたらし、実質的にハミルトン流を離散化することを証明している（命題 6.6.1）。

結果

本論文は、単一の適応的配置（固定された配線、ポテンシャル、および反応構造を持つ図式）が、インテグレータの選択のみによって、質的に異なるダイナミクスのレジームを生成できることを示している：

• 保存的 vs 散逸的: 位相インテグレータは、二次、保存的なシステム（波動方程式）を生み出すが、構成インテグレータは一次、散逸的なシステム（熱方程式）を生み出す。
• 構成的ダイナミクス: ArrSm はオペラドであるため、より小さなシステムを配線することで、より大きなシステムを構築できる。意味論的関手は、局所的な部分から大域的なダイナミクス関数手を関手的に組み立て、複合システムのダイナミクスがその構成要素とその相互接続によって決定されることを保証する。
• 実行可能な意味論: 得られる余代数は、明示的な状態機械である。本論文は、これらの構成が実行可能なコードにコンパイルできるほど精密であることを述べている（謝辞にある付随コードを参照）。

重要性

本論文は、勾配ベースの学習とハミルトン力学が、関手的な意味論として現れる「単一の構成的設定」を提供することを主張している。その重要性は以下の点にある：

1. 統一: 最適化（学習）と物理学（力学）の間の深い構造的共通性を明らかにし、それらが同一の構成的構文に従い、インテグレータ（状態空間と更新則）の選択のみが異なることを示している。
2. 汎用性: フレームワークは多様体に限定されず、抽象的なカテゴリー論的要素（カルテジアンカテゴリー、モノイダルモノイド）に基づいて構築され、滑らかな設定においてインスタンス化されている。これは、代数的構文や他の領域への適用可能性を示唆している。
3. モジュール性: ダイナミクスをオペラドの関手的な意味論として扱うことで、より単純で再利用可能なコンポーネントから複雑なダイナミカルシステムを構成するための厳密な手法を提供している。その際、それらのダイナミクスがどのように組み立てられるかについての一貫性が保証される。

本研究は、Capucci–Lynch–Spivak（連続時間）の「開いたエネルギー駆動型」の枠組みと、離散時間における学習・力学との間の架け橋となるものであり、適応的な結合とパラメータ更新をネイティブに扱う離散時間版のモデルを提示している。