技術要約：ハイブリッド・シンボリック・ニューラル動的システムのための OrthoReg

1. 問題提起

動的システムのモデリングは、解釈可能性と表現力の間の根本的なトレードオフに直面している。手動で規定されたメカニズム的（シンボリック）モデルは解釈可能であるが、複雑な自然現象に対して誤設定であったり、過度に単純化されていたりすることが多い。一方、柔軟なデータ駆動型ニューラル手法はデータの適合には優れているが、物理的な洞察に欠ける。ハイブリッドモデリングは、規定された、あるいはシンボリックな物理ベースのコンポーネント（$f_{phy}$）と、柔軟なニューラル残差（$f_{aug}$）を組み合わせることで、このギャップを埋めることを試みている。

重要な課題は、シンボリック・コンポーネントが事前に固定されているのではなく、スパースなライブラリに基づく手法（例：SINDyスタイルのアプローチ）を通じてデータから発見される場合である。このレジームにおいて、標準的なハイブリッド手法は、しばしば明確な役割分担を維持できずに失敗する。具体的には、ニューラル増強（augmentation）がシンボリックな構造を「再学習」したり、重複したりすることがあり、その結果、冗長で解釈不可能なモデルを招く。

本論文は、既存の$L_2$正則化（APHYNITYフレームワークなど）に依存する方法は、固定されたシンボリック部分空間を前提とした射影の議論に依存していることを指摘している。シンボリック・コンポーネントがスパース制約（例：$L_1$正則化）を伴って共同学習される場合、係数の収縮はシンボリック・ライブラリの範囲内（span）に残留構造を残す。その結果、たとえ全ノルムが小さくても、ニューラル増強がシンボリック部分と重複する可能性があり、固定クラスの設定で$L_2$正則化が提供する直交性の保証を損なうことになる。

2. 手法：OrthoReg

著者らは、共同学習中にシンボリック・コンポーネントとニューラル・コンポーネントの間の相補的な分解を強制するように設計された手法であるOrthoReg（直交正則化）を提案する。

コアとなる目的

OrthoRegは、ニューラル増強とシンボリック・ライブラリ間の経験的な重複を明示的に罰するように、学習目的関数を修正する。データセット $D = \{x_i\}_{i=1}^N$、固定されたシンボリック・ライブラリ $\{\phi_j\}_{j=1}^M$、およびニューラル増強 $\hat{f}_{aug}(\cdot; \vartheta)$ が与えられたとき、目的関数は以下の通りとなる：

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

ここで：

• $\mathcal{L}_{fit}$ はデータ適合損失（ベクトル場回帰または1ステップ予測）。
• $\mu \|w\|_1$ はシンボリック係数 $w$ に対するスパース性を強制する。
• 第3項は直交性ペナルティであり、$\langle \cdot, \cdot \rangle_D$ は観測された状態における経験的内積を表す。
• $\lambda$ は直交制約の強さを制御する。

理論的メカニズム

増強の全ノルム（$\|\hat{f}_{aug}\|_D^2$）を罰する$L_2$正則化とは異なり、OrthoRegはすべてのライブラリ関数との二乗内積を罰する。

• 理論的保証： 著者らは、$\lambda \to \infty$ のとき、経験的な直交性の違反がゼロに収束することを証明している。
• 誤差分解： 経験的内積の下で、直交性を強制することは、クリーンな誤差分解をもたらす：
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  これにより、シンボリック部分がライブラリが表現可能なもの（イン・ライブラリ射影）を捉え、ニューラル部分が直交補空間（残差）を捉えることが保証される。

3. 主な貢献

1. 重複に関する理論的分析： 本論文は、シンボリック・コンポーネントがスパースな発見によって学習される場合、$L_2$正則化がシンボリックとニューラルの重複を防ぐことに失敗することを実証している（定理 A.2）。反例は、スパース性が残差をシンボリックの範囲内に留めさせ、ニューラルネットワークがシンボリックな方向を再学習することを可能にすることを示している。
2. OrthoReg アルゴリズム： 著者らは、直交性ペナルティをジョイントなスパース発見の目的関数に直接組み込み、ニューラル残差が経験的内積の下でシンボリック・ライブラリに対して直交し続けることを保証するアルゴリズム的解決策を導入した。
3. 実証的検証： ベンチマーク動的システム（減衰振り子、ロトカ・ヴォルテラ、SIR、ダフィング振動子）を用いた広範な実験により、OrthoRegは純粋なシンボリック、純粋なニューラル、および$L_2$正則化されたハイブリッド・ベースラインと比較して、シンボリックな回復（高いF1スコア、より少ない項数）と分布外（OOD）汎化性能を向上させることを示した。

4. 実験結果

評価は、真のダイナミクスがシンボリック辞書に含まれない項を含んでいる**部分的なライブラリ不一致（partial library mismatch）**を持つシステムに焦点を当てている。

• シンボリック回復： OrthoRegは、正しいシンボリック・サポートを回復するための最も高いF1スコアと、最も少ない項数を一貫して達成しており、よりクリーンで解釈可能なモデルであることを示している。例えば、減衰振り子において、OrthoRegは$L_2$ベースラインの$0.61$に対し、$0.93 \pm 0.15$のF1スコアを達成した。
• 分布外（OOD）汎化： OrthoRegは、中程度のライブラリ不一致がある領域において、OODの微分誤差を大幅に減少させた。減衰振り子において、OOD微分誤差は$L_2$ベースラインに対して2桁以上低下した。
• トレードオフ： 本手法は、より良いOOD挙動とシンボリックな分離を得るために、分布内（ID）の状態MSEがわずかに増加することを許容する。これは、厳密な直交分割を強制することで、構造的完全性を維持するために生の適合性を犠牲にするという理論的見解と一致している。
• 堅牢性： メリットは不規則なサンプリング下でも持続するが、観測ノイズが非常に大きい場合や、欠落したダイナミクスがライブラリの特徴量と強く絡み合っている場合には減衰する。

5. 意義と主張

本論文は、OrthoRegがハイブリッドモデリングにおける特定の脆弱性、すなわちシンボリック・コンポーネントが固定ではなく学習される場合に生じる解釈可能性の喪失に対処することを主張している。直交正則化を通じてシンボリック・コンポーネントとニューラル・コンポーネントの相補性を明示的にすることで、以下のことが保証される：

• シンボリック・コンポーネントは、ライブラリによって表現可能なすべてのダイナミクスを捉える。
• ニューラル・コンポーネントは、ライブラリが表現できない構造化された残差のみを捉える。

著者らは、OrthoRegを普遍的な精度向上ツールとしてではなく、**分解正則化器（decomposition regularizer）**として位置づけている。その主な価値は、近似的なメカニズム的語彙と柔軟な残差が、シンボリックな説明を消し去ることなく共存できるハイブリッド科学モデルを実現することにある。

認められている限界：

• 理論的保証は、現在、経験的内積および固定された微分可能なライブラリを持つ加法的モデルに限定されている。
• 集団レベルの保証には、増強仮説クラスに対する一様収束の議論が必要であるが、これらは今後の課題とされている。
• 本手法は、ライブラリに存在しない支配法則を回復するものではない。それは単に、ライブラリで表現可能なダイナミクスとそれ以外を分離するものである。
• 微分推定が信頼できなくなる高いノイズレベルの下では、性能が低下する。