Technisches Resümee: OrthoReg für hybride symbolisch-neuronale dynamische Systeme

1. Problemstellung

Die Modellierung dynamischer Systeme steht vor einem grundlegenden Kompromiss zwischen Interpretierbarkeit und Ausdrucksstärke. Manuell vorgegebene mechanistische (symbolische) Modelle sind interpretierbar, aber oft falsch spezifiziert oder zu vereinfacht für komplexe Naturphänomene. Umgekehrt sind flexible datengetriebene neuronale Methoden exzellent darin, Daten anzupassen, lassen aber physikalische Einsichten vermissen. Hybride Modellierung versucht, diese Lücke zu schließen, indem sie eine vorgegebene oder symbolische physikbasierte Komponente ($f_{phy}$) mit einem flexiblen neuronalen Residuum ($f_{aug}$) kombiniert.

Eine kritische Herausforderung entsteht, wenn die symbolische Komponente nicht a priori festgelegt ist, sondern aus Daten entdeckt wird (z. B. über SINDy-ähnliche Ansätze mit spärlichen Bibliotheken). In diesem Regime scheitern Standard-Hybridansätze oft daran, eine klare Arbeitsteilung aufrechtzuerhalten. Speziell können die neuronale Augmentation oder das Modell die symbolische Struktur „nachlernen“ oder mit ihr überlappen, was zu redundanten und uninterpretierbaren Modellen führt.

Das Paper identifiziert, dass bestehende Methoden, die auf einer Standard-$L_2$-Regularisierung beruhen (wie der APHYNITY-Framework), auf einem Projektionsargument basieren, das eine feste symbolische Subraum voraussetzt. Wenn die symbolische Komponente gemeinsam mit Sparheitsbeschränkungen (z. B. $L_1$-Regularisierung) gelernt wird, führt die Schrumpfung der Koeffizienten dazu, dass eine Residuenstruktur innerhalb des Spanns der symbolischen Bibliothek verbleibt. Infolgedessen kann die neuronale Augmentation mit dem symbolischen Teil überlappen, selbst wenn die Gesamtnorm klein ist, was die Orthogonalitätsgarantie bricht, die eine $L_2$-Regularisierung in Settings mit fester Klasse bietet.

2. Methodik: OrthoReg

Die Autoren schlagen OrthoReg (Orthogonal Regularization) vor, eine Methode, die darauf ausgelegt ist, eine komplementäre Zerlegung zwischen der symbolischen und der neuronalen Komponente während des gemeinsamen Trainings zu erzwingen.

Kernziel

OrthoReg modifiziert das Trainingsziel, um die empirische Überlappung zwischen der neuronalen Augmentation und der symbolischen Bibliothek explizit zu bestrafen. Gegeben sei ein Datensatz $D = \{x_i\}_{i=1}^N$, eine feste symbolische Bibliothek $\{\phi_j\}_{j=1}^M$ und eine neuronale Augmentation $\hat{f}_{aug}(\cdot; \vartheta)$, ist das Ziel:

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

Wobei:

• $\mathcal{L}_{fit}$ der Fit-Verlust (Vektorfeld-Regression oder Ein-Schritt-Vorhersage) ist.
• $\mu \|w\|_1$ die Sparheit der symbolischen Koeffizienten $w$ erzwingt.
• Der dritte Term der Orthogonalitäts-Penalty ist, wobei $\langle \cdot, \cdot \rangle_D$ das empirische Skalarprodukt über die beobachteten Zustände bezeichnet.
• $\lambda$ die Stärke der Orthogonalitätsbeschränkung steuert.

Theoretischer Mechanismus

Im Gegensatz zur $L_2$-Regularisierung, die die gesamte Norm der Augmentation ($\|\hat{f}_{aug}\|_D^2$) bestraft, bestraft OrthoReg die quadrierten Skalarprodukte der Augmentation mit jeder Bibliotheksfunktion.

• Theoretische Garantie: Die Autoren beweisen, dass mit $\lambda \to \infty$ die empirischen Orthogonalitätsverletzungen gegen Null konvergieren.
• Fehlerzerlegung: Unter dem empirischen Skalarprodukt ermöglicht das Erzwingen der Orthogonalität eine saubere Fehlerzerlegung:
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  Dies stellt sicher, dass der symbolische Teil das erfasst, was die Bibliothek ausdrücken kann (die In-Library-Projektion), während der neuronale Teil das orthogonale Komplement (das Residuum) erfasst.

3. Zentrale Beiträge

1. Theoretische Analyse der Überlappung: Das Paper zeigt auf, dass $L_2$-Regularisierung die Überlappung zwischen Symbolik und Neuralität nicht verhindern kann, wenn die symbolische Komponente via Sparse Discovery gelernt wird (Theorem A.2). Ein Gegenbeispiel zeigt, dass die Sparheit dazu führt, dass das Residuum innerhalb des symbolischen Spanns verbleibt, was es dem neuronalen Netzwerk ermöglicht, symbolische Richtungen nachzulernen.
2. OrthoReg-Algorithmus: Die Autoren führen eine algorithmische Lösung ein, die einen Orthogonalitäts-Penalty direkt in das gemeinsame Sparse-Discovery-Ziel integriert und sicherstellt, dass das neuronale Residuum unter dem empirischen Skalarprodukt orthogonal zur symbolischen Bibliothek bleibt.
3. Empirische Validierung: Umfangreiche Experimente an Benchmark-Dynamiksystemen (gedämpftes Pendel, Lotka-Volterra, SIR, Duffing-Oszillator) zeigen, dass OrthoReg die symbolische Rekonstruktion (höhere F1-Scores, weniger Terme) und die Out-of-Distribution (OOD) Generalisierung im Vergleich zu rein symbolischen, rein neuronalen und $L_2$-regularisierten hybriden Baselines verbessert.

4. Experimentelle Ergebnisse

Die Evaluierung konzentriert sich auf Systeme mit partiellem Bibliotheks-Mismatch, bei denen die wahren Dynamiken Terme enthalten, die außerhalb des symbolischen Wörterbuchs liegen.

• Symbolische Rekonstruktion: OrthoReg erreicht konsistent die höchsten F1-Scores bei der Rekonstruktion des korrekten symbolischen Supports und die geringste Anzahl an Termen, was auf ein saubereres, interpretierbares Modell hindeutet. Beispielsweise erreichte OrthoReg beim gedämpften Pendel einen F1-Wert von $0.93 \pm 0.15$ im Vergleich zu $0.61$ bei der $L_2$-Baseline.
• Out-of-Distribution Generalisierung: OrthoReg reduziert die OOD-Ableitungsfehler signifikant, insbesondere in Regimen mit moderatem Bibliotheks-Mismatch. Beim gedämpften Pendel sank der OOD-Ableitungsfehler im Vergleich zur $L_2$-Baseline um mehr als zwei Größenordnungen.
• Trade-offs: Die Methode akzeptiert einen leichten Anstieg des In-Distribution (ID) Zustands-MSE zugunsten einer besseren OOD-Performance und symbolischen Trennung. Dies steht im Einklang mit der theoretischen Sichtweise, dass das Erzwingen einer strikten orthogonalen Aufteilung etwas rohe Anpassung opfert, um die strukturelle Integrität zu bewahren.
• Robustheit: Die Vorteile bleiben unter unregelmäßiger Abtastung bestehen, nehmen aber unter starkem Beobachtungsrauschen oder wenn fehlende Dynamiken stark mit Bibliotheksmerkmalen verschränkt sind, ab.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass OrthoReg eine spezifische Fragilität in der hybriden Modellierung adressiert: den Verlust der Interpretierbarkeit, wenn die symbolische Komponente gelernt statt fixiert wird. Durch die Explizitmachung der Komplementarität zwischen symbolischer und neuronaler Komponente durch Orthogonalitäts-Regularisierung stellt die Methode sicher, dass:

• Die symbolische Komponente alle durch die Bibliothek ausdrückbaren Dynamiken erfasst.
• Die neuronale Komponente nur die strukturierten Residuen erfasst, die die Bibliothek nicht ausdrücken kann.

Die Autoren positionieren OrthoReg nicht als universellen Genauigkeits-Booster, sondern als Decomposition Regularizer. Sein primärer Wert liegt darin, eine aussagekräftige symbolische Erklärung zu bewahren, während nicht-symbolische Effekte dem Residuum zugewiesen werden. Dies ermöglicht hybride wissenschaftliche Modelle, in denen approximative mechanistische Vokabularien und flexible Residuen koexistieren können, ohne die symbolische Erklärung auszulöschen.

Anerkannte Limitationen:

• Die theoretischen Garantien sind derzeit auf das empirische Skalarprodukt und additive Modelle mit festen differenzierbaren Bibliotheken beschränkt.
• Garantien auf Populationsebene erfordern Argumente der einheitlichen Konvergenz über die Augmentations-Hypothesenklasse, was der zukünftigen Arbeit vorbehalten bleibt.
• Die Methode rekonstruiert keine Gesetzmäßigkeiten, die in der Bibliothek fehlen; sie trennt lediglich bibliotheks-ausdrückbare Dynamiken vom Rest.
• Die Performance verschlechtert sich bei hohem Rauschen, wenn die Schätzung der Ableitungen unzuverlässig wird.