Technische Samenvatting: OrthoReg voor Hybride Symbolisch-Neurale Dynamische Systemen

1. Probleemstelling

Modellering van dynamische systemen staat voor een fundamentele afweging tussen interpreteerbaarheid en expressiviteit. Handmatig voorgeschreven mechanistische (symbolische) modellen zijn interpreteerbaar, maar vaak misgeplaatst of te simplistisch voor complexe natuurlijke fenomenen. Daartegenover staan flexibele, op data gebaseerde neurale methoden die uitblinken in het fitten van data, maar een gebrek hebben aan fysiek inzicht. Hybride modellering probeert dit gat te overbruggen door een voorgeschreven of symbolisch component ($f_{phy}$) te combineren met een flexibele neurale residu ($f_{aug}$).

Een cruciale uitdaging ontstaat wanneer de symbolische component niet vooraf vaststaat, maar uit data wordt ontdekt via sparse library-gebaseerde methoden (bijv. SINDy-achtige benaderingen). In dit regime falen standaard hybride benaderingen vaak in het handhaven van een zuivere taakverdeling. Specifiek kan de neurale augmentatie de symbolische structuur "herleren" of overlappen, wat leidt tot redundante en oninterpreteerbare modellen.

Het artikel identificeert dat bestaande methoden die vertrouwen op standaard $L_2$-regularisatie (zoals het APHYNITY-framework) steunen op een projectie-argument dat uitgaat van een vaste symbolische subspace. Wanneer de symbolische component gezamenlijk met sparsity-constraints (bijv. $L_1$-regularisatie) wordt geleerd, zorgt de krimp van coëfficiënten voor een residuele structuur binnen de span van de symbolische library. Bijgevolg kan de neurale augmentatie overlappen met het symbolische deel, zelfs als de totale norm klein is, waardoor de orthogonaliteitsgarantie die $L_2$-regularisatie biedt in settings met een vaste klasse, wordt doorbroken.

2. Methodologie: OrthoReg

De auteurs stellen OrthoReg (Orthogonal Regularization) voor, een methode die is ontworpen om een complementaire decompositie af te dwingen tussen de symbolische en neurale componenten tijdens het gezamenlijk trainen.

Kernobjectief

OrthoReg wijzigt het trainingsdoel om expliciet de empirische overlap tussen de neurale augmentatie en de symbolische library te bestraffen. Gegeven een dataset $D = \{x_i\}_{i=1}^N$, een vaste symbolische library $\{\phi_j\}_{j=1}^M$, en een neurale augmentatie $\hat{f}_{aug}(\cdot; \vartheta)$, is het doel:

$$\min_{w, \vartheta} \mathcal{L}_{fit}(w, \vartheta) + \mu \|w\|_1 + \lambda \sum_{j=1}^M \langle \hat{f}_{aug}(\cdot; \vartheta), \phi_j \rangle_D^2$$

Waar:

• $\mathcal{L}_{fit}$ de data-fit loss is (vectorveldregressie of one-step voorspelling).
• $\mu \|w\|_1$ sparsity afdwingt op de symbolische coëfficiënten $w$.
• De derde term de Orthogonaliteitsstraf is, waarbij $\langle \cdot, \cdot \rangle_D$ de empirische inwendige product is over de geobserveerde toestanden.
• $\lambda$ de sterkte van de orthogonaliteitsconstraint beheert.

Theoretisch Mechanisme

In tegenstelling tot $L_2$-regularisatie, die de totale norm van de augmentatie ($\|\hat{f}_{aug}\|_D^2$) bestraft, straft OrthoReg de gekwadrateerde inwendige producten van de augmentatie met elke library-functie.

• Theoretische Garantie: De auteurs bewijzen dat naarmate $\lambda \to \infty$, de empirische orthogonaliteitsschendingen naar nul convergeren.
• Foutdecompositie: Onder het empirische inwendige product levert het afdwingen van orthogonaliteit een zuivere foutdecompositie op:
  $$\|f - (\hat{f}_{phy} + \hat{f}_{aug})\|_D^2 = \|P_D^{F_{phy}}(f) - \hat{f}_{phy}\|_D^2 + \|f - P_D^{F_{phy}}(f) - \hat{f}_{aug}\|_D^2$$
  Dit zorgt ervoor dat het symbolische deel vangt wat de library kan uitdrukken (de in-library projectie), terwijl het neurale deel de orthogonale complement vangt (het residu).

3. Belangrijkste Bijdragen

1. Theoretische Analyse van Overlap: Het artikel toont aan dat $L_2$-regularisatie faalt om de symbolisch-neurale overlap te voorkomen wanneer de symbolische component via sparse discovery wordt geleerd (Theorem A.2). Een tegenvoorbeeld laat zien dat sparsity de residuele structuur binnen de symbolische span dwingt, waardoor het neurale netwerk symbolische richtingen kan herleren.
2. OrthoReg Algoritme: De auteurs introduceren een algoritmische oplossing die een orthogonaliteitsstraf direct integreert in de gezamenlijke sparse-discovery objective, waardoor de neurale residu orthogonaal blijft aan de symbolische library onder het empirische inwendige product.
3. Empirische Validatie: Uitgebreide experimenten op benchmark dynamische systemen (Damped Pendulum, Lotka-Volterra, SIR, Duffing oscillator) tonen aan dat OrthoReg de symbolische recovery verbetert (hogere F1-scores, minder termen) en de out-of-distribution (OOD) generalisatie verhoogt vergeleken met pure symbolische, pure neurale en $L_2$-geregulariseerde hybride baselines.

4. Experimentele Resultaten

De evaluatie richt zich op systemen met een gedeeltelijke library mismatch, waarbij de ware dynamica termen bevat die buiten de symbolische dictionary vallen.

• Symbolic Recovery: OrthoReg behaalt consistent de hoogste F1-scores voor het herstellen van de correcte symbolische support en het laagste aantal termen, wat duidt op een schonere, meer interpreteerbare model. Bijvoorbeeld, op de Damped Pendulum behaalde OrthoReg een F1 van $0.93 \pm 0.15$ vergeleken met $0.61$ voor de $L_2$ baseline.
• Out-of-Distribution Generalisatie: OrthoReg vermindert de OOD-afgeleide-fouten aanzienlijk, met name in regimes van matige library mismatch. Op de Damped Pendulum daalde de OOD-afgeleide-fout met meer dan twee grootheden ten opzichte van de $L_2$ baseline.
• Trade-offs: De methode accepteert een lichte toename in in-distribution (ID) state MSE in ruil voor betere OOD-prestaties en symbolische scheiding. Dit is consistent met het theoretische inzicht dat het afdwingen van een strikte orthogonale splitsing een deel van de rauwe fit opoffert om de structurele integriteit te bewaren.
• Robuustheid: De voordelen blijven bestaan bij onregelmatige sampling, maar nemen af bij zware observatieruis of wanneer ontbrekende dynamica sterk verstrengeld is met library-features.

5. Betekenis en Claims

Het artikel claimt dat OrthoReg een specifieke kwetsbaarheid in hybride modellering aanpakt: het verlies van interpreteerbaarheid wanneer de symbolische component geleerd wordt in plaats van vastgesteld. Door de complementariteit tussen de symbolische en neurale componenten expliciet te maken via orthogonaliteitsregularisatie, zorgt de methode ervoor dat:

• De symbolische component alle dynamica vangt die door de library uitgedrukt kan worden.
• De neurale component alleen de gestructureerde residuen vangt die de library niet kan uitdrukken.

De auteurs positioneren OrthoReg niet als een universele nauwkeurigheidsbooster, maar als een decompositie-regularisator. De primaire waarde ligt in het behouden van een betekenisvolle symbolische verklaring terwijl niet-symbolische effecten aan het residu worden toegewezen, waardoor hybride wetenschappelijke modellen mogelijk worden waarin benaderde mechanistische vocabulaire en flexibele residuen naast elkaar kunnen bestaan zonder de symbolische verklaring uit te wissen.

Erkende Beperkingen:

• Theoretische garanties zijn momenteel beperkt tot het empirische inwendige product en additieve modellen met vaste differentiabele libraries.
• Garanties op populatieniveau vereisen uniform convergentie-argumenten over de augmentatie hypothese-klasse, wat aan toekomstig werk wordt overgelaten.
• De methode herstelt geen wetmatigheden die afwezig zijn in de library; het scheidt enkel library-expressbare dynamica van de rest.
• Prestaties verslechteren onder hoge ruisniveaus waarbij de schatting van afgeleiden onbetrouwbaar wordt.