Technische Samenvatting: PyCC.id – Een pakket voor hypothesegestuurde vergelkingsontdekking met structurele identificeerbaarheid

Probleemstelling

Data-gestuurde vergelkingsontdekking is fundamenteel een invers probleem gericht op het afleiden van sturende differentiaalvergelijkingen uit tijdreeksmetingen. Een hardnekkige uitdaging in dit veld is de slecht geconditioneerde aard van het probleem, waarbij meerdere verschillende wiskundige modellen een eindige dataset met vergelijkbare nauwkeurigheid kunnen fitten. Hoewel puur data-gestuurde benaderingen vaak een breed landschap van kandidaat-modellen opleveren, verschillen deze frequent aanzienlijk in structurele vorm, wat leidt tot fysiek inconsistente representaties. Gevolgelijk zijn beoefenaars gedwongen om te vertrouwen op post-hoc handmatige filtering op basis van domeinkennis om niet-fysische modellen te verwerpen, waardoor de uiteindelijke modelselectie enigszins arbitrair wordt. Bovendien missen veel bestaande methoden garanties van structurele identificeerbaarheid, waardoor het moeilijk is om te bepalen of een voorgestelde vergelijking consistent is met de data of dat deze moet worden geherformuleerd.

Methodologie

Om deze beperkingen aan te pakken, introduceert het artikel PyCC.id (PyCC), een open-source Python-bibliotheek die een hypothesegestuurde methodologie implementeert op basis van structurele 'skeletten' en karakteristieke curven (CC's).

Kernframework

In tegen tegenstelling tot "black-box"-methoden die vergelijkingen vanaf nul zoeken, vereist PyCC de gebruiker om een structureel skelet te definiëren op basis van fysieke intuïtie of domeinkennis. Dit skelet classificeert families van gewone differentiaalvergelijkingen (ODE's) en decomponeert globale dynamica in univariate ééndimensionale (1D) functies.

• Structurele Identificeerbaarheid: Het framework maakt gebruik van skeletten die aantoonbare eigenschappen van structurele identificeerbaarheid bezitten in de faseruimte. Dit maakt de formele validatie mogelijk of een gehypothetiseerde structuur consistent is met de data voordat er uitgebreide training plaatsvindt.
• Integratie van Hypothesen: Gebruikers kunnen voorkennis (bijv. fysieke symmetrieën, beperkingen zoals $f(0)=0$, of pariteitseisen) direct injecteren in de functies die binnen de skeletten worden gedefinieerd. Dit beperkt de zoekruimte tot fysiek gemotiveerde structuren, wat structurele ambiguïteit vermindert.

Parametrisatiestrategieën

De bibliotheek ondersteunt drie verschillende strategieën voor het identificeren van de 1D-functies ($f_i$) binnen een skelet, wat flexibiliteit biedt op basis van het gewenste niveau van interpreteerbaarheid en voorkennis:

1. Functionele Benadering: De 1D-functies worden behandeld als onbekend en benaderd met behulp van universele benaderaars zoals neurale netwerken (NN) of Symbolische Regressie (SymbR).
2. Parametrische Benadering: De functionele vorm is volledig gehypothetiseerd en geparametriseerd door scalaire parameters $\{a_i\}$, die worden geoptimaliseerd via niet-lineaire optimalisatie.
3. Hybride Benadering: Een combinatie waarbij zowel de 1D-functies $\{f_i\}$ als de scalaire parameters $\{a_j\}$ simultaan worden gefit.

Softwarearchitectuur

PyCC fungeert als een integratief framework binnen het ecosysteem van wetenschappelijke machine learning en maakt gebruik van gevestigde instrumenten zoals PyTorch en PySR (voor symbolische regressie) binnen een gestructureerde pijplijn. De kernfuncties omvatten:

• pycc.simulate(): Een veelzijdige ODE-solver voor voorwaartse systeemintegratie. Het ondersteunt theoretische simulaties (om ground-truth data te genereren) en de validatie van ontdekte modellen. Het is compatibel met verschillende backends (NN, SymbR, Poly, Interp).
• pycc.train(): Het primaire instappunt voor het identificeren van systeemdynamica. Het fungeert als een dispatcher die data naar de juiste module stuurt (NN, SymbR, Poly) op basis van de gespecificeerde methode van de gebruiker.
• pycc.post_processing(): Een utility ontworpen om numerieke CC's (verkregen via NN of Poly) om te zetten in expliciete symbolische expressies. Dit vergemakkelijkt modelinspectie, analyse en de generatie van geoptimaliseerde symbolische modellen voor daaropvolgende simulatie.

Belangrijkste Bijdragen

Het artikel presenteert PyCC.id als een instrument dat recente theoretische vooruitgang condenseert in een flexibele, gebruiksvriendelijke bibliotheek. De belangrijkste bijdragen zijn:

• Hypothesegestuurde Workflow: De focus verschuift van puur data-gestuurde ontdekking naar een structurele skeletbenadering die fysieke consistentie en structurele identificeerbaarheid waarborgt.
• Modulariteit en Interoperabiliteit: De bibliotheek concurreert niet met bestaande pakketten, maar dient als een interface die hun sterke punten benut (bijv. de symbolische kracht van PySR en de flexibiliteit van Neurale Netwerken) binnen een verenigd framework.
• Hardwareversnelling: Natieve ondersteuning voor multicore CPU's en GPU's (NVIDIA CUDA en Intel XPU via intel-extension-for-pytorch) voor het trainen van Neurale Netwerken.
• Fysieke Beperkingen: De mogelijkheid om beperkingen (bijv. oneven/even pariteit, specifieke waarden) direct tijdens het trainingsproces af te dwingen, wat leidt tot robuustere modellen.
• Uitgebreide Tooling: Bevat een ingebouwde simulator, ondersteuning voor meerdere parametrisatiemethoden en uitgebreide documentatie, inclus_ Google Colab tutorials.

Resultaten en Illustratief Voorbeeld

Het artikel demonstreert de capaciteiten van PyCC met behulp van een klassiek fysisch systeem: een niet-lineaire oscillator met wrijving, geregeerd door een tweede-orde differentiaalvergelijking met snelheid-afhankelijke demping en positie-afhankelijke herstellende krachten.

• Data Generatie: Het systeem werd gesimuleerd met theoretische vergelijkingen om een dataset te generen van positie, snelheid en externe krachten.
• Identificatie: De bibliotheek identificeerde de systeemdynamica succesvol met de Functionele Benadering met Neurale Netwerken. De gebruiker definieerde een skelet overeenkomend met snelheid-afhankelijke wrijving ($F_{ext} = \ddot{x} + f_1(\dot{x}) + f_2(x)$) en paste beperkingen toe zoals $f_2(0)=0$ en oneven pariteit voor de functies.
• Validatie: De geleerde functies ($f_1$ en $f_2$) werden gevisualiseerd en bleken nauw aan te sluiten bij de theoretische constitutieve relaties.
• Post-verwerking: De numerieke resultaten werden omgezet in analytische expressies met behulp van Symbolische Regressie (PySR), wat de bekwaamheid van de bibliotheek aantoont om over te gaan van data-gestuurde benadering naar interpreteerbare symbolische modellen.
• Simulatie: De geïdentificeerde modellen werden voorwaarts geïntegreerd, waarbij een nauwkeurige overeenkomst met de theoretische dynamica werd getoond.

Betekenis

Het artikel positioneert PyCC.id als een belangrijke stap naar het oplossen van de slecht geconditioneerde aard van vergelijkingsontdekking. Door de integratie van domeinkennis via structurele skeletten te formaliseren, biedt de bibliotheek een pad om hypothesen te valideren of te elimineren op algoritmisch niveau. Dit vermindert de afhankelijkheid van willekeurige post-hoc filtering en vergemakkelijkt de ontdekking van interpreteerbare, fysiek consistente sturende vergelijkingen. Het werk benadrukt dat terwijl veel pakketten zoeken naar de "beste" vergelijking vanaf nul, PyCC een formeel proces biedt om te verifiëren of een gehypothetiseerde fysieke structuur consistent is met gemeten dynamica, waardoor de betrouwbaarheid en interpreteerbaarheid van wetenschappelijke machine learning-toepassingen wordt vergroot.