🤖 machine learning

Discovery of Nonlinear Dynamics with Automated Basis Function Generation

Dit artikel introduceert AutoSINDy, een hybride raamwerk dat op PySR gebaseerde symbolische regressie combineert met SINDy's sparse identificatie om automatisch basisfuncties te genereren en te selecteren, waardoor robuuste ontdekking van accurate en parsimonische besturende vergelijkingen voor niet-lineaire systemen mogelijk wordt, zelfs onder hoge ruis.

Oorspronkelijke auteurs: Mohammad Amin Basiri, Charles Nicholson

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Amin Basiri, Charles Nicholson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert de geheime regels van een mysterieuze machine te achterhalen door alleen maar te kijken hoe hij beweegt. Je hebt een video van de tandwielen van de machine die draaien, een slinger die zwaait, of een vloeistof die krioelt. Je doel is om de exacte wiskundige formule op te schrijven die verklaart waarom hij op die manier beweegt.

Dit is de uitdaging van het ontdekken van besturende vergelijkingen. Wetenschappers hebben lange tijd twee hoofdmanieren gehad om deze puzzel op te lossen, maar beide hebben een groot gebrek:

De "Gok-en-Check" Methode (SINDy): Stel je voor dat je een enorme doos met Lego-blokjes hebt. Je weet dat de machine van Legoblokjes is gemaakt, dus je probeert de machine te bouwen met elk blokje in de doos. Als je de één specifieke blokjes die de machine daadwerkelijk gebruikt, vergeet, faalt je model. Als je te veel blokjes gebruikt, wordt je model een rommelige, onstabiele toren die omvalt. Het probleem? Je moet raden welke blokjes je vooraf in de doos moet doen, voordat je begint met bouwen.
De "Wilde Verbeelding" Methode (Symbolische Regressie): Stel je voor dat je een aap op een toetsenbord laat typen, willekeurig op toetsen drukken om zinnen te maken. Uiteindelijk kan het per ongeluk een perfecte zin typen. Deze methode is zeer flexibel en heeft geen vooraf gemaakte doos met blokjes nodig. Maar het is rommelig, traag, en produceert vaak onzin die eruitziet als een zin, maar geen zin maakt als je het probeert te lezen. Het is ook zeer gevoelig voor ruis op de lijn (ruis).

AutoSINDy: De Slimme Architect

Het artikel introduceert AutoSINDy, een nieuwe methode die fungeert als een slimme architect die het beste van beide werelden combineert. In plaats van te gokken welke blokjes je moet gebruiken of een aap te laten typen, gebruikt AutoSINDy een drie-stappenproces om automatisch de perfecte, eenvoudige formule te vinden.

Hier is hoe het werkt, stap voor stap:

Stap 1: De "Sniper" Zoektocht (Ontdekking)

In plaats van de hele machine in één keer te bekijken, neemt AutoSINDy kleine, willekeurige snapshots van de beweging van de machine (zoals het maken van snelle foto's van een draaiende ventilator). Het gebruikt een krachtig hulpmiddel genaamd PySR (een digitale "aap" die eigenlijk een zeer slim evolutionair algoritme is) om naar deze kleine snapshots te kijken en te roepen: "Hé, ik zie hier een patroon! Misschien is het een sinusgolf? Misschien is het een kwadraat?"

De Analogie: Denk hieraan als een verkenners die door een bos rent en interessante bladeren, stenen en twijgen oppikt. De verkenners probeert het huis nog niet te bouwen; ze verzamelen gewoon een enorme, rommelige stapel potentieel bouwmaterialen.

Stap 2: Het "Opschoning" Team (Cursatie)

De stapel van de verkenners is rommelig. Het bevat dubbele, gebroken stukken en dingen die op elkaar lijken maar niet helemaal goed zijn. AutoSINDy treedt nu op als een strenge redacteur.

Het breekt complexe zinnen op in hun kleinste woorden (atomaire onderdelen).
Het controleert op "kloon". Als het twee stukken vindt die exact hetzelfde werk doen, gooit het er één weg.
Het houdt de eenvoudigste versie van een patroon. Als een simpel "x" de beweging verklaart, houdt het geen ingewikkeld "x + x² - x" versie.
De Analogie: Dit is als een chef die een grote pot soep proeft, dubbele ingrediënten verwijdert en de verbrande kruiden weggooit totdat alleen de perfecte, essentiële smaken overblijven. Het resultaat is een schone, georganiseerde kruidenrek.

Stap 3: De "Eindbouw" (Identificatie)

Nu, met een schone, georganiseerde kruidenrek (de bibliotheek van termen), gebruikt AutoSINDy de SINDy methode om de ingrediënten te mengen. Omdat de ingrediënten al schoon en niet-redundant zijn, is het mengen snel, stabiel en accuraat. Het berekent precies hoeveel van elke "kruid" (coëfficiënt) moet worden gebruikt om de beweging van de machine perfect na te bootsen.

De Analogie: Dit is de uiteindelijke assemblage. Omdat de chef niet door een rommelige stapel vuilnis hoefde te zoeken, is het eindgerecht heerlijk, eenvoudig en precies wat het recept vereiste.

Waarom is dit een groot ding?

Het artikel testte dit op zes verschillende "machines" (wiskundige systemen), variërend van eenvoudige slingers tot chaotische, onvoorspelbare weersachtige systemen. Ze voegden "ruis" (ruis) toe aan de data om het moeilijker te maken om te lezen, net als een slechte telefoonverbinding.

Hier is wat er gebeurde:

De Oude Manieren: De "Gok-en-Check" methode bouwde vaak torens die te hoog waren en omvielen (onstabiel). De "Wilde Verbeelding" methode schreef vaak onzin die er even goed uitzag, maar direct uit elkaar viel.
AutoSINDy: Het vond de exact juiste formule 92,8% van de tijd, zelfs met ruisachtige data.
Eenvoud: De formules die het vond waren kort en krachtig (zoals een haiku), terwijl de andere methoden lange, opgeblazen alinea's produceerden die moeilijk te begrijpen waren en traag draaiden.

De Conclusie

AutoSINDy is een hulpmiddel dat het moeilijkste deel van wetenschappelijke ontdekking automatiseert: uitzoeken waar je naar moet kijken. Het heeft geen mens nodig die zegt: "Ik denk dat er een sinusgolf in zit." Het jaagt op patronen, maakt ze schoon en bouwt het eenvoudigste, meest accurate regelboek voor hoe het systeem werkt.

Het is alsof je een wetenschapper een magische vergrootglas geeft dat niet alleen de aanwijzingen vindt, maar ze ook ordent tot een duidelijk, makkelijk te lezen verhaal, zelfs als de aanwijzingen verspreid en vuil zijn.

Technische Samenvatting: Ontdekking van Niet-lineaire Dynamica met Geautomatiseerde Generatie van Basisfuncties

Probleemstelling
Het ontdekken van de onderliggende wiskundige vergelijkingen uit observationele data is een fundamentele uitdaging in wetenschappelijke modellering, vooral wanneer de onderliggende structuur onbekend is. Bestaande methoden staan voor een dichotomie:

Sparse Identification of Nonlinear Dynamics (SINDy): Hoewel effectief in het produceren van parsimonieuze, interpreteerbare modellen, vertrouwt SINDy op een door de gebruiker gespecificeerde bibliotheek van kandidaat-basisfuncties. Als kritieke termen worden weggelaten vanwege onconventionele dynamica of gebrek aan domeinkennis, faalt de methode. Omgekeerd introduceert het verrijken van de bibliotheek om weglatingen te voorkomen ernstige multicollineariteit, wat de sparse regressie destabiliseert en de onzekerheid van de coëfficiënten opblaast.
Symbolic Regression (SR): Benaderingen zoals PySR bieden onbeperkte flexibiliteit door de ruimte van wiskundige expressies te doorzoeken zonder een vooraf gebouwde bibliotheek. Ze zijn echter computatie-intensief, zeer gevoelig voor meetruis en vatbaar voor het produceren van overgefitte, numeriek instabiele vergelijkingen die falen tijdens integratie over lange tijdsintervallen. Bovendien optimaliseren standaard SR-methoden state-variabelen onafhankelijk, wat het moeilijk maakt om de gekoppelde structuur van meerdimensionale dynamische systemen af te dwingen.

Het kernprobleem dat wordt aangepakt, is het ontbreken van een methode die automatisch een minimale, fysisch geschikte functielibrarie kan construeren uit ruwe data zonder voorafgaande kennis, waarbij de expressiviteit van SR wordt gebalanceerd met de robuustheid van sparse regressie.

Methodologie: Het AutoSINDy Framework
De auteurs stellen AutoSINDy voor, een hybride "Discovery-then-Solve"-framework dat het probleem van vergelijkingenontdekking decomposeert in drie sequentiële fasen:

Fase 1: Symbolische Mining (Ontdekken)
- In plaats van symbolische regressie toe te passen op de volledige trajectorie, werkt de methode op $K$ korte, willekeurig bemonsterde data-chunks (gebootstraapte vensters).
- PySR (een multi-populatie evolutionair symbolisch regressie-hulpmiddel) wordt toegepast op elke chunk om kandidaat-functionele vormen te mijnen.
- Cruciaal is dat de methode de volledige Pareto-optimale front van expressies oogst, niet alleen het beste model. Dit zorgt ervoor dat structureel correcte atomaire sub-termen worden vastgelegd, zelfs als de volledige expressie een slechte fit is voor een specifiek lokaal venster.
- Geneste trigonometrische composities worden expliciet verboden om degeneratieve identiteiten te voorkomen.
Fase 2: Bibliotheek Curatie (Cureren)
- De ruwe pool van symbolische expressies wordt verwerkt om een compacte, niet-redundante bibliotheek te construeren.
- Decompositie: Expressies worden geparsed en opgesplitst in additieve atomaire sub-termen (bijv. $3x^2 + 2\sin(y) \to \{x^2, \sin(y)\}$ ).
- Expansie: Configureerbare strategieën (Gentle, Severe of Hybrid) breiden gegroepeerde polynoom- of trigonometrische termen uit tot monomen om dekking te garanderen.
- Collineariteits-Pruning: Een greedy forward-selection procedure sorteert kandidaten op complexiteit (aantal operatoren) en filtert ze. Een kandidaat wordt alleen geaccepteerd als de correlatie met reeds geaccepteerde termen onder een drempelwaarde ( $\rho_{max}$ ) ligt of als de Variance Inflation Factor (VIF) acceptabel is. Dit dwingt Ockhams scheermes af op bibliotheekniveau, zodat eenvoudigere termen de voorkeur krijgen boven complexe, redundante termen.
Fase 3: Sparse Identificatie (Identificeren)
- De gecuratede bibliotheek wordt ingevoerd in een SINDy-optimizer (STLSQ of SR3).
- Een Ensemble-benadering (geïnspireerd op E-SINDy) wordt gebruikt: $B$ bootstrap-replicaten worden getrokken en sparse modellen worden op elk gefit.
- Een hard-cutoff opnamefilter behoudt alleen termen die voorkomen in een door de gebruiker gespecificeerd fraction ( $\kappa$ ) van de bootstrap-modellen. Dit biedt sterke ruisrejectie en verwijdert schijnbare termen die uitsluitend door ruisartefacten ontstaan.
- Het framework ondersteunt zowel aparte bibliotheken (per state-variabele) als verenigde bibliotheken (gedeeld over variabelen), waarbij aparte bibliotheken in experimenten betere parsimonie opleveren.

Belangrijkste Bijdragen

Geautomatiseerde, Aannames-vrije Bibliotheekgeneratie: Een PySR-gebaseerde engine die kandidaat-functionele vormen mijnt uit gebootstraapte data zonder dat voorafgaande specificatie van de wiskundige structuur vereist is, waarmee direct de bottleneck van bibliotheekontwerp bij SINDy wordt aangepakt.
Principiële Symbolische Curatie-pijplijn: Een drie-fasenmechanisme (decompositie, expansie, collineariteits-pruning) dat ongeorganiseerde output van genetische algoritmen transformeert in een schone, niet-redundante lineaire basis die geschikt is voor robuuste sparse regressie.
Op Ensemble Gebaseerde Sparse Identificatie: Integratie van de gecuratede bibliotheek met SINDy-optimizers en bootstrap-ensemble-filtering om hoge ruisrobustheid en interpreteerbaarheid te bereiken.
Systematische Benchmarking: Uitgebreide evaluatie over zes canonieke niet-lineaire systemen (oscillerend, limietcyclus en chaotisch) onder variërende ruisniveaus, vergeleken met standaard SINDy met verrijkte bibliotheken en standalone PySR.

Resultaten
Uitgebreide experimenten op zes benchmark-systemen (Harmonische Oscillator, Gedempte Slag, Gemoduleerde Oscillator, Van der Pol, Duffing Oscillator en Complex Lorenz) tonen aan:

Herstel van de Waarheid: AutoSINDy bereikt een herstelpercentage van de waarheid van 92,8% over alle trials (gedefinieerd als $R^2 > 0,99$ op een schone, onzichtbare validatietrajectorie). Dit presteert aanzienlijk beter dan Standaard SINDy (58,9%) en Standaard PySR (28,3%).
Stabiliteit van Simulatie: AutoSINDy vertoont superieure stabiliteit bij simulatie over lange tijdsintervallen, met 0% harde integratie- crashes (NaN/Inf of divergentie) over 180 trials. Daarentegen faalde Standaard SINDy in 51,7% van de trials en Standaard PySR in 75,0% van de trials.
Parsimonie: AutoSINDy herstelt vergelijkingen met een complexiteit (aantal operatoren) binnen 1–2 operatoren van de waarheid. Standaard SINDy produceerde vergelijkingen met een complexiteit tot 29,2 $\times$ de waarheid (bijv. 175 operatoren voor Van der Pol versus 6 in werkelijkheid), terwijl Standaard PySR vaak onder-gecomprimeerd was en kritieke termen miste.
Ruisrobustheid: AutoSINDy behoudt hoge nauwkeurigheid zelfs bij hoge ruisniveaus ( $\sigma = 0,05$ ), terwijl basismethoden significant degraderen of volledig falen.
Computatie-efficiëntie: Hoewel de ontdektijd vergelijkbaar is met standalone PySR (vanwege de gedeelde engine), maken de resulterende compacte vergelijkingen AutoSINDy de snelste methode voor simulatie, aangezien de gereduceerde complexiteit de numerieke stijfheid vermijdt die geassocieerd is met opgeblazen vergelijkingen.

Betekenis en Claims
Het artikel claimt dat AutoSINDy succesvol de kloof overbrugt tussen de flexibiliteit van symbolische regressie en de robuustheid van sparse identificatie. Door de bottleneck van feature-engineering te automatiseren, maakt het de ontdekking van correcte regerende termen mogelijk zonder voorafgaande domeinkennis. De auteurs stellen dat de methode vergelijkingen produceert die niet alleen structureel accuraat zijn, maar ook dynamisch stabiel en interpreteerbaar, en bieden een schaalbare weg voor het ontdekken van complexe dynamica in biologische en fysische systemen waar de wiskundige vorm onbekend is. Het werk benadrukt dat voorspellende nauwkeurigheid op trainingsdata onvoldoende is; ware wetenschappelijke waarde vereist vergelijkingen die stabiel blijven onder voorwaartse integratie en een lage symbolische complexiteit bezitten.