LeARN: Learnable and Adaptive Representations for Nonlinear Dynamics in System Identification

Technische Samenvatting: LeARN – Learnable and Adaptive Representations for Nonlinear Dynamics

Probleemstelling
Systeemidentificatie, de afleiding van wiskundige modellen uit input-outputgegevens, staat voor aanzienlijke uitdagingen bij nietlineaire dynamische systemen, met name voor robotica die opereert in ongestructureerde omgevingen. Hoewel traditionele fysische modellen een hoge interpreteerbaarheid bieden, worstelen ze met complexe nietlineariteiten, onbekende verstoringen en hoogdimensionale inputs. Data-gedreven methoden zoals Sparse Identification of Nonlinear Dynamics (SINDy) zijn als oplossing naar voren gekomen, waarbij de dynamica wordt gedestilleerd tot interpreteerbare lineaire combinaties van basisfuncties. Echter, SINDy is sterk afhankelijk van domeinexpertise voor het construeren van een vooraf gedefinieerde bibliotheek van basisfuncties (bijv. polynomen, trigonometrische termen). Deze afhankelijkheid beperkt de adaptiviteit wanneer men te maken krijgt met onbekende of evoluerende dynamica. Daartegenover staan deep learning-benaderingen (bijv. universele benaderaars, PINNs) die de structurele interpreteerbaarheid missen die vereist is voor veiligheidskritische toepassingen. Bestaande pogingen om latente coördinatentransformaties te leren, offeren vaak de interpreteerbaarheid van de resulterende dynamische vergelijkingen op.

Methodologie
De auteurs stellen LeARN (Learnable and Adaptive Representations for Nonlinear Dynamics) voor, een framework dat is ontworpen om de kloof te overbruggen tussen de expressiviteit van deep learning en de interpreteerbaarheid van SINDy, zonder dat daarvoor vooraf gedefinieerde domeinkennis nodig is.

1. Leerbare Basisbibliotheek: In tegen tegenstelling tot SINDy, dat een vaste bibliotheek $\Theta(\cdot)$ gebruikt, parametriseert LeARN de basisfunctiebibliotheek met behulp van een lichtgewicht Deep Neural Network (DNN), aangeduid als $\Theta(X; \psi)$. Dit netwerk leert de functionele vorm van de basisfuncties direct uit de data in de fysieke toestandsruimte.
2. Kenmerkselectie: Het framework deelt de systeemdynamica $\dot{x} \approx \Theta(X; \psi)E(X; \phi)^T$ op, waarbij $E(X; \phi)$ een tweede DNN is die fungeert als een kenmerkselectiematrix. Deze structuur bootst de schaarse regressie van SINDy na, waardoor het model kan identificeren welke inputkenmerken dominant bijdragen aan de dynamica, wat de structurele interpreteerbaarheid met betrekking tot de belangrijkheid van kenmerken behoudt, zelfs als de functionele vorm van de basisfuncties geleerd wordt.
3. Meta-Learning voor Adaptatie: Om om te gaan met variërende ruiscondities en evoluerende systeemdynamica, maakt LeARN gebruik van Model-Agnostic Meta-Learning (MAML). Het meta-learning proces optimaliseert de initiële parameters ($\psi, \phi$) over een distributie van taken (bijv. verschillende windcondities). Dit zorgt ervoor dat het model beschikt over een robuuste initialisatie die snelle adaptatie aan ongeziene omgevingen mogelijk maakt via enkele gradiëntstappen tijdens online inzet.
4. Online Adaptatie: Tijdens de inzet past het model zich aan nieuwe taken aan (bijv. nieuwe windsnelheden) met behulp van een adaptatieverlies dat een regularisator bevat om Lipschitz-continuïteit op de toestandsinputs af te dwingen, wat de stabiliteit waarborgt.

Belangrijkste Bijdragen

1. Eliminatie van vooraf gedefinieerde bibliotheken: LeARN verwijdert de vereiste voor een vooraf gedefinieerde functiebibliotheek en domeinexpertise, door de basisfuncties direct uit de data te leren.
2. Adaptiviteit via Meta-Learning: Door de bibliotheek van basisfuncties te meta-leren, stelt het framework snelle adaptatie aan veranderende dynamica en ruisige condities mogelijk.
3. Gebalanceerde Interpreteerbaarheid: Het gebruik van lichtgewicht DNN's maakt het mogelijk om complexe nietlineariteiten te modelleren terwijl de interpreteerbaarheid behouden blijft door de schaarse structuur van de geleerde kenmerkselectiematrix, die de dominante inputkenmerken identificeert.

Experimentele Resultaten
Het framework werd gevalideerd op de Neural Fly dataset, een uitdagende benchmark bestaande uit quadrotorvluchten onder verschillende windcondities. De auteurs vergeleken LeARN met SINDy over drie formuleringen van quadrotor-dynamica:

• Partiële translationale dynamica.
• Partiële attitude-dynamica.
• Volledige systeemdynamica (combinatie van translatie en attitude).

Prestatiebevindingen:

• Generalisatie: LeARN demonstreerde competitieve generalisatieprestaties vergeleken met SINDy.
• Dimensionaliteitsschaalbaarheid: Een belangrijke bevinding is dat het prestatieverschil tussen LeARN en SINDy kleiner wordt naarmate de dimensionaliteit van de inputkenmerkruimte toeneemt. Voor volledige systeemdynamica (hogere dimensie) bereikte LeARN een verschil in generalisatiefout van slechts 0,001811 ten opzichte van SINDy, wat wijst op superieure schaalbaarheid voor complexe, hoogdimensionale systemen.
• Kwalitatieve Vergelijking: Visuele vergelijkingen van de volledige dynamica onder verschillende windcondities (bijv. 35wind, 70wind, 100wind) lieten zien dat LeARN de dynamische evolutie effectief vastlegt, waarbij het de grondwaarheid en de prestaties van SINDy evenaart.

Betekenis en Claims
Het paper positioneert LeARN als een stap richting de autonome ontdekking van dynamische systemen. De primaire betekenis ligt in het vermogen om de onderliggende principes van complexe systemen te ontdekken zonder uitgebreide domeinspecifieke interventies. De auteurs beweren dat LeARN een pad biedt naar robuuste, veelzijdige en adaptieve robotica die in staat is om veilig te opereren in de echte, ongestructureerde wereld. Door de basisfuncties direct te leren, adresseert het framework de beperkingen van schaalbaarheid en flexibiliteit van SINDy, terwijl de interpreteerbaarheid behouden blijft die nodig is voor veiligheidskritische toepassingen. Het werk suggereert toekomstige potentie in de gezondheidsmonitoring van systemen via data-gedreven identificatie en modellering van intrinsieke residudynamica.