⚡ electrical engineering

Deep Koopman Learning using Noisy Data

Dit artikel presenteert een data-gedreven framework dat een nauwkeurige benadering van de Koopman-operator mogelijk maakt onder ruis door de meetfouten te modelleren en te compenseren via de aanpassing van de parameters van de waarneembare functies.

Oorspronkelijke auteurs: Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou

Gepubliceerd 2026-03-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Ruisonderdrukker" voor Complexe Systemen: Een Simpele Uitleg van het Diepe Koopman-Leren

Stel je voor dat je probeert het gedrag van een heel complex systeem te voorspellen, zoals een drone die vliegt, een auto die rijdt of zelfs het weer. In de echte wereld is het echter bijna onmogelijk om perfecte metingen te doen. Je hebt ruis: een beetje trilling in de camera, een windvlaag die de sensor verstoort, of een kleine meetfout. Het is alsof je probeert een gesprek te voeren in een drukke fabriekshal; je hoort de woorden, maar er zit veel gekraak en gedruis tussen.

Deze paper introduceert een slimme nieuwe methode, genaamd DKND (Deep Koopman Learning using Noisy Data), die precies dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verstoorde Spiegel"

Traditionele methoden om systemen te leren, kijken naar de data en proberen een rechte lijn te trekken door de punten. Maar als die punten "ruis" bevatten (zoals een trillende hand die de pen laat schokken), wordt die lijn scheef.

Bij de Koopman-operator (een wiskundig gereedschap) proberen we een ingewikkeld, niet-lineair systeem (zoals een dansende acrobaat) te vertalen naar een simpel, lineair systeem (zoals een robot die in een rechte lijn loopt). Dit doen we door het systeem te "lift"en naar een hogere dimensie.

Het probleem: Als je de input (de metingen) al ruisig is, dan wordt die "lift" ook ruisig. Het is alsof je probeert een foto te maken van een danser, maar je camera trilt. De foto wordt wazig, en als je die wazige foto gebruikt om te voorspellen waar de danser over 10 seconden staat, mis je de boot.

2. De Oplossing: De "Slimme Filter"

De auteurs van dit paper hebben een nieuwe manier bedacht om dit aan te pakken. In plaats van te hopen dat de ruis verdwijnt, bouwen ze de ruis letterlijk in hun wiskundige formule.

Stel je voor dat je een geluidsdemper bouwt voor een motor.

Oude methode: Je probeert de motor zo stil mogelijk te maken, maar als er toch een beetje lawaai is, werkt je demper niet goed.
Deze nieuwe methode (DKND): Je weet dat er altijd lawaai is. Dus, in plaats van te proberen het lawaai te negeren, leer je je demper om specifiek op dat lawaai te reageren. Je past de instellingen van je demper (de parameters van het neurale netwerk) zo aan dat hij het lawaai "opvangt" en de echte, schone beweging eronder blootlegt.

3. Hoe werkt het precies? (De Creatieve Analogie)

Het team gebruikt een slimme truc met twee sporen:

Het "Droombeeld" vs. het "Reële Beeld":
- Stel je voor dat je een schilderij maakt. Je hebt een Droombeeld (hoe het systeem eruit zou zien zonder ruis, perfect en schoon) en een Reële Beeld (hoe het eruit ziet met de ruis, zoals een besmeurde foto).
- De oude methoden proberen alleen het Reële Beeld te verbeteren.
- De nieuwe methode (DKND) kijkt naar het verschil tussen het Droombeeld en het Reële Beeld. Ze vragen zich af: "Hoeveel vervorming heeft de ruis veroorzaakt?"
De "Ruis-Compensator":
- Het algoritme past de instellingen van zijn "bril" (het neurale netwerk) continu aan. Het doel is niet alleen om de data goed te voorspellen, maar om te zorgen dat de voorspelling die het maakt op basis van de ruisige data, zo dicht mogelijk bij de voorspelling blijft die het zou maken op basis van schone data.
- Het is alsof je een bril opzet die automatisch de trilling van je hand compenseert, zodat je altijd een stabiel beeld ziet, zelfs als je hand trilt.

4. Wat hebben ze bewezen?

Ze hebben deze methode getest op verschillende scenarios:

Een simpele 2D-beweging.
Een Cartpole (een stok die op een karretje moet balanceren).
Een Lunar Lander (een maanlander die moet landen).
Een Onbemande Boot (een vaartuig op het water).

In al deze gevallen hadden ze data met verschillende soorten ruis toegevoegd (zoals ruis die lijkt op statisch geluid, of ruis die willekeurig is).

Het resultaat: De nieuwe methode (DKND) maakte veel minder fouten dan de bestaande methoden. Vooral bij grote hoeveelheden ruis (waar andere methoden volledig in de war raakten) bleef DKND stabiel en nauwkeurig.

Samenvatting in één zin

Deze paper introduceert een slimme manier om complexe systemen te leren begrijpen, zelfs als de meetdata "ruisig" is, door de ruis niet als een vijand te zien, maar als een bekend probleem dat je kunt oplossen door je model slim aan te passen.

Waarom is dit belangrijk?
Voor robotica, autonome voertuigen en industriële controle is het cruciaal om systemen te kunnen voorspellen. Als je robot "hoort" wat er gebeurt via sensors die trillen of storingen hebben, moet hij toch veilig kunnen werken. Deze methode zorgt ervoor dat robots en systemen robuust blijven, zelfs in een rommelige, onvolmaakte wereld.

Titel: Deep Koopman Learning using Noisy Data (DKND)

Auteurs: Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou
Publicatie: Transactions on Machine Learning Research (04/2025)

1. Probleemstelling

Het modelleren en regelen van complexe niet-lineaire dynamische systemen blijft een uitdaging. Een veelgebruikte aanpak is het gebruik van Koopman-operator theorie, waarbij een niet-lineair systeem wordt getransformeerd naar een lineair systeem in een verheven (lifted), hogere dimensie ruimte. Dit maakt het gebruik van geavanceerde lineaire regelingstechnieken mogelijk.

Echter, in de praktijk zijn meetdata zelden perfect; ze zijn verstoord door meetruis. Bestaande methoden voor Deep Koopman Operators (DKO), die gebruikmaken van diepe neurale netwerken (DNN's) om de observatiefuncties te leren, hebben moeite met deze ruis:

Ruis in de toestandsmetingen ( $y_t = x_t + w_t$ ) wordt niet-lineair getransformeerd door de DNN, wat leidt tot complexe correlaties en vertekening in de verheven ruimte.
Bestaande methoden zoals Total Least Squares (TLS) of Robust Koopman benaderingen zijn vaak rekenkundig intensief of vereisen specifieke aannames over de ruisverdeling.
Het doel is om een eindig-dimensionale lineaire benadering te vinden die robuust is tegen onbekende maar begrensde meetruis, zonder dat de exacte ruisverdeling bekend is.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor, genaamd Deep Koopman Learning with Noisy Data (DKND). De kern van de methode ligt in het herformuleren van het optimalisatieprobleem om de invloed van ruis expliciet te mitigeren.

Het Model

Het systeem wordt beschreven als:
$x(t+1) = f(x(t), u(t))$
$y(t) = x(t) + w(t)$
waarbij $w(t)$ onbekende, begrensde ruis is ( $\|w(t)\| \leq w_{max}$ ).

Het doel is om een Deep Koopman Representatie (DKR) te vinden bestaande uit matrices $A^*, B^*, C^*$ en DNN-parameters $\theta^*$ , zodat:
$g(y_{t+1}, \theta^*) \approx A^* g(y_t, \theta^*) + B^* u_t$
$x_t \approx C^* g(y_t, \theta^*)$

De Loss-functie en Strategie

In plaats van direct de fout tussen de ware toestand $x_{t+1}$ en de voorspelling te minimaliseren (wat onmogelijk is omdat $x_{t+1}$ onbekend is), stellen de auteurs een bovengrens op de fout voor.

Decompositie van de fout: De totale schattingfout wordt opgesplitst in twee componenten:
- De fout van het model op de ruisbevattende data ( $\bar{f}$ ).
- Het verschil tussen het model op ruisvrije data ( $\tilde{f}$ ) en het model op ruisbevattende data ( $\bar{f}$ ).
Nieuwe Loss-functie ( $\hat{L}_f$ ): De auteurs minimaliseren de som van twee termen:
- Term 1 ( $\hat{L}_{f,1}$ ): De standaard fout in de verheven ruimte en de oorspronkelijke ruimte, gebaseerd op de ruisbevattende metingen $y_t$ .
- Term 2 ( $\hat{L}_{f,2}$ ): Een term die de discrepantie kwantificeert veroorzaakt door de ruis. Deze term is afgeleid via een stelling (Theorem 1) die aantoont dat het minimaliseren van een specifieke bovengrens (afhankelijk van de Lipschitz-continuïteit van de DNN en de ruisgrens $w_{max}$ ) leidt tot een robuustere oplossing.

De totale loss-functie die wordt geminimaliseerd is:
$\hat{L}_f(A, B, C, \theta) = \hat{L}_{f,1} + \hat{L}_{f,2}(\theta)$

Algoritme (DKND)

Het algoritme werkt iteratief:

Gegeven een initiële $\theta_k$ , worden de lineaire matrices $A, B, C$ berekend via pseudoinversie (minimale kwadraten) op basis van de huidige data-matrices.
De parameters $\theta$ van de DNN worden bijgewerkt via gradient descent om de totale loss-functie $\hat{L}_f$ te minimaliseren.
Dit proces herhaalt zich totdat convergentie is bereikt.

3. Belangrijkste Bijdragen

Robuustheid tegen begrensde ruis: De methode vereist alleen dat de meetruis begrensd is, niet dat de verdeling bekend is (bijv. geen Gaussische aannames nodig).
Expliciete ruismitigatie: In plaats van ruis als een statisch probleem te behandelen, wordt het effect van ruis op de DNN-gebaseerde observatiefuncties expliciet gemodelleerd en gecompenseerd door de DNN-parameters aan te passen.
Efficiëntie: De methode is eenvoudig te implementeren binnen bestaande Deep Koopman frameworks en vereist geen complexe min-max optimalisatie zoals sommige robuuste methoden.
Theoretische onderbouwing: Er wordt een wiskundige bovengrens afgeleid die de relatie tussen de ruisgrens en de modelfout kwantificeert.

4. Resultaten

De prestaties van DKND zijn getest op vier benchmarks:

Een 2D lineair tijd-invariant systeem.
Cartpole (OpenAI Gym).
Lunar Lander (OpenAI Gym).
Een Unmanned Surface Vehicle (USV) uit de echte wereld.

Testomgeving:

Drie soorten ruis: Gaussisch, Poisson en Uniform.
Vergelijking met: Standaard Deep Koopman (DK), DMD met Total Least Squares (DMD-TLS), en een Multilayer Perceptron (MLP).

Kernbevindingen:

Superieure nauwkeurigheid: DKND behaalde consistent de laagste Root Mean Square Deviation (RMSD) op de testdata vergeleken met alle andere methoden.
Robuustheid bij hoge ruis: Bij uniform verdeelde ruis (waarbij de ruisgrootte toeneemt) bleek het verschil tussen DKND en de standaard DK-methode het grootst. DKND hield de fout laag, terwijl de standaard DK-methode en DMD-TLS aanzienlijk degradeerden.
Stabiliteit: De standaardafwijking over 10 experimentele runs was voor DKND lager, wat wijst op een stabielere training.
DMD-TLS prestaties: DMD-TLS faalde volledig bij de complexere niet-lineaire systemen (Cartpole, Lunar Lander) met hoge ruis, wat de noodzaak van de diepe, niet-lineaire aanpak bevestigt.

5. Betekenis en Toekomstperspectief

Dit artikel biedt een cruciale stap voorwaarts in het toepassen van data-gedreven modellering voor regelingstechniek in de echte wereld, waar meetruis onvermijdelijk is.

Praktische toepasbaarheid: Omdat de methode alleen een bovengrens voor de ruis vereist, is deze zeer geschikt voor systemen waar de ruisstatistieken onbekend of variabel zijn.
Regeling: Een nauwkeurige dynamische schatting is essentieel voor modelgebaseerde regeling (MPC). DKND maakt het mogelijk om lineaire regelaars toe te passen op niet-lineaire systemen, zelfs met onzuivere data.
Beperkingen: De methode is momenteel beperkt tot begrensde ruis en het optimalisatieprobleem is niet-convex (lokaal minima). Toekomstig werk richt zich op het optimaliseren van regelstrategieën op basis van deze geleerde dynamica en het analyseren van de invloed van de ruisgrens op de prestaties.

Samenvattend introduceert DKND een robuust, data-gedreven raamwerk dat de kloof tussen theoretische Koopman-methode en praktische, ruisbeheerste toepassingen overbrugt.