Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching

Stel je voor dat je een schip door een storm probeert te sturen zonder kaart, zonder kompas en zelfs zonder een duidelijk zicht op de horizon. Je kunt alleen de golven zien die tegen de romp slaan en de wind voelen die in je gezicht draait. Dit is de realiteit voor veel ingenieurs en wetenschappers die complexe machines moeten aansturen, van autonome voertuigen tot elektriciteitsnetten, wanneer zij niet beschikken over een volledig wiskundig model van hoe die systemen zich gedragen. In plaats van te vertrouwen op een perfect blauwdruk, moeten zij leren door te doen: observeren hoe het systeem reageert op verschillende inputs, de kosten van fouten registreren en geleidelijk een strategie in elkaar puzzelen die werkt. Decennialang heeft een krachtig wiskundig hulpmiddel genaamd lineaire programmering een manier geboden om de beste mogbare strategie in dergelijke situaties te vinden. Echter, dit hulpmiddel heeft een beruchte tekortkoming: naarmate het aantal variabelen dat het systeem beschrijft groeit, lopen de berekeningen vaak uit de hand en produceren ze antwoorden die oneindig groot zijn en daarom nutteloos. Het is also अgelijk aan het proberen te balanceren van een weegschaal met gewichten die steeds zwaarder worden totdat de balk knapt.

Een team onderzoekers aan de ETH Zürich heeft een manier gevonden om die weegschaal in evenwicht te houden, zelfs wanneer het systeem complex is en de data schaars zijn. Ze ontwikkelden een nieuwe methode om de wiskundige zoektocht naar een optimale controlebeleid te begeleiden, waarbij wordt gegarandeerd dat de oplossing eindig en praktisch blijft. Door gebruik te maken van een techniek genaamd moment-matching, wat in essentie de wiskundige "vorm" van de gewenste oplossing afstemt op de patronen die in de geobserveerde data worden gevonden, kunnen zij garanderen dat de computer een stabiel antwoord vindt. Hun werk suggereert dat het mogelijk is om controllers te ontwerpen voor hoog-dimensionale, niet-lineaire systemen — machines met veel bewegende delen en complexe gedragingen — met slechts een beperkte hoeveelheid data, zonder vooraf de onderliggende fysica van het systeem te hoeven kennen. Deze aanpak transformeert een theoretische mogelijkheid in een betrouwbaar engineering-instrument, wat de deur opent naar slimmere, meer adaptieve controlesystemen voor de echte wereld.

De kernuitdaging die de onderzoekers aanpakten, is de moeilijkheid om deze wiskundige berekeningen ervan te weerhouden "weg te lopen". In de wereld van optimale controle is het doel om een set regels te vinden die een machine vertelt wat hij op elk moment moet doen om een kostenfunctie te minimaliseren, zoals energieverbruik of reistijd. Wanneer het systeem eenvoudig is, werken standaardmethoden prima. Maar wanneer het systeem complex is, met veel dimensies zoals positie, snelheid en versnelling die allemaal met elkaar interageren, explodeert het aantal mogelijke scenario's. De onderzoekers merkten op dat eerdere pogingen om dit met datagedreven methoden op te lossen vaak faalden omdat het wiskundige probleem onbegrensd werd. Dit betekent dat de computer zou proberen een oplossing te vinden die oneindig groot wordt, wat effectief de berekening doet crashen. Hoewel sommige eerdere methoden probeerden dit op te lossen door kunstmatige beperkingen of regularisaties toe te voegen, verstoorden deze vaak het uiteindelijke resultaat, waardoor de controller minder effectief werd. Anderen vertrouwden op het hebben van enorme hoeveelheden data, wat vaak onmogelijk is om te verzamelen in real-world scenario's waar experimenten duur of gevaarlijk zijn.

Om dit op te lossen, introduceerden de auteurs een methode die de data zelf gebruikt om de grenzen van de zoektocht te definiëren. In plaats van te gokken waar de oplossing zou moeten liggen, keken zij naar de specifieke patronen in de data die verzameld zijn uit de bewegingen van het systeem. Ze behandelden de data als een verzameling punten in een hoog-dimensionale ruimte en stelden een eenvoudige vraag: kunnen we een richting voor onze zoektocht vinden die ondersteund wordt door deze punten? Als de richting van de zoektocht overeenkomt met de "kegel" van mogelijkheden die door de data wordt gecreëerd, is de berekening gegarandeerd eindig. Ze toonden aan dat door zorgvuldig een kostenvector te selecteren — een wiskundig gewicht dat de computer vertelt wat hij prioriteit moet geven — gebaseerd op de geobserveerde data, zij konden garanderen dat de oplossing begrensd bleef. Dit is vergelijkbaar met het instellen van een bestemming voor een reis die gegarandeerd bereikbaar is gezien het terrein dat je al in kaart hebt gebracht, in plaats van te mikken op een punt dat misschien buiten de rand van de wereld ligt.

De onderzoekers testten dit idee op twee zeer verschillende soorten systemen. Eerst keken ze naar lineaire tijd-invariante systemen, wat machines zijn die zich op een voorspelbare, rechte wijze gedragen. Ze simuleerden deze systemen met toenemende complexiteit, van kleine opstellingen tot systemen met dertig verschillende toestandsvariabelen. In deze tests vergeleken ze hun nieuwe methode met een standaard aanpak die een vaste, onveranderlijke kostenvector gebruikt. De resultaten waren opmerkelijk: terwijl de standaardmethode faalde bij het vinden van een oplossing voor systemen met meer dan twee toestandsvariabelen, vond hun moment-matching aanpak succesvol eindige oplossingen voor systemen met tot wel dertig variabelen, zelfs met slechts vijfhonderd datapunten. De controllers die zij leerden, waren bijna perfect en presteerden binnen één procent van de theoretisch best mogelijke uitkomst.

Vervolgens duwden ze de methode in veel moeilijker gebied: niet-lineaire mechanische systemen. Dit zijn machines waarbij de krachten die op hen inwerken niet simpelweg rechte lijnen volgen; bijvoorbeeld een systeem met elastische koppelingen, niet-lineaire zwaartekracht en luchtweerstand die toeneemt met de derde macht van de snelheid. Deze systemen zijn berucht moeilijk aan te sturen omdat kleine veranderingen kunnen leiden tot volkomen andere gedragingen. De onderzoekers simuleerden deze systemen met tot tien dimensies en vonden dat hun methode nog steeds stabiele oplossingen kon vinden waar de standaardmethode faalde. In één specifieke simulatie stuurden ze een systeem met vier dimensies aan dat van nature onstabiel is, wat betekent dat het uit elkaar zou vallen zonder interventie. De geleerde controller stuurde het systeem succesvol naar een stabiel evenwicht en hield het in balans, terwijl een ongestuurde versie van hetzelfde systeem zou wegdriften. De sleutel tot dit succes was niet het hebben van meer data, maar het hebben van slimmere data-interpretatie. Door de momenten van de data te matchen — in essentie de gemiddelde waarden en de spreiding van de geobserveerde gedragingen — konden zij een kostenfunctie construeren die het wiskundige probleem oplosbaar hield.

De schoonheid van deze aanpak ligt in de efficiëntie en de afhankelijkheid van de beschikbare data. De onderzoekers toonden aan dat de methode werkt, zelfs wanneer het aantal datapunten klein is in verhouding tot de complexiteit van het systeem. Ze ontdekten dat door de omvang van een hulp-pool van steunpunten te vergroten, zij de kansen konden verbeteren om een oplossing te vinden voor zelfs grotere systemen. Dit suggereert dat de flessenhals niet de hoeveelheid data is, maar hoe die data wordt geïnterpreteerd. De methode vereist niet dat het systeem lineair is of dat de dynamica bekend is; het vereist alleen dat de verzamelde data voldoende informatie biedt om de vorm van het probleem te definiëren. De computationele kosten voor het opzetten van deze methode zijn laag en omvatten slechts een reeks lineaire vergelijkingen die snel op een standaardcomputer kunnen worden opgelost.

Uiteindelijk biedt dit werk een praktisch pad vooruit voor datagedreven controle in hoog-dimensionale ruimtes. Het beweegt het vakgebied weg van het idee dat we enorme datasets of perfecte modellen nodig hebben om complexe machines aan te sturen. In plaats daarvan laat het zien dat met het juiste wiskundige kader, een relatief kleine hoeveelheid data voldoende kan zijn om een controller af te leiden die zowel stabiel als effectief is. De onderzoekers merken er voorzichtig bij op dat hoewel hun simulaties veelbelovend zijn, de methode momenteel bewezen is voor deterministische systemen met polynomiale kenmerken. Zij zien een toekomst waarin deze techniek wordt uitgebreid naar stochastische systemen, waarbij willekeur een grotere rol speelt, en naar nog complexere soorten functies. Voor nu hebben zij echter aangetoond dat de vloek van dimensionaliteit, die dergelijke berekeningen lang heeft geteisterd, getemd kan worden. Door te garanderen dat de zoektocht naar het beste controlebeleid geworteld blijft in de realiteit van de geobserveerde data, hebben zij een theoretisch concept omgezet in een instrument dat gebruikt kan worden om betere, veiligere en intelligentere machines te bouwen.