Technische Samenvatting: Kies Verstandig: Data-gestuurde Predictieve Controle voor Nietlineaire Systemen met Online Dataselectie

Probleemstelling

De regeltechnische gemeenschap streeft naar het beheersen van nietlineaire systemen waarbij data beschikbaar is, maar expliciete systeemmodellen niet. Hoewel Data-driven Predictive Control (DPC)-methoden, zoals Data-enabled Predictive Control (DeePC), een "model-vrij" alternatief bieden voor traditionele Model Predictive Control (MPC) door de systeemidentificatie over te slaan, leunt de standaard DeePC op de Lineaire Tijd-Invariante (LTI) aanname. Deze aanname wordt ernstig geschonden in generieke nietlineaire systemen, wat leidt tot willekeurig prestatieverlies. Bestaande nietlineaire uitbreidingen van DeePC kampen met significante trade-offs:

• Specifieke Nietlineaire Klassen: Formuleringen die zijn afgestemd op specifieke nietlineaire structuren leggen sterke priors op die mogelijk niet aanwezig zijn voor willekeurige systemen.
• Time-Windowed Benaderingen: Methoden die gebruikmaken van sliding windows van recente data zijn alleen praktisch voor systemen met milde nietlineariteiten en een hoge signaal-ruisverhouding.
• Kernelized/Lifted Benaderingen: Het herformuleren van voorspellers met behulp van nietlineaire kernels of Koopman-operators resulteert vaak in hoogdimensionale, niet-convexe optimalisatieproblemen, wat de online computationele complexiteit verhoogt en leidt tot suboptimale resultaten.
• Sampling-Based MPC: Hoewel deze methoden computationeel goedkoop zijn en slechts zero-order informatie vereisen, missen ze een gestructureerde manier om expliciete output-constraints te integreren.

De kernuitdaging is het ontwikkelen van een directe, data-gestuurde predictieve controlemethode voor nietlineaire systemen die de convexiteit van het optimalisatieprobleem behoudt (om tractabiliteit en expliciete constraint-afhandeling te garanderen) terwijl de nietlineaire dynamica accuraat wordt gevangen zonder een expliciet model te vereisen.

Methodologie: Select-DPC

Het artikel stelt Select-DPC (Select-Data-driven Predictive Control) voor, een methode die de systeemdynamica impliciet lineariseert in de "trajectruimte" door bij elk beslissingsmoment alleen de meest relevante data te selecteren.

Kernconcept

Select-DPC werkt in een receding-horizon modus. In plaats van een grote, vooraf verzamelde dataset $D$ voor elke controlesstap te gebruiken (wat computationeel onhandelbaar is en een globale lineariteit veronderstelt), lost het algoritme iteratief een convex Kwadratisch Programma (QP) op. Tijdens elke iteratie van de solver selecteert het een subset van trajecten $\tilde{D} \subset D$ die "relevant" zijn voor het huidige werkpunt.

Trajectruimte: Gedefinieerd als een hoogdimensionale ruimte waar elke dimensie overeenkomt met een input of output over een discrete-tijd, eindige-lengte traject. Linearisatie wordt bereikt door trajecten te selecteren die ruimtelijk "dichtbij" de huidige open-loop oplossingsschatting liggen in deze ruimte.

Algoritmische Workflow

1. Initialisatie: Het open-loop traject wordt warm-gestart (bijv. door initiële metingen te repliceren).
2. Iteratieve Verfijning:
   • Dataselectie: Een subset $\tilde{D}$ van grootte $N_{cols}$ wordt geselecteerd uit de volledige dataset $D$ op basis van nabijheid tot de huidige voorspelling $\tilde{\tau}$.
   • QP Oplossing: Een standaard DeePC optimalisatieprobleem wordt opgelost met enkel $\tilde{D}$ om een nieuwe controleactie te genereren.
   • Convergentie: Het proces herhaalt zich totdat een convergentiecriterium (tolerantie of maximaal aantal iteraties) is bereikt.
3. Executie: De eerste controle-input wordt toegepast, en de horizon verschuift.

Dataselectiestrategieën

Het artikel stelt twee methoden voor en vergelijkt ze voor het selecteren van de relevante subset $\tilde{D}$:

1. Norm-gebaseerde Selectie: Berekent de ruimtelijke afstand (bijv. $L_1$ of $L_2$ norm) tussen het huidige open-loop traject en alle trajecten in $D$. De $N_{cols}$ dichtstbijzijnde trajecten worden geselecteerd.

   • Voordelen: Intuïtief, efficiënt te implementeren, staat eenvoudige online updates toe.
   • Nadelen: Gevoelig voor de "vloek van dimensionaliteit" in hoogdimensionale trajectruimtes.

2. Manifold-Embedding-gebaseerde Selectie: Maakt gebruik van manifold learning (specifiek Isomap) om hoogdimensionale trajectdata te projecteren in een lagerdimensionale embedding-ruimte die geodetische afstanden behoudt.

   • Voordelen: Mitigeert de vloek van dimensionaliteit; afstanden in de embedding-ruimte reflecteren de intrinsieke nietlineaire structuur van de data beter.
   • Nadelen: Hogere offline computationele kosten om de embedding te berekenen (hoewel dit een eenmalige kostenpost is); online embedding van het query-traject is vereist.

Belangrijkste Kenmerken

• Kosten-Agnostisch: De generatie van de dataset is structureel onafhankelijk van de controleformulering. Kostenfuncties en constraints kunnen a posteriori worden aangepast, wat zero-shot toepassing op nieuwe taken mogelijk maakt zonder nieuwe dataverzameling.
• Convexiteit: Door de voorspeller te beperken tot een lokaal lineaire subset van data, blijft het resulterende optimalisatieprobleem een convexe QP, in tegen tegenstelling tot kernelized of lifted benaderingen die vaak niet-convex worden.
• Impliciete Linearisatie: Vergelijkbaar met Sequential Quadratic Programming (SQP) in model-gebaseerde MPC, voert Select-DPC iteratieve linearisatie uit, maar doet dit in de trajectruimte met behulp van data in plaats van Jacobiaan van een expliciet model.

Belangrijkste Bijdragen

1. Introductie van Select-DPC: Een directe data-gestuurde predictieve controller voor nietlineaire systemen die een impliciete linearisatie in de trajectruimte bereikt via online dataselectie, waarbij convexe optimalisatie behouden blijft.
2. Dataselectiemethoden: De voorstel en vergelijking van twee verschillende selectiemechanismen: een norm-gebaseerde methode en een manifold-embedding-gebaseerde methode (Isomap) om hoogdimensionale nietlineaire data te behandelen.
3. Empirische Validatie: Demonstratie van de superioriteit van Select-DPC ten opzichte van standaard DeePC en Time-Windowed DeePC over drie benchmark nietlineaire systemen:
   • Planair raketlanden (open-loop instabiel).
   • Planaire robotmanipulator (Reacher).
   • Cart-pole inverted pendulum swing-up.

Resultaten en Evaluatie

Experimenten werden uitgevoerd op drie simulators (Rocket, Reacher, Cart-Pole) waarbij Select-DPC werd vergeleken met Standaard DeePC (gebruikmakend van de volledige dataset) en Time-Windowed DeePC.

1. Reusable Rocket Landing

• Prestaties: Standaard DeePC en Time-Windowed DeePC slaagden er niet in het systeem te stabiliseren of divergeerden. Select-DPC stabiliseerde de raket succesvol op de gewenste setpoint.
• Datasets: Getest op "IID Data" (voornamelijk lineair gedrag) en "Random Walk Data" (hoogst nietlineaire excitatie).
  • Op IID-data verminderde Select-DPC de closed-loop kosten met een factor 1.9 vergeleken met Standaard DeePC.
  • Op Random Walk-data faalde Standaard DeePC om te stabiliseren, terwijl Select-DPC slaagde.
• Voorspellingsnauwkeurigheid: Zowel de Norm- als de Isomap-selectiemethoden leverden lagere cumulatieve residuen op holdout validatiesets op in vergelijking met het gebruik van de volledige dataset of random sketching.
• Computation: Select-DPC verminderde de computationele kosten met een orde van grootte vergeleken met Standaard DeePC door kleinere QPs op te lossen, waarbij de oplostijden kwadratisch schalen met $N_{cols}$.

2. Planair Robotmanipulator (Reacher)

• Prestaties: Select-DPC slaagde er succesvol in om end-effector referenties te volgen, terwijl Standaard DeePC en Time-Windowed DeePC niet tot convergentie kwamen.
• Constraints: De methode demonstreerde zero-shot generaliseerbaarheid door a priori onbekende output-constraints (bijv. het vermijden van specifieke regio's) te hanteren zonder structurele wijzigingen aan de controller of nieuwe data.
• Ablatie: Random sketching faalde volledig in deze omgeving, terwijl het selecteren van een specifieke subsetgrootte ($N_{cols}$) een "sweet spot" voor prestaties onthulde, waarbij een balans wordt gevonden tussen voorspellingsnauwkeurigheid en computationele last.

3. Cart-Pole Inverted Pendulum Swing-Up

• Taak: Het overgaan van een stabiel evenwicht naar beneden naar een instabiel evenwicht naar boven.
• Prestaties: Standaard DeePC oscilleerde rond het stabiele evenwicht en faalde bij de swing-up. Select-DPC leerde succesvol van suboptimale demonstraties in de dataset om de swing-up uit te voeren en de pendel te stabiliseren.
• Mechanisme: De controller kopieerde niet simpelweg een enkel traject, maar combineerde lineair meerdere trajectsegmenten bij elke solver-iteratie om de swing-up manoeuvre te construeren.

Betekenis en Claims

Het artikel claimt dat Select-DPC de kloof overbrugt tussen de tractabiliteit van convexe data-gestuurde controle en de prestatie-eisen van nietlineaire systemen. De betekenis ligt in:

• Expliciete Constraint-afhandeling: In tegen tegenstelling tot sampling-gebaseerde MPC of RL-methoden die moeite hebben met gestructureerde output-constraints, behoudt Select-DPC het vermogen om harde constraints af te dwingen via convexe optimalisatie.
• Schaalbaarheid: Het schaalt gunstig met grote datasets door relevante data te subsamplen, waardoor de superlineaire oplostijd van het gebruik van de volledige dataset wordt vermeden.
• Nietlineaire Capaciteit: Het breidt DPC uit naar nietlineaire domeinen zonder een expliciet model, complexe kernelisaties of niet-convexe optimalisatie te vereisen.
• Zero-Shot Adaptiviteit: De ontkoppeling van dataverzameling van het controledesign staat toe dat dezelfde dataset kan worden hergebruikt voor verschillende taken (bijv. constrained vs. unconstrained tracking) zonder hertraining.

Beperkingen

De auteurs erkennen enkele beperkingen:

• Computationele Kosten: De huidige implementatie vereist 200–400 ms per stap, wat het gebruik in zeer dynamische toepassingen beperkt.
• Geheugenvoetafdruk: Grote voorspellingshorizons en datasets kunnen geheugenbeperkingen schenden.
• Hyperparameter Tuning: Het bereiken van bevredigende prestaties vereist het afstemmen van hyperparameters (bijv. $N_{cols}$, horizonlengtes), en het artikel merkt op dat een grootschalige empirische studie van de mogelijkheden over diverse taken een onderwerp is voor toekomstig werk.