Towards Safe Learning-Based Non-Linear Model Predictive Control through Recurrent Neural Network Modeling

Probleemstelling

De praktische implementatie van niet-lineaire modelpredictieve regeling (NMPC) voor veiligheidskritieke systemen (zoals autonome voertuigen en robots) wordt vaak beperkt door de online rekentijd. Het oplossen van een niet-lineair optimalisatieprobleem op hoge regelfrequenties is rekenkundig duur, vooral op ingebouwde hardware met beperkte middelen.

Bestaande leer-gebaseerde benaderingen proberen dit probleem op te lossen door de berekening offline te verplaatsen (bijvoorbeeld door een neurale netwerk te trainen om de MPC-politiek te imiteren). Echter, deze methoden hebben vaak twee grote nadelen:

1. Ze vereisen enorme datasets van expert-rollouts (MPC-oplossingen) om goed te generaliseren.
2. Ze missen vaak robuustheid en garanties voor veiligheid in gesloten lussen.
   Bovendien gebruiken de meeste bestaande methoden feedforward-neurale netwerken (MLP's) die de volledige voorspellingshorizon in één keer voorspellen. Dit leidt tot een lineaire groei van het aantal parameters met de horizonlengte en mist de inherente temporale afhankelijkheid van dynamische systemen.

Methodologie

De auteurs stellen Sequential-AMPC (Seq-AMPC) voor, een nieuw architecturaal ontwerp dat de beperkingen van feedforward-netwerken overwint, gecombineerd met een veiligheidsmechanisme.

1. Architectuur: Recurrente Neurale Netwerken (RNN):

   • In plaats van een feedforward-netwerk dat de hele reeks besturingssignalen $\hat{u}_{0:N}$ in één keer voorspelt, gebruikt Seq-AMPC een autoregressieve RNN.
   • Het netwerk deelt parameters over de tijdstappen en genereert de besturingsreeks recursief: op elk tijdstap $t$ wordt een enkel besturingssignaal voorspeld op basis van de huidige toestand en de verborgen staat (hidden state) $h_{t-1}$.
   • Voordelen:
     • Parameter-efficiëntie: Het aantal trainbare parameters is onafhankelijk van de horizonlengte $N$ (in tegenstelling tot een lineaire groei bij MLP's).
     • Temporele bias: De architectuur introduceert een inductieve bias die overeenkomt met de Markov-eigenschappen van dynamische systemen, waardoor temporale afhankelijkheden beter worden gemodelleerd.

2. Veiligheidsmechanisme (Safe Seq-AMPC):

   • Het RNN-beleid wordt ingekapseld in een veiligheidsversterkte online evaluatie en fallback-mechanisme (gebaseerd op werk van Hose et al.).
   • Algorithmische flow:
     1. Het RNN genereert een kandidaat-besturingsreeks.
     2. Een online check verifieert of deze reeks haalbaar is (binnen constraints) en of deze de kosten verlaagt ten opzichte van een veilige fallback (een verschoven vorige oplossing + een terminale regelaar).
     3. Als de RNN-voorstelling veilig en goedkoper is, wordt deze uitgevoerd.
     4. Zo niet, dan wordt de veilige fallback gebruikt.
   • Dit garandeert dat het systeem altijd voldoet aan de constraints, zelfs als het neurale netwerk een fout maakt.

Belangrijkste Bijdragen

• Innovatieve Architectuur: De introductie van een RNN-gebaseerd beleid voor NMPC-approximatie, wat een fundamentele verschuiving is ten opzichte van de gebruikelijke feedforward-MLP benaderingen.
• Theoretisch Onderbouwing: Bewijzen dat RNN's parameter-efficiënter zijn voor lange horizons en dat hun structuur beter aansluit bij de causale aard van dynamische systemen (Propositie 1 en 2).
• Veiligheidsgarantie: Het combineren van deze sequentiële politiek met een bewezen veiligheidswrapper, waardoor de methode geschikt is voor veiligheidskritieke toepassingen zonder online optimalisatie.
• Data-efficiëntie: Het aantonen dat sequentiële modellen minder trainingsdata nodig hebben om vergelijkbare of betere prestaties te bereiken.

Resultaten

De methode werd getest op drie benchmarks: een quadcopter, een kinematisch voertuigmodel en een dynamisch voertuigmodel (single-track).

• Open-loop Haalbaarheid: Seq-AMPC levert aanzienlijk hogere haalbaarheidspercentages voor de voorspelde reeksen dan de feedforward-baseline (bijv. 83,6% vs 72% voor de quadcopter).
• Gesloten-lus Veiligheid: In gesloten lussen bereikt Seq-AMPC een hoger percentage veilige rollouts.
  • Quadcopter: Veiligheid steeg van 84,8% (MLP) naar 89,1% (RNN).
  • Dynamisch Voertuig: Veiligheid steeg van 54,1% naar 58,7%.
• Trainingsdynamiek: Seq-AMPC vertoont stabielere leercurves. Waar feedforward-netwerken vaak vastlopen in een lokaal minimum of stagneren (vooral bij complexe dynamische modellen), blijft de validatiefout van Seq-AMPC dalen, wat leidt tot betere eindprestaties.
• Data-efficiëntie: Op de quadcopter-taak bereikte Seq-AMPC met slechts 1/10e van de trainingsdata bijna dezelfde veiligheidsprestaties als de baseline met volledige data, en vereiste 97% minder trainings-epochs.
• Interventie-analyse: Hoewel de wrapper vaak moet interveniëren (vooral bij voertuigen met obstakels), gebeurt dit voornamelijk omdat de RNN-voorstellingen de terminale set niet bereiken of de kosten niet verlagen, en niet vanwege directe constraint-schendingen (zoals botsingen).

Betekenis en Conclusie

De studie toont aan dat het gebruik van recurrente neurale netwerken voor het benaderen van MPC-politieken een significante verbetering biedt ten opzichte van traditionele feedforward-architecturen. Door de temporale structuur van het regelprobleem expliciet te modelleren, worden de prestaties, de haalbaarheid en de veiligheid verbeterd, terwijl de afhankelijkheid van enorme datasets en de parametergroei met de horizonlengte wordt verminderd.

De Safe Seq-AMPC biedt een robuust kader voor het inzetten van leer-gebaseerde regeling op ingebouwde hardware, waarbij de strenge veiligheidsvereisten van moderne systemen worden gewaarborgd zonder de rekentijd van online optimalisatie. De auteurs concluderen dat de belangrijkste uitdaging voor de toekomst ligt in het verminderen van het aantal "fallbacks" (interventies) door de voorspellingen van het RNN nog beter af te stemmen op de terminale constraints en kostenfuncties.