Safe Learning Predictive Control for Ego-World Robotic Systems

Technische Samenvatting: Safe Online World Policy Learning Model Predictive Control (SOWL-MPC)

Probleemstelling
Het artikel behandelt de uitdaging van veilige autonome navigatie voor een "ego"-robot die opereert in een gedeelde omgeving met een "world"-robot waarvan het regelbeleid (control policy) onbekend en potentieel niet-stationair is. Dit scenario, getiteld het EGO–WORLD-framework, gaat ervan uit dat de ego-robot alleen toegang heeft tot ruisige staatmetingen van de world-robot ($\tilde{z}_t = z_t + w_t$) en voorkennis heeft van de nominale dynamica van de world-robot (driftvector $g(z)$ en controlematrix $H(z)$), maar geen kennis heeft van het werkelijke regelbeleid $\pi(z)$ van de world-robot. Traditionele reactieve methoden (bijv. Dynamic Window Approach, Control Barrier Functions) zijn vaak kortzichtig, terwijl bestaande voorspellende benaderingen doorgaans vertrouwen op offline getrainde modellen of vaste bewegingsaannames die niet kunnen adapteren aan ongeziene gedragingen. De kern van het probleem is het ontwerpen van een online controleframework dat iteratief het latente beleid van de wereld kan leren van stromende data en dit leren kan gebruiken om veilige, botsingsvrije manoeuvres uit te voeren via Model Predictive Control (MPC).

Methodologie
De voorgestelde oplossing, SOWL-MPC, integreert online leren met een receding-horizon controleschema via drie hoofdfasen:

1. Beleidsmodellering en Offline Pretraining:
   Het onbekende beleid van de wereld $\pi(z)$ wordt gemodelleerd als een set onafhankelijke Sparse Variational Gaussian Processes (SVGPs), één voor elke component van de beleiksvector. Aanvankelijk worden hyperparameters geselecteerd via offline pretraining op een dataset van ruisige staat-input paren. De inputgegevens (controle-inputs van de wereld) worden online gereconstrueerd uit opeenvolgende ruisige staatsobservaties met behulp van een kleinste-kwadratenmethode gebaseerd op de bekende nominale dynamica.

2. Online Leren via Online Variational Conditioning (OVC):
   Om in realtime te kunnen adapteren aan nieuwe gegevens zonder de prohibitieve computationele kosten van hertraining, maakt de auteur gebruik van Online Variational Conditioning (OVC). In plaats van de volledige geschiedenis van de gegevens op te slaan, houdt OVC voldoende statistieken bij (inducingslocaties, variationele gemiddelden en covarianties) om de SVGP-parameters recursief bij te werken. Het algoritme projecteert de huidige posterior naar "pseudo-data", combineert deze met de nieuwe observatie en werkt de inducing points en variationele parameters bij. Hierdoor kan het systeem het latente beleid direct leren van stromende ruisige metingen.

3. Onzekerheidsbewuste Trajectvoorspelling en Controle:
   Het geleerde beleid wordt gepropageerd door de niet-lineaire wereld-dynamica met behulp van een first-order Gaussian moment propagation schema (vergelijkbaar met een Extended Kalman Filter voorspellingsstap). Dit genereert een multi-step probabilistische voorspelling van het toekomstige traject van de wereld-robot, inclusief een maatstaf voor de voorspellende onzekerheid.
   Deze voorspellingen worden gevoed aan een niet-lineaire MPC-controller. De MPC-formulering bevat:

   • Kostenfunctie: Een standaard tracking-kostenfunctie met straffen voor controle-inspanning en input-smoothness.
   • Veiligheidsrestricties: Botsingsvermijding wordt afgedwongen door de veiligheidsafstand tussen de robots op te blazen. De veiligheidsmarge wordt dynamisch aangepast op basis van de voorspellende onzekerheid (trace van de covariantie-matrix) geschaald door een door de gebruiker gedefinieerde veiligheidsparameter $n_\sigma$. Harde restricties worden toegepast op de directe volgende stap, terwijl slack-variabelen tijdelijke versoepeling toestaan in de latere voorspellingshorizon om haalbaarheid te garanderen.

Belangrijkste Bijdragen
Het artikel schetst drie primaire bijdragen:

1. SOWL-MPC Framework: Een nieuwe controlestrategie voor EGO–WORLD-systemen die het latente state-feedback beleid van een niet-coöperatieve wereld-robot online leert, in plaats van de systeemdynamica te leren of te vertrouwen op offline voorspellers. Deze formulering maakt gebruik van de lagere dimensionaliteit van de inputruimte vergeleken met de staatruimte voor data-efficiëntie.
2. Toepassing van OVC op Robotica: De eerste toepassing van Online Variational Conditioning voor online beleidsidentificatie en trajectvoorspelling in robotische systemen. Dit stelt de SVGP-modellen in staat om continu te updaten op stromende data met een vaste computationele complexiteit ($O(M^3)$ per update, waarbij $M$ het aantal inducing points is).
3. Real-time Validatie: Een full-stack implementatie in ROS 2 (geïntegreerd met de CHOIRBOT toolbox) die real-time haalbaarheid demonstreert. De aanpak werd gevalideerd via uitgebreide Monte Carlo virtuele experimenten en real-world hardwaretests met betrekking tot inhalen en kruisen.

Experimentele Resultaten
De strategie werd geëvalueerd in zowel virtuele (Webots/ROS 2) als real-world (binnenarena met NVIDIA JetRacer auto's) omgevingen:

• Voorspellingsnauwkeurigheid: In virtuele experimenten op de ETHZ MOBIL en LEMNISCATE tracks presteerde SOWL-MPC aanzienlijk beter dan een offline getrainde GP-baseline en een Constant Velocity (CV) baseline. De Average Displacement Error (ADE) voor SOWL-MPC stabiliseerde zich op ongeveer 0,05 m na de initiële leerfase, vergeleken met fouten die de 0,4 m overschreden voor de CV-baseline en periodieke pieken boven de 0,7 m voor de offline baseline.
• Veiligheidsgaranties: Monte Carlo-simulaties toonden aan dat het afstemmen van de veiligheidsparameter $n_\sigma$ een afweging mogelijk maakt tussen agressiviteit en veiligheid. Met $n_\sigma = 3$ behaalde de methode een succespercentage van 100% in het vermijden van botsingen over 50 proeven, terwijl een deterministische aanpak ($n_\sigma = 0$) in 36% van de gevallen faalde.
• Real-time Prestaties: De gemiddelde berekeningstijd per controlesstap bleef ruim onder de 50 ms sampling tijd, zelfs voor voorspellingshorizons tot $T=40$, wat de real-time haalbaarheid bevestigt.
• Real-World Validatie: Op fysieke hardware voerde het systeem succesvol anticiperende vermijdingsmanoeuvres uit, waarbij de ADE stabiliseerde rond de 0,05 m, wat de overdraagbaarheid van de virtuele resultaten naar real-world dynamica bevestigt.

Betekenis en Claims
Het artikel claimt dat SOWL-MPC een significante vooruitgang vertegenwoordigt door de kloof te overbruggen tussen reactieve veiligheid en voorspellende planning in omgevingen met onbekende, adaptieve agenten. Door expliciet het beleid van de wereld-robot te modelleren en te leren in plaats van alleen de dynamica, en door OVC te gebruiken voor efficiënte online updates, bereikt het framework veiligheidsgaranties die zich aanpassen aan het geobserveerde gedrag van de wereld-robot. De auteurs benadrukken dat dit de eerste toepassing van OVC is op deze specifieke robotische probleemstelling, wat data-efficiënt leren van latente beleidsregels mogelijk maakt die direct geïntegreerd kunnen worden in onzekerheidsbewuste controlelussen. Het werk demonstreert dat veilige, anticiperende navigatie haalbaar is, zelfs wanneer de controlelogica van de wereld-robot volledig onbekend is en alleen ruisige staatsobservaties beschikbaar zijn.