Improving the Resilience of Quadrotors in Underground Environments by Combining Learning-based and Safety Controllers

Dit artikel presenteert een hybride besturingsmethode voor quadcopters in ondergrondse omgevingen die een normalizing flow gebruikt om als runtime-monitor te fungeren en zo naadloos schakelt tussen een leergestuurde controller voor snelheid en een veilige controller om botsingen te voorkomen.

De kern

Stel je voor dat je een kleine, vliegende drone (een quadcopter) hebt die je door een donkere, complexe grot moet sturen. Misschien om te zoeken naar overlevenden na een aardbeving, of om een mijn te verkennen. Dit is een hele uitdaging, want grotten zijn vol met onvoorspelbare rotsen, smalle gangen en vreemde hoeken.

De onderzoekers van dit papier hebben een slimme oplossing bedacht om deze drone veilig én snel door zo'n grot te laten vliegen. Ze combineren twee heel verschillende "denkmanieren" in één besturingssysteem.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De twee piloten: De "Snelle Sportie" en de "Voorzichtige Oude Meester"

Stel je voor dat je twee piloten hebt die om de beurt de drone besturen:

• De Snelle Sportie (Het Leer-systeem):
  Deze piloot is getraind met duizenden voorbeelden. Hij heeft een "geheugen" vol met grotten die hij al kent. Hij is supersnel, maakt coole bochten en vliegt als een raceauto.

  • Het probleem: Hij is een beetje arrogant. Als hij in een grot komt die er net iets anders uitziet dan wat hij heeft geoefend (bijvoorbeeld een nieuwe steen in de weg), raakt hij in paniek en vliegt hij tegen de muur. Hij is niet goed in het omgaan met "nieuwe situaties".

• De Voorzichtige Oude Meester (Het Veiligheids-systeem):
  Deze piloot is niet snel, maar hij is extreem voorzichtig. Hij rekent alles langzaam en grondig uit. Hij vliegt traag, maar hij kijkt constant naar alle mogelijke gevaren.

  • Het voordeel: Hij kan bijna nooit crashen, zelfs niet in een grot die hij nog nooit heeft gezien.
  • Het nadeel: Hij is zo voorzichtig dat hij de hele dag nodig heeft om van punt A naar punt B te komen.

2. De slimme schakelaar: De "Reisgids"

Het echte genie van dit onderzoek is niet dat ze één van deze piloten kiezen, maar dat ze een slimme schakelaar hebben bedacht.

Stel je een reisgids voor die de drone vergezelt. Deze gids heeft een speciale bril op die de omgeving scant.

• Als de gids ziet dat de drone zich bevindt in een omgeving die bekend is (zoals de grotten waar de "Snelle Sportie" voor is getraind), zegt hij: "Vooruit maar, Sportie! Jij bent hier de beste." De drone vliegt dan razendsnel.
• Zodra de gids ziet dat de drone in een vreemde, onbekende situatie terechtkomt (bijvoorbeeld een nieuwe steen of een vreemde hoek), schreeuwt hij: "Stop! Gevaar! Schakel over naar de Oude Meester!"

Dan neemt de "Voorzichtige Oude Meester" het over. Hij vliegt langzaam en veilig om een crash te voorkomen. Zodra de drone weer in een bekende zone is, geeft de gids weer groen licht voor de Snelle Sportie.

3. Hoe werkt die "bril" van de gids?

De onderzoekers hebben een slim computerprogramma (een "normale stroom" of normalizing flow) getraind. Dit programma leert hoe een "normale" grot eruitziet.

• Als de drone iets ziet dat past bij wat hij kent, is de kans groot dat het veilig is om snel te vliegen.
• Als de drone iets ziet dat er heel anders uitziet dan wat hij kent (in het Engels Out-of-Distribution of OOD), weet het programma direct: "Dit is nieuw, wees voorzichtig!"

Wat is het resultaat?

In hun proeven (met echte grotten uit de DARPA Subterranean Challenge) zagen ze dit:

• Alleen de Snelle Sportie was snel, maar crashte vaak in nieuwe grotten.
• Alleen de Voorzichtige Oude Meester was veilig, maar deed er eeuwig over.
• De Gecombineerde Drone (met de schakelaar) had het beste van beide werelden:
  • Hij was snel waar het kon (in bekende gebieden).
  • Hij was veilig waar het nodig was (in nieuwe, gevaarlijke gebieden).

Samenvattend

Dit onderzoek laat zien dat je niet hoeft te kiezen tussen "snel maar onveilig" of "veilig maar traag". Door een slimme waakzame gids toe te voegen die weet wanneer hij moet wisselen van strategie, kun je een drone maken die zowel een raceauto als een veiligheidsagent is. Dit is een enorme stap voorwaarts voor het gebruik van drones in reddingsoperaties ondergronds, waar elke seconde telt, maar waar een crash fataal kan zijn.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Improving the Resilience of Quadrotors in Underground Environments by Combining Learning-based and Safety Controllers" in het Nederlands.

Probleemstelling

Het autonoom navigeren van quadcopters in grote, ondergrondse omgevingen (zoals grotten, mijnen en tunnels) is cruciaal voor toepassingen zoals reddingsoperaties, mijnbouw en milieumonitoring. Hoewel leer-gebaseerde controllers (zoals Reinforcement Learning) veelbelovend zijn vanwege hun wendbaarheid en vermogen om niet-lineaire dynamica te modelleren, hebben ze een fundamenteel nadeel: ze generaliseren slecht naar omgevingen die afwijken van de trainingsdata (Out-of-Distribution of OOD).

In In-Distribution (InD) scenario's (vergelijkbaar met de trainingsomgeving) presteren deze controllers uitstekend, maar in OOD-scenario's kunnen ze falen en botsingen veroorzaken. Aan de andere kant bieden traditionele, op controletheorie gebaseerde methoden (zoals optimale controle) wiskundige garanties voor veiligheid, maar zijn ze vaak trager en minder wendbaar. Er bestaat een inherente afweging tussen veiligheid (geen botsingen) en levendigheid (snel het doel bereiken). De uitdaging is om een controller te ontwerpen die beide eigenschappen combineert.

Methodologie

De auteurs stellen een hybride aanpak voor die schakelt tussen een leer-gebaseerde controller en een veilige controller, afhankelijk van de mate waarin de huidige omgeving afwijkt van de trainingsdata.

1. Leer-gebaseerde Controller (FLOWMPPI):

   • Gebaseerd op Model Predictive Path Integral Control (MPPI).
   • In plaats van een standaard Gaussische verdeling voor het optimaliseren van besturingssignalen, gebruiken ze een Conditionele Normalizing Flow.
   • Deze flow wordt getraind binnen een Bayesiaans model-gebaseerd Reinforcement Learning-raamwerk.
   • De flow is geconditioneerd op de taakvariabelen (start- en doelpunt) en een codering van de directe omgeving (verkregen via een Variational Autoencoder). Dit zorgt voor contextbewuste, doelgerichte en botsingsvrije trajecten.

2. Veilige Controller (AL-iLQR):

   • Een robuuste controller die Sequential Convex Programming (SCP) gebruikt om een initiële, botsingsvrije baan te genereren.
   • Deze baan wordt vervolgens getrackt met een Augmented-Lagrangian Iterative Linear Quadratic Regulator (AL-iLQR).
   • Deze methode garandeert dynamische haalbaarheid en vermijdt obstakels door strikte constraints, maar is computatiever en trager dan de leer-gebaseerde methode.

3. OOD Runtime Monitor (De Schakelaar):

   • Een Normalizing Flow wordt getraind om een prior over de omgevingencodings te leren.
   • Tijdens de uitvoering (runtime) wordt de huidige omgeving gecodeerd en vergeleken met de getrainde prior.
   • De monitor berekent een waarschijnlijkheid: is de huidige omgeving InD (vergelijkbaar met training) of OOD?
   • Logica: Als de omgeving als InD wordt geclassificeerd, wordt de snelle FLOWMPPI-controller gebruikt. Als de omgeving als OOD wordt gedetecteerd, schakelt het systeem over naar de veilige AL-iLQR-controller om botsingen te voorkomen.

Belangrijkste Bijdragen

1. Training van FLOWMPPI in een enorme omgeving: De auteurs hebben de grootste 3D-omgeving tot nu toe gebruikt om FLOWMPPI te trainen (41x62x11 meter, volume van ~11.492 m³), gebaseerd op data van de DARPA Subterranean Challenge.
2. Ontwerp van een veilige controller: Een implementatie van een dynamisch haalbare, obstakel-vermijdende controller gebaseerd op SCP en AL-iLQR.
3. Hybride schakelmechanisme: Een runtime-monitor die dynamisch schakelt tussen beide methoden op basis van OOD-detectie. Dit resulteert in een controller die zowel snelheid (levendigheid) als veiligheid biedt.

Resultaten

De methoden zijn getest in gesimuleerde 3D-grotomgevingen (zowel synthetisch als gebaseerd op real-world data van DARPA) met twee scenario's:

• In-Distribution: Trainen en testen in dezelfde omgeving.
• Out-of-Distribution: Trainen in één omgeving en testen in een andere, complexere omgeving.

Kernbevindingen:

• FLOWMPPI (Alleen): Is de snelste controller in InD-scenario's (hoogste snelheid, kortste tijd). Echter, de succesratio daalt drastisch in OOD-scenario's (van 100% naar 71% in kleine omgevingen, en van 93% naar 76% in grote omgevingen).
• AL-iLQR (Alleen): Is zeer robuust en behoudt een hoge succesratio in OOD-scenario's (kleine daling van 100% naar 94%), maar is aanzienlijk trager en voltooit taken langzamer.
• Hybride Controller (De voorgestelde methode):
  • Bereikt een succesratio die vergelijkbaar is met de veilige controller in OOD-scenario's (bijv. 92% in kleine omgevingen vs. 94% voor AL-iLQR).
  • Voltooit taken aanzienlijk sneller dan de veilige controller alleen, omdat het vaak de snelle FLOWMPPI gebruikt wanneer dat veilig is.
  • Biedt de beste balans: het combineert de levendigheid van de leer-gebaseerde methode met de veiligheid van de controletheoretische methode.

Betekenis

Dit werk demonstreert een praktische oplossing voor het "veiligheids-probleem" van AI in de robotica. Het toont aan dat het niet nodig is om te kiezen tussen snelle, leergedreven autonomie en veilige, conservatieve controle. Door een OOD-detectiemechanisme te integreren als een runtime-monitor, kunnen systemen profiteren van de snelheid van machine learning in bekende situaties, terwijl ze automatisch terugvallen op bewezen veilige methoden wanneer ze zich in onbekende of gevaarlijke situaties bevinden. Dit maakt autonoom vliegen in complexe ondergrondse omgevingen veel robuuster en toepasbaarder voor kritieke missies zoals reddingsoperaties.