Anticipatory Risk-Guided Reinforcement Learning for Safe Flight Through Dynamic Clutter
Dit artikel stelt een anticiperend risicogestuurd reinforcement learning-framework voor dat een zelfvoorspellende, directioneel uitgelijnde botsingsrisicokaart maakt gebruik van de Closest Point of Approach (CPA) om een quadrotor in staat te stellen veilig en efficiënt door dynamische hinderlagen te navigeren met uitsluitend onboard dieptesequenties, waarbij robuuste zero-shot transfer van simulatie naar realiteit wordt bereikt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin piepkleine, zoemende drones de nieuwe bezorgers, pizzarijders en hulpverleners zijn. Om hun werk te kunnen doen, moeten ze door drukke steden, bossen en drukke straten vliegen zonder tegen mensen, auto's of andere drones op te botsen. Dit is de uitdaging van "autonome navigatie" voor micro vliegende voertuigen (MAV's). Het lastige deel is niet alleen zien wat er nú voor hen staat; het is voorspellen wat er een fractie van een seconde van nu zal gebeuren. Als een drone pas reageert wanneer hij een persoon ziet die naar hem toe rent, is het misschien te laat om te stoppen. Het moet een "proactieve" denker zijn, die gevaar anticipeert voordat het arriveert.
Traditioneel probeerden ingenieurs dit op te lossen door drones een brein te geven dat expliciet elk object bijhoudt—door ze te labelen als "persoon", "auto" of "boom"—en hun snelheid te berekenen. Maar dit is alsoal een wiskundig probleem proberen op te lossen terwijl je jongleert; het is traag, en als de drone een object een moment uit het oog verliest, valt het hele plan in duigen. Een andere aanpak gebruikt "reinforcement learning", waarbij een drone leert door middel van vallen en opstaan, zoals een personage in een videogame. Echter, standaard leren in videogames vertrouwt vaak op vage beloningen (zoals "goed gedaan" of "je bent gecrasht") zonder de drone te leren waarom iets gevaarlijk was. Dit artikel pakt het probleem aan van hoe je een drone kunt leren om het toekomstige risico op een botsing te "voelen" met behere slechts één camera, zonder dat hij expliciet elke object dat hij ziet een naam hoeft te geven of te volgen.
De onderzoekers achter deze studie, Yuchao Mei en collega's, stellen een slimme nieuwe manier voor om deze vliegende robots te trainen met een methode die ze "Anticipatory Risk-Guided Reinforcement Learning" noemen. Denk aan hun aanpak als het leren aan een drone om een razendsnel spelletje "hot potato" met gevaar te spelen, maar in plaats van te wachten tot de muziek stopt, leert de drone de hitte van de aardappel te voelen voordat deze zelfs maar dichtbij komt.
Op de oude manier zou een drone kunnen proberen een bewegende voetganger te identificeren, hun snelheid te berekenen en dan te besluiten om uit te wijken. Dit is traag en foutgevoelig als de camera wazig wordt of het object verborgen is. De auteurs pleiten tegen deze methode van "expliciete tracking" en suggereren dat het te log is voor snelle, chaotische omgevingen. In plaats daarvan bouwden ze een systeem waarbij de drone leert kijken naar een reeks dieptebeelden (als een 3D-film van de wereld voor hem) en direct een "risicokaart" waarneemt. Deze kaart is geen lijst met objecten; het is een gevoel van druk, dat precies laat zien waar en wanneer een botsing het meest waarschijnlijk is.
Om de drone deze vaardigheid te leren, gebruikten de onderzoekers een "geprivilegieerde" trainingsmethode. Stel je een studentpiloot voor die vliegt in een simulator waarbij de instructeur precies weet waar elke andere machine en obstakel zich gaat bevinden. De instructeur tekent een gloeiende rode zone op het scherm van de student die het "Closest Point of Approach" (CPA) aangeeft—de exacte plek waar een crash zou plaatsvinden als er niets verandert. De studentpiloot (de AI van de drone) wordt vervolgens getraind om deze gloeiende rode zone te voorspellen door enkel naar het landschap te kijken, zonder dat de instructeur hem elke keer het antwoord geeft. Het papier gebruikt een wiskundig concept genaxt "Closest Point of Approach" om deze risicokaart te creëren, die combineert hoe snel een obstakel beweegt en hoe dicht het bij de drone is.
De kern van hun uitvinding is een "asymmetrische actor-critic" architectuur. In gewone mensentaal is dit als het hebben van twee hersenen die samenwerken tijdens de training. De "Critic" heeft toegang tot alle geheime simulatorgegevens (het perspectief van de instructeur) en weet het werkelijke risico. De "Actor" is de hersenhelft die daadwerkelijk de drone in de echte wereld zal besturen; zij ziet alleen de ruwe camerabeelden. De Critic geeft de Actor voortdurend kritiek, zeggend: "Je hebt die rode zone gemist! Je moet leren dat gevaar van links aankomt!" Dit dwingt de Actor om te leren hoe hij de toekomstige risicokaart puur op basis van visuele patronen kan voorspellen, zonder dat hij de namen of snelheden van de objecten hoeft te kennen.
De resultaten, getest in zowel computersimulaties als echte vluchten, laten zien dat deze methode verrassend goed werkt. In simulaties gevuld met 20 tot 50 bewegende en statische obstakels, behaalde de nieuwe methode in sommige scenario's een succespercentage van wel 95%, wat aanzienlijk beter is dan oudere methoden die moeite hadden met hoge obstakel-dichtheden. Belangrijker nog, de drone overleefde niet alleen; hij vloog ook efficiënter. Terwijl oudere methoden vaak langzaam bewogen of bleven zweven om veilig te zijn, behield deze nieuwe drone een gemiddelde snelheid van ongeveer 3,4 tot 4,0 meter per seconde, terwijl hij een veilige afstand tot obstakels bewaarde (een gemiddelde afstand van meer dan 2,8 meter).
Misschien wel het meest indrukwekkende deel is dat de drone dit leerde in een computersimulatie, maar perfect kon vliegen in de echte wereld zonder extra afstelling. Dit wordt "zero-shot Sim-to-Real transfer" genoemd. De onderzoekers lieten hun drone door een bos vliegen met bomen en door een magazijn met gestapelde dozen, en zelfs toen voetgangers plotseling achter hoeken vandaan renden, reageerde de drone direct. Hij botste niet op hen of stopte abrupt; hij remde, zweefde en stuurde soepel om hen heen. Het artikel suggereert dat door de drone te leren de "vorm" van toekomstig gevaar te voorspellen in plaats van alleen objecten te volgen, hij veel robuuster en wendbaarder wordt.
De auteurs merken er voorzichtig bij op dat hun methode berust op de aanname dat obstakels gedurende een korte tijd met een min of meer constante snelheid bewegen, en dat het een voorwaarts gerichte camera gebruikt, die dode hoeken heeft. Binnen deze beperkingen demonstreert het artikel echter dat het geven van een "zesde zintuig" voor toekomstig risico aan een drone, hem in staat stelt om complexe, dynamische omgevingen te navigeren met een niveau van veiligheid en snelheid dat voorheen onbereikbaar was. Het is een stap naar een toekomst waarin drones door onze drukke wereld kunnen zoeven, niet alleen als machines die regels volgen, maar als intelligente piloten die het onverwachte kunnen voorzien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.