Deep Reinforcement Learning Framework for Multi-UAV Collision-Free Navigation and Cooperative Control

De lucht boven onze steden wordt steeds drukker. Bezorgdrones, surveillancevliegtuigen en autonome taxi's zijn niet langer slechts concepten uit sciencefiction; ze worden snel onderdeel van onze dagelijkse realiteit. Om deze machines veilig te laten opereren, moeten ze beschikken over een niveau van intelligentie dat veel verder gaat dan eenvoudige afstandsbediening. Ze moeten complexe, driedimensionale ruimtes kunnen navigeren die gevuld zijn met gebouwen, andere luchtvaartuigen en onvoorspelbare obstakels zonder te crashen. Traditioneel hebben ingenieurs vertrouwd op rigide wiskundige formules om deze voertuigen te sturen, waarbij elke mogelijke beweging vooraf wordt berekend. Deze methoden hebben echter vaak moeite wanneer de omgeving plotseling verandert of wanneer te veel machines tegelijkertijd proberen te coördineren. Ze vereisen vooraf volledige kennis van de wereld, wat zelden beschikbaar is in de chaotische realiteit van een drukke stad.

Een nieuwe benadering ontstaat bij het National Institute of Technology Calicut in India, waar onderzoekers drones leren om van ervaring te leren in plaats van een vooraf geschreven regelboek te volgen. In plaats van een drone te programmeren met elk scenario dat het zou kunnen tegenkomen, gebruikte het team een methode genaamd deep reinforcement learning (diepe versterkingsleren). In dit systeem gedraagt de drone zich als een student in een enorme, virtuele klas. Het probeert verschillende bewegingen, maakt fouten en ontvangt feedback. Wanneer het veilig naar een doel vliegt, krijgt het een positief signaal; wanneer het tegen een muur botst of doelloos ronddwaalt, ontvangt het een negatief signaal. Door duizenden pogingen leert de drone om zijn observaties van de wereld te verbinden met de acties die tot succes leiden. De onderzoekers maakten specifiek gebruik van een algoritme bekend als Proximal Policy Optimization, een geavanceerd hulpmiddel dat helpt om het leerproces stabiel en efficiënt te houden, waardoor wordt voorkomen dat de drone willekeurige, grillige sprongen maakt in zijn besluitvorming.

Het team wilde zien of deze op leren gebaseerde benadering de moeilijke taak aan kon: het gelijktijdig door een rommelig stedelijk landschap leiden van meerdere drones. Ze creëerden een digitale simulatie van een stad, compleet met hoge gebouwen die fungeren als obstakels en specifieke punten waar de drones aan moeten arriveren. In hun eerste test kreeg een enkele drone de taak om van een startpunt naar een doel locatie te vliegen terwijl tien rechthoekige obstakels verspreid over een tweedimensionaal vlak werden vermeden. De drone begon zonder enige kennis van de lay-out. Door herhaalde pogingen in de simulatie leerde de drone om door de openingen te manoeuvreren en zijn pad in realtime aan te passen om botsingen te vermijden. De resultaten toonden aan dat de drone er elke keer in slaagde zijn bestemming te bereiken, nadat het een strategie had geleerd die zowel veilig als efficiënt was.

De uitdaging werd aanzienlijk moeilijker toen de onderzoekers meerdere drones introduceerden in een driedimensionale omgeving. Ze simuleerden een stad met zeven gebouwen van variërende hoogtes en breedtes, wat een complex doolhof van staal en beton creëerde. Twee drones werden losgelaten vanaf hetzelfde startpunt, maar elk kreeg een andere bestemming toegewezen. Het doel was dat beiden hun doelen zouden bereiken zonder de gebouwen te raken of met elkaar te botsen. In dit scenario moesten de drones niet alleen leren hoe ze door de statische obstakels moesten navigeren, maar ook hoe ze de bewegingen van hun medevliegers moesten anticiperen. De simulatie toonde aan dat de drones hun vliegroutes succesvol coördineerden. Eén drone vloog naar zijn eerste doel en ging vervolgens door naar een tweede, terwijl de andere een volledig ander traject volgde naar zijn eigen doelen. Gedurende de reis behielden ze veilige afstanden, wat bewees dat het leeralgoritme de complexiteit van meerdere agenten die dezelfde luchtruimte delen, kon afhandelen.

Om het systeem onder nog dynamischere omstandigheden te testen, introduceerden de onderzoekers bewegende doelen. In dit experiment kregen twee drones de taak om twee aparte doelen te volgen die zich via onvoorspelbare, niet-lineaire paden door de stad bewogen. De doelen waren geen stationaire punten, maar bewegende objecten die van richting konden veranderen, waardoor de drones hun strategieën constant moesten bijwerken. De drones moesten leren de bewegende doelen te volgen terwijl ze nog steeds de statische gebouwen en elkaar vermeden. De resultaten van de simulatie gaven aan dat de drones erin slaagden hun doelen te onderscheppen en hun eigen beweging stopten zods ze het interceptiepunt bereikten. Het leerproces was robuust; naarmate de training voortduurde, verbeterde de prestatie van de drones en werden hun vliegroutes vloeiender en directer. Het systeem bleek in staat te zijn zich aan te passen aan veranderende omstandigheden, een cruciale vereiste voor echte inzetbaarheid waar verkeer en obstakels nooit statisch zijn.

De onderzoekers vergeleken hun bevindingen met traditionele besturingsmethoden, zoals Model Predictive Control, die vertrouwt op complexe berekeningen om toekomstige toestanden te voorspellen. Hoewel die traditionele methoden goed werken in eenvoudige, voorspelbare omgevingen, toonde de studie aan dat ze moeite hebben wanneer ze worden geconfronteerd met de hoge snelheid en onvoorspelbaarheid van dynamische, multi-agent scenario's. De op leren gebaseerde benadering daarentegen vereiste geen perfect model van de stad. In plaats daarvan leerde het de regels van navigatie door interactie. De resultaten van de simulaties suggereren dat deze methode een schaalbare en intelligente oplossing biedt voor autonome vluchten. De drones waren in staat om hun leerproces te generaliseren, wat betekent dat ze wat ze hadden geleerd in één omgeving konden toepassen om succesvol te navigeren in licht verschillende omgevingen, een belangrijke stap richting de praktijk.

Ondanks deze veelbelovende resultaten blijft de studie een simulatie. De drones werden getest in een virtuele wereld, niet op fysieke hardware in de werkelijke lucht. De auteurs erkennen dat de overstap van een computermodel naar een echte drone aanzienlijke hindernissen met zich meebrengt, zoals fysieke beperkingen, sensorgestuurde ruis en de onvoorspelbaarheid van echt weer en wind. Ze merken op dat toekomstig werk de bevindingen op werkelijke vliegtuigen moet valideren en moet onderzoeken hoe het systeem kan worden opgeschaald om grotere zwermen drones te beheren. Desalniettemin biedt de studie een duidelijke demonstratie dat deep reinforcement learning machines kan leren om veilig door complexe, gedeelde ruimtes te navigeren. Door drones te laten leren van hun eigen ervaringen, biedt deze benadering een levensvatbaar pad naar de veilige en efficiënte integratie van autonome luchtvaartuigen in onze stedelijke landschappen.