🤖 AI

Deep Reinforcement Learning based Autonomous Decision-Making for Cooperative UAVs: A Search and Rescue Real World Application

Dit artikel presenteert een baanbrekend end-to-end framework voor autonome zoek- en reddingsoperaties met meerdere UAV's in GNSS-ontzegde binnenruimtes, dat een op kunstmatige potentievelden gebaseerde Deep Reinforcement Learning-controller combineert met een Graph Attention Network voor taaktoewijzing en een lichtgewicht altitudestabilisatie, wat resulteerde in een eerste plaats op de 2024 NATO-competitie.

Oorspronkelijke auteurs: Thomas Hickling, Maxwell Hogan, Abdulla Tammam, Nabil Aouf

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Hickling, Maxwell Hogan, Abdulla Tammam, Nabil Aouf

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je twee kleine, slimme drones hebt die als een team moeten werken om een verlaten, donker gebouw te verkennen. Ze moeten daar mensen vinden, kaarten maken en zelfs hulpgoederen afleveren. Het probleem? Er is geen GPS-signaal (zoals op je telefoon), het is donker, er zijn veel muren en ze mogen niet tegen de muren vliegen.

Dit artikel vertelt het verhaal van een team van de Universiteit van Londen dat precies dit heeft gedaan. Ze hebben een systeem gebouwd dat deze drones volledig autonoom laat vliegen, zelfs in de meest chaotische omgevingen. Hier is hoe ze het hebben gedaan, vertaald naar alledaagse taal:

1. De "Slimme Leerling" (Deep Reinforcement Learning)

Stel je voor dat je een drone traint alsof het een puppy is die leert om niet tegen de muur te vliegen.

Het oude probleem: Vaak worden drones getraind in een virtuele wereld (een videogame). Maar wat in de game werkt, faalt vaak in het echte leven omdat de luchtstromen, de zwaartekracht en de sensoren net anders zijn.
De oplossing: De onderzoekers hebben een "leraar" gebruikt die heet Deep Reinforcement Learning (DRL). In plaats van de drone elke beweging handmatig te programmeren, hebben ze de drone in een simulatie laten vliegen en hebben ze hem beloond (met een virtuele snoepje) als hij goed deed en gestraft als hij botste.
De truc: Ze hebben een slimme techniek gebruikt genaamd APF (Kunstmatige Potentiaalvelden). Stel je voor dat het doel (bijvoorbeeld een reddingsmannequin) een magneet is die de drone naar zich toe trekt, en de muren zijn sterke magneten die de drone wegduwen. De drone leert niet alleen om naar de magneet te vliegen, maar ook om de duwkrachten van de muren te voelen en daar slim op te reageren. Hierdoor leert hij veel sneller en vliegt hij soepeler dan drones die alleen op afstand worden gestuurd.

2. De "Regisseur" (Taakverdeling)

Je hebt twee drones. Wie gaat waarheen? Als ze allebei naar dezelfde hoek vliegen, is dat zonde van de tijd.

De oplossing: Ze hebben een centraal brein gebruikt, een soort Regisseur, die een GAT (Graph Attention Network) heet.
Hoe het werkt: Stel je voor dat de Regisseur een grote kaart heeft met alle taken (zoals "zoek deze kamer" of "lever deze medicijnen af") en alle drones. De Regisseur kijkt niet alleen naar wie het dichtst bij een taak is, maar kijkt naar het hele plaatje. Hij denkt: "Drone A is wel het dichtst bij, maar Drone B heeft een kortere weg en minder obstakels, dus laat Drone B die taak doen."
Dit gebeurt razendsnel en zorgt ervoor dat het team als één soepel geheel werkt, zonder dat ze tegen elkaar aan vliegen.

3. Het "Zwevende Probleem" (Navigatie zonder GPS)

In een gebouw werkt GPS niet. Drones gebruiken vaak lasers (LIDAR) om een kaart te maken, maar in lange, rechte gangen raken ze vaak de "hoogte" kwijt. Ze denken dat ze hoger of lager vliegen dan ze echt doen. Dit heet "Z-drift".

De oplossing: Ze hebben een slimme combinatie gemaakt van een dieptecamera (die ziet hoe ver de vloer is) en een bewegingssensor (IMU) die voelt hoe snel de drone omhoog of omlaag gaat.
De analogie: Het is alsof je in een donkere kamer loopt. Je voelt met je voeten of je een trede oploopt (de bewegingssensor), en je kijkt ook naar de vloer om te zien of je echt op de juiste hoogte bent (de camera). Door deze twee signalen te combineren, weten de drones precies hoe hoog ze vliegen, zelfs als de lasers het even niet weten.

4. De Grote Test: De Sapience Wedstrijd

Alles werd getest in een echte, chaotische "rampensimulatie" die door de NAVO was opgezet. Het gebouw had smalle gangen, trappen, en obstakels.

Het resultaat: De twee drones werkten perfect samen. Ze maakten een 3D-kaart van het hele gebouw, vonden de "slachtoffers" (poppen) en leverden hulpgoederen af.
De winst: Ze deden dit sneller dan teams die maar één drone gebruikten of teams die nog in de simulatie zaten. Ze wonnen zelfs de eerste prijs!

Waarom is dit belangrijk?

Vroeger waren drones in gebouwen vaak "domme" apparaten die maar één ding konden doen, of ze moesten door mensen worden bestuurd. Dit artikel toont aan dat we nu drones kunnen maken die:

Zelf denken: Ze leren van hun fouten en passen zich aan.
Samenwerken: Ze praten met elkaar en verdelen het werk slim.
Overleven: Ze kunnen vliegen in gebouwen waar geen GPS is, zonder tegen de muren te vliegen.

Dit is een enorme stap voorwaarts voor reddingsoperaties. Denk aan een aardbeving: in plaats van dat mensen in gevaarlijke, ingestorte gebouwen moeten lopen, kunnen deze slimme drone-paartjes erin vliegen, de situatie in kaart brengen en medicijnen brengen, terwijl de reddingswerkers veilig blijven.

Kortom: Ze hebben bewezen dat kunstmatige intelligentie niet alleen in computers werkt, maar ook echt in de lucht kan vliegen om levens te redden.

Probleemstelling

Het paper adresseert de uitdagingen van autonome zoek- en reddingsoperaties (SAR) met meerdere onbemande luchtvaartuigen (UAV's) in GNSS-ontkende omgevingen (zoals gebouwen of ruïnes). Traditionele methoden kampen met specifieke beperkingen:

Navigatie: In krappe, feature-arme omgevingen (zoals lange gangen) lijdt LiDAR-SLAM vaak aan verticale drift (Z-drift), wat leidt tot onnauwkeurige hoogtemetingen.
Besturing: Deep Reinforcement Learning (DRL) controllers worden vaak alleen getest in simulatie of in kleine laboratoria. De overdracht naar de echte wereld (Sim-to-Real) is moeilijk vanwege dynamische factoren zoals traagheid en sensorruis.
Coördinatie: Het efficiënt toewijzen van taken aan meerdere UAV's in real-time, zonder centrale menselijke tussenkomst, vereist geavanceerde besluitvorming die schaalbaar en robuust is.

Het doel is een volledig autonoom systeem te ontwikkelen dat kan navigeren, kaart maken en taken coördineren in een complex, verstoord indoor-omgeving, zoals vereist voor de NATO SAPIENCE competitie.

Methodologie

Het auteurs team ontwikkelde een end-to-end framework dat drie kerncomponenten integreert:

1. DRL-gebaseerde Navigatie en Besturing (TD3 + APF)

Algoritme: Er wordt gebruik gemaakt van Twin Delayed Deep Deterministic Policy Gradient (TD3) voor continue besturing (snelheid en draaisnelheid).
Beloningssysteem (Reward Shaping): In plaats van alleen een afstand tot het doel te belonen, wordt een Artificial Potential Field (APF) gebruikt om de beloning te vormen.
- Het systeem genereert een "ideale" referentieactie ( $a^*_t$ ) gebaseerd op aantrekkingskracht (naar het doel) en afstotende krachten (van obstakels).
- De DRL-agent wordt beloond voor het aligneren van zijn uitgevoerde actie ( $a_t$ ) met deze APF-referentie.
- Dit versnelt de convergentie en zorgt voor soepelere, veiligere trajecten dan traditionele afstandsbeloningen.
Netwerkarchitectuur: De actor-netwerken verwerken drie inputstromen: dieptebilders (RGB-D), LiDAR-scans en positionele staten, die worden gefuseerd om snelheidscommando's ( $v_x, \omega, v_z$ ) te genereren.

2. GAT-gebaseerde Taaktoewijzing

Centrale Allocatie: Een Graph Attention Network (GAT) fungeert als centrale taaktoewijzer op de grondstation-server.
Grafiekstructuur: Het probleem wordt gemodelleerd als een graaf met UAV-knooppunten en taak-knooppunten.
Mechanisme: De GAT gebruikt een attentiemechanisme om de relatieve belangrijkheid van verschillende taken en paden te wegen. Dit stelt het systeem in staat om in één doorloop (forward pass) near-optimale toewijzingen te genereren voor meerdere UAV's, rekening houdend met de staat van de omgeving en de andere drones.

3. Sensorfusie voor Hoogtecorrectie (Z-drift Suppressie)

Om het bekende probleem van verticale drift in LiDAR-SLAM op te lossen zonder externe beacons, wordt een complementair filter gebruikt.
Fusie: Dieptedata van een Intel RealSense-camera (die de afstand tot de vloer meet) wordt gefuseerd met de verticale snelheid van de IMU.
Dit resulteert in een stabiele hoogtemeting op centimeter-niveau, essentieel voor het vliegen op meerdere verdiepingen.

Belangrijkste Bijdragen

Eerste End-to-End Real-World Deploy: Dit is een van de eerste werken dat een volledig DRL-gestuurd, coöperatief UAV-systeem succesvol heeft gedemonstreerd in een groot, complex indoor-omgeving (in plaats van alleen simulatie).
APF-Referentie Beloning: Een nieuwe methode waarbij DRL wordt getraind om te aligneren met een APF-gebaseerde referentieactie in dezelfde continue bestuursruimte. Dit bleek superieur aan standaard afstandsbeloningen voor stabiele training en veilige vlucht in krappe ruimtes.
GAT voor Taaktoewijzing: Implementatie van een GAT-actor-critic voor centrale taaktoewijzing, wat efficiënte coördinatie mogelijk maakt met minimale rekenkracht aan boord.
Robuuste Hoogtecorrectie: Een lichtgewicht oplossing voor LiDAR-SLAM Z-drift door dieptecamera en IMU te fuseren, wat nauwkeurige navigatie op meerdere niveaus mogelijk maakt zonder GNSS.

Resultaten

Het systeem werd getest op twee 1-meter quadcopters tijdens de NATO SAPIENCE Autonomous Cooperative Drone Competition 2024.

3D Mapping: Het team slaagde erin een volledig 3D-kaart van het complex te genereren in 134 seconden met twee UAV's. Dit is een reductie van 53,3% ten opzichte van een enkele UAV (287 seconden).
Leveringstaken: Het systeem voerde succesvol 8 leveringen uit, inclusief gesynchroniseerde landingen van beide UAV's op hetzelfde moment, wat coöperatief gedrag aantoont.
Navigatie: De UAV's navigeerden succesvol door krappe gangen, overtrappen en rond obstakels, waarbij ze de Z-drift-problematiek effectief oplosten.
Vergelijking: In vergelijking met klassieke methoden (zoals greedy nearest-task of veilingen) presteerde de GAT-DRL-oplossing in een demo-layout beter in totale afstand (-19,4%) en makespan (-19,8%).
Overwinning: Het team behaalde de eerste plaats in de competitie, bewijzend dat het systeem robuust is onder competitiedruk.

Betekenis en Conclusie

Dit paper is een mijlpaal in het veld van coöperatieve robotica omdat het de kloof tussen simulatie en de realiteit (Sim-to-Real) overbrugt voor complexe DRL-toepassingen.

Praktische Toepasbaarheid: Het bewijst dat DRL-politiek kan schalen naar volledige UAV-platforms in realistische, onvoorspelbare omgevingen.
SAR-toepassingen: De technologie biedt een concrete blauwdruk voor toekomstige zoek- en reddingsmissies waarbij menselijke ingreef te riskant is, met name in gebouwen zonder GPS.
Toekomstvisie: De resultaten vormen een basis voor verdere ontwikkeling naar gedecentraliseerde systemen, outdoor-operaties en geavanceerde sensorfusie voor grootschalige missies.

Kortom, het werk demonstreert dat de combinatie van APF-gestructureerde DRL, grafische attentie-netwerken voor coördinatie en slimme sensorfusie leidt tot betrouwbare, autonome coöperatieve UAV-systemen voor levensreddende operaties.