AERIS: Offline Policy Improvement for Multi-UAV Integrated Sensing and Communication
Dit artikel stelt AERIS voor, een framework voor offline beleidsverbetering met het STAR-CRDT-algoritme, dat veilige en efficiënte geïntegreerde sensing- en communicatiecontrole voor meerdere UAV's mogelijk maakt door te leren van historische vluchtlogs om prestatieparameters aanzienlijk te verbeteren terwijl risicovolle online trial-and-error-exploratie wordt geëlimineerd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de nabije toekomst zullen de draadloze netwerken die onze apparaten verbinden meer doen dan alleen gegevens verzenden; ze zullen ook fungeren als ogen en oren voor de fysieke wereld. Dit opkomende concept, bekend als geïntegreerde sensing en communicatie, voorziet in een enkel systeem dat met je telefoon kan praten terwijl het tegelijkertijd de omgeving in kaart brengt, bewegende objecten detecteert en de omgeving monitort. Wanneer onbemande luchtvaartuigen, oftewel drones, aan deze mix worden toegevoegd, worden de mogelijkheden aanzienlijk groter. Deze vliegende machines kunnen boven gebieden zweven waar grondstations niet kunnen komen, waardoor ze een vrije zichtlijn hebben naar gebruikers en doelwitten. Het aansturen van een vloot drones om beide taken tegelijkertijd uit te voeren is echter een enorme uitdaging. De drones moeten voortdurend hun positie en de richting van hun signalen aanpassen om hoogwaardige internetverbindingen en nauwkeurige sensing te behouden, terwijl ze tegelijkertijd botsingen met elkaar moeten vermijden en ervoor moeten zorgen dat ze de objecten die ze monitoren niet uit het oog verliezen. Omdat de omgeving onvoorspelbaar is en de doelwitten willekeurig bewegen, is het vinden van het perfecte vliegpad voor elke drone in realtime ongelooflijk moeilijk en rekenkundig intensief.
Onderzoekers hebben zich tot kunstmatige intelligentie gewend om dit op te lossen, specifiek een methode genaamd reinforcement learning, waarbij een computerprogramma leert door middel van vallen en opstaan. In een typisch scenario van online leren zou het systeem de drones de opdracht moeten geven om uit te vliegen, fouten te maken en te leren van de gevolgen. Maar in de echte wereld zijn dergelijke vlieglesjes door vallen en opstaan gevaarlijk. Een drone die nog aan het leren is, kan te dicht bij een andere drone vliegen, crashen of de sensoren in de verkeerde richting richten, wat leidt tot het verlies van cruciale gegevens. Om deze risico's te vermijden, stelde een team van onderzoekers van universiteiten in China en Canada een nieuwe aanpak voor genaamd AERIS. In plaats van drones te laten leren door in de echte wereld te vliegen, leert dit systeem volledig van een vaste collectie van eerdere vluchtgegevens. Het is alsof een piloot een logboek van eerdere vluchten bestudeert om beter te worden, in plaats van te leren door een vliegtuig te laten crashen. Het doel was om een systeem te creëren dat deze bestaande, imperfecte vluchtlogs kon gebruiken om de besluitvorming van de drones te verbeteren zonder ooit een risicovolle testvlucht te vereisen.
Het kernprobleem waarmee de onderzoekers werden geconfronteerd, was dat hoewel een centrale computer het hele plaatje kan zien van wat alle drones doen, elke individuele drone alleen zijn eigen lokale geschiedenis kent. Als een drone probeert zijn gedrag aan te passen op basis van alleen wat hij lokaal ziet, kan hij een zet doen die goed lijkt voor zichzelf, maar slecht is voor het hele team. Omgekeerd, als het systeem te agressief probeert de acties van de drones te corrigeren op basis van het advies van een centrale computer, kan het suggesties doen die zo verschillend zijn van de eerdere gegevens dat het systeem onbetrouwbaar en onveilig wordt. De onderzoekers ontdekten dat bestaande methoden vaak in een van de twee vallen trapten: ze hielden zich óf te strikt aan de oude, imperfecte logs en slaagden er niet in om te verbeteren, óf ze dwaalden te ver af naar onbekend terrein, wat leidde tot gevaarlijke fouten.
Om dit op te lossen, ontwikkelde het team een specifiek algoritme genaamd STAR-CRDT. Deze methode werkt door een centrale computer mogelijke wijzigingen aan het vliegpad van een drone te laten evalueren met behulp van de globale informatie uit de oude logs. Het accepteert echter niet blindelings elke suggestie. In plaats daarvan fungeert het als een voorzichtige leraar. Het zoekt naar kleine, veilige aanpassingen aan de acties van de drone die de algehele prestaties van de vloot waarschijnlijk zullen verbeteren. Het accepteert deze aanpassingen alleen als ze dicht genoeg bij de veilige, opgenomen gedragingen liggen om vertrouwd te kunnen worden, maar ver genoeg verwijderd zijn om een werkelijke verbetering te bieden. Dit proces zorgt ervoor dat de drones leren om beter te worden zonder ooit de veiligheidsbeperkingen te vergeten die hen behoedden voor crashes. Het systeem is zo ontworpen dat het zware denkwerk plaatsvindt tijdens een trainingsfase met de oude gegevens, en het uiteindelijke resultaat is een reeks eenvoudige, lokale regels die elke drone op zichzelf in realtime kan volgen.
Toen de onderzoekers dit nieuwe framework testten, waren de resultaten aanzienlijk. In simulaties waarbij meerdere drones over willekeurige paden vlogen, verbeterde het nieuwe systeem de algehele prestaties van de vloot met bijna dertig procent vergeleken met de beste bestaande methoden. Belangrijker nog, het bereikte dit terwijl het het aantal gevaarlijke situaties drastisch verminderde. Het systeem verhoogde het succespercentage van het detecteren van doelwitten met bijna vijf procent en verminderde het risico op botsingen met meer dan de helft. Het slaagde er ook in om de communicatiekwaliteit hoog te houden, waardoor de drones effectief met elkaar en met de grondgebruikers konden communiceren. Misschien wel het meest indrukwekkend is dat de onderzoekers de getrainde drones testten op volledig nieuwe kaarten gebaseerd op echte stadsstraten, die het systeem nog nooit eerder had gezien. Zelfs in deze onbekende omgevingen presteerden de drones beter dan welke andere methode dan ook, waarbij ze complexe stedelijke lay-outs succesvol navigeerden terwijl ze de veiligheid en de dienstverlening handhaafden.
De studie toont aan dat het mogelijk is om zeer effectieve, veilige en coöperatieve dronenetwerken te creëren zonder de noodzaak van risicovolle experimenten in de echte wereld. Door te leren van vaste verslagen van eerdere vluchten en door een zorgvuldige, op vertrouwen gebaseerde methode te gebruiken om die lessen te verfijnen, hebben de onderzoekers aangetoond dat kunstmatige intelligentie zowel krachtig als betrouwbaar kan worden gemaakt. Deze aanpak biedt een praktisch pad voor de implementatie van geavanceerde sensing- en communicatienetwerken in de echte wereld, waar veiligheid en betrouwbaarheid van cruciaal belang zijn. De bevindingen suggereren dat autonome systemen, met de juiste trainingsstrategie, effectief kunnen leren omgaan met complexe, dynamische omgevingen, waardoor de potentiële chaos van meerdere bewegende drones wordt omgezet in een gecoördineerde en efficiënte operatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.