🤖 machine learning

ASGARD: Action-Space Guard for UAV Resilience via Reinforcement Learning

Het artikel introduceert ASGARD, een tweefasig teacher-student-framework dat de veerkracht van op Reinforcement Learning gebaseerde UAV-controllers tegen runtime action-space aanvallen versterkt door een monitor te trainen om gecorrigeerde actiecommando's te genereren met behulp van uitsluitend de fysieke staatshistorie.

Oorspronkelijke auteurs: Mohsen Salehi, Karthik Pattabiraman

Gepubliceerd 2026-09-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohsen Salehi, Karthik Pattabiraman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Drones zijn niet langer alleen maar op afstand bestuurbare speeltjes; het zijn geavanceerde machines die de lucht navigeren met behulp van software om de wereld te interpreteren en te beslissen waar ze heen vliegen. In het hart van deze autonomie ligt een type kunstmatige intelligentie genaamd reinforcement learning, waarbij een computerprogramma leert om een voertuig te besturen door middel van trial-and-error, vergelijkbaar met een kind dat leert fietsen. Het systeem observeert zijn omgeving, probeert een beweging en ontvangt feedback over de vraag of die beweging het dichter bij het doel heeft gebracht. In de loop van de tijd bouwt het een strategie op om veilig en efficiënt te vliegen. Deze afhankelijkheid van software creëert echter een kwetsbaarheid. Net zoals een menselijke piloot kan worden misleid door een vals signaal, kan de computer van een drone worden bedrogen. Terwijl onderzoekers zich al lang zorgen maken over hackers die valse gegevens in de sensoren van de drone voeren, is er een subtielere en gevaarlijkere dreiging opgekomen: aanvallen die plaatsvinden nadat de drone al heeft besloten wat hij moet doen.

Stel je voor dat een drone heeft berekend dat hij een klein beetje naar links moet kantelen om op koers te blijven. De computer stuurt deze instructie naar de motoren. In een specif kind type cyberaanval onderschept een indringer die instructie in de fractie van een seconde tussen de beslissing van de computer en de actie van de motor, waardoor het commando wordt gewijzigd voordat het wordt uitgevoerd. De hersenen van de drone denken dat hij correct vliegt, maar zijn lichaam wordt gedwongen om in een andere, gevaarlijke richting te bewegen. Dit staat bekend als een action-space aanval. Omdat de aanval plaatsvindt nadat de beslissing is genomen, missen traditionele veiligheidssystemen die de sensoren of de logica van de drone controleren de aanval vaak volledig. De drone lijkt helder na te denken, zelfs terwijl hij wordt gekaapt.

Om deze onzichtbare dreiging aan te pakken, hebben onderzoekers aan de Universiteit van British Columbia een nieuw verdedigingssysteem ontwikkeld genaamd ASGARD. Het systeem is ontworpen om als een bewaker te fungeren voor de commando's van de drone, om ervoor te zorgen dat wat de motoren ontvangen exact is wat de computer bedoelde, zelfs als een aanvaller probeert de boodschap te manipuleren. De onderzoekers bouwden dit systeem met behulp van een tweefasig trainingsproces dat nabootst hoe een meesterleraar een leerling zou trainen. In de eerste fase leert het "leraar"-systeem te vliegen terwijl het toegang heeft tot geheime informatie over de aanvallen, zoals precies weten wanneer en hoe een indringer probeert de besturing te verstoren. Deze bevoorrechte kennis stelt de leraar in staat om het verschil te begrijpen tussen een veilig commando en een gecorrumpeerd commando. Het leert een verborgen signaal te genereren dat de ware intentie van de vlucht vastlegt, ongeacht de ruis in de omgeving.

Zodra de leraar deze vaardigheid heeft geleerd, draagt deze de kennis over aan een "leerling"-systeem dat daadwerkelijk de drone in de echte wereld zal besturen. De leerling heeft geen toegang tot de geheime informatie over de aanvallen; het ziet alleen de geschiedenis van de fysieke bewegingen van de drone, zoals de positie, snelheid en oriëntatie. Door zorgvuldige training leert de leerling het verborgen signaal van de leraar te reconstrueren met behulp van alleen deze observeerbare feiten. Dit stelt de leerling in staat om te herkennen wanneer een commando is gewijzigd, zelfs zonder de specifieke details van de aanval te kennen. Het systeem bevat een lichtgewicht monitoringscomponent die tussen de beslissingssoftware en de motoren zit. Deze monitor controleert voortdurend de uitgaande commando's tegen het gereconstrueerde verborgen signaal. Als het een discrepantie detecteert, corrigeert het het commando onmiddellijk voordat het de motoren bereikt, waardoor de aanval effectief in realtime wordt geneutraliseerd.

De onderzoekers testten deze aanpak in een gesimuleerde omgeving waarin een drone door een reeks checkpoints moest vliegen. Ze onderwierpen de drone aan verschillende soorten aanvallen, waaronder aanvallen die probeerden de drone naar voren te laten kantelen, zijwaarts te laten rollen of de snelheid te veranderen. In deze tests crashte een standaard dronecontroller zonder deze bescherming in bijna de helft van de scenario's. Zelfs een eerder geavanceerd verdedigingssysteem, ontworpen om sensoraanvallen aan te pakken, faalde volledig wanneer het werd geconfronteerd met deze action-space intrusies, waarbij het in elke poging crashte wanneer alle vier de besturingskanalen tegelijkertijd werden aangevallen. In contrast hiermee hield het ASGARD-systeem de drone veilig in de lucht. Wanneer slechts één besturingskanaal werd aangevallen, voltooide het systeem 95% van de missies zonder een enkele crash. Zelfs in het moeilijkste scenario, waarbij alle vier de besturingskanalen gelijktijdig werden aangevallen, slaagde het systeem erin om twee derde van de missies te voltooien, een prestatie die de andere systemen niet konden evenaren.

Het systeem bleek ook verrassend aanpasbaar te zijn. De onderzoekers trainden de drone om zich te verdedigen tegen aanvallen op slechts één specifieke besturing, zoals de pitch, en testten het vervolgens tegen aanvallen op de andere besturingen die het nog nooit eerder had gezien. Het systeem generaliseerde goed, verdedigde succesvol tegen deze onbekende dreigingen en voltooide de meerderheid van de missies. Dit suggereert dat het systeem een fundamenteel begrip heeft geleerd van hoe het corruptie in de besturingsstroom moet detecteren, in plaats van alleen specifieke aanvalspatronen te memoriseren. Bovendien bleef het systeem effectief tegen sluipende aanvallen die de interferentie in de loop van de tijd langzaam verhoogden, een tactiek die andere verdedigingen vaak onverwacht overvalt. Door de geschiedenis van de drone continu te volgen en de correcties aan te passen naarmate de verstoring groeide, voorkwam het systeem dat de drone uit koers raakte.

De resultaten wijzen erop dat deze tweefasige aanpak een robuuste oplossing biedt voor een probleem dat autonome drones kwetsbaar heeft achtergelaten. Door een slimme, corrigerende laag tussen de beslissingssoftware en de fysieke motoren te plaatsen, zorgt het systeem ervoor dat de drone zijn beoogde pad uitvoert, zelfs wanneer een aanvaller probeert de commando-lijn te kapen. Hoewel de studie in een simulatie werd uitgevoerd, suggereren de bevindingen een duidelijke weg naar het veiliger maken van autonome vluchten in een steeds meer verbonden en potentieel vijandige wereld. Het werk laat zien dat veerkracht tegen cyberaanvallen niet vereist dat de drone stopt of in een noodlanding gaat; in plaats daarvan kan dit worden bereikt door de commando's actief in realtime te herstellen, waardoor de machine zijn missie met vertrouwen kan voortzetten.

Technische Samenvatting: ASGARD – Action-Space Guard voor UAV-veerkracht via Reinforcement Learning

Probleemstelling

Reinforcement Learning (RL) is de standaard geworden voor de navigatie en controle van Unmanned Aerial Vehicles (UAV's) vanwege de aanpassingsvermogen aan complexe omgevingen. RL-gebaseerde controllers zijn echter kwetsbaar voor action-space aanvallen (actieruimte-aanvallen). In tegen tegenstelling tot fysieke aanvallen (bijv. GPS-spoofing) die sensorinputs corrumperen, treden action-space aanvallen op nadat de control policy een actiecommando heeft gegenereerd, maar voordat de actuatoren het uitvoeren. Aanvallers kunnen deze commando's in het geheugen overschrijven (bijv. via data-only aanvallen of geheugencorruptie) om biases te injecteren in controlekanalen zoals pitch, roll, thrust of gain.

Bestaande verdedigingen, zoals robuuste-RL-methoden (bijv. ARMOR, RARL), richten zich primair op het harden van de policy tegen input-perturbaties of het trainen tegen adversariële inputs. Eenmaal uitgerold, sturen deze systemen de output van de policy direct door naar de actuatoren zonder een mechanisme om in te grijpen als de actie tijdens het transport is gecorrumpeerd. Bijgevolg, zelfs als de policy een "veilige" opdracht genereert, voert de UAV een gecorrumpeerde opdracht uit, wat leidt tot missie-falen of crashes.

Methodologie: De ASGARD-pipeline

De auteurs stellen ASGARD (Action-Space GuARD) voor, een twee-fasen teacher–student pipeline die ontworpen is om gecorrumpeerde actiecommando's tijdens runtime te herstellen zonder dat er tijdens de inzet geprivilegieerde informatie vereist is. Het systeem bestaat uit drie kerncomponenten: een encoder, een control policy en een monitor.

1. Teacher-fase (Training met geprivilegieerde informatie)

In deze fase wordt het systeem getraind met toegang tot geprivilegieerde informatie met betrekking tot de aanval (bijv. het doel van het actiekanaal, de aanvalsbias en de duur), die niet beschikbaar is tijdens de runtime.

Teacher Encoder: Geïmplementeerd als een Variational Autoencoder (VAE), neemt deze de fysieke staat van de UAV ( $o_t$ ) en de aanvalcontext ( $x_t$ ) als input om een actie-aanval-bewuste latente representatie ( $\bar{l}_t$ ) te produceren.
Control Policy: Getraind met Proximal Policy Optimization (PPO) waarbij $\bar{l}_t$ als input wordt gebruikt om de beoogde acties ( $\bar{a}_t$ ) te genereren.
Teacher Monitor: Een lichtgewicht Multilayer Perceptron (MLP) die tussen de policy en de actuatoren is geplaatst. Deze observeert de latente waarde ( $\bar{l}_t$ ), de potentieel gecorrumpeerde actie ( $\bar{a}'_t$ ) en een verwachte volgende staat ( $\hat{s}_{t+1}$ ) voorspeld door een hulp-head. De monitor wordt getraind via supervised regressie om een gecorrigeerde actie ( $\tilde{\bar{a}}_t$ ) te produceren die overeenkomt met de ongecorrumpeerde intentie, waardoor het effectief leert om gecorrumpeerde commando's te repareren voordat ze de hardware bereiken.

2. Student-fase (Runtime Deployment)

Deze fase past het systeem aan voor onboard uitvoering waar geprivilegieerde aanvalsinformatie afwezig is.

Student Encoder: Geïmplementeerd als een Temporal VAE met behulp van een Long Short-Term Memory (LSTM) netwerk. Deze wordt getraind via supervised learning om de latente representatie van de teacher te benaderen met enkel de geschiedenis van fysieke staten en eerder uitgevoerde acties ( $H_t$ ).
Student Monitor: Getraind om de correcties van de teacher monitor na te bootsen met de student latente waarde ( $l_t$ ) in plaats van de geprivilegieerde latente waarde.
Executie: Tijdens de runtime werken de Student Encoder, de Control Policy en de Student Monitor samen. De monitor onderschept actief elk actiecommando, corrigeert het indien nodig, en stuurt het veilige commando door naar de actuatoren.

Belangrijkste Bijdragen

Runtime Recovery Mechanisme: In tegen tegenstelling tot eerdere action-space verdedigingen die policies hertrainen om robuust te zijn tegen perturbaties, introduceert ASGARD een mechanisme om gecorrumpeerde acties tijdens de runtime te herstellen. Het corrigeert actief commando's in plaats van enkel aanvallen te detecteren of het systeem te stoppen.
Twee-fasen Teacher–Student Pipeline: De auteurs stellen een trainingsschema voor waarbij een teacher met geprivilegieerde aanvalskennis een student superviseert die uitsluitend vertrouwt op de geschiedenis van de fysieke staat. Dit stelt het systeem in staat om aanval-bewuste representaties te leren zonder dat er tijdens de inzet real-time aanvaldata vereist is.
Actieve Correctie Monitor: De introductie van een lichtgewicht MLP-monitor die tussen de policy en de actuatoren zit. Dit component leert onderscheid te maken tussen veilige en gecorrumpeerde acties, waarbij veilige commando's ongewijzigd doorstuurt terwijl gecorrumpeerde commando's worden gerepareerd, wat ervoor zorgt dat de UAV onder veilige controlesignalen blijft in plaats van terug te vallen op gedegradeerde modi.

Experimentele Resultaten

De auteurs evalueerden ASGARD op een quadcopter waypoint-following taak met de gym-pybullet simulator, waarbij zij de baseline RL-controller en de state-of-the-art ARMOR verdediging vergeleken.

Single-Channel Aanvallen: Onder aanvallen gericht op individuele kanalen, behaalde ASGARD hoge missie-succespercentages met nul crashes. Specifiek behaalde het 95% succes voor Pitch, 94% voor Gain, 94% voor Roll en 97% voor Thrust, met een crashrate van 0% in alle vier de single-channel scenario's. In contrast hiermee slaagde de baseline RL-controller in ~40% van de missies (47% crashrate), en ARMOR slaagde in ~50% (36% crashrate).
Gecombineerde Aanvallen: Wanneer alle vier de actiekanalen gelijktijdig werden gecorrumpeerd (een worst-case scenario), faalden zowel de baseline RL als ARMOR in 100% van de missies. ASGARD behield een succespercentage van 67% met slechts een crashrate van 10%.
Zero-Shot Generalisatie: ASGARD demonstreerde sterke generalisatie naar ongeziene aanvalskanalen. Wanneer getraind op één type aanval (bijv. Pitch) en getest op andere (Roll, Thrust, Gain), behaalde het 2 tot 3 keer het succespercentage van ARMOR en 5 tot 6 keer lagere crashrates.
Stealthy Aanvallen: Tegen stealthy aanvallen die geleidelijk bias accumuleren, behield ASGARD 100% succes, terwijl ARMOR volledig faalde. De auteurs schrijven dit toe aan het vermogen van ASGARD om bias-accumulatie te volgen via de latente geschiedenis, terwijl ARMOR een runtime-correctiefase mist.
Efficiëntie van Training: De teacher–student pipeline convergeerde ongeveer 5x sneller en met minder variantie dan ARMOR onder adversariële trainingscondities.

Significantie en Claims

Het artikel claimt dat ASGARD een kritieke kloof in UAV-beveiliging aanpakt: het onvermogen van bestaande robuuste-RL methoden om te gaan met action-space aanvallen die plaatsvinden na de policy-inferentie. Door de verdedigingsstrategie te verschuiven van "het harden van de policy" naar "het actief corrigeren van de output", zorgt ASGARD ervoor dat missiecontinuïteit gewaarborgd blijft, zelfs wanneer de controlecommando's gecompromitteerd zijn.

De auteurs benadrukken dat hun aanpak UAV's in staat stelt missies te voltooien ondanks runtime-corruptie van actiecommando's, een capaciteit die eerdere verdedigingen misten. Zij merken op dat hoewel de huidige evaluatie beperkt is tot een enkel quadrotor-model in simulatie, de architectuur zodanig is ontworpen dat deze lichtgewicht genoeg is voor onboard implementatie. Het artikel concludeert dat het uitbreiden van dit framework naar andere robotische systemen en het bereiken van sim-to-real transfer openstaande richtingen zijn voor toekomstig werk.