🤖 machine learning

ARMOR: Robust Reinforcement Learning-based Control for UAVs under Physical Attacks

Het artikel introduceert ARMOR, een model-vrije reinforcement learning-controller die robuuste UAV-operaties onder fysieke sensoraanvallen waarborgt door een tweestaps trainingsframework te gebruiken om aanval-resistente latente staat-representaties te leren zonder dat er tijdens de inzet geprivilegieerde aanvalsinformatie vereist is.

Oorspronkelijke auteurs: Pritam Dash, Ethan Chan, Nathan P. Lawrence, Karthik Pattabiraman

Gepubliceerd 2026-08-04

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Pritam Dash, Ethan Chan, Nathan P. Lawrence, Karthik Pattabiraman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een drone te besturen. In de echte wereld hebben robots geen ogen zoals mensen; ze vertrouwen op een reeks sensoren—GPS voor locatie, gyroscopen voor evenwicht en camera's voor beweging—om te begrijpen waar ze zijn en hoe ze moeten bewegen. Dit is de wereld van Reinforcement Learning (RL), een vorm van kunstmatige intelligentie waarbij een computer leert beslissingen te nemen door dingen uit te proberen en beloningen te krijgen voor goed gedrag, net zoals een hond die trucjes leert voor snoepjes. Het doel is om een "brein" te creëren dat een drone veilig door complexe taken kan besturen.

Echter, er is een verraderlijk probleem: deze sensoren kunnen worden bedrogen. Net zoals een goochelaar je ogen kan foppen, kan een hacker valse signalen naar de sensoren van een drone sturen. Dit wordt een fysieke aanval genoemd. Bijvoorbeeld, ze kunnen een vals GPS-signaal sturen waardoor de drone denkt dat hij op een andere plek is, of geluidsgolven gebruiken om de balanssensoren te verstoren. Als het brein van de drone deze leugens gelooft, kan hij crashen of tegen een gebouw vliegen. Wetenschappers hebben geprobeerd "veilige" breinen te bouwen die gevaar vermijden, maar de meeste van deze veiligheidsnetten falen wanneer de drone actief wordt bedrogen door een hacker. Ze gaan ervan uit dat de wereld gewoon een beetje rommelig is, niet dat iemand actief tegen de robot liegt.

Dit is waar een nieuw idee genaamd ARMOR om de hoek komt kijken. De onderzoekers achter dit project wilden een dronecontroller bouderen die een leugen kan herkennen, zelfs wanneer de sensoren schreeuwen dat het de waarheid is. Ze hebben de drone niet alleen "sterker" gemaakt; ze hebben hem een nieuwe manier geleerd om de wereld te zien. In plaats van naar de ruwe, gemakkelijk te bedriegen sensordata te kijken, leert ARMOR een "geheime samenvatting" te maken van wat er werkelijk gebeurt. Het artikel suggerekt dat door een speciale tweestaps-trainingsmethode te gebruiken, ze een drone kunnen creëren die op koers blijft, zelfs wanneer zijn sensoren worden gesaboteerd, zonder dat hij opnieuw getraind hoeft te worden voor elke nieuwe truc die een hacker bedenkt.

Het verhaal van ARMOR: Een drone die weet wanneer hij wordt voorgelogen

Maak kennis met ARMOR (Adaptive Robust Manipulation-Optimized State Representations). Denk aan ARMOR niet alleen als een piloot, maar als een detective die heeft geleerd om valse alibi's te negeren.

In de wereld van dronebesturing is de gebruikelijke methode om de computer ruwe data van de sensoren te voeren: "Ik ben op coördinaat X," "Ik draai met snelheid Y." Maar als een hacker een vals signaal injecteert, gelooft de computer de leugen. Eerdere methoden probeerden de drone "paranoïde" te maken door hem te trainen tegen specifieke trucs (zoals een student die alleen studeert voor één specifiek type examenvraag). Dit is traag, duur, en als de hacker de truc een klein beetje verandert, faalt de drone.

ARMOR neemt een andere aanpak. Het gebruikt een tweefasen-trainingsframework, wat lijkt op het hebben van een meesterleraar en een leerling.

Fase 1: De leraar met superzicht
Eerst trainen de onderzoekers een "Teacher Encoder". Dit is een slim AI-component dat een superkracht heeft: het heeft toegang tot geprivilegieerde informatie. In de simulatie weet de Teacher precies wanneer een aanval plaatsvindt, welke sensor wordt bedrogen en hoe groot de leugen is. Het is als een leraar die het antwoordblad kan zien terwijl de leerling een toets maakt.

Met behulp van deze referentie leert de Teacher de rommelige, leugentragende sensordata te vertalen naar een robuuste latente representatie. Stel je dit voor als een "geheime code" of een "waarheidsgetrouwe samenvatting". Zelfs als de GPS zegt dat de drone in de oceaan is, weet de geheime code van de Teacher: "Nee, de GPS liegt; de drone is eigenlijk in de lucht." Het controlebeleid van de drone (het brein) leert beslissingen te nemen op basis van deze geheime code, niet op basis van de ruwe sensordata. Dit stelt de drone in staat om perfect te leren vliegen, zelfs terwijl hij onder aanval staat, omdat hij leert van de waarheid.

Fase 2: De leerling die leert de waarheid te zien
Hier komt het lastige deel: in de echte wereld heeft de drone geen Teacher met een spiekbriefje. Hij kan niet weten wanneer hij wordt aangevallen. Daarom trainen de onderzoekers een Student Encoder.

De Student is als een detective die de waarheid moet ontdekken zonder het antwoordblad. Hij heeft alleen toegang tot de geschiedenis van de drone—de stroom sensordata van de afgelopen paar seconden. De Student wordt getraind om naar deze geschiedenis te kijken en de "geheime code" te raden die de Teacher genereerde. De Student leert patronen te herkennen, zoals: "Hé, de GPS-cijfers driften langzaam, wat meestal betekent dat er een vals signaal is," of "De gyroscoop trilt in een vreemd ritme."

Zodid de Student goed is geworden in het raden van de geheime code, wordt de Teacher met pensioen gestuurd. De drone wordt ingezet met alleen de Student en het controlebeleid. Nu, wanneer de drone in de echte wereld vliegt en wordt aangevallen, analyseert de Student de geschiedenis van de sensordata, genereert de "waarheidsgetrouwe samenvatting", en gebruikt het controlebeleid die om rechtuit te blijven vliegen.

Wat de experimenten lieten zien

De onderzoekers testten ARMOR in een gesimuleerde 3D-wereld, waarbij ze de drone tegenover vijf verschillende soorten fysieke aanvallen zetten: GPS-spoofing, gyroscoop-tampering, accelerometer-trucs, magnetometer-corruptie en optical flow-spoofing. Ze vergeleken ARMOR met andere topmethoden zoals RARL (dat adversariële training gebruikt) en HRP (een hybride herstelbeleid).

De resultaten in de simulaties waren zeer duidelijk:

Overlevingspercentage: Wanneer geconfronteerd met aanvallen, hield ARMOR de drone ongeveer 88% van de tijd succesvol in de lucht. In contrast hiermee hadden de oudere methoden moeite, met succespercentages variërend van 30% tot 83%.
Crashes: Misschien wel het meest indrukwekkend: ARMOR had een crashpercentage van 0% over alle aanvalstypes waarop het werd getest. De andere methoden crashten regelmatig; bijvoorbeeld, onder GPS-aanvallen crashte een concurrerende methode 50% van de tijd.
Op koers blijven: Wanneer de drone wel uit koers werd gebracht, hield ARMOR de "state drift" (hoe ver hij van het pad afweek) ongelooflijk laag, rond de 0,1 meter voor GPS-aanvallen. De andere methoden lieten de drone meters of graden afwijken, wat genoeg is om een crash of missie-falen te veroorzaken.

De "Zero-Shot" Superkracht

De meest opwindende bevinding is wat de auteurs zero-shot generalisatie noemen. Normaal gesproken, als je een robot traint om met GPS-leugens om te gaan, kan hij falen als hij plotseling wordt geconfronteerd met een gyroscoop-leugen. Het is alsof je alleen voor wiskunde hebt gestudeerd en faalt voor het geschiedenisexamen.

ARMOR liet echter zien dat het in staat is om ongeziene aanvallen te hanteren zonder extra training.

Toen ze de drone trainden alleen op GPS-aanvallen en hem vervolgens testten op gyroscoop-aanvallen (die hij nog nooit eerder had gezien), slaagde ARMOR nog steeds 60% van de tijd. De andere methode (RARL) faalde volledig, met een succespercentage van 0%.
Toen ze trainden op gyroscoop-aanvallen en testten op GPS-aanvallen, slaagde ARMOR voor 70% van de tijd, terwijl de andere methode slechts 5% haalde.

Dit suggereert dat door de "geheime code" te leren van hoe een echte fysieke toestand eruitziet, de drone kan herkennen wanneer elke sensor liegt, zelfs als het een type leugen is waar hij niet tegen geoefend heeft.

Waarom dit ertoe doet (en wat het niet is)

Het artikel suggereert dat deze tweefasenmethode een grote stap voorwaarts is omdat het twee grote problemen tegelijkertijd oplost. Ten eerste is het sneller en goedkoper om te trainen. Traditionele methoden vereisen duizenden uren aan "adversarial training" waarbij een computer herhaaldelijk tegen een valse aanvaller vecht. ARMOR slaat dit over door de Teacher te gebruiken om de waarheid snel te leren, en vervolgens de Student te leren die waarheid na te bootsen.

Ten tweede maakt het drones veiliger tegen een breed scala aan dreigingen. De auteurs merken op dat hoewel ARMOR erg goed is in het afhandelen van aanvallen op één enkele sensor en zelfs sommige aanvallen op meerdere sensoren, het ook beperkingen heeft. Als een aanvaller te veel sensoren tegelijkert op een complexe manier verstoort, kan het systeem nog steeds moeite hebben. Ook zijn deze resultaten momenteel gebaseerd op simulaties (computermodellen), niet op echte vluchten met daadwerkelijke gehackte hardware. De auteurs zijn voorzichtig in hun bewoordingen en zeggen dat hoewel de resultaten veelbelovend zijn, de volgende stap is om te zien of het werkt op echte drones in de echte wereld.

Kortom, ARMOR leert een drone om te stoppen met luisteren naar de luidruchtige, leugentragende sensoren en te beginnen te luisteren naar de "geheime samenvatting" van de realiteit. Het is een slimme truc die een kwetsbare robot verandert in een veerkrachtige machine, in staat om rechtuit te vliegen, zelfs wanneer de wereld probeert hem te bedriegen.

Technische Samenvatting: ARMOR – Attack-Resilient Reinforcement Learning Control voor UAV's

1. Probleemstelling

Unmanned Aerial Vehicles (UAV's) vertrouwen zwaar op onboard sensoren (bijv. GPS, gyroscopen, accelerometers) voor perceptie en besturing. Deze sensoren zijn kwetsbaar voor fysieke aanvallen, zoals GPS-spoofing, akoestische manipulatie van de gyroscoop en lasergebaseerde spoofing van optische sensoren. Dergelijke aanvallen injecteren kwaadaardige signalen of ruis, wat de staatsschattingen corrumpeert en leidt tot onveilige besturingsacties, trajectafwijkingen of crashes.

Hoewel Reinforcement Learning (RL) adaptieve besturing biedt, zijn bestaande veilige RL-methoden (bijv. shielding, Control Barrier Functions) ineffectief tegen fysieke aanvallen omdat ze vertrouwen op vooraf gedefinieerde onveilige grenzen. Fysieke aanvallen kunnen de controller misleiden door hem te laten geloven dat hij binnen veilige limieten opereert, terwijl hij in werkelijkheid gevaarlijk afwijkt. Bovendien lijden standaard adversariële trainingsbenaderingen aan drie belangrijke beperkingen:

Hoge Trainingskosten: Iteratieve generatie van adversariële scenario's is computationeel duur.
Beperkte Generaliseerbaarheid: Policies falen vaak tegen aanvalspatronen die niet tijdens de training zijn gezien.
Gebrek aan Zero-Shot Effectiviteit: Ze hebben moeite met het afhandelen van eerder ongeziene aanvalmodaliteiten zonder hertraining.

2. Methodologie: ARMOR-framework

De auteurs stellen ARMOR voor (Adaptive Robust Manipulation-Optimized State Representations), een model-vrije RL-controller die ontworpen is om robuust te opereren onder adversariële sensor-manipulatie. In plaats van te vertrouwen op ruwe sensordata, leert ARMOR een robuuste latente representatie van de fysieke staat van de UAV via een tweefasig offline trainingsframework.

Fase I: Teacher Encoder Training (Privileged Information)

In deze fase werkt het systeem in een volledig observeerbare simulatieomgeving waar "privileged information" beschikbaar is. Deze informatie omvat:

De specifieke sensor die onder aanval is.
De grootte en het patroon van de geïnjecteerde bias.
De duur van de aanval.
De gecorrumpeerde fysieke staten.

Een Teacher Encoder, geïmplementeerd als een multi-head Variational Autoencoder (VAE), neemt zowel de observeerbare fysieke staten ( $O_t$ ) als de privileged information ( $X_t$ ) als input. Het genereert een robuuste latente staat-representatie ( $\bar{l}_t$ ) bestaande uit een gemiddelde ( $\mu_t$ ) en variantie ( $\sigma_t$ ).

Architectuur: De VAE bevat een attack-type classifier en een reconstructie-decoder. De variantie $\sigma_t$ dient als een onzekerheidsschatting, waardoor de policy haar gedrag kan aanpassen wanneer de onzekerheid toeneemt (bijv. tijdens stealthy aanvallen).
Training: De control policy wordt getraind met behulp van Proximal Policy Optimization (PPO) met $\bar{l}_t$ als input. De teacher encoder wordt getraind om een gecombineerde loss te minimaliseren van reconstructiefout, Kullback-Leibler (KL) divergentie en attack classification error.
Doel: Om een policy te leren die zeer veerkrachtig is tegen staat-manipulaties door gebruik te maken van aanval-bewuste kenmerken.

Fase II: Student Encoder Training (Transfer Learning)

Aangezien privileged information niet beschikbaar is tijdens real-world deployment, wordt een Student Encoder getraind om de latente representatie van de Teacher te benaderen met behulp van uitsluitend historische onboard sensordata.

Architectuur: De Student Encoder is een Temporal Variational Autoencoder (TVAE) gebouwd op een Long Short-Term Memory (LSTM) netwerk. Het verwerkt een sliding window van historische fysieke staten ( $H$ ) om temporele afhankelijkheden en de cumulatieve impact van adversariële verstoringen te vangen.
Trainingsstrategie: Deze fase maakt gebruik van supervised learning. De Student Encoder wordt getraind om de afstand tussen zijn latente output ( $l_t$ ) en de latente output van de Teacher ( $\bar{l}_t$ ) te minimaliseren. Het brengt ook de control acties in lijn die de policy produceert wanneer deze gevoed wordt met $l_t$ versus $\bar{l}_t$ .
Deployment: Eenmaal getraind, wordt de Student Encoder gebruikt voor online inferentie. De RL-policy, die oorspronkelijk is getraind met de latente staten van de Teacher, wordt ongewijzigd hergebruikt en accepteert nu de latente staten van de Student als input.

3. Belangrijkste Bijdragen

Het artikel beschrijft drie primaire bijdragen:

Tweefasig Trainingsframework: Een innovatieve aanpak die eerst een aanval-resiliente policy traint met behulp van geprivilegieerde aanvalsinformatie, en deze vervolgens aanpast voor real-world deployment met enkel onboard sensordata via een student encoder.
Robuuste Staat-Representatie: Een methode om hoog-dimensionale fysieke staat-informatie te transformeren naar een veerkrachtige latente vector. Deze representatie is specifiek geoptimaliseerd om stand te houden tegen fysieke aanvallen door relevante taken-kenmerken te scheiden van aanval-geïnduceerde perturbaties.
Transfer Learning Strategie: Een mechanisme dat de RL-controller in staat stelt om robuuste latente staten te infereren zonder privileged information, waarbij uitsluitend historische sensordata wordt gebruikt om zero-shot generalisatie tegen ongeziene aanvallen te bereiken.

4. Experimentele Resultaten

De auteurs evalueerden ARMOR met behulp van een quadcopter-simulatie in een 3D-omgeving (gym-pybullet) tegen vijf soorten fysieke aanvallen: GPS-spoofing, gyroscoop-tampering, accelerometer-tampering, magnetometer-corruptie en optical flow-spoofing. Ze vergeleken ARMOR met een Baseline-RL (geen encoder), een Hybrid Recovery Policy (HRP) en Robust Adversarial Reinforcement Learning (RARL).

Prestatie-metrieken

Missie Succespercentage: ARMOR behaalde een gemiddeld succespercentage van 88% over alle aanvalstypes, vergeleken met 83% voor RARL en aanzienlijk lagere percentages voor HRP en Baseline-RL.
Crash Rate: ARMOR registreerde 0 crashes in standaard aanvalsscenario's, terwijl Baseline-RL en HRP hoge crash-rates hadden (tot 100% voor Baseline-RL onder GPS-spoofing).
State Drift: ARMOR behield een minimale state drift (bijv. ~0.1m voor GPS-aanvallen) vergeleken met de significante afwijkingen gezien bij andere methoden.

Belangrijkste Bevindingen

Trainingsefficiëntie: ARMOR convergeerde aanzienlijk sneller dan RARL. Terwijl RARL ongeveer 1,2M timesteps nodig had om een specifiek beloningsniveau te berekenen, convergeerde ARMOR (zowel Teacher als Student policies) in minder dan 600k timesteps, waardoor de noodzaak voor iteratieve adversariële scenario-generatie werd geëlimineerd.
Zero-Shot Generalisatie: ARMOR demonstreerde sterke zero-shot capaciteiten. Wanneer getraind op één aanvalstype (bijv. GPS) en getest op ongeziene aanvallen (bijv. Gyroscoop), behield ARMOR een succespercentage van 60–70% met lage crash-rates. In contrast behaalde RARL 0% succes en hoge crash-rates in vergelijkbare zero-shot scenario's.
Stealthy Aanvallen: ARMOR handelde effectief tegen stealthy aanvallen (geleidelijke accumulatie van bias), waarbij het een succespercentage van 80,7% behaalde met 0 crashes, waarmee het zowel HRP als RARL overtrof.

5. Betekenis en Claims

De auteurs beweren dat ARMOR een significante vooruitgang betekent voor de veiligheid van UAV's door de specifieke dreigingsmodellen van fysieke sensor-aanvallen aan te pakken, waar bestaande veilige RL-methoden niet tegen kunnen beschermen. De betekenis van het werk ligt in:

Ontkoppeling van Leren en Deployment: Door het leren van robuuste representaties (met geprivilegieerde info) te scheiden van de inferentiefase (met enkel sensoren), bereikt ARMOR een hoge robuustheid zonder de computationele overhead van continue adversariële training.
Generalisatie: Het framework biedt een pad naar zero-shot veerkracht, waardoor UAV's veilig kunnen opereren tegen aanvalmodaliteiten die ze tijdens de training nooit zijn tegengekomen.
Practicaliteit: De methode elimineert de noodzaak voor complexe, iteratieve adversariële trainingsloops, waardoor het trainingsproces efficiënter en schaalbaarder wordt.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de generalisatie naar gelijktijdige multi-sensor aanvallen momenteel beperkt is door cumulatieve perturbatie-effecten, en toekomstig werk zich zal richten op het uitbreiden van het framework naar andere robotica-platformen en het integreren van theoretische veiligheidsgaranties.