Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

Technische Samenvatting: Curriculum-geadapteerde Robuuste Reinforcement Learning voor UAV-deconflictie in Adversariële Omgevingen

Probleemstelling
Autonome Unmanned Aerial Vehicles (UAV's) vertrouwen steeds vaker op Reinforcement Learning (RL) voor navigatie en deconflictie in complexe luchtruimen. Deze systemen kampen echter met aanzienlijke beveiligingskwetsbaarheden, met name door Global Navigation Satellite System (GNSS) spoofing-aanvallen. Dergelijke aanvallen induceren out-of-distribution observatieverschuivingen die de waardeschatting corrumperen, wat leidt tot catastrofale vergetelheid (catastrophic forgetting) en onveilige gedragingen. Bestaande robuuste RL-benaderingen verbeteren doorgaans de veerkracht tegen specifieke, vooraf gedefinieerde aanvalmodellen, maar falen in het generaliseren naar ongeziene aanvalsmechanismen. Bovendien vertrouwen huidige defensiestrategieën vaak op detectie-gecentreerde methoden of specifieke sensorredundanties, waarbij de noodzaak voor besluitvormingsbeleid dat kan adapteren aan adversariële distributieverschuivingen zonder de missie-efficiëntie in gevaar te brengen, wordt genegeerd.

Methodologie
De auteurs stellen een curriculum-gestuurd adaptatiekader voor dat opereert in de Temporal-Difference (TD) foutdistributieruimte in plaats van de ruwe observatieruimte. De kernhypothese is dat hoewel aanvallen verschillen in de manier waarop ze sensoringangen corrumperen, hun uiteindelijke impact op het beleid (policy) wordt weerspiegeld in de waarde-distributieruimte.

Het kader verloopt via vier hoofdfasen:

1. Expert Critic Formulering: Een initieel robuust beleid wordt getraind met behulp van een twee-speler zero-sum game (DDPG) waarbij een agent en een adversariële tegenstander strijden in de actieruimte. Dit levert een "expert critic" ($Q_{AR}$) op die veerkrachtig is tegen perturbaties in de actieruimte.
2. Adversariële Curriculum Generatie: Het systeem maakt gebruik van een curriculumstrategie waarbij het beleid progressief wordt blootgesteld aan gradiënt-gebaseerde adversariële observatie-perturbaties van toenemende intensiteit ($\epsilon$). Deze perturbaties worden gegenereerd via multi-step projected gradient ascent om de policy loss te maximaliseren binnen een begrensde norm.
3. TD-Ruimte Adaptatie: Tijdens de adaptatie brengt het kader de TD-foutdistributies tussen de huidige fase en de vorige fase in overeenstemming. De critic uit de vorige fase fungeert als referentie (expert), en de adaptatie minimaliseert de Wasserstein-1 afstand tussen de TD-foutdistributies van de nominale en de adversariële observaties. Deze uitlijning is ontworpen om catastrofale vergetelheid en de drift van de waardefunctie te voorkomen.
4. Generalisatie Certificaat: De auteurs leiden een theoretisch "TD-ruimte generalisatiecertificaat" af. Dit theorema stelt dat indien de door een test-tijd aanval geïnduceerde TD-foutdistributie voldoende dicht bij die van de laatste curriculumfase blijft, de resulterende prestatiedegradatie begrensd is. Dit biedt een formeel garant dat robuustheid geleerd onder synthetische perturbaties kan overdragen naar ongeziene cyber-fysieke aanvallen.

Belangrijkste Bijdragen

• TD-Ruimte Curriculum Adaptatie: Het artikel introduceert een nieuwe adaptatiestrategie die consistentie in TD-foutdistributies over curriculumfasen afdwingt. In tegen plaats voor conventionele robuuste RL die vaste onzekerheidsverzamelingen (uncertainty sets) veronderstelt, adapteert deze aanpak aan toenemende perturbatie-sterktes terwijl de drift in waardeschattingen wordt begrensd.
• Theoretische Generalisatie Garantie: De auteurs leiden een formeel certificaat af dat aantoont dat robuustheid overdraagbaar is tussen fundamenteel verschillende aanvalsdomeinen (bijv. van synthetische gradiënt-perturbaties naar realistische GNSS spoofing), mits de geïnduceerde TD-foutdistributieverschuiving begrensd blijft. Dit adresseert het gat waar bestaande methoden een gebrek hebben aan theoretische garanties voor ongeziene aanvalsmechanismen.
• Empirische Validatie in UAV-deconflictie: Het kader wordt gevalideerd in een 3D UAV-deconflictieomgeving tegen zowel vaste als dynamische GNSS spoofing-aanvallen. De studie demonstreert dat het curriculum-geadapteerde beleid een hoge missie-succesratio en navigatie-efficiëntie behoudt onder aanvalsomstandigheden die niet tijdens de training zijn tegengekomen.

Resultaten
Experimenten werden uitgevoerd in een gesimuleerde omgeving met dynamische 3D-obstakels en variërende luchtverkeersdichtheden.

• Vaste Spoofing Aanvallen: Onder vaste GNSS spoofing (constante positiebias) behaalde het curriculum-geadapteerde beleid bijna perfecte missie-succesratio's. In contrast hiermee behaalden standaard DDPG en andere robuuste RL-baselines (inclusief adversariële meta-learning en NR-MDP) succesratio's tussen de 20% en 56%, waarbij ze vaak niet in staat waren de bestemming binnen het vliegbudget te bereiken.
• Dynamische Spoofing Aanvallen: Tegen dynamische, obstakel-lokkende spoofing-aanvallen (waarbij de bias wordt aangepast om de perceptie van obstakels te verstoren), behaalde de voorgestelde methode de hoogste episodische beloningen. Het verminderde het aantal stappen voor missievoltooiing met tot wel 45% vergeleken met de baselines bij toenemende verkeersdichtheden.
• Perceptie-Realiteit Divergentie: Het curriculum-geadapteerde beleid vertoonde de kleinste divergentie tussen de waargenomen en de werkelijke obstakel-vrijheid, wat wijst op een superieur vermogen om nauwkeurige interne risicorepresentaties te behouden ondanks gecorrumpeerde observaties.
• Ablatie en Sensitiviteit: De studie identificeerde $\epsilon = 4.0$ als het optimale curriculum-stoppunt, wat een balans vindt tussen robuustheid en prestaties. Bovendien bleken kleinere curriculum-stapgroottes ($\Delta\epsilon = 0.25$) een gladdere TD-uitlijning en hogere stabiliteit te produceren vergeleken met grotere stappen, die gedrag veroorzaakten dat lijkt op mode-collapse.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis ligt in het aantonen dat curriculum-geadapteerde adversariële veerkracht kan worden overgedragen van synthetische perturbaties naar realistische GNings spoofing-aanvallen zonder aanvalsspecifieke hertraining. Door zich te richten op het behoud van de consistentie van de TD-foutdistributie in plaats van het aanpassen aan een specif kind aanvalmodel, biedt het kader een principieel mechanisme voor het verbeteren van de veerkracht van autonome besluitvormingssystemen onder onbekende cyber-fysieke dreigingen. De auteurs stellen dat deze aanpak verder gaat dan conventionele robuuste RL door zowel empirische verbeteringen in missieprestaties als bewijsbare theoretische grenzen op generalisatie naar ongeziene aanvalsdomeinen te bieden. Het werk suggereert dat het behouden van de consistentie van de waardefunctie een cruciale factor is bij het voorkomen van catastrofale vergetelheid in adversariële omgevingen.