Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

Sintesi Tecnica: Apprendimento per Rinforzo Robusto Adattato tramite Curriculum per la Deconflittualità di UAV in Ambienti Avversari

Definizione del Problema
I velivoli a pilotaggio remoto (UAV) autonomi si affidano sempre più all'Apprendimento per Rinforzo (RL) per la navigazione e la deconflittualità in spazi aerei complessi. Tuttavia, questi sistemi affrontano significative vulnerabilità di sicurezza, in particolare attacchi di spoofing del Global Navigation Satellite System (GNSS). Tali attacchi inducono spostamenti di osservazione fuori distribuzione (out-of-distribution) che corrompono la stima del valore, portando all'oblio catastrofico e a comportamenti insicuri. Gli approcci esistenti di RL robusto migliorano tipicamente la resilienza contro modelli di attacco specifici e predefiniti, ma non riescono a generalizzare verso meccanismi di attacco non visti. Inoltre, le attuali strategie di difesa spesso si basano su metodi incentrati sulla rilevazione o su specifiche ridondanze sensoriali, trascurando la necessità di policy decisionali che possano adattarsi a spostamenti di distribuzione indotti da avversari senza compromettere l'efficienza della missione.

Metodologia
Gli autori propongono un framework di adattamento guidato da curriculum che opera nello spazio della distribuzione dell'errore di Differenza Temporale (TD), piuttosto che nello spazio delle osservazioni grezze. L'ipotesi centrale è che, sebbene gli attacchi possano differire nel modo in cui corrompono gli input sensoriali, il loro impatto ultimo sulla politica di comportamento si rifletta nello spazio della distribuzione del valore.

Il framework procede attraverso quattro fasi principali:

1. Formulazione del Critico Esperto: Una policy robusta iniziale viene addestrata utilizzando un gioco a due giocatori a somma zero (DDPG) in cui un agente e un avversario competono nello spazio delle azioni. Ciò produce un "critico esperto" ($Q_{AR}$) che è resiliente alle perturbazioni dello spazio delle azioni.
2. Generazione del Curriculum Avversario: Il sistema impiega una strategia di curriculum in cui la policy è esposta progressivamente a perturbazioni delle osservazioni avversarie basate sul gradiente, con intensità ($\epsilon$) crescente. Queste perturbazioni sono generate tramite una ascesa del gradiente proiettata multi-step per massimizzare la perdita della policy entro un limite di norma.
3. Adattamento nello Spazio TD: Durante l'adattamento, il framework allinea le distribuzioni dell'errore TD tra lo stadio corrente e lo stadio precedente. Il critico dello stadio precedente funge da riferimento (esperto), e l'adattamento minimizza la distanza di Wasserstein-1 tra le distribuzioni dell'errore TD delle osservazioni nominali e di quelle avversarie. Questo allineamento è progettato per prevenire l'oblio catastrofico e la deriva della funzione di valore.
4. Certificato di Generalizzazione: Gli autori derivano un "certificato di generalizzazione nello spazio TD" teorico. Questo teorema stabilisce che, se lo spostamento della distribuzione dell'errore TD indotto da un attacco al tempo di test rimane sufficientemente vicino a quello dello stadio finale del curriculum, la degradazione delle prestazioni risultante è limitata. Ciò fornisce una garanzia formale che la robustezza appresa sotto perturbazioni sintetiche possa trasferirsi ad attacchi cyber-fisici non visti.

Contributi Chiave

• Adattamento del Curriculum nello Spazio TD: Il documento introduce una nuova strategia di adattamento del curriculum che impone la coerenza delle distribuzioni dell'errore TD attraverso gli stadi del curriculum. A differenza del RL robusto convenzionale che assume insiemi di incertezza fissi, questo approccio si adatta a intensità di perturbazione crescenti pur limitando la deriva nelle stime di valore.
• Garanzia Teorica di Generalizzazione: Gli autori derivano un certificato formale che dimostra come la robustezza si trasferisca attraverso domini di attacco fondamentalmente diversi (ad esempio, dalle perturbazioni sintetiche del gradiente allo spoofing GNSS reale), a condizione che lo spostamento della distribuzione dell'errore TD rimanga limitato. Ciò affronta il divario dove i metodi esistenti mancano di garanzie teoriche per meccanismi di attacco non visti.
• Validazione Empirica nella Deconflittualità di UAV: Il framework è validato in un ambiente di deconflittualità UAV 3D con attacchi di spoofing GNSS fissi e dinamici. Lo studio dimostra che la policy adattata tramite curriculum mantiene elevati tassi di successo della missione e l'efficienza della navigazione anche in condizioni di attacco.

Risultati
Gli esperimenti sono stati condotti in un ambiente simulato con ostacoli 3D dinamici e variabili densità di traffico aereo.

• Attacchi di Spoofing Fissi: Sotto uno spoofing GNSS fisso (bias di posizione costante), la policy adattata tramite curriculum ha raggiunto tassi di successo della missione quasi perfetti. Al contrario, il DDPG standard e altri baseline di RL robusto (inclusi meta-learning avversario e NR-MDP) hanno ottenuto tassi di successo compresi tra il 20% e il 56%, fallendo spesso nel raggiungere la destinazione entro il budget di volo.
• Attacchi di Spoofing Dinamici: Contro attacchi di spoofing dinamici di tipo "luring" degli ostacoli (dove il bias viene regolato per distorcere la percezione degli ostacoli), il metodo proposto ha ottenuto i reward episodici più elevati. Ha ridotto i passi di completamento della missione fino al 45% rispetto ai baseline attraverso l'aumento delle densità di traffico.
• Divergenza Percezione-Realtà: La policy adattata tramite curriculum ha mostrato la minima divergenza tra la distanza dagli ostacoli percepita e quella reale, indicando una capacità superiore di mantenere rappresentazioni interne del rischio accurate nonostante le osservazioni corrotte.
• Ablazione e Sensibilità: Lo studio ha identificato $\epsilon = 4.0$ come il punto di arresto ottimale del curriculum, bilanciando robustezza e performance. Inoltre, si è scoperto che dimensioni dei passi del curriculum più piccole ($\Delta\epsilon = 0.25$) producevano un allineamento TD più fluido e una maggiore stabilità rispetto a passi più grandi, che inducevano comportamenti simili al collasso del modo (mode-collapse).

Significatività e Rivendicazioni
Il documento afferma che la sua principale significatività risiede nel dimostrare che l'adattamento del curriculum avversario può trasferire la resilienza dalle perturbazioni sintetiche agli attacchi di spoofing GNSS realistici senza ri-addestramento specifico per l'attacco. Concentrandosi sulla preservazione della coerenza della distribuzione dell'errore TD piuttosto che sull'adattamento a un modello di attacco specifico, il framework fornisce un meccanismo rigoroso per migliorare la resilienza dei sistemi decisionali autonomi sotto minacce cyber-fisiche sconosciute. Gli autori sostengono che questo approccio vada oltre il RL robusto convenzionale, offrendo sia miglioramenti empirici nelle prestazioni della missione sia limiti teorici provabili sulla generalizzazione a domini di attacco non visti. Il lavoro suggerisce che il mantenimento della coerenza della funzione di valore sia un fattore critico per prevenire l'oblio catastrofico in ambienti avversari.