🤖 machine learning

ASGARD: Action-Space Guard for UAV Resilience via Reinforcement Learning

Il documento introduce ASGARD, un framework teacher-student a due fasi che migliora la resilienza dei controllori di UAV basati sul Reinforcement Learning contro attacchi allo spazio delle azioni durante l'esecuzione, addestrando un monitor per generare comandi di azione corretti utilizzando solo la cronologia degli stati fisici.

Autori originali: Mohsen Salehi, Karthik Pattabiraman

Pubblicato 2026-09-21

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mohsen Salehi, Karthik Pattabiraman

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I droni non sono più solo giocattoli telecomandati; sono macchine sofisticate che navigano nel cielo utilizzando software per interpretare il mondo e decidere dove volare. Al cuore di questa autonomia risiede un tipo di intelligenza artificiale chiamata apprendimento per rinforzo, in cui un programma per computer impara a controllare un veicolo attraverso tentativi ed errori, proprio come un bambino che impara ad andare in bicicletta. Il sistema osserva l'ambiente circostante, prova un movimento e riceve un feedback sul fatto che quel movimento lo abbia avvicinato al suo obiettivo. Con il tempo, costruisce una strategia per volare in modo sicuro ed efficiente. Tuttavia, questa dipendenza dal software crea una vulnerabilità. Proprio come un pilota umano può essere ingannato da un segnale falso, anche il computer di un drone può essere raggirato. Mentre i ricercatori si preoccupano da tempo che gli hacker possano immettere dati falsi nei sensori del drone, è emersa una minaccia più sottile e pericolosa: attacchi che avvengono dopo che il drone ha già deciso cosa fare.

Immaginate che un drone abbia calcolato di dover inclinarsi leggermente a sinistra per mantenere la rotta. Il computer invia questa istruzione ai motori. In un tipo specifico di attacco informatico, un intruso intercetta quell'istruzione nel breve istante che intercorre tra la decisione del computer e l'azione del motore, alterando il comando prima che venga eseguito. Il cervello del drone pensa di volare correttamente, ma il suo corpo viene costretto a muoversi in una direzione diversa e pericolosa. Questo è noto come attacco allo spazio delle azioni (action-space attack). Poiché l'attacco avviene dopo che la decisione è stata presa, i sistemi di sicurezza tradizionali, che controllano i sensori o la logica del computer, spesso lo mancano completamente. Il drone appare come se stesse ragionando chiaramente, anche mentre viene dirottato.

Per affrontare questa minaccia invisibile, i ricercatori dell'Università della British Columbia hanno sviluppato un nuovo sistema di difesa chiamato ASGARD. Il sistema è progettato per agire come un guardiano dei comandi del drone, assicurando che ciò che i motori ricevono sia esattamente ciò che il computer intendeva, anche se un attaccante tenta di manomettere il messaggio. I ricercatori hanno costruito questo sistema utilizzando un processo di addestramento a due fasi che imita il modo in cui un maestro esperto addestra uno studente. Nella prima fase, il sistema "insegnante" impara a volare avendo accesso a informazioni segrete sugli attacchi, come sapere esattamente quando e come un intruso stia cercando di manovrare i controlli. Questa conoscenza privilegiata permette all'insegnante di comprendere la differenza tra un comando sicuro e uno corrotto. Esso impara a generare un segnale nascosto che cattura l'intento reale del volo, indipendentemente dal rumore nell'ambiente.

Una volta che l'insegnante ha appreso questa abilità, trasmette la conoscenza a un sistema "studente" che effettuerà il vero volo del drone nel mondo reale. Lo studente non ha accesso alle informazioni segrete sugli attacchi; vede solo la cronologia dei movimenti fisici del drone, come la sua posizione, velocità e orientamento. Attraverso un addestramento accurato, lo studente impara a ricostruire il segnale nascosto dell'insegnante utilizzando solo questi fatti osservabili. Ciò consente allo studente di riconoscere quando un comando è stato alterato, anche senza conoscere i dettagli specifici dell'attacco. Il sistema include una componente di monitoraggio leggera che si posiziona tra il software decisionale e i motori. Questo monitor controlla costantemente i comandi in uscita rispetto al segnale nascosto ricostruito. Se rileva una discrepanza, corregge istantaneamente il comando prima che raggiunga i motori, neutralizzando efficacemente l'attacco in tempo reale.

I ricercatori hanno testato questo approccio in un ambiente simulato in cui un drone doveva volare attraverso una serie di checkpoint. Hanno sottoposto il drone a vari tipi di attacchi, inclusi quelli che cercavano di forzarlo a inclinarsi in avanti (pitch), rollare lateralmente (roll) o cambiare velocità. In questi test, un controller standard del drone senza questa protezione si è schiantato in quasi la metà degli scenari. Persino un precedente e avanzato sistema di difesa progettato per gestire gli attacchi ai sensori è fallito completamente di fronte a queste intrusioni nello spazio delle azioni, schiantandosi in ogni singolo tentativo quando tutti e quattro i canali di controllo venivano attaccati contemporaneamente. Al contrario, il sistema ASGARD ha mantenuto il drone in volo sicuro. Quando veniva attaccato un solo canale di controllo, il sistema ha completato con successo il 95% delle missioni senza un singolo incidente. Anche nello scenario più difficile, in cui tutti e quattro i canali di controllo venivano attaccati simultaneamente, il sistema è riuscito a completare due terzi delle missioni, un risultato che gli altri sistemi non potevano raggiungere.

Il sistema si è dimostrato anche sorprendentemente adattabile. I ricercatori hanno addestrato il drone a difendersi da attacchi su un solo controllo specifico, come il beccheggio (pitch), e poi lo hanno testato contro attacchi sugli altri controlli che non aveva mai visto prima. Il sistema si è generalizzato bene, difendendosi con successo da queste minacce sconosciute e completando la maggior parte delle missioni. Ciò suggerisce che il sistema abbia appreso una comprensione fondamentale di come rilevare la corruzione nel flusso di controllo, piuttosto che limitarsi a memorizzare specifici schemi di attacco. Inoltre, il sistema è rimasto efficace contro attacchi subdoli che aumentavano lentamente l'interferenza nel tempo, una tattica che spesso coglie impreparati gli altri sistemi di difesa. Monitorando continuamente la cronologia del drone e regolando le correzioni man mano che il disturbo cresceva, il sistema ha impedito al drone di deviare dalla rotta.

I risultati indicano che questo approccio in due fasi offre una soluzione robusta a un problema che ha lasciato i droni autonomi vulnerabili. Posizionando uno strato intelligente e correttivo tra il software decisionale e i motori fisici, il sistema assicura che il drone esegua il percorso previsto, anche quando un attaccante tenta di dirottare la linea di comando. Sebbene lo studio sia stato condotto in simulazione, i risultati suggeriscono una via chiara per rendere il volo autonomo più sicuro in un mondo sempre più connesso e potenzialmente ostile. Il lavoro dimostra che la resilienza contro gli attacchi informatici non richiede di fermare il drone o di far atterrare in emergenza; invece, può essere ottenuta riparando attivamente i comandi in tempo reale, permettendo alla macchina di continuare la sua missione con fiducia.

Sintesi Tecnica: ASGARD – Action-Space Guard per la resilienza dei UAV tramite Reinforcement Learning

Problema

Il Reinforcement Learning (RL) è diventato uno standard per la navigazione e il controllo di Unmanned Aerial Vehicles (UAV) grazie alla sua adattabilità ad ambienti complessi. Tuttavia, i controllori basati su RL sono vulnerabili agli attacchi nello spazio delle azioni (action-space attacks). A differenza degli attacchi fisici (ad esempio, lo spoofing del GPS) che corrompono gli input sensoriali, gli attacchi nello spazio delle azioni si verificano dopo che la politica di controllo ha generato un comando d'azione, ma prima che gli attuatori lo eseguano. Gli attaccanti possono sovrascrivere questi comandi in memoria (ad esempio, tramite attacchi data-only o corruzione della memoria) per iniettare bias nei canali di controllo come pitch, roll, thrust o gain.

Le difese esistenti, come i metodi di robust-RL (ad esempio, ARMOR, RARL), si concentrano principalmente sull'indurimento della politica contro le perturbazioni degli input o sull'addestramento contro input avversari. Una volta implementati, questi sistemi trasmettono l'output della politica direttamente agli attuatori senza un meccanismo per intervenire nel caso in cui l'azione sia stata corrotta durante il transito. Di conseguenza, anche se la politica genera un comando "sicuro", l'UAV esegue un comando corrotto, portando al fallimento della missione o a schianti.

Metodologia: La Pipeline ASGARD

Gli autori propongono ASGARD (Action-Space GuARD), una pipeline teacher-student a due fasi progettata per recuperare i comandi d'azione corrotti a runtime senza richiedere informazioni privilegiate durante l'impiego. Il sistema è composto da tre componenti principali: un encoder, una politica di controllo e un monitor.

1. Fase Teacher (Addestramento con Informazioni Privilegiate)

In questa fase, il sistema viene addestrato con l'accesso a informazioni privilegiate riguardanti l'attacco (ad esempio, il canale d'azione bersaglio, il bias dell'attacco e la durata), che non sono disponibili a runtime.

Teacher Encoder: Implementato come un Variational Autoencoder (VAE), riceve lo stato fisico del UAV ( $o_t$ ) e il contesto dell'attacco ( $x_t$ ) per produrre una rappresentazione latente consapevole dell'attacco e dell'azione ( $\bar{l}_t$ ).
Control Policy: Addestrata utilizzando il Proximal Policy Optimization (PPO) usando $\bar{l}_t$ come input per generare le azioni intese ( $\bar{a}_t$ ).
Teacher Monitor: Un Multilayer Perceptron (MLP) leggero posizionato tra la politica e gli attuatori. Esso osserva il latente ( $\bar{l}_t$ ), l'azione potenzialmente corrotta ( $\bar{a}'_t$ ) e lo stato successivo previsto ( $\hat{s}_{t+1}$ ) predetto da una testa ausiliaria. Il monitor è addestrato tramite regressione supervisionata per produrre un'azione corretta ( $\tilde{\bar{a}}_t$ ) che corrisponda all'intento non corrotto, imparando efficacemente a riparare i comandi corrotti prima che raggiungano l'hardware.

2. Fase Student (Impiego a Runtime)

Questa fase adatta il sistema per l'esecuzione a bordo dove l'informazione privilegiata sull'attacco è assente.

Student Encoder: Implementato come un Temporal VAE utilizzando una rete Long Short-Term Memory (LSTM). Viene addestrato tramite apprendimento supervisionato per approssimare la rappresentazione latente del teacher utilizzando solo la cronologia degli stati fisici e delle azioni precedentemente eseguite ( $H_t$ ).
Student Monitor: Addestrato per imitare le correzioni del teacher monitor utilizzando il latente dello student ( $l_t$ ) invece del latente privilegiato.
Esecuzione: A runtime, lo Student Encoder, la Control Policy e lo Student Monitor operano insieme. Il monitor intercetta attivamente ogni comando d'azione, correggendolo se necessario, e inoltra il comando sicuro agli attuatori.

Contributi Chiave

Meccanismo di Recupero a Runtime: A differenza delle precedenti difese dello spazio delle azioni che riaddestrano le politiche per essere robuste contro le perturbazioni, ASGARD introduce un meccanismo per recuperare le azioni corrotte a runtime. Esso corregge attivamente i comandi invece di limitarsi a rilevare gli attacchi o arrestare il sistema.
Pipeline Teacher-Student a Due Fasi: Gli autori propongono uno schema di addestramento in cui un teacher con conoscenza privilegiata dell'attacco supervisiona uno student che si affida esclusivamente alla cronologia dello stato fisico. Ciò consente al sistema di apprendere rappresentazioni consapevoli dell'attacco senza richiedere dati sull'attacco in tempo reale durante l'impiego.
Monitor di Correzione Attiva: L'introduzione di un monitor MLP leggero che si trova tra la politica e gli attuatori. Questo componente impara a distinguere tra azioni sicure e corrotte, inoltrando le azioni sicure invariate e riparando quelle corrotte, garantendo che il UAV rimanga sotto segnali di controllo sicuri anziché ricadere in modalità degradate.

Risultati Sperimentali

Gli autori hanno valutato ASGARD su un compito di waypoint-following di un quadricottero utilizzando il simulatore gym-pybullet, confrontandolo con un controllore RL di base e la difesa allo stato dell'arte ARMOR.

Attacchi a Canale Singolo: Sotto attacchi che prendono di mira singoli canali, ASGARD ha raggiunto elevati tassi di successo nelle missioni con zero schianti. Nello specifico, ha ottenuto un successo del 95% per il Pitch, il 94% per il Gain, il 94% per il Roll e il 97% per il Thrust, con un tasso di schianto dello 0% in tutti e quattro gli scenari a canale singolo. Al contrario, il controllore RL di base ha avuto successo in circa il 40% delle missioni (47% di tasso di schianto), mentre ARMOR ha avuto successo in circa il 50% (36% di tasso di schianto).
Attacchi Combinati: Quando tutti e quattro i canali d'azione sono stati corrotti simultaneamente (uno scenario peggiore), sia il baseline RL che ARMOR hanno fallito il 100% delle missioni. ASGARD ha mantenuto un tasso di successo del 67% con solo un 10% di tasso di schianto.
Generalizzazione Zero-Shot: ASGARD ha dimostrato una forte capacità di generalizzazione a canali di attacco non visti. Quando addestrato su un singolo tipo di attacco (ad esempio, Pitch) e testato su altri (Roll, Thrust, Gain), ha ottenuto un tasso di successo da 2 a 3 volte superiore a quello di ARMOR e tassi di schianto da 5 a 6 volte inferiori.
Attacchi Stealthy: Contro attacchi stealthy che accumulano gradualmente un bias, ASGzaard ha mantenuto il 100% di successo, mentre ARMOR è fallito completamente. Gli autori attribuiscono ciò alla capacità di ASGARD di tracciare l'accumulo di bias tramite la cronologia del latente, mentre ARMOR manca di una fase di correzione a runtime.
Efficienza dell'Addestramento: La pipeline teacher-student è convergente circa 5 volte più velocemente (e con meno varianza) rispetto ad ARMOR in condizioni di addestramento avversario.

Significato e Rivendicazioni

Il documento afferma che ASGARD affronta una lacuna critica nella sicurezza degli UAV: l'incapacità dei metodi di robust-RL esistenti di gestire attacchi nello spazio delle azioni che avvengono dopo l'inferenza della politica. Spostando la strategia di difesa dall' "indurimento della politica" alla "correzione attiva dell'output", ASGARD assicura la continuità della missione anche quando i comandi di controllo sono compromessi.

Gli autori sottolineano che il loro approccio consente agli UAV di completare le missioni nonostante la corruzione a runtime dei comandi d'azione, una capacità che le difese precedenti non possedevano. Notano inoltre che, sebbene la valutazione attuale sia limitata a un singolo modello di quadrotor in simulazione, l'architettura è progettata per essere sufficientemente leggera per l'impiego a bordo. Il documento conclude che l'estensione di questo framework ad altri sistemi robotici e il raggiungimento del trasferimento sim-to-real rimangono direzioni di ricerca future aperte.