Immagina di insegnare a un robot come far volare un drone. Nel mondo reale, i robot non hanno occhi come gli umani; si affidano a una serie di sensori — GPS per la posizione, giroscopi per l'equilibrio, telecamere per il movimento — per capire dove si trovano e come muoversi. Questo è il mondo dell'Apprendimento per Rinforzo (Reinforcement Learning - RL), un tipo di intelligenza artificiale in cui un computer impara a prendere decisioni provando diverse azioni e ricevendo premi per i comportamenti corretti, molto simile a un cane che impara i trucchi ricevendo dei premi. L'obiettivo è creare un "cervello" capace di pilotare un drone in sicurezza attraverso compiti complessi.

Tuttavia, c'è un problema subdolo: i sensori possono essere ingannati. Proprio come un mago può ingannare i tuoi occhi, un hacker può inviare segnali falsi ai sensori di un drone. Questo è chiamato attacco fisico. Ad esempio, potrebbero inviare un segnale GPS falso che fa credere al drone di trovarsi in un posto diverso, o usare onde sonore per disturbare i suoi sensori di equilibrio. Se il cervello del drone crede a queste bugie, potrebbe schiantarsi o colpire un edificio. Gli scienziati hanno cercato di costruire cervelli "sicuri" che evitino il pericolo, ma la maggior parte di queste reti di sicurezza fallisce quando il drone viene attivamente ingannato da un hacker. Essi assumono che il mondo sia solo un po' disordinato, non che qualcuno stia attivamente mentendo al robot.

È qui che entra in gioco una nuova idea chiamata ARMOR. I ricercatori dietro questo progetto volevano costruire un controllore per droni che possa individuare una bugia anche quando i sensori gridano che è la verità. Non si sono limitati a rendere il drone più "robusto"; hanno insegnato al drone un nuovo modo di vedere il mondo. Invece di guardare i dati grezzi dei sensori, facilmente ingannabili, ARMOR impara a creare un "riassunto segreto" di ciò che sta realmente accadendo. Il documento suggerisce che, utilizzando un metodo di addestramento speciale in due fasi, è possibile creare un drone che mantenga la rotta anche quando i suoi sensori vengono sabotati, senza la necessità di essere riaddestrato per ogni singolo nuovo trucco inventato da un hacker.

La storia di ARMOR: Un drone che sa quando gli viene mentito

Incontra ARMOR (Adaptive Robust Manipulation-Optimized State Representations). Pensa ad ARMOR non solo come un pilota, ma come un detective che ha imparato a ignorare gli alibi falsi.

Nel mondo del controllo dei droni, il metodo abituale è quello di fornire al computer dati grezzi dai sensori: "Mi trovo alla coordinata X", "Sto ruotando alla velocità Y". Ma se un hacker inietta un segnale falso, il computer crede alla bugia. I metodi precedenti cercavano di insegnare al drone a essere "paranoico" addestrandolo contro trucchi specifici (come uno studente che studia solo per un tipo specifico di domanda d'esame). Questo è lento, costoso e, se l'hacker cambia leggermente il trucco, il drone fallisce.

ARMOR adotta un approccio diverso. Utilizza un framework di addestramento in due fasi, che è come avere un maestro e uno studente.

Fase 1: L'Insegnante con la Super-Vista
Per prima cosa, i ricercatori addestrano un "Encoder Maestro" (Teacher Encoder). Questo è un componente di IA intelligente che possiede un superpotere: ha accesso a informazioni privilegiate. Nella simulazione, l'Insegnante sa esattamente quando sta avvenendo un attacco, quale sensore viene ingannato e quanto è grande la bugia. È come un insegnante che può vedere il foglio delle risposte mentre lo studente sta sostenendo l'esame.

Utilizzando questo riferimento, l'Insegnante impara a tradurre i dati disordinati e ingannevoli dei sensori in una rappresentazione latente robusta. Immagina questo come un "codice segreto" o un "riassunto veritiero". Anche se il GPS dice che il drone si trova nell'oceano, il codice segreto dell'Insegnante sa: "No, il GPS sta mentendo; il drone è in realtà nel cielo". Il cervello del drone (la sua politica di controllo) impara a prendere decisioni basandosi su questo codice segreto, non sui dati grezzi dei sensori. Ciò consente al drone di imparare a volare perfettamente anche sotto attacco, perché sta imparando dalla verità.

Fase 2: Lo Studente che impara a vedere la Verità
Ecco la parte complicata: nel mondo reale, il drone non ha un Insegnante con il foglio delle risposte. Non può sapere quando viene attaccato. Per questo motivo, i ricercatori addestrano un Encoder Studente (Student Encoder).

Lo Studente è come un detective che deve scoprire la verità senza il foglio delle risposte. Ha accesso solo alla cronologia del drone — il flusso di dati dei sensori degli ultimi secondi. Lo Studente è addestrato per analizzare questa cronologia e indovinare il "codice segreto" generato dall'Insegnante. Impara a individuare schemi, come: "Ehi, i numeri del GPS stanno deviando lentamente, il che di solito indica un segnale falso" oppure "Il giroscopio sta vibrando con un ritmo strano".

Una volta che lo Studente è diventato bravo a indovinare il codice segreto, l'Insegnante viene ritirato. Il drone viene distribuito con solo lo Studente e la politica di controllo. Ora, quando il drone vola nel mondo reale e subisce un attacco, lo Studente analizza la cronologia dei dati dei sensori, genera il "riassunto veritiero" e la politica di controllo lo utilizza per mantenere il volo rettilineo.

Cosa hanno dimostrato gli esperimenti

I ricercatori hanno testato ARMOR in un mondo 3D simulato, mettendo il drone contro cinque diversi tipi di attacchi fisici: spoofing del GPS, manipolazione del giroscopio, trucchi dell'accelerometro, corruzione del magnetometro e spoofing del flusso ottico. Hanno confrontato ARMOR con altri metodi di alto livello come RARL (che utilizza l'addestramento avversario) e HRP (una politica di recupero ibrida).

I risultati sono stati molto chiari nelle simulazioni:

• Tasso di Sopravvivenza: Di fronte agli attacchi, ARMOR ha mantenuto il volo con successo circa l'88% delle volte. Al contrario, i metodi più vecchi hanno faticato, con tassi di successo compresi tra il 30% e l'83%.
• Schianti: Forse la cosa più impressionante è che ARMOR ha avuto uno 0% di tasso di schianto in tutti i tipi di attacco testati. Gli altri metodi si schiantavano frequentemente; ad esempio, sotto attacchi GPS, un metodo concorrente si schiantava il 50% delle volte.
• Mantenimento della Rotta: Quando il drone veniva deviato dalla rotta, ARMOR manteneva la "deriva dello stato" (quanto si allontanava dal percorso) incredibilmente bassa, intorno a 0,1 metri per gli attacchi GPS. Gli altri metodi lasciavano che il drone deviasse di diversi metri o gradi, quanto basta per causare uno schianto o il fallimento della missione.

Il superpotere del "Zero-Shot"

La scoperta più entusiasmante è ciò che gli autori chiamano generalizzazione zero-shot. Di solito, se addestri un robot per gestire le bugie del GPS, potrebbe fallire se improvvisamente colpito da una bugia del giroscopio. È come studiare solo matematica e fallire l'esame di storia.

ARMOR, tuttavia, ha dimostrato di poter gestire attacchi non visti senza ulteriore addestramento.

• Quando hanno addestrato il drone solo su attacchi GPS e poi lo hanno testato su attacchi al giroscopio (che non aveva mai visto prima), ARMOR ha comunque avuto successo nel 60% dei casi. L'altro metodo (RARL) è fallito completamente, con un tasso di successo dello 0%.
• Quando l'hanno addestrato su attacchi al giroscopio e testato su attacchi GPS, ARMOR ha avuto successo nel 70% dei casi, mentre l'altro metodo è riuscito solo nel 5%.

Ciò suggerisce che imparando il "codice segreto" di come appare uno stato fisico reale, il drone può riconoscere quando qualsiasi sensore sta mentendo, anche se si tratta di un tipo di bugia contro cui non si è esercitato.

Perché questo è importante (e cosa non è)

Il documento suggerisce che questo metodo in due fasi è un grande passo avanti perché risolve due grandi problemi contemporaneamente. In primo luogo, è più veloce ed economico da addestrare. I metodi tradizionali richiedono migliaia di ore di "addestramento avversario" in cui un computer combatte contro un falso attaccante ripetutamente. ARMOR salta questo passaggio usando l'Insegnante per apprendere rapidamente la verità, per poi insegnare allo Studente come imitare quella verità.

In secondo luogo, rende i droni più sicuri contro una varietà più ampia di minacce. Gli autori sottolineano che, sebbene ARMOR sia molto bravo a gestire attacchi a singolo sensore e persino alcuni attacchi a più sensori, ha comunque dei limiti. Se un attaccante manipola troppi sensori contemporaneamente in modo complesso, il sistema potrebbe comunque incontrare difficoltà. Inoltre, questi risultati si basano attualmente su simulazioni (modelli informatici), non su voli reali con hardware hackerato. Gli autori precisano che, sebbene i risultati siano promettenti, il passo successivo sarà vedere se funziona su droni reali nel mondo reale.

In breve, ARMOR insegna a un drone a smettere di ascoltare i sensori rumorosi e bugiardi e a iniziare ad ascoltare il "riassunto segreto" della realtà. È un trucco intelligente che trasforma un robot vulnerabile in uno resiliente, capace di volare dritto anche quando il mondo cerca di ingannarlo.