Distributionally Robust and Safe Imitation Learning

Immagina di voler insegnare a un robot un compito complesso, come far volare un drone attraverso una foresta o guidare un'auto nel traffico cittadino. Non vuoi scrivere migliaia di righe di codice dicendogli esattamente cosa fare ogni secondo; invece, vuoi che impari osservando un esperto umano. Questo è il mondo dell'Apprendimento per Imitazione (Imitation Learning). Pensa a un apprendista che segue un maestro chef: lo studente osserva il maestro che taglia le verdure e gira i pancake, poi cerca di copiare i suoi movimenti.

Tuttamente, c'è un problema complicato. Se lo studente commette un piccolo errore all'inizio — ad esempio, tagliando una carota leggermente troppo spessa — potrebbe confondersi più tardi, portando a una cascata di errori che rovina l'intero pasto. Nel mondo della robotica, questo viene chiamato spostamento della distribuzione (distribution shift): il robot si ritrova in situazioni che l'esperto non ha mai visto e, poiché ha imparato solo a copiare l'esperto in condizioni perfette, va nel panico. Inoltre, il mondo reale è disordinato. Il vento può soffiare, il terreno può essere scivoloso o i sensori possono avere dei glitch. Queste sono le incertezze. Se un robot impara solo in una simulazione calma e soleggiata, potrebbe schiantarsi non appena affronta una raffica di vento. Ecco perché i ricercatori sono disperati nel costruire robot che non si limitino a copiare gli esperti, ma che li copino in modo sicuro e robusto, anche quando le cose vanno male.

---

La Grande Idea del Paper: Il Drone "Super-Studente"

In questo articolo, Ahmed Aboudonia e Naira Hovakimyan propongono un nuovo modo di insegnare ai robot che agisce come un "super-studente" che non impara solo a copiare, ma a capire il perché e il cosa succederebbe se dietro i movimenti. Chiamano il loro metodo un framework di Apprendimento per Imitazione Distribuzionalmente Robusto e Sicuro.

Per capire cosa hanno fatto, immagina di imparare ad andare in bicicletta.

1. Apprendimento Standard (Behavioral Cloning): Guardi un ciclista professionista e cerchi di copiare esattamente i suoi movimenti corporei. Se barcolli, potresti cadere perché non hai imparato come correggere il barcollamento.
2. Il Primo Trucco del Paper (TaSIL): Gli autori utilizzano una tecnica chiamata Taylor Series Imitation Learning (TaSIL). Invece di copiare solo la posizione del ciclista, il robot impara a copiare le sue derivate. In parole povere, non impara solo dove si trova il ciclista, ma quanto velocemente sta girando, quanto rapidamente sta accelerando e come questi cambiamenti stanno cambiando. È come imparare il "flusso" del movimento, non solo l'istantanea. Questo aiuta il robot a rimanere in pista anche se si scosta leggermente dal percorso.
3. Il Secondo Trucco del Paper (L1-DRAC): Ma cosa succede se c'è una raffica di vento improvvisa? Il robot ha bisogno di una rete di sicurezza. Gli autori aggiungono uno strato chiamato L1-Distributionally Robust Adaptive Control (L1-DRAC). Immaginalo come un co-pilota invisibile e super veloce. Se il vento spinge il drone, questo co-pilota calcola istantaneamente la correzione necessaria per mantenere il drone sul suo percorso previsto, "annullando" efficacemente l'effetto del vento prima ancora che il drone si accorga della sua presenza.

Il Nuovo Colpo di Scena: Imparare con una Rete di Sicurezza

La vera innovazione in questo articolo è come hanno combinato queste due idee per gestire simultaneamente incertezza e sicurezza.

Di solito, quando un robot impara da un esperto, cerca di corrispondere esattamente al percorso dell'esperto. Ma cosa succede se il percorso dell'esperto passa proprio accanto a un dirupo e il vento soffia forte? Un robot intelligente non dovrebbe copiare ciecamente l'esperto verso il dirupo. Gli autori si sono resi conto che i metodi di apprendimento standard non tengono conto del fatto che il "mondo reale" potrebbe essere leggermente diverso dal "mondo di addestramento".

Hanno creato un nuovo gioco di addestramento per il robot:

• La "Palla del Peggior Caso": Invece di imparare solo dal percorso esatto seguito dall'esperto, il robot immagina una "palla" di possibili percorsi attorno al percorso dell'esperto. Questa palla rappresenta tutti i modi possibili in cui il vento o gli errori dei sensori potrebbero spingere il robot fuori rotta.
• Il Vincolo di Sicurezza: Il robot viene quindi addestrato per performare bene anche nello scenario peggiore all'interno di quella palla. È come un pilota che si esercita per una tempesta, non solo per una giornata di sole.
• La Penalità di Sicurezza: Hanno aggiunto un termine di "sicurezza" speciale ai compiti del robot. Se il piano del robot lo porta troppo vicino a una zona pericolosa (come una zona di volo vietata), riceve una grande penalità. Questo costringe il robot a imparare: "Posso seguire l'esperto, ma se il vento mi spinge verso la zona di pericolo, devo sterzare lontano per restare al sicuro".

Cosa Hanno Scoperto (La Simulazione)

Gli autori hanno testato la loro idea su un Unmanned Aerial Vehicle (UAV) — fondamentalmente un drone. Hanno impostato una simulazione in cui il drone doveva volare in cerchio evitando una specifica "regione non sicura" (una zona in cui non dovrebbe entrare). Hanno introdotto l'incertezza epistemica (come forze casuali e imprevedibili che agiscono sul drone) e l'incertezza aleatoria (rumore casuale, come i glitch dei sensori).

Ecco cosa è successo nelle loro simulazioni:

• Il Robot Standard: Quando hanno utilizzato un robot di apprendimento per imitazione standard in un mondo perfetto, volava nel cerchio perfettamente. Ma non appena hanno aggiunto vento e rumore, il robot ha iniziato a barcollare ed è infine precipitato nella zona non sicura. Era troppo rigido.
• Il Robot con il Co-Pilota (L1-DRAC): Quando hanno aggiunto il "co-pilota invisibile" al robot standard, esso ha gestito molto meglio il vento e si è mantenuto più vicino al cerchio. Tuttavia, non sapeva comunque come evitare la zona non sicura se il vento lo avesse spinto lì. Era robusto al vento, ma non "sicuro" in senso stretto.
• Il "Super-Studente" (Il Nuovo Framework): Il robot addestrato con il nuovo metodo Distributionally Robust and Safe è stato il vincitore. Nelle simulazioni, volava nel cerchio altrettanto bene quanto l'esperto. Ma quando il vento lo spingeva verso la zona non sicura, non andava in panico. Inveve, deviava intenzionalmente dal percorso esatto dell'esperto per stare lontano dal pericolo, per poi tornare fluidamente al cerchio una volta passato il pericolo.

Il paper dimostra che insegnando al robot di aspettarsi lo scenario peggiore entro un certo intervallo di incertezza, e penalizzando esplicitamente il comportamento che lo avvicina al pericolo, è possibile creare un sistema che sia altamente abile e incredibilmente sicuro.

In Sintesi

Questo articolo non sostiene di aver risolto per sempre tutti i problemi dell'apprendimento robotico. Inveve, gli autori dimostrano attraverso estese simulazioni che il loro nuovo framework funziona. Hanno dimostrato che combinando un metodo che impara il "flusso" del movimento (TaSIL) con un metodo che combatte attivamente l'incertezza (L1-DRAC), e aggiungendo una regola di sicurezza che costringe il robot a pensare in anticipo, si può costruire un drone che vola con fiducia anche quando il mondo è disordinato e imprevedibile. È un passo verso robot che non si limitano a copiarci, ma imparano a essere intelligenti e prudenti come speriamo che siano.