Composing Reinforcement Learning Policies, with Formal Guarantees

Immagina di dover insegnare a un robot come navigare in un labirinto gigante e mutevole. Non si tratta di un semplice labirinto; è un mondo dove le pareti possono spostarsi, il pavimento può cambiare e il robot deve prendere decisioni in una frazione di secondo per evitare di essere colpito da ostacoli volanti. Questo è il mondo dell'Apprendimento per Rinforzo (Reinforcement Learning - RL), un ramo dell'intelligenza artificiale in cui gli agenti imparano attraverso tentativi ed errori, proprio come un cane che impara a sedersi per ricevere un premio. L'obiettivo è trovare una "policy" (politica): un insieme di regole che dice all'agente cosa fare in ogni situazione per ottenere il miglior risultato possibile.

Tuttavia, c'è un problema. Sebbene l'RL sia eccellente nell'imparare dall'esperienza, è notoriamente scarso nel fornire garanzie. Se chiedi a un normale robot RL: "Sei sicuro al 100% di non andare a sbattere contro quel carrello elevatore?", di solito non può rispondere con un "sì" matematico. Potrebbe dire: "Penso che andrà tutto bene", ma in lavori critici per la sicurezza, come guidare automobili o gestire reti elettriche, "penso che" non è sufficiente. È qui che entra in gioco la verifica formale. È come una rigorosa dimostrazione matematica che dice: "Sotto queste specifiche condizioni, questa azione è garantita come sicura". La sfida che gli scienziati affrontano è che questi due mondi — l'apprendimento dall'esperienza e la dimostrazione matematica — di solito non vanno d'accordo. L'apprendimento richiede dati massicci e disordinati, mentre le dimostrazioni richiedono modelli puliti e semplici. Questo articolo si inserisce in questa intersezione disordinata per vedere se possiamo avere il meglio dei due mondi: un robot che impara le cose difficili ma che possiede comunque un certificato di sicurezza.

---

La Grande Idea: La Mappa e le Stanze

Gli autori, un team di ricercatori provenienti da Belgio, Israele, Paesi Bassi, Danimarca e Regno Unito, propongono un modo intelligente per dividere il problema in due. Immagina un enorme magazzino. La visione di alto livello è una mappa semplice: una griglia di stanze collegate da porte. Conosci la mappa perfettamente. Sai che la Stanza A collega alla Stanza B, e la Stola B collega all'uscita. Ma dentro ogni stanza? Quello è un mistero. La "dinamica" (come si muovono le cose, dove si trovano gli ostacoli) è sconosciuta e caotica.

Gli autori chiamano questo un sistema a due livelli.

• Il Livello Alto (La Mappa): Questa è la parte facile. È solo un grafo di stanze e porte.
• Il Livello Basso (Le Stanze): Questa è la parte difficile. All'interno di ogni stanza, l'agente deve schivare carrelli elevatori in movimento, operai o altri robot. Le regole qui sono complesse e sconosciute.

Il trucco principale del documento è la "separazione delle responsabilità" (separation of concerns). Utilizzano due strumenti diversi per i due livelli differenti. Per la mappa di alto livello, utilizzano la Sintesi Reattiva (Reactive Synthesis). Pensa a questo come a un pianificatore logico super intelligente che può guardare la mappa e un insieme di regole (come "Raggiungi l'uscita senza colpire nulla") e dimostrare matematicamente il percorso migliore da seguire. È come un GPS che non si perde mai perché possiede una mappa perfetta.

Ma il GPS non può dire al robot come schivare un carrello elevatore all'interno di una stanza. Per quello, utilizzano l'Apprendimento per Rinforzo (RL). Il robot impara eseguendo simulazioni all'interno di ogni stanza, capendo come andare dall'ingresso all'uscita senza schiantarsi. Il problema è che l'RL standard è una "scatola nera": non sai esattamente come funziona e non puoi dimostrare che sia sicuro.

Il Trucco Magico: La Scorciatoia "Latente"

Ecco dove il documento diventa davvero interessante. Invece di lasciare semplicemente che il robot impari una rete neurale disordinata e gigante (un cervello fatto di matematica) per ogni stanza, gli autori insegnano al robot a imparare un modello latente conciso.

Immagina di cercare di descrivere a un amico una stanza caotica piena di ostacoli in movimento. Potresti provare a descrivere ogni singolo movimento di ogni singolo oggetto, il che richiederebbe un tempo infinito e sarebbe impossibile da ricordare. Oppure, potresti creare uno schizzo semplificato (il "modello latente") che cattura l'essenza della stanza: "Se vado a sinistra, di solito colpisco un muro; se vado a destra, di solito trovo la porta".

Gli autori hanno sviluppato un nuovo metodo di addestramento chiamato WAE-DQN. Questo è un nome altisonante per un processo in cui il robot impara due cose contemporaneamente:

1. Come agire (la policy).
2. Come disegnare lo schizzo semplificato (il modello latente).

Fondamentalmente, non si limitano a indovinare lo schizzo; calcolano una garanzia su quanto sia buono lo schizzo. Utilizzano qualcosa chiamato limiti PAC (Probably Approximately Correct - Probabilmente Approssimativamente Corretto). Pensa a questo come a un "punteggio di fiducia". Non dice "Questo schizzo è perfetto". Dice: "Siamo sicuri al 95% che questo schizzo sia entro l'1% del comportamento reale della stanza".

Mettere Tutto Insieme: Il Pianificatore

Una volta che il robot ha imparato questi schizzi semplificati e i "punteggi di fiducia" per ogni stanza, entra in gioco il pianificatore di alto livello. Il pianificatore guarda la mappa e gli schizzi. Chiede: "Se mando il robot nella Stanza A e gli dico di andare a destra, quali sono le probabilità che raggiunga la porta?". Utilizza i punteggi di fiducia degli schizzi per rispondere matematicamente.

Poiché il pianificatore conosce il "margine di sicurezza" dello schizzo di ogni stanza, può costruire un piano globale che è matematicamente garantito per funzionare, anche se il robot ha imparato i dettagli delle stanze attraverso tentativi ed errori.

Gli Esperimenti: Funziona?

Il team ha testato questa idea in due mondi molto diversi:

1. Un Mondo a Griglia (Grid World): Un labirinto digitale con nemici in movimento.
2. ViZDoom: Un ambiente di gioco (basato sul classico Doom) dove il robot deve navigare usando input visivi (come una telecamera) mentre schiva i nemici.

Nel Grid World, hanno creato un labirinto con 9 stanze e 11 nemici in movimento. L'IA standard (usando un metodo chiamato DQN) faticava ad apprendere un buon percorso, spesso rimanendo bloccata o schiantandosi. Ma il nuovo metodo? Ha imparato a navigare con successo. Ancora più impressionante, hanno testato il sistema su un labirinto molto più grande con 49 stanze e 47 nemici. Il robot, utilizzando gli stessi "schizzi" appresi dalle stanze piccole, è stato in grado di navigare con successo nel labirinto gigante. Questo dimostra la "riutilizzabilità" del loro approccio: una volta imparato come gestire un tipo di stanza, puoi usare quella conoscenza in qualsiasi stanza simile, indipendentemente da quanto diventi grande la mappa.

Nell'esperimento ViZDoom, il robot doveva gestire input visivi e sparare ai nemici. I risultati hanno mostrato che i "valori latenti" (le previsioni fatte dagli schizzi semplificati) erano molto vicini a ciò che accadeva realmente nel gioco. Ad esempio, quando il robot prevedeva una probabilità di successo del 24% in uno scenario specifico, il tasso di successo reale era intorno al 23%. Questa vicinanza dimostra che gli "schizzi" erano abbastanza accurati da poter essere affidati.

Perché Questo è Importante

La vittoria più grande qui non è solo che il robot sia diventato più bravo nel gioco. È che il robot è diventato più bravo con un certificato di sicurezza.

In passato, se volevi che un robot navigasse in un ambiente complesso, dovevi scegliere tra:

• Sicurezza: Usare un modello semplice dove puoi dimostrare che tutto è sicuro, ma il robot è troppo stupido per gestire il caos del mondo reale.
• Abilità: Usare un potente robot che impara, capace di gestire il caos, ma non hai idea se si schianterà.

Questo articolo mostra una terza via. Separando la "mappa" dalle "stanze", e insegnando al robot a imparare schizzi semplificati e verificati delle stanze, hanno creato un sistema che è sia intelligente (può gestire ostacoli in movimento e input visivi) sia sicuro (viene con garanzie matematiche).

Gli autori ammettono che il loro metodo ha ancora bisogno di una "mappa" dell'ambiente per iniziare. Non possono semplicemente lanciare un robot in un mondo completamente sconosciuto e aspettarsi che costruisca la mappa da zero. Ma per gli ambienti in cui conosciamo la disposizione (come un magazzino, una griglia cittadina o un sistema software), ma non i dettagli di ciò che accade all'interno delle stanze, questo approccio offre uno strumento potente. Trasforma la "scatola nera" dell'apprendimento in una "scatola di vetro" che possiamo ispezionare, verificare e fidare.