Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

Immagina di essere il capitano di una nave spaziale che naviga attraverso un denso campo di asteroidi. La tua missione è raggiungere una stella lontana utilizzando la minima quantità di carburante possibile. Ma c'è un problema: non puoi limitarti a evitare gli asteroidi che vedi proprio ora; devi garantire che l'intero tuo viaggio, dal lancio all'atterraggio, sia sicuro con una probabilità molto alta. Questo è il cuore di un campo chiamato controllo ottimo stocastico. È la scienza del prendere le migliori decisioni quando il futuro è incerto e pieno di sorprese.

Per comprendere la sfida, pensa a due modi per gestire il pericolo. Il primo è come controllare lo specchietto retrovisore ogni secondo e dire: "Ok, sono al sicuro proprio ora". Questo è chiamato controllo "stadio per stadio" (stagewise). Il secondo, molto più difficile, è come guardare l'intero percorso di volo su una mappa e dire: "Prometto che ogni singolo punto su questa linea sarà libero da asteroidi". Questo è un vincolo di probabilità congiunta (joint chance constraint). È una promessa "su scala di missione". Il problema è che rendere questa promessa è incredibilmente difficile per i computer perché il percorso futuro dipende da ogni singola scossa o curva avvenuta in precedenza, rendendo la matematica esplodere in termini di complessità. Di solito, per rendere la matematica gestibile, gli ingegneri devono essere eccessivamente cauti, prendendo deviazioni larghe e lente che sprecano carburante, oppure devono assumere che l'universo smetta di essere pericoloso dopo un certo periodo di tempo.

Questo articolo, scritto da Francesco Cordiano, Kanghui He e Bart De Schutter, affronta il problema di come navigare in quel percorso infinito e pericoloso senza essere eccessivamente cauti o assumere che il pericolo scompaia. Propongono un nuovo e intelligente modo per insegnare a un computer come prendere queste decisioni perfette, sicure e a basso consumo di carburante per sistemi che operano all'infinito, come una rete elettrica o un'auto a guida autonoma su un'autostrada.

Il Trucco Magico: Trasformare un Problema di Memoria in un Problema di Stato

Il mal di testa principale con la promessa di sicurezza "su scala di missione" è che è non-markoviano. In parole peli, questo significa che il computer deve ricordare tutto ciò che è accaduto dall'inizio dei tempi per sapere se è ancora al sicuro. Se non hai mai colpito un asteroide, sei al sicuro. Se ne hai colpito uno ieri, hai già "fallito". Un cervello informatico standard (una politica di Markov) di solito guarda solo dove ti trovi proprio ora per decidere cosa fare dopo. Non ha una memoria a lungo termine.

Il primo colpo di genio degli autori è un "trucco magico" chiamato aumento dello stato (state augmentation). Inventano un nuovo set di "sensori virtuali" da attaccare alla nave spaziale.

1. La Luce "Via Libera" (Stato $\xi$): Questo è un interruttore binario che rimane "ACCESO" (1) finché la nave non ha mai colpito un asteroide. Nel momento in cui ne colpisce uno, l'interruttore passa a "SPENTO" (0) e rimane tale per sempre.
2. L'Allarme "Primo Impatto" (Stato $\psi$): Questo è un allarme speciale che suona solo nel momento esatto in cui la nave colpisce il suo primo asteroide. Se suona, il sistema sa: "Ah, questo è il momento in cui abbiamo fallito".
3. Il "Quadrante del Tempo" (Stato $\phi$): Poiché la nave sta cercando di minimizzare il carburante su un orizzonte infinito, l'importanza dell'uso del carburante futuro cambia nel tempo. Questo quadrante traccia questa importanza variabile.

Aggiungendo questi tre sensori virtuali alla posizione reale della nave, il computer non ha più bisogno di ricordare tutta la storia. Deve solo guardare lo stato attuale di questi sensori. Se la luce "Via Libera" è ACCESA, sa di essere al sicuro finora. Se è SPENTA, sa di aver già fallito. Questo trasforma un problema complesso e pesante in termini di memoria in un problema standard e gestibile che il computer può risolvere passo dopo passo.

L'Equilibrio: Il Prezzo della Sicurezza

Ora che il problema è gestibile, la sfida successiva è la parte dell' "orizzonte infinito". La nave deve rimanere sicura per sempre, non solo per i prossimi 10 minuti. Gli autori utilizzano un concetto matematico chiamato dualità di Lagrange per risolverlo.

Immagina di assumere un robot per guidare la tua auto. Gli dici: "Guida il più velocemente possibile, ma non schiantarti". Il robot non sa come bilanciare velocità e sicurezza. Così, introduci un "Prezzo della Sicurezza". Dici: "Ogni volta che ti avvicini a uno schianto, devi pagare una multa".

• Se la multa è troppo bassa, il robot guida in modo spericolato e si schianta.
• Se la multa è troppo alta, il robot guida così lentamente che non arriva mai da nessuna parte.

L'articolo propone un algoritmo che agisce come un negoziatore intelligente. Inizia con una multa bassa e lascia che il robot guidi. Se il robot si schianta troppo spesso, l'algoritmo alza la multa. Se il robot guida troppo lentamente e in sicurezza, l'algoritmo abbassa la multa. L'obiettivo è trovare la multa "Goldilocks" (quella giusta, né troppo alta né troppo bassa, chiamata variabile duale, $\lambda$) in cui la strategia di "migor velocità" del robot sia anche la strategia più sicura.

Gli autori dimostrano che questa negoziazione funziona perfettamente. Dimostrano che esiste un prezzo specifico dove la strategia di "miglior velocità" del robot è anche la strategia più "sicura". Ciò consente di trasformare il difficile problema del "vincolo di sicurezza" in un problema più semplice di "minimizzazione del costo più multa".

Insegnare al Robot con le Reti Neurali

L'ultimo pezzo del puzzle è che i sistemi reali (come robot o reti elettriche) hanno infinite possibilità per quanto riguarda dove possono trovarsi e cosa possono fare. Non si può scrivere una regola per ogni singola possibilità. Per gestire questo, gli autori utilizzano l'apprendimento automatico (machine learning).

Addestrano una Rete Neurale (un tipo di cervello informatico ispirato al cervello umano) per imparare il "valore" di trovarsi in qualsiasi situazione.

• Prima, insegnano alla rete cosa succede se la regola di sicurezza è già stata violata. In questo caso, il robot cerca solo di raggiungere l'obiettivo il più velocemente possibile, ignorando la sicurezza.
• Poi, insegnano alla rete la situazione "Via Libera". Qui, la rete impara a bilanciare la velocità e la multa del "Prezzo della Sicurezza".

L'addestramento avviene offline, il che significa che il computer fa tutto il lavoro difficile prima che il robot inizi a muoversi. Una volta addestrato, il robot può prendere decisioni in una frazione di secondo (0,01 secondi nei loro test) semplicemente guardando il suo stato attuale e il consiglio della rete neurale.

I Risultati: Più Veloci, Più Sicuri e Più Intelligenti

Gli autori hanno testato il loro metodo su una simulazione di un robot "uniciclo" (un robot che si bilancia su una sola ruota) che cerca di navigare in un labirinto con un ostacolo pericoloso al centro. Hanno confrontato il loro metodo con una tecnica popolare chiamata Controllo Predittivo del Modello (MPC), che è come un robot che pianifica i suoi prossimi passi, controlla se sono sicuri e poi ri-pianifica.

I risultati sono stati impressionanti:

• Sicurezza: Il nuovo metodo ha mantenuto il robot al sicuro con un tasso di violazione di circa il 4,5%, ben al di sotto del limite consentito del 10%. Il metodo MPC tradizionale, anche con pesanti aggiustamenti, aveva un tasso di violazione del 17%, fallendo il test di sicurezza.
• Prestazioni: Il nuovo metodo ha utilizzato significativamente meno "carburante" (costo) per raggiungere l'obiettivo. Il nuovo metodo ha avuto un costo di 528,3, mentre il metodo MPC ha avuto un costo di 672,0. Il nuovo metodo è stato più intelligente nel valutare i rischi: se davvero colpiva l'ostacolo (nei rari casi in cui accadeva), passava immediatamente al percorso più veloce verso l'obiettivo, mentre il metodo MPC rimaneva bloccato in un ciclo conservativo.
• Velocità: Questo è il vantaggio maggiore. Il metodo MPC tradizionale impiegava in media 2,94 secondi per decidere cosa fare ad ogni passo, e a volte raggiungeva un limite di 10 secondi, causando ritardi. Il nuovo metodo impiegava solo 0,01 secondi. Era quasi 300 volte più veloce.

Perché Questo è Importante

Questo articolo non dice solo "ci siamo riusciti"; fornisce una prova matematica rigorosa che il loro metodo funziona e converge alla migliore soluzione possibile. Dimostra che non è necessario scegliere tra essere sicuri ed essere efficienti. Usando un intelligente aumento dello stato e un algoritmo di apprendimento intelligente, è possibile costruire sistemi che siano sia incredibilmente veloci che rigorosamente sicuri per un futuro infinito.

Gli autori ammettono che il loro metodo si basa su simulazioni e che il processo di apprendimento richiede abbastanza dati per essere accurato, specialmente vicino ai confini delle zone di pericolo. Tuttavia, dimostrano che per sistemi continui complessi, questo approccio è un enorme passo avanti. Trasforma un problema che era precedentemente troppo difficile da risolvere in uno che un computer può risolvere in un battito di ciglia, aprendo la strada ad autonomi più sicuri ed efficienti nel mondo reale.