Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching

Immaginate di cercare di guidare una nave attraverso una tempesta senza una mappa, una bussola o persino una visione chiara dell'orizzonte. Potete solo vedere le onde che si infrangono contro lo scafo e sentire il vento che cambia sul vostro volto. Questa è la realtà per molti ingegneri e scienziati che devono controllare macchine complesse, dagli veicoli autonomi alle reti elettriche, quando non dispongono di un modello matematico completo del loro comportamento. Invece di fare affidamento su un progetto perfetto, devono imparare facendo: osservando come il sistema reagisce a diversi input, registrando i costi degli errori e componendo gradualmente una strategia che funzioni. Per decenni, un potente strumento matematico chiamato programmazione lineare ha offerto un modo per trovare la migliore strategia possibile in tali situazioni. Tuttavia, questo strumento ha un difetto notevole: man mano che il numero di variabili che descrivono il sistema cresce, i calcoli spesso sfuggono al controllo, producendo risposte infinitamente grandi e quindi inutilizzabili. È come cercare di bilanciare una bilancia con pesi che diventano sempre più pesanti finché la barra si spezza.

Un team di ricercatori dell'ETH di Zurigo ha trovato un modo per mantenere quella bilancia in equilibrio, anche quando il sistema è complesso e i dati sono scarsi. Hanno sviluppato un nuovo metodo per guidare la ricerca matematica di una politica di controllo ottimale, garantendo che la soluzione rimanga finita e pratica. Utilizzando una tecnica chiamata "moment-matching", che essenzialmente allinea la "forma" matematica della soluzione desiderata con i modelli trovati nei dati osservati, possono garantire che il computer trovi una risposta stabile. Il loro lavoro suggerisce che è possibile progettare controllori per sistemi non lineari ad alta dimensionalità — macchine con molte parti in movimento e comportamenti complessi — utilizzando solo una quantità limitata di dati, senza dover conoscere preventivamente la fisica sottostante del sistema. Questo approccio trasforma una possibilità teorica in uno strumento ingegneristico affidabile, aprendo la porta a sistemi di controllo più intelligenti e adattivi per il mondo reale.

La sfida principale affrontata dai ricercatori è la difficoltà di impedire a questi calcoli matematici di andare fuori controllo. Nel mondo del controllo ottimale, l'obiettivo è trovare un insieme di regole che dica a una macchina cosa fare in ogni momento per minimizzare un costo, come l'uso di energia o il tempo di percorrenza. Quando il sistema è semplice, i metodi standard funzionano bene. Ma quando il sistema è complesso, con molte dimensioni come posizione, velocità e accelerazione che interagiscono tutte tra loro, il numero di scenari possibili esplode. I ricercatori hanno notato che i precedenti tentativi di risolvere questo problema utilizzando metodi basati sui dati spesso fallivano perché il problema matematico diventava illimitato. Ciò significa che il computer cercava di trovare una soluzione che cresceva all'infinito, facendo di fatto crashare il calcolo. Sebbene alcuni metodi precedenti cercassero di risolvere il problema aggiungendo vincoli artificiali o regolarizzatori, questi spesso distorcevano il risultato finale, rendendo il controllore meno efficace. Altri si affidavano al possesso di enormi quantità di dati, il che è spesso impossibile da raccogliere in scenari reali dove gli esperimenti sono costosi o pericolosi.

Per risolvere questo problema, gli autori hanno introdotto un metodo che utilizza i dati stessi per definire i confini della ricerca. Invece di indovinare dove dovrebbe trovarsi la soluzione, hanno osservato i modelli specifici nei dati raccolti dai movimenti del sistema. Hanno trattato i dati come una collezione di punti in uno spazio ad alta dimensionalità e si sono posti una domanda semplice: possiamo trovare una direzione per la nostra ricerca che sia supportata da questi punti? Se la direzione della ricerca si allinea con il "cono" di possibilità creato dai dati, il calcolo è garantito rimanere finito. Hanno dimostrato che selezionando attentamente un vettore di costo — un peso matematico che dice al computer cosa dare priorità — basandosi sui dati osservati, potevano garantire che la soluzione rimanesse limitata. Questo è simile a impostare una destinazione per un viaggio che è garantita essere raggiungibile dato il terreno già mappato, piuttosto che puntare a un punto che potrebbe trovarsi oltre il bordo del mondo.

I ricercatori hanno testato questa idea su due tipi di sistemi molto diversi. Prima, hanno esaminato sistemi lineari tempo-invarianti, ovvero macchine che si comportano in modo prevedibile e rettilineo. Hanno simulato questi sistemi con una complessità crescente, da configurazioni piccole a sistemi con trenta diverse variabili di stato. In questi test, hanno confrontato il loro nuovo metodo con un approccio standard che utilizza un vettore di costo fisso e immutabile. I risultati sono stati sorprendenti: mentre il metodo standard falliva nel trovare una soluzione per sistemi con più di due variabili di stato, il loro approccio di moment-matching trovava con successo soluzioni finite per sistemi con fino a trenta variabili, anche utilizzando solo cinquecento punti dati. I controllori che hanno appreso erano quasi perfetti, con prestazioni entro l'uno per cento del miglior risultato teorico possibile.

Successivamente, hanno spinto il metodo in un territorio molto più difficile: sistemi meccanici non lineari. Si tratta di macchine in cui le forze che agiscono su di esse non seguono semplici linee rette; ad esempio, un sistema con accoppiamenti elastici, gravità non lineare e resistenza che aumenta con il cubo della velocità. Questi sistemi sono notoriamente difficili da controllare perché piccoli cambiamenti possono portare a comportamenti radicalmente diversi. I ricercatori hanno simulato questi sistemi con fino a dieci dimensioni e hanno scoperto che il loro metodo poteva ancora trovare soluzioni stabili dove l'approccio standard falliva. In una simulazione specifica, hanno controllato un sistema a quattro dimensioni che era naturalmente instabile, il che significa che si sarebbe decomposto senza intervento. Il controllore che hanno appreso ha guidato con successo il sistema verso un equilibrio stabile, mantenendolo in equilibrio, mentre una versione non controllata dello stesso sistema si sarebbe allontanata. La chiave di questo successo non è stata avere più dati, ma un uso più intelligente dei dati. Facendo corrispondere i momenti dei dati — essenzialmente i valori medi e la dispersione dei comportamenti osservati — sono riusciti a costruire una funzione di costo che manteneva il problema matematico risolvibile.

La bellezza di questo approccio risiede nella sua efficienza e nella sua dipendenza dai dati a disposizione. I ricercatori hanno dimostrato che il metodo funziona anche quando il numero di punti dati è piccolo rispetto alla complessità del sistema. Hanno scoperto che aumentando la dimensione di un pool ausiliario di punti di campionamento, potevano migliorare le probabilità di trovare una soluzione per sistemi ancora più grandi. Ciò suggerisce che il collo di bottiglia non è la quantità di dati, ma come quei dati vengono interpretati. Il metodo non richiede che il sistema sia lineare o che la dinamica sia nota; richiede solo che i dati raccolti forniscano informazioni sufficienti per definire la forma del problema. Il costo computazionale per impostare questo metodo è basso, comportando solo un insieme di equazioni lineari che possono essere risolte rapidamente su un computer standard.

In definitiva, questo lavoro fornisce una via pratica per il controllo basato sui dati in spazi ad alta dimensionalità. Sposta il campo d'azione dall'idea che abbiamo bisogno di enormi dataset o di modelli perfetti per controllare macchine complesse. Dimostra invece che, con il giusto framework matematico, una quantità relativamente piccola di dati può essere sufficiente per derivare un controllore che sia sia stabile che efficace. I ricercatori sottolineano con cura che, sebbene le loro simulazioni siano promettenti, il metodo è attualmente dimostrato per sistemi deterministici con caratteristiche polinomiali. Vedono un futuro in cui questa tecnica possa essere estesa ai sistemi stocastici, dove la casualità gioca un ruolo maggiore, e a tipi di funzioni ancora più complessi. Per ora, tuttavia, hanno dimostrato che la maledizione della dimensionalità, che ha a lungo afflitto questo tipo di calcoli, può essere domata. Garantendo che la ricerca della migliore politica di controllo rimanga ancorata alla realtà dei dati osservati, hanno trasformato un concetto teorico in uno strumento che può essere utilizzato per costruire macchine migliori, più sicure e più intelligenti.