Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

Volare da una città all'altra è raramente una questione di tracciare una linea retta su una mappa. Sebbene la Terra sia rotonda, l'atmosfera non è uniforme; è un oceano tridimensionale e mutevole di vento, temperatura e pressione che cambia costantemente. Per trovare il percorso più efficiente attraverso questo ambiente, i piloti e i sistemi automatizzati devono calcolare una rotta che minimizzi il consumo di carburante navigando tra queste correnti invisibili. Questa è una sfida matematica compluta perché l'aeromobile stesso è una macchina di immensa complessità, dove ogni variazione di velocità o altitudine interagisce con il meteo in modi che richiedono potenti simulazioni informatiche per essere previsti. Quando un volo viene pianificato con giorni di anticipo, i computer hanno tutto il tempo per eseguire questi calcoli pesanti. Tuttavia, in un'emergenza, come quando un passeggero si ammala gravemente e l'aereo deve deviare verso l'ospedale più vicino, gli stessi calcoli devono essere eseguiti in pochi secondi. Un sistema che è accurato ma lento è inutile in una crisi, eppure un sistema che è veloce ma impreciso potrebbe portare a pericolosi deficit di carburante o alla mancata destinazione.

I ricercatori dell'Università di Bologna, lavorando con i modelli di prestazione Airbus, hanno sviluppato un nuovo modo per risolvere questo problema combinando due diversi tipi di intelligenza artificiale. Il primo tipo, noto come apprendimento per rinforzo (reinforcement learning), agisce come un pilota esperto che ha volato migliaia di rotte e può riconoscere istantaneamente un buon percorso basandosi sulla forma generale del viaggio e sul meteo. Il secondo tipo è un algoritmo di ricerca tradizionale, che agisce come un ingegnere meticoloso, controllando ogni possibile variazione per garantire che venga trovata la rotta assolutamente migliore. I ricercatori hanno scoperto che lasciando che l'IA "pilota" tracci prima una rotta approssimativa e veloce, potevano poi dire all'IA "ingegnere" di cercare solo i percorsi vicini a quello schizzo. Questo approccio, che hanno testato su un normale computer desktop, ha permesso al sistema di trovare una soluzione fino al 50 percento più velocemente rispetto all'uso della sola ricerca meticolosa, utilizzando quasi esattamente la stessa quantità di carburante.

Il nucleo di questo nuovo metodo risiede nel modo in cui i due sistemi di intelligenza artificiale comunicano tra loro. Il primo sistema, l'agente di apprendimento per rinforzo, è addestrato su migliaia di scenari di volo casuali attraverso l'Europa. Il suo compito non è trovare il percorso perfetto, ma trovarne uno molto buono molto rapidamente. Osserva il punto di partenza, la destinazione e il meteo, e poi traccia una linea semplice che li connette con solo poche curve. Ignora i dettagli fini dei cambiamenti di altitudine per mantenere veloci i suoi calcoli, concentrandosi invece sulla direzione generale e sul vento. Questo processo richiede all'agente solo circa un secondo e mezzo per completarsi, indipendentemente dalla durata del volo. Una volta tracciato questo percorso approssimativo, il secondo sistema prende il sopravvento. Questo è il pianificatore tradizionale, che di solito trascorre molto tempo a controllare ogni possibile rotta in una vasta griglia di opzioni. In questa nuova configurazione ibrida, al pianificatore viene data un'istruzione rigorosa: gli è permesso di cercare la rotta finale e perfetta solo all'interno di un corridoio stretto che circonda il percorso approssimativo tracciato dal primo agente.

Restringendo l'area di ricerca, i ricercatori hanno efficacementmente trasformato un problema massiccio e laborioso in uno molto più piccolo e gestibile. Immaginate una ricerca che normalmente dovrebbe controllare un milione di diverse possibilità; usando lo schizzo approssimativo per guidare la ricerca, il sistema potrebbe doverne controllare solo poche migliaia. I risultati dei loro test, che hanno coinvolto la simulazione di voli tra punti casuali della Terra, hanno dimostrato che questa scorciatoia non ha comportato un costo elevato. In quasi tutti i casi, il consumo di carburante del sistema ibrido era identico a quello del sistema esaustivo e lento. Quando c'erano differenze, erano minime, solitamente meno dell'uno percento. Ciò significa che l'aereo non ha bruciato significativamente più carburante prendendo la scorciatoia, ma il computer ha risparmiato un tempo tremendo.

I ricercatori hanno anche testato come questo metodo regga sotto diverse condizioni, come il cambiamento della densità della griglia di ricerca o la lunghezza del volo. Hanno scoperto che il metodo è più efficace quando la griglia di ricerca è grande e complessa, che è esattamente quando è più necessaria una soluzione veloce. In questi scenari difficili, il sistema ibrido ha tagliato il tempo di calcolo di quasi la metà. Tuttavia, hanno anche scoperto un limite a quanto l'area di ricerca potesse essere ridotta. Se il corridoio attorno al percorso approssimativo veniva reso troppo stretto, il sistema a volte mancava la rotta migliore, portando a un uso leggermente superiore del carburante. Questo ha insegnato loro che l'equilibrio tra velocità e precisione dipende dalle dimensioni specifiche della griglia di ricerca, ma con le impostazioni corrette, il sistema poteva fornire costantemente risultati rapidi e di alta qualità.

Le implicazioni di questo lavoro vanno oltre il semplice risparmio di tempo su uno schermo di un computer. Nel mondo reale, la capacità di ricalcolare una rotta di volo in pochi secondi può essere una questione di vita o di morte durante un'emergenza medica o un evento meteorologico improvviso. I ricercatori hanno notato che, sebbene i loro test attuali trattassero il meteo come un fattore fisso e noto, la struttura del loro sistema è progettata per gestire l'incertezza in futuro. Poiché l'agente di apprendimento per rinforzo è addestrato a riconoscere schemi, potrebbe potenzialmente essere adattato per gestire cambiamenti meteorologici imprevedibili, come tempeste improvvise, imparando ad evitarle prima ancora che accadano. Per ora, lo studio dimostra che combinare un'intuizione veloce e intuitiva con un controllo attento e dettagliato è un modo potente per risolvere problemi di pianificazione complessi. Dimostra che nel mondo ad alta tensione dell'aviazione, non è sempre necessario controllare ogni singola possibilità per trovare il percorso migliore; a volte, sapere dove guardare è sufficiente.