Immaginate un robot che entra in una stanza che non ha mai visto prima, con il compito di trovare un oggetto specifico, come una sedia rossa, che non può vedere da dove si trova. Per riuscirci, il robot non può limitarsi a reagire a ciò che ha immediatamente davanti alla telecamera. Deve costruire un'immagine mentale dello spazio mentre si muove, ricordare dove è stato e ipotizzare cosa si trovi dietro l'angolo successivo. Questa capacità di mantenere una mappa in memoria, di anticipare come quella mappa cambierà mentre il robot avanza e di usare tale anticipazione per pianificare il passo successivo, è il cuore della sfida dell'esplorazione attiva. Per anni, i ricercatori hanno cercato di insegnare questa abilità alle macchine facendo sì che ricostruissero il mondo con dettagli ad alta definizione, pixel per pixel, o facendo affidamento su mappe preesistenti. Tuttavia, un nuovo approccio suggerisce che un robot non abbia bisogno di vedere ogni mattone e ogni ombra per navigare; deve solo comprendere la struttura dello spazio e il percorso probabile verso il suo obiettivo.

Un team di ricercatori ha sviluppato un sistema chiamato GLAM, che sta per goal-conditioned latent world model trained over global spatiotemporal memory (modello del mondo latente condizionato dall'obiettivo addestrato su memoria spazio-temporale globale). In termini più semplici, questo è un sistema di navigazione che impara a prevedere la disposizione futura di una stanza e il percorso migliore verso una destinazione senza la necessità di ricreare il mondo visivo in perfetto dettaglio. Invece di cercare di generare un nuovo fotogramma video di ciò che la stanza sarà nell'immediato secondo successivo, il sistema prevede una rappresentazione compressa e astratta della mappa e un piano nascosto su dove andare dopo. Questo approccio si ispira al modo in cui i cervelli biologici, in particolare l'ippocampo, organizzano le memorie spaziali e utilizzano la simulazione di scenari futuri. I ricercatori hanno costruito un sistema di navigazione completo attorno a questo modello, chiamato GLAM NAV, che combina mappatura online, recupero della memoria e pianificazione predittiva in un unico ciclo.

Il sistema funziona aggiornando costantemente una memoria digitale sparsa dell'ambiente mentre il robot si muove. Questa memoria non è una fotografia 3D completa, ma una collezione di punti di riferimento chiave e relazioni spaziali. Quando il robot deve trovare un bersaglio, utilizza la sua posizione attuale e la memoria di ciò che ha già visto per porsi una domanda semplice: "Se mi muovo in questa direzione, come apparirà la mappa e sarò più vicino al mio obiettivo?". Il modello GLAM risponde a questo prevedendo due cose simultaneamente. Primo, prevede come i map tokens — gli elementi astratti che compongono la sua memoria — evolveranno man mano che il robot esplora. Secondo, prevede un latent waypoint (punto di passaggio latente), ovvero una rappresentazione nascosta del passo successivo che il robot dovrebbe compiere. Queste previsioni avvengono in uno spazio condiviso, il che significa che il modello impara a collegare il cambiamento della mappa direttamente al movimento necessario, il tutto senza mai tentare di ricostruire le immagini visive grezze del futuro.

Per addestrare questo sistema, i ricercatori non hanno mandato robot nel mondo reale per commettere errori. Al contrario, hanno utilizzato un simulatore ad alta fedeltà chiamato Habitat, che contiene centinaia di scansioni 3D dettagliate di veri ambienti interni come appartamenti e uffici. Hanno riprodotto traiettorie esperte — percorsi compiuti da un agente perfetto controllato dal computer che sapeva esattamente dove si trovassero gli oggetti — e hanno suddiviso questi percorsi in migliaia di campioni di addestramento. Il modello ha imparato a osservare una cronologia di map tokens e un obiettivo, e poi a prevedere la mappa futura e il successivo waypoint. Fondamentalmente, al sistema è stato insegnato a ignorare il compito di ricostruire il mondo visivo. Si è concentrato interamente sul prevedere la struttura dello spazio e il piano per navigarlo. Prima di addestrare il modello principale, i ricercatori hanno anche pre-addestrato un componente separato per capire come tradurre questi piani di waypoint nascosti in movimenti fisici reali, assicurando che le previsioni potessero essere trasformate in comandi effettivi.

Quando testato nel simulatore, i risultati hanno mostrato che questo approccio predittivo funzionava meglio di altri metodi che si basavano su diversi tipi di strutture di memoria. Su un set specifico del cinquanta per cento delle scene di test, il nuovo sistema, GLAM NAV, ha trovato con successo l'oggetto bersaglio nell'86,89 per cento dei tentativi, un miglioramento significativo rispetto al tasso di successo del 78,50 per cento del sistema di base con cui è stato confrontato. Ha anche gestito il raggiungimento del bersaglio in modo più efficiente, con una metrica chiamata Success weighted by Path Length (Successo pesato sulla lunghezza del percorso) che è salita dal 47,70 per cento al 48,35 per cento. Questi numeri suggeriscono che, prevedendo insieme la struttura futura della mappa e il percorso, il robot è diventato più affidabile nel trovare la strada, anche quando il bersaglio era inizialmente fuori dalla vista. Il sistema non ha semplicemente memorizzato un percorso; ha imparato ad anticipare la disposizione dell'ambiente e ad adattare il proprio piano in base a tale anticipazione.

Per dimostrare che non si trattasse meramente di un risultato del simulatore, i ricercatori hanno implementato il sistema su un robot fisico, un umanoide con ruote e braccia duali, in un vero ambiente d'ufficio. Nel primo test nel mondo reale, al robot è stato chiesto di trovare una pianta in una stanza che non aveva mai visto, senza alcuna mappa pre-costruita fornita. Mentre si muoveva, ha costruito la propria memoria dello spazio, collegando le nuove osservazioni visive alla sua mappa in crescita. È riuscito a navigare verso la pianta, dimostrando che il sistema può costruire una memoria spaziale utile partendo da zero in un contesto fisico reale. In un secondo test, al robot è stato chiesto di ricordare dove aveva visto la pianta dopo che l'oggetto era uscito dalla vista. Il sistema ha recuperato la posizione memorizzata dalla sua memoria e si è navigato con successo verso quel punto. Queste dimostrazioni hanno confermato che le previsioni astratte del modello potevano guidare un vero robot attraverso un vero ambiente, usando la memoria per colmare il divario tra ciò che viene visto e ciò che è necessario.

Nonostante questi successi, i ricercatori sono cauti nel sottolineare i confini del loro lavoro. Il sistema impara dai percorsi compiuti dagli agenti esperti nel simulatore, quindi è più efficace quando il comportamento del robot rimane entro i modelli osservati durante l'addestramento. Non è un simulatore generale in grado di prevedere l'esito di qualsiasi azione casuale; piuttosto, è uno strumento orientato all'obiettivo che stima la mappa e il percorso più probabili per un obiettivo specifico. Il modello produce inoltre una singola previsione definita invece di un intervallo di possibilità, il che significa che non calcola esplicitamente l'incertezza delle sue ipotesi. Se il robot incontra una disposizione molto diversa da quella appresa, o se i suoi sensori subiscono una deriva perdendo la traccia della sua posizione, il sistema potrebbe avere difficoltà. I ricercatori sottolineano che il robot si affida ancora alle osservazioni in tempo reale per verificare la propria posizione ed evitare collisioni, utilizzando le previsioni solo per guidare la ricerca.

Questo lavoro rappresenta un cambiamento nel modo in cui concepiamo la navigazione robotica. Invezione di cercare di costruire una replica perfetta e ad alta risoluzione del mondo all'interno di un computer, il sistema impara a lavorare con una versione funzionale e astratta della mappa che sia sufficiente per la pianificazione. Trattando la previsione della mappa futura e la pianificazione del movimento successivo come un unico compito connesso, i ricercatori hanno creato un sistema che è sia più affidabile nel trovare obiettivi sia capace di operare in contesti reali. Le scoperte suggeriscono che, affinché un robot esplori efficacemente, non ha bisogno di vedere tutto; deve comprendere la struttura dello spazio abbastanza bene da immaginare cosa accadrà dopo.