Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

I robot di servizio non sono più solo un concetto per il futuro; stanno iniziando ad apparire negli ospedali, negli hotel e negli spazi pubblici, con il compito di guidare le persone ed eseguire semplici faccende. Affinché queste macchine siano davvero utili, devono fare molto di più che limitarsi a seguire un percorso pre-programmato. Devono capire cosa un essere umano sta chiedendo loro di fare, vedere il mondo intorno a loro per evitare ostacoli o trovare oggetti specifici e poi capire come muoversi per portare a termine il lavoro. La sfida è stata a lungo come combinare queste tre abilità — comprendere il linguaggio, vedere l'ambiente e pianificare il movimento — in un unico sistema che sia abbastanza intelligente da essere utile, ma anche piccolo e veloce da poter girare sul computer di bordo del robot stesso.

Per anni, i ricercatori hanno cercato di risolvere questo problema costruendo enormi sistemi di intelligenza artificiale "tutto in uno" che tentano di fare tutto contemporaneamente. Questi sistemi, spesso chiamati modelli visione-linguaggio, sono incredibilmente potenti perché possono guardare un'immagine e leggere una frase simultaneamente. Tuttavia, sono anche incredibilmente pesanti, richiedendo enormi quantità di potenza di calcolo che semplicemente non entrano in un piccolo robot alimentato a batteria. Questo crea un dilemma: un robot abbastanza intelligente da comprendere istruzioni complesse ma troppo lento per reagire in tempo reale, oppure un robot veloce ma troppo stupido per capire ciò che sta vedendo.

Un team di ricercatori provenienti da Indonesia, Giappone e Belgio ha proposto una strada diversa. Invece di costringere un unico cervello gigante a fare tutto, hanno costruito un sistema che suddivide il lavoro in due parti specializzate che comunicano tra loro. Nel loro nuovo framework, un sistema visivo veloce e leggero si occupa del compito di individuare gli oggetti, mentre un modello linguistico separato si occupa del compito di comprendere le istruzioni e pianificare le azioni. Questa separazione permette al robot di funzionare su un piccolo computer integrato senza la necessità di un enorme server esterno. I ricercatori hanno testato questo approccio su un robot guida progettato per aiutare le persone a navigare in edifici pubblici e hanno scoperto che, mantenendo i compiti separati, il robot poteva comprendere comandi complessi, trovare oggetti e spostarsi in posizioni specifiche con alta precisione, il tutto reagendo molto più velocemente rispetto ai sistemi "tutto in uno".

Il robot utilizzato è stato costruito su una base mobile standard, ma è stato dotato di una singola telecamera e di un chip computerizzato compatto noto come Jetson Orin Nano. Questo chip è abbastanza potente da eseguire software moderni, ma abbastanza piccolo da adattarsi a un robot che deve muoversi liberamente senza essere collegato a una presa di corrente a muro. I ricercatori hanno programmato il sistema per accettare comandi in linguaggio naturale da un essere umano, come "Vai all'ufficio anteriore e trova una persona". Quando il robot riceve un tale comando, la parte linguistica del sistema lo scompone in una lista di passaggi. Decide che il robot deve spostarsi in una posizione specifica e poi cercare una persona. Fondamentalmente, comunica alla parte visiva esattamente cosa cercare, invece di chiedere al sistema visivo di indovinare cosa potrebbe essere importante.

Questa divisione del lavoro è la chiave della velocità del sistema. Nei tradizionali sistemi "tutto in uno", il computer deve elaborare l'intera immagine e l'intera frase contemporaneamente, il che richiede molto tempo. In questa nuova configurazione, il modello linguistico decide rapidamente che il robot deve cercare una "persona" e poi invia un'istruzione semplice e breve al rilevatore visivo per trovare solo quell'oggetto specifico. Il rilevatore visivo, che è progettato per essere molto veloce, scansiona il flusso della telecamera e riferisce se vede una persona. Poiché il sistema visivo non spreca tempo ad analizzare ogni singola cosa nella stanza e il sistema linguistico non spreca tempo a interpretare i pixel, l'intero processo avviene molto più velocemente. I ricercatori hanno misurato questa differenza di velocità e hanno scoperto che il loro sistema diviso era tra tre e venti volte più veloce dei sistemi "tutto in uno", a seconda che il computer stesse eseguendo localmente o si stesse connettendo a un server cloud.

Per vedere se questo approccio funzionasse effettivamente nel mondo reale, il team ha eseguito una serie di test. Per prima cosa, hanno testato la capacità del robot di seguire solo comandi di movimento, chiedendogli di andare nella stanza più vicina o nell'ufficio anteriore. In questi test, il robot ha pianificato con successo il suo percorso ed è arrivato alla destinazione corretta il 96 percento delle volte. Successivamente, hanno aggiunto la componente visiva, chiedendo al robot di andare in un luogo e poi cercare un oggetto specifico, come un idrante, una sedia o una persona. In questi scenari più complessi, dove il robot doveva navigare e poi cercare, il sistema ha avuto successo l'84 percento delle volte. I pochi fallimenti che si sono verificati erano solitamente dovuti al fatto che la singola telecamera del robot aveva difficoltà a giudicare esattamente quanto fosse vicino a un oggetto, causando un arresto leggermente troppo presto o troppo tardi, piuttosto che a un malinteso del comando o a un mancato rilevamento dell'oggetto.

I ricercatori hanno anche portato il sistema fuori dalla simulazione al computer e lo hanno posizionato sul robot fisico reale in una vera hall di un edificio. Hanno impartito al robot gli stessi tipi di comandi e il robot ha eseguito i compiti in modo affidabile, navigando nello spazio, fermandosi per cercare persone e rispondendo all'utente. Questo test nel mondo reale ha confermato che il sistema poteva gestire la disordinata realtà di un ambiente reale, inclusi le persone che passano e le variazioni di illuminazione, senza richiedere alcuna modifica strutturale al software. I risultati hanno mostrato che il robot poteva interpretare la voce umana, capire dove andare, trovare ciò che era necessario ed eseguire il compito, il tutto mentre girava su un piccolo computer che sta sul robot stesso.

Lo studio suggerisce che il futuro dei robot di servizio potrebbe non dipendere dal rendere i cervelli dei robot più grandi e complessi, ma piuttosto dall'organizzare il modo in cui pensano. Separando il compito di vedere da quello di ragionare, i ricercatori hanno dimostrato che un robot può essere sia altamente capace che efficiente. Sebbene i sistemi "tutto in uno" siano impressionanti, sono spesso troppo pesanti per l'uso pratico sui robot mobili. Questo approccio ibrido offre una strada percorribile affinché i robot possano essere impiegati in ospedali, hotel e uffici per assistere le persone, reagendo rapidamente agli ordini e muovendosi in sicurezza attraverso spazi affollati. Il lavoro non sostiene di aver risolto ogni problema della robotica, ma fornisce un metodo chiaro e dimostrato per creare robot che siano abbastanza intelligenti da aiutare e abbastanza veloci da essere utili.