AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation

Immaginate un robot che entra in una stanza che non ha mai visto prima, con il compito di trovare un oggetto specifico basandosi su una descrizione verbale come "lo sgabello sotto il quadro". Per decenni, i robot hanno risolto questo problema costruendo una mappa matematica precisa del mondo utilizzando laser e telecamere, per poi cercare nella mappa oggetti con nomi pre-programmati. Questo funzionava bene per trovare una "sedia" o un "tavolo", ma falliva quando le istruzioni diventavano creative o specifiche, come "la sedia rossa vicino alla finestra". Il vocabolario del robot era congelato; non era in grado di comprendere nuove descrizioni. Negli ultimi anni, sono emersi potenti modelli di intelligenza artificiale in grado di guardare un'immagine e comprendere quasi ogni descrizione che un essere umano potrebbe dare. Tuttavia, questi modelli sono eccellenti nel linguaggio, ma terribili nella matematica. Possono dirti cos'è un oggetto, ma spesso tirano a indovinare selvaggiamente quando viene chiesto loro quanto sia lontano o esattamente dove spostarsi per raggiungerlo. Se un robot si affida interamente a un modello del genere per navigare, potrebbe guidare con fiducia verso un punto che non esiste, perché il modello ha inventato una distanza che non è reale.

I ricercatori dietro questo lavoro, noti come AnchorVLN, hanno affrontato questo problema creando un sistema che separa rigorosamente ciò che il robot conosce da come si muove. Si sono resi conto che l'approccio migliore è lasciare che l'intelligenza artificiale gestisca il linguaggio e l'identificazione degli oggetti, mentre il robot gestisce i propri sensori fisici per le misurazioni di distanza e direzione. Hanno costruito un sistema in cui l'IA agisce come una guida che indica "cosa" cercare, ma non cerca mai di dire "quanto lontano" andare. Invece, il sistema utilizza un insieme di strumenti digitali che traducono le descrizioni dell'IA in coordinate fisiche utilizzando i dati laser reali dell'ambiente del robot. Ciò garantisce che il robot non agisca mai su un numero inventato. Il sistema è stato testato in una sfida che coinvolgeva quindici diverse scene interne, dove il robot doveva seguire trenta istruzioni complesse e rispondere a quarantacinque domande sulla posizione degli oggetti. I risultati hanno mostrato che, quando il sistema utilizzava questa separazione dei compiti, seguiva le istruzioni con successo il 64,4 percento delle volte. Quando i ricercatori hanno rimosso la parte che controllava le distanze fisiche, il tasso di successo è sceso significativamente. Inoltre, quando gli è stato chiesto di indicare l'esatta posizione di un oggetto, il sistema che utilizzava i veri sensori era molto più accurato di un sistema che cercava di indovinare la posizione, riducendo l'errore medio nel trovare il centro di un oggetto da oltre tre metri a meno di due metri e mezzo.

Il nucleo di questo traguardo è un nuovo modo di connettere il cervello del robot al suo corpo. I ricercatori hanno progettato un protocolo di comunicazione in cui l'intelligenza artificiale può parlare solo in frasi e nomi, mai in numeri. Quando il robot vede l'immagine di una stanza, l'IA potrebbe identificare uno "sgabello" e dargli un nome temporaneo, come "oggetto sette". L'IA chiede poi al sistema di trovare lo sgabello. Il sistema non chiede all'IA quanto sia lontano lo sgabello. Invece, il sistema osserva lo scanner laser del proprio robot, che misura la distanza reale dal pavimento e dalle pareti. Trova lo sgabello nei dati laser, calcola la distanza reale e dice al robot di muoversi verso quel punto specifico. Se l'IA prova a indovinare una distanza, il sistema semplicemente ignora il numero perché gli strumenti che utilizza non sono programmati per accettarli. Questo costringe il robot a fare affidamento sui propri sensi per il movimento, proprio come un essere umano farebbe affidamento sui propri occhi per giudicare la distanza mentre ascolta le indicazioni di un amico. Il robot può comunque comprendere istruzioni complesse, come "vai alla sedia più vicina alla TV", perché il sistema può confrontare le distanze reali di tutte le sedie che ha visto rispetto alla TV, invece di chiedere all'IA di fare il calcolo.

Questo approccio risolve anche il problema del robot che si blocca o si muove verso uno spazio vuoto. Se l'IA non riesce a trovare un oggetto, il sistema non forza il robot a indovinare. Invece, gli dice di spostarsi in un nuovo punto dove potrebbe avere una visuale migliore. Il robot scansiona quindi nuovamente l'area e il sistema aggiorna la sua lista interna di oggetti. Questa lista è come una memoria crescente della stanza, dove ogni oggetto che il robot vede viene registrato con la sua dimensione e posizione reali. Se il robot vede lo stesso oggetto da un'angolazione diversa, il sistema aggiorna il record per rendere la forma più accurata, invece di creare una nuova, confondente voce. Ciò consente al robot di costruire una comprensione affidabile dello spazio nel tempo, anche se parte senza una mappa e senza alcuna conoscenza precedente della stanza. I ricercatori hanno scoperto che questo metodo ha permesso al robot di navigare con successo in ambienti che non aveva mai visitato prima, senza dover essere riprogrammato per ogni nuova stanza o ogni nuovo tipo di oggetto.

Lo studio evidenzia un cambiamento fondamentale nel modo in cui i robot interagiscono con il mondo. Invece di cercare di far fare a un singolo modello di intelligenza artificiale tutto, dalla comprensione del linguaggio al calcolo della fisica, i ricercatori hanno costruito un team in cui ogni parte fa ciò per cui è più portata. L'intelligenza artificiale gestisce la creatività e il linguaggio, mentre i sensori del robot gestiscono la precisione e il movimento. Questa divisione del lavoro impedisce al robot di commettere errori pericolosi basati su ipotesi sicure. I risultati della sfida dimostrano che questo metodo non è solo un'idea teorica, ma una soluzione pratica che funziona in scenari reali. Mantenendo separati il linguaggio e la matematica, il robot può seguire istruzioni complesse e trovare oggetti con un livello di accuratezza che era precedentemente impossibile per i sistemi che si affidavano a un singolo modello. Il lavoro suggerisce che, affinché i robot possano davvero navigare nel mondo imprevedibile degli umani, devono fidarsi dei propri sensi per i numeri difficili, lasciando che l'intelligenza artificiale li guidi con le parole.