D-VLC: Decentralized Vision-Language Collaboration for Heterogeneous Embodied Multi-Robot Systems in Unknown Environments

Immaginate un mondo in cui un gruppo di robot viene lasciato in una casa nuova e disordinata che non hanno mai visto prima. Il loro capo umano dà loro un comando vago e complicato come: "Trova il vecchio orologio e il garage, ma fai attenzione!". In passato, far lavorare insieme un team di robot diversi per un compito del genere era come cercare di dirigere un'orchestra dove ogni musicista parla una lingua diversa e ha uno spartito diverso. Avevano bisogno di un copione rigido e pre-scritto (un piano "basato su regole") che dicesse loro esattamente cosa fare, il che significava che non riuscivano a gestire sorprese o nuove istruzioni molto bene.

Per risolvere questo problema, gli scienziati hanno iniziato a dotare i robot di "Grandi Cervelli". Prima, hanno dato loro i Large Language Models (LLM), che sono come super-intelligenti lettori di testi capaci di comprendere frasi complesse e scomporre grandi compiti in piccoli passi. Poi, hanno aggiunto i Vision-Language Models (VLM), che sono come quei lettori di testo, ma con gli occhi. Questi modelli possono guardare un'immagine, capire ciò che vedono (come "quella è una porta" o "quella è una tazza rossa") e collegarlo alle parole che sentono. La grande domanda che i ricercatori si pongono è: possiamo dare a un team di diversi robot questi "occhi e cervelli" affinché possano capire le cose al volo, senza bisogno di una mappa pre-scritta o di un capo centrale che diriga ogni loro mossa?

Questo è esattamente ciò che esplora il documento D-VLC (Decentralized Vision-Language Collaboration). I ricercatori hanno costruito un sistema in cui un team di diversi robot — nello specifico due droni volanti e un robot terrestre con braccia meccaniche — lavorano insieme in ambienti sconosciuti usando questi modelli di IA intelligenti. Inveve di avere un unico computer centrale che prende tutte le decisioni (il che può diventare lento e confuso), ogni robot pensa per sé, condivide solo le informazioni più importanti e aiuta i propri compagni quando necessario.

Ecco come avviene la magia: immaginate che i robot siano un gruppo di esploratori in una caverna buia. Inveve di urlare la propria intera storia agli altri, si passano un piccolo schizzo semplificato della caverna che hanno visto finora (una "mini-mappa"). Se un drone volante vede una porta che non può aprire, non si limita a restare bloccato; chiede al robot terrestre: "Ehi, puoi aprirla tu?". Il robot terrestre risponde: "Certo", e lo fa. Il drone vola poi oltre per cercare l'indizio successivo. Lo fanno senza aspettare una riunione di gruppo; continuano semplicemente a muoversi, pensare e aiutarsi a vicenda in modo asincrono.

Il documento mostra che questo approccio funziona molto bene nelle simulazioni. Quando testato in scenari complicati come una rovina post-disastro, un ospedale e una casa, il team di robot ha trovato i propri obiettivi con successo più del 70% delle volte, indipendentemente da quale specifico modello di IA "Grande Cervello" venisse utilizzato. Ancora meglio, hanno completato i loro compiti molto più velocemente di un team di robot che si muoveva ciecamente verso lo spazio vuoto più vicino (un approccio "geometrico greedy"). Infatti, la configurazione più intelligente è stata il 55,8% più veloce.

I ricercatori hanno scoperto che questo metodo è eccellente perché non richiede di essere riaddestrato per ogni nuovo robot o ogni nuova stanza. I robot possono comprendere le istruzioni, guardare ciò che li circonda e capire chi debba fare cosa in base alle proprie capacità. Sebbene questo sia stato testato in simulazioni al computer e non ancora su robot reali nel mondo reale, i risultati suggeriscono che dotare i robot di questo tipo di "senso comune" decentralizzato e cooperativo potrebbe essere la chiave per permettere loro di affrontare complessi lavori del mondo reale insieme, senza la necessità di un essere umano che microgestioni ogni singolo passaggio.