Measuring Language Transfer in Robot Policies: Adding Greek to a Cosmos3 Vision-Language-Action Policy

I robot capaci di vedere, comprendere e muoversi stanno diventando una realtà, ma attualmente parlano un'unica lingua: l'inglese. Queste macchine imparano guardando video di esseri umani che eseguono compiti, dove le istruzioni sono scritte in inglese. Il software che aiuta loro a comprendere queste parole è addestrato su enormi quantità di testo inglese, il che lo rende incredibilmente bravo in quella specifica lingua. Per chiunque parli greco, o qualsiasi altra lingua, ciò crea una barriera difficile da superare. Non esistono librerie video di robot che spostano oggetti con istruzioni in greco, e costruirne una da zero richiederebbe mesi di guida manuale di un braccio robotico per ogni singola azione. La domanda che i ricercatori si sono posti era semplice: potevano prendere i dati esistenti in inglese, tradurre le istruzioni in greco tramite un computer e insegnare al robot a comprendere la nuova lingua senza ricostruire l'intero sistema?

La risposta si è rivelata più complicata di una semplice traduzione. Un team di ricercatori della Sophea AI e di KIEFER SA ad Atene ha preso un sistema robotico open-source e lo ha alimentato con migliaia di istruzioni in greco generate da una macchina. Non hanno cambiato il cervello del robot o la sua struttura fisica; hanno semplicemente sostituito il testo inglese con il testo greco. Il processo di traduzione è stato veloce e facile, richiedendo solo poche ore. Tuttavia, il vero lavoro è iniziato quando hanno cercato di misurare se il robot comprendesse effettivamente ciò che gli veniva detto. Nel mondo della robotica, è sorprendentemente facile ingannare un sistema facendolo apparire efficace quando in realtà sta solo tirando a indovinare. I ricercatori hanno scoperto che i test standard, che di solito forniscono un chiaro passaggio o un fallimento, sono stati completamente ingannati. Hanno scoperto che un robot poteva seguire un comando in greco con alti tassi di successo anche quando il comando era privo di senso, o anche quando il robot non era mai stato istruito sul greco. Questo accadeva perché il robot stava imparando a riconoscere la scena e gli oggetti piuttosto che leggere le parole.

Per risolvere questo problema, il team ha dovuto inventare nuovi modi per testare il robot. Hanno costruito un gruppo di controllo in cui hanno dato deliberatamente al robot istruzioni errate in greco per vedere se avrebbe comunque cercato di eseguire il compito. Hanno scoperto che, su un piccolo set di dieci compiti, un robot addestrato con istruzioni in greco generate tramite traduzione automatica sembrava avere successo circa l'ottantaquattro percento delle volte. Ma quando lo hanno testato con le istruzioni errate, aveva ancora successo circa l'ottantadue percento delle volte. Ciò ha dimostrato che il robot non stava leggendo il greco; stava solo reagendo alla configurazione visiva. Il robot stava ignorando completamente la lingua.

I ricercatori hanno quindi provato un approccio diverso. Hanno utilizzato un set più ampio di novanta compiti in cui il robot doveva scegliere tra più obiettivi possibili nella stessa scena. In questo caso, la lingua era l'unico segnale per dire al robot cosa fare. Hanno scoperto che un robot addestrato sia con istruzioni in inglese che in greco poteva seguire i comandi in greco circa il ventisette percento delle volte, il che era significativamente migliore del caso. Tuttavia, un robot addestrato solo con istruzioni in greco, senza alcun dato in inglese a supporto, migliorava appena rispetto al caso casuale. Sebbene l'addestramento bilingue fosse mediamente migliore dell'addestramento solo in greco, gli intervalli statistici delle loro prestazioni si sovrapponevano significativamente, il che significa che i dati non potevano confermare definitivamente che l'addestramento in inglese agisse come uno scaffold necessario per l'apprendimento del greco. Il risultato più robusto è stato che le dimostrazioni nella lingua target sono necessarie, ma da sole sono spesso insufficienti; una politica addestrata solo in greco segue a malapena la lingua, rimanendo entro tre punti dal proprio limite di fallimento attraverso molteplici sessioni di test.

Lo studio ha anche rivelato che il robot non stava imparando la lingua greca nel modo in cui farebbe un essere umano. Invece, stava memorizzando la specifica formulazione utilizzata dal traduttore automatico. Quando i ricercatori hanno testato il robot con frasi in greco scritte da un diverso programma per computer, le prestazioni del robot sono crollate drasticamente. Aveva imparato lo stile del primo traduttore, non la lingua stessa. Per correggere questo, hanno insegnato al robot lo stesso compito utilizzando sette diverse formulazioni in greco. Questo semplice cambiamento ha reso il robot molto più robusto, riducendo la caduta delle prestazioni della metà quando testato su nuove formulazioni. Ciò ha dimostrato che la varietà nei dati di addestramento è essenziale affinché il robot possa generalizzare oltre il singolo stile di scrittura di una macchina.

Forse la scoperta più sorprendente è stata che alcuni miglioramenti comuni in realtà rendevano il robot peggiore. Il team ha provato a iniziare l'addestramento del robot con un modello che era già stato adattato al greco, pensando che questo gli avrebbe dato un vantaggio iniziale. Invece, il robot è stato peggiore sia in inglese che in greco. Hanno anche provato a lasciare che la parte del cervello del robot che elabora il linguaggio imparasse liberamente, invece di mantenerla congelata. Anche questo ha degradato le prestazioni. I risultati suggeriscono che, per questi sistemi specifici, la strategia migliore è mantenere la parte di comprensione del linguaggio esattamente come era stata addestrata, e insegnare al robot solo come muoversi utilizzando le nuove istruzioni linguistiche.

I ricercatori hanno anche tentato di testare questi metodi su una vasta collezione di dati robotici reali, molto più grandi dei loro test simulati. Hanno tradotto oltre cinquantamila episodi robotici reali in greco. Tuttavia, non hanno potuto misurare il successo di questi dati perché mancavano dell'hardware fisico necessario per eseguire i test. Ciò ha evidenziato un importante collo di bottiglia nel settore: tradurre i dati è economico e veloce, ma verificare che il robot abbia effettivamente imparato è lento, costoso e richiede attrezzature fisiche.

In definitiva, il documento conclude che aggiungere una nuova lingua a un robot è possibile, ma non è così semplice come una traduzione. Richiede un tipo specifico di modello base che comprenda già la lingua, un mix di dati di addestramento sia nella nuova lingua che in inglese, e un processo di test molto accurato che includa fallimenti deliberati per garantire che il robot stia effettivamente ascoltando. Il robot non impara la lingua in modo profondo, come un essere umano; impara ad associare schemi specifici di parole ad azioni, e ha bisogno della stabilità dell'addestramento in inglese per farlo, sebbene il meccanismo esatto di come l'inglese supporti il greco rimanga una questione aperta piuttosto che una regola confermata. Il lavoro funge da avvertimento per altri nel settore: non fidatevi del tasso di successo di un robot alla faccia del dato, e testate sempre con un gruppo di controllo che dimostri che il robot non stia solo tirando a indovinare. Il percorso verso un robot multilingue è pavimentato non solo dai dati, ma dalla rigorosa disciplina di provare che i dati siano stati effettivamente compresi.