Measuring Language Transfer in Robot Policies: Adding Greek to a Cosmos3 Vision-Language-Action Policy

Robots die kunnen zien, begrijpen en bewegen worden werkelijkheid, maar momenteel spreken ze slechts één taal: Engels. Deze machines leren door video's te bekijken van mensen die taken uitvoeren, waarbij de instructies in het Engels zijn geschreven. De software die hen helpt deze woorden te begrijpen, is getraind op enorme hoeveelheden Engelse tekst, waardoor deze ongelooflijk goed is in die specifieke taal. Voor iedereen die Grieks spreekt, of een andere taal, creëert dit een harde barrière. Er zijn geen videobibliotheken van robots die objecten verplaatsen met Griekse instructies, en het vanaf nul opbouwen van een dergelijke bibliotheek zou maanden handmatige begeleiding van een robotarm voor elke enkele actie vereisen. De vraag die onderzoekers stelden was simpel: konden zij de bestaande Engelse data nemen, de instructies met een computer naar het Grieks vertalen, en de robot leren de nieuwe taal te begrijpen zonder het hele systeem opnieuw op te bouwen?

Het antwoord bleek complexer dan een eenvoudige vertaling. Een team onderzoekers bij Sophea AI en KIEFER SA in Athene nam een open-source robotsysteem en voerde het duizenden Griekse instructies die door een machine waren gegenereerd. Ze veranderden de hersenen of de fysieke structuur van de robot niet; ze vervingen simpelweg de Engelse tekst door Griekse tekst. Het vertaalproces was snel en eenvoudig en duurde slechts enkele uren. Echter, het echte werk begon toen ze probeerden te meten of de robot daadwerkelijk begreep wat hem werd verteld. In de wereld van de robotica is het verrassend gemakkelijk om een systeem te misleiden zodat het succesvol lijkt terwijl het eigenlijk gewoon gokt. De onderzoekers ontdekten dat standaardtests, die normaal gesproken een duidelijk pass of fail geven, volledig werden misleid. Ze ontdekten dat een robot een Griekse opdracht met hoge succespercentages kon opvolgen, zelfs wanneer de opdracht onzin was, of zelfs wanneer de robot nooit Grieks had geleerd. Dit gebeurde omdat de robot leerde de scène en de objecten te herkennen in plaats van de woorden te lezen.

Om dit op te lossen, moest het team nieuwe manieren verzinnen om de robot te testen. Ze bouwden een controlegroep waarin ze de robot doelbewust verkeerde instructies in het Grieks gaven om te zien of hij nog steeds de taak zou proberen uit te voeren. Ze ontdekten dat een robot die getraind was met machinaal vertaalde Griekse instructies, bij een kleine set van tien taken ongeveer vierentachtig procent van de tijd leek te slagen. Maar wanneer ze hem met de verkeerde instructies testten, slaagde hij nog steeds ongeveer tweeentachtig procent van de tijd. Dit bewees dat de robot het Grieks niet las; hij reageerde simpelweg op de visuele opstelling. De robot negeerde de taal volledig.

De onderzoekers probeerden vervolgens een andere aanpak. Ze gebruikten een grotere set van negentig taken waarbij de robot moest kiezen tussen meerdere mogelijke doelen in dezelfde scène. Hier werd de taal het enige signaal om de robot te vertellen wat hij moest doen. Ze ontdekten dat een robot die getraind was op zowel Engelse als Griekse instructies, de Griekse commando's ongeveer zevenentwintig procent van de tijd kon opvolgen, wat aanzienlijk beter was dan een willekeurige kans. Een robot die echter alleen op Griekse instructies was getraind, zonder enige Engelse data om dit te ondersteunen, verbeterde nauwelijks ten opzichte van willekeurig gokken. Hoewel tweetalige training gemiddeld beter presteerde dan Grieks-alleen training, overlapten de statistische bereiken van hun prestaties aanzienlijk, wat betekende dat de data niet definitief kon bevestigen dat Engelse training fungeerde als een noodzakelijk steunpunt voor het leren van het Grieks. De meest robuuste bevinding was dat demonstraties in de doeltaal noodzakelijk zijn, maar op zichzelf vaak onvoldoende zijn; een beleid dat alleen op het Grieks is getraind, volgt de taal nauwelijks en blijft bij meerdere testruns binnen drie punten van zijn eigen foutenmarge.

De studie onthulde ook dat de robot de Griekse taal niet leerde zoals een mens dat doet. In plaats daarvan memoriseerde hij de specifieke formuleringen die door de machinevertaler werden gebruikt. Wanneer de onderzoekers de robot testten met Griekse zinnen geschreven door een ander computerprogramma, daalde de prestatie van de robot scherp. Hij had de stijl van de eerste vertaler geleerd, niet de taal zelf. Om dit op te lossen, leerden ze de robot dezelfde taak met zeven verschillende Griekse formuleringen. Deze eenvoudige verandering maakte de robot veel robuuster en verminderde de prestatiedaling bij het testen met nieuwe formuleringen met de helft. Dit toonde aan dat variëteit in de trainingsdata essentieel is voor de robot om te kunnen generaliseren buiten de schrijfstijl van een enkele machine.

Misschien wel de meest verrassende bevinding was dat sommige logische verbeteringen de robot juist slechter maakten. Het team probeerde de training van de robot te laten beginnen met een model dat al was aangepast aan het Grieks, in de veronderstelling dat dit hem een voorsprong zou geven. In plaats daarvan presteerde de robot slechter in zowel het Engels als het Grieks. Ze probeerden ook het deel van de hersenen van de robot dat taal verwerkt vrij te laten leren, in plaats van het bevroren te houden. Dit verslechterde de prestaties ook. De resultaten suggereren dat voor deze specifieke systemen de beste strategie is om het deel van de hersenen dat taal begrijpt exact zo te houden als het getraind is, en alleen de robot te leren hoe hij moet bewegen met behulp van de nieuwe taalinstructies.

De onderzoekers probeerden deze methoden ook te testen op een enorme collectie echte robotdata, veel groter dan hun gesimuleerde tests. Ze vertaalden meer dan vijftig duizend echte robotepisoden naar het Grieks. Ze konden de successen van deze data echter niet meten omdat ze de fysieke robothardware misten die nodig is om de tests uit te voeren. Dit benadrukte een grote flessenhals in het vakgebied: het vertalen van de data is goedkoop en snel, maar het verifiëren of de robot daadwerkelijk heeft geleerd is traag, duur en vereist fysieke apparatuur.

Uiteindelijk concludeert het artikel dat het toevoegen van een nieuwe taal aan een robot mogelijk is, maar dat het niet zo eenvoudig is als vertaling. Het vereist een specifiek type basismodel dat de taal al begrijpt, een mix van trainingsdata in zowel de nieuwe taal als het Engels, en een zeer zorgvuldig testproces dat bewuste mislukkingen bevat om te verzekeren dat de robot daadwerkelijk luistert. De robot leert de taal niet op een diepe, menselijke manier; hij leert specifieke patronen van woorden te associëren met acties, en hij heeft de stabiliteit van de Engelse training nodig om dit te doen, hoewel het exacte mechanisme van hoe Engels het Grieks ondersteunt een open vraag blijft in plaats van een bevestigde regel. Het werk dient als een waarschuwing voor anderen in het veld: vertrouw het succespercentage van een robot niet op waarde alleen, en test altijd met een controlegroep die bewijst dat de robot niet gewoon aan het gokken is. Het pad naar een meertalige robot wordt niet alleen geplaveid met data, maar met de rigoureuze discipline om te bewijzen dat de data daadwerkelijk begrepen is.