ReLI: Cross-Lingual Language-to-Action Grounding for Human-Robot Interaction

Stellen Sie sich eine Welt vor, in der ein Roboter einen Befehl in jeder Sprache verstehen kann, von den am weitesten verbreiteten Zungen bis hin zu seltenen Dialekten, die in kleinen Gemeinschaften gesprochen werden. Jahrzehntelang wurde der Traum einer natürlichen Mensch-Roboter-Kollaboration durch eine einfache Barriere aufgehalten: die Sprache. Während moderne Roboter zunehmend in der Lage sind, ihre Umgebung wahrzunehmen und sich darin zu bewegen, wurden sie weitgehend darauf trainiert, nur eine Handvoll bedeutender Sprachen wie Englisch oder Mandarin zu verstehen. Diese Einschränkung schließt Milliarden potenzieller Nutzer aus, die andere Sprachen, Dialekte oder Kreolsprachen sprechen, und sperrt sie damit effektiv von der Zukunft der Automatisierung aus. Das Feld der Mensch-Roboter-Interaktion beruht auf der Fähigkeit, eine gesprochene oder geschriebene Anfrage in eine physische Handlung zu übersetzen, ein Prozess, der als Grounding bezeichnet wird. Bis jetzt war diese Übersetzung eine Einbahnstraße, die nur für diejenigen gut funktionierte, die Zugang zu ressourcenreichen Sprachen hatten, und ließ den Rest der Welt zurück.

Ein Forscherteam hat ein neues System namens ReLI entwickelt, das darauf ausgelegt ist, diese sprachlichen Mauern einzureißen. ReLI ermöglicht es autonomen Agenten, natürlich zu konversieren, über ihre Umgebung zu urteilen und Aufgaben auszuführen, unabhängig von der Sprache, in der die Anweisung gegeben wird. Das System verlässt sich nicht darauf, die Sprache des Nutzers zuerst ins Englische zu übersetzen, noch erfordert es, dass der Roboter für jede neue Sprache neu trainiert wird. Stattdessen nutzt es die inhärente Fähigkeit großer vortrainierter Computermodelle, die Bedeutung hinter Wörtern über hunderte verschiedene Sprachen hinweg gleichzeitig zu verstehen. Durch die Kombination dieser Sprachmodelle mit visuellen Sensoren, die es dem Roboter ermöglichen, Objekte und Räume zu „sehen“, kann ReLI einen Befehl wie „finde den roten Stuhl“, der in einem seltenen Dialekt ausgesprochen wurde, in eine präzise physische Bewegung umwandeln – und das, ohne dass der Nutzer technisches Wissen benötigt oder eine dominante Weltsprache sprechen muss.

Die Forscher testeten dieses System sowohl in simulierten Umgebungen als auch in realen Settings unter Verwendung von Radrobotern und vierbeinigen Maschinen, die mit Kameras und Tiefensensoren ausgestattet waren. Sie forderten die Roboter mit über 70.000 mehrstufigen Gesprächen in mehr als 140 verschiedenen Sprachen heraus. Diese Sprachen wurden sorgfältig ausgewählt, um ein breites Spektrum der linguistischen Vielfalt der Welt darzustellen, einschließlich ressourcenreicher Sprachen mit riesigen digitalen Datenmengen, ressourcenarmer Sprachen mit begrenzten Daten sowie gefährdeter Sprachen oder Kreolsprachen, die oft von der Technologie ignoriert werden. Die Aufgaben reichten von einfachen, einstufigen Befehlen, wie etwa das Vorwärtsbewegen über eine bestimmte Distanz, bis hin zu komplexen, mehrstufigen Missionen, die erforderten, dass der Roboter durch einen Raum navigiert, ein Objekt basierend auf einer Beschreibung identifiziert und Bericht erstattet, was er gefunden hat.

Die Ergebnisse zeigten, dass das System über diese enorme linguistische Landschaft hinweg eine bemerkenswerte Konsistenz aufwies. In fast allen getesteten Sprachen verstand der Roboter die Absicht des Nutzers korrekt und führte die Aufgabe mit einer Erfolgsquote von über 83 Prozent aus. Für viele der gängigsten Sprachen stieg die Erfolgsquote auf über 97 Prozent. Selbst für die vulnerabelsten und am wenigsten ressourcierten Sprachen behielt das System ein hohes Maß an Genauigkeit bei, indem es Anweisungen erfolgreich analysierte und den Roboter zu seinem Ziel führte. Die Zeit, die der Robot benötigte, um einen Befehl zu verarbeiten und mit der Bewegung zu beginnen, blieb stabil und lag im Durchschnitt zwischen 2,1 und 2,6 Sekunden, unabhängig davon, ob die Anweisung in einer großen Weltsprache oder einem seltenen Dialekt gegeben wurde. Diese Geschwindigkeit und Zuverlässigkeit deuten darauf hin, dass das System nicht nur ein theoretisches Konzept ist, sondern ein praktisches Werkzeug, das in Echtzeit funktionieren kann.

Um sicherzustellen, dass die Technologie wirklich inklusiv war, führten die Forscher auch eine Studie mit menschlichen Teilnehmern durch, die mit den Robotern in ihren Muttersprachen interagierten. Vierunddreißig Bewerter, die fließend 13 verschiedene Sprachen sprachen, testeten das System in einer realen Laborumgebung. Sie berichteten, dass sich die Interaktionen natürlich und reaktionsschnell anfühlten, wobei die große Mehrheit angab, keinen Leistungsunterschied basierend auf der verwendeten Sprache wahrgenommen zu haben. Dieser Befund ist entscheidend, da er zeigt, dass das System keine Sprache gegenüber einer anderen bevorzugt und keinen verborgenen Graben schafft, in dem Nutzer bestimmter Sprachen eine schlechtere Erfahrung machen. Das System bewältigte erfolgreich Code-Switching, bei dem ein Nutzer Wörter aus zwei verschiedenen Sprachen in einem einzigen Satz mischen kann, und es bewältigte komplexes räumliches Denken, wie etwa die Navigation zu einem Ort, der nur durch seine Funktion beschrieben wird, etwa „der Ort, an dem das Essen gekocht wird“.

Der Kern dieser Leistung liegt darin, wie das System Sprache mit Handlung verbindet. Wenn ein Nutzer einen Befehl spricht oder tippt, normalisiert das System zunächst die Eingabe, indem es Sprache bei Bedarf in Text umwandelt, und leitet sie dann an ein großes Sprachmodell weiter, das als das Gehirn des Roboters fungiert. Dieses Modell interpretiert die Absicht des Befehls und bricht ihn in eine Sequenz logischer Schritte herunter. Es konsultiert dann die visuellen Sensoren des Roboters, um die im Befehl erwähnten Objekte und Räume zu identifizieren. Wenn ein Nutzer bittet, zu einem bestimmten Stuhl zu gehen, nutzt das System Computer Vision, um diesen Stuhl im Raum zu lokalisieren, seine exakte Position im dreidimensionalen Raum zu bestimmen und den Pfad zu berechnen, den der Roboter nehmen muss, um ihn zu erreichen. Schließlich erstellt das System einen Plan und bittet zur Sicherheit oft um die Bestätigung des Nutzers, bevor es komplexe oder weitreichende Bewegungen ausführt. Dieser gesamte Prozess geschieht nahtlos und überbrückt die Lücke zwischen menschlichem Denken und maschineller Handlung, ohne die Notwendigkeit einer expliziten Übersetzung oder eines spezialisierten Trainings für jede neue Sprache.

Die Studie untersuchte auch die Grenzen dieser Technologie und zeigte, dass das System zwar robust, aber nicht unfehlbar ist. Die signifikantesten Herausforderungen ergaben sich, wenn der Roboter Objekte identifizieren musste, die sich sehr ähnlich sahen, oder wenn die visuelle Umgebung unübersichtlich war, was es schwierig machte, das Zielobjekt zu unterscheiden. Zudem waren Aufgaben, die eine Navigation durch komplexe, mehrstufige Sequenzen erforderten, etwas anfälliger für Fehler als einfache, direkte Befehle, schlichtweg weil mehr Möglichkeiten für einen Fehler in der Kette der logischen Schlussfolgerungen bestanden. Dennoch blieb die Leistung des Systems selbst in diesen schwierigen Szenarien stark, und die Forscher stellten fest, dass die Fehler oft mit den physischen Grenzen der Sensoren des Roboters oder der Komplexität der Umgebung zusammenhingen und nicht mit einem Versagen des Sprachverständnisses.

Indem sie demonstrierten, dass ein einziges Framework über 140 Sprachen mit hoher Genauigkeit handhaben kann, weist diese Arbeit den Weg für die zukünftige Mensch-Roboter-Interaktion. Sie bewegt sich weg von der Vorstellung, dass Roboter eine spezifische Sprache lernen müssen, um nützlich zu sein, und hin zu einem Modell, bei dem sich der Roboter an die Muttersprache des Nutzers anpasst. Die Forscher haben ihre Daten und ihren Code der Öffentlichkeit zur Verfügung gestellt und laden andere ein, auf dieser Grundlage aufzubauen. Das ultimative Ziel ist nicht nur, Roboter zu schaffen, die viele Sprachen sprechen können, sondern eine Zukunft zu gestalten, in der die Fähigkeit, eine Maschine zu steuern, ein universelles Recht ist – zugänglich für jeden, überall, in der Sprache, die er am besten kennt. Dieser Wandel verspricht, den Zugang zur Automatisierung zu demokratisieren und sicherzustellen, dass die Vorteile der Robotik der gesamten Menschheit zugutekommen und nicht nur denjenigen, die die Sprachen der digitalen Elite sprechen.