StructRL: Structured Action-Space Exploration for Flow-Based VLAs

Roboter, die menschliche Sprache verstehen und komplexe Anweisungen befolgen können, sind nicht länger nur ein Traum der Science-Fiction; sie werden in Laboren auf der ganzen Welt zur Realität. Diese Systeme, bekannt als Vision-Language-Action-Modelle, fungieren als das Gehirn eines Roboters, indem sie erfassen, was der Roboter sieht und was ein Mensch sagt, und dann entscheiden, wie genau er seine Arme und Hände bewegen muss, um eine Aufgabe zu erfüllen. Um diese Bewegungen geschmeidig und präzise zu gestalten, verwenden Forscher oft eine Technik, die der eines Bildhauers gleicht, der einen Klotz Ton verfeinert. Der Computer beginnt mit einer groben, verrauschten Vermutung dessen, was der Roboter tun sollte, und bereinigt diese Schritt für Schritt, bis eine perfekte, fließende Bewegung entsteht. Dieser Prozess ist unglaublich leistungsstark, stößt aber an eine Grenze, wenn der Roboter versucht, neue Aufgaben eigenständig zu erlernen. Um zu lernen, muss ein Roboter explorieren, also verschiedene Aktionen ausprobieren, um zu sehen, was funktioniert und was nicht. Wenn der Roboter jedoch versucht zu lernen, indem er während dieses Bereinigungsprozesses zufällige Unruhen (Jitter) in seine Bewegungen einfügt, kann der Akt des Bereinerns selbst dazu führen, dass diese Unruhen versehentlich geglättet werden, noch bevor der Roboter sie überhaupt ausprobiert hat. Der Roboter endet in einer Art der Exploration, die entweder zu zufällig ist, um nützlich zu sein, oder zu chaotisch, um sicher zu sein.

Ein Team von Forschern hat einen besseren Weg entdeckt, wie man diesen Robotern beibringen kann, aus ihren eigenen Fehlern zu lernen. Sie fanden heraus, dass das Problem nicht die Idee war, Rauschen hinzuzufügen, um die Exploration zu fördern, sondern vielmehr das Wo, an dem dieses Rauschen hinzugefügt wurde. Bei früheren Methoden wurden die zufälligen Variationen früh im Bereinigungsprozess injiziert, nur um in den darauffolgenden Schritten, die die Bewegung verfeinerten, teilweise wieder gelöscht zu werden. Die Forscher nennen dieses Phänomen „strukturierte Rauschverdünnung“ (structured noise dilution), bei dem die spezifischen, hilfreichen Explorationsmuster weggewaschen werden, bevor sie das tatsächliche Verhalten des Roboters beeinflussen können. Um dies zu lösen, entwickelten sie einen neuen Ansatz namens StructRL. Anstatt Rauschen hinzuzufügen, während der Computer noch an der Bewegung arbeitet, lassen sie den Computer zuerst seine Arbeit vollenden und einen sauberen, perfekten Bewegungsplan erstellen. Erst nachdem dieser Plan fertiggestellt ist, fügen sie die notwendigen Variationen direkt an der fertigen Bewegung hinzu. Dies stellt sicher, dass der Roboter tatsächlich die neuen, leicht abweichenden Aktionen ausprobiert, anstatt dass diese durch die internen Berechnungen des Computers geglättet werden.

Der Schlüssel zum Erfolg lag in der Erkenntnis, dass Roboterbewegungen eine spezifische Struktur haben, die zufälliges Rauschen oft ignoriert. Ein Roboterarm bewegt sich auf drei unterschiedliche Arten: Er verändert seine Position im Raum, er rotiert seine Orientierung und er öffnet oder schließt seinen Greifer. Diese drei Arten der Bewegung sind voneinander verschieden; eine kleine Verschiebung der Position könnte sicher sein, während eine ähnlich große Rotation gefährlich sein könnte, und der Greifer benötigt eine völlig andere Art der Steuerung. Die Forscher entwarfen ihre neue Methode so, dass sie diese Unterschiede respektiert. Sie fügten Rauschen hinzu, das über die Zeit glatt verlief, damit der Roboter nicht hin und her zuckt, und sie skalierten das Rauschen unterschiedlich für jeden Teil der Bewegung. Dies bedeutete, dass der Roboter neue Positionen mit einem großzügigen Bewegungsspiel erkunden konnte, während er seine Rotationen und Greiferaktionen viel vorsichtiger und kontrollierter ausführte. Indem sie den internen Bereinigungsprozess des Computers deterministisch und vorhersehbar hielten und erst am Ende die notwendige Zufälligkeit einführten, stellten die Forscher sicher, dass die Exploration des Roboters sowohl sicher als auch effektiv war.

Das Team testete diese neue Methode an einer Vielzahl von simulierten Aufgaben und an einem echten Roboterarm in einem Labor. In den Simulationen wurden die Roboter gebeten, komplexe Manipulationsaufgaben auszuführen, wie etwa Objekte aufzuheben, sie an bestimmte Orte zu bewegen und Teile zusammenzusetzen. Die Ergebnisse zeigten einen klaren Vorteil für den neuen Ansatz. Bei einer Reihe anspruchsvoller Langzeitaufgaben (long-horizon tasks) erreichten die Roboter, die die neue Methode verwendeten, eine Erfolgsquote von fast 99 Prozent und übertrafen damit die älteren Methoden, die Rauschen während des Bereinigungsprozesses hinzufügten, deutlich. Die Verbesserung war noch deutlicher, wenn die Roboter mit Situationen konfrontiert wurden, die sie noch nie zuvor gesehen hatten, wie etwa Objekten an neuen Standorten oder unter anderen Lichtverhältnissen. Die mit der neuen Methode trainierten Roboter waren in der Lage, sich viel schneller anzupassen und lernten, diese unerwarteten Änderungen mit weniger Versuchen zu bewältigen. Dies deutet darauf hin, dass die Bewahrung der Struktur der Exploration entscheidend ist, um den Robotern zu helfen, ihre Fähigkeiten auf die unordentliche, unvorhersehbare reale Welt zu generalisieren.

Um zu beweisen, dass dies auch außerhalb des Computers funktionierte, installierten die Forscher ihr leistungsfähigstes Modell auf einem physischen Roboterarm in einem echten Labor. Sie gaben dem Roboter zwei spezifische Herausforderungen: das Aufheben einer Banane und das Einstecken eines Ladegeräts in eine Steckdose. Zu Beginn hatte der Roboter nur wenige Demonstrationen dieser Aufgaben gesehen und versagte völlig, als er aufgefordert wurde, sie eigenständig durchzuführen. Die Forscher ließen den Roboter dann durch Versuch und Irrtum lernen, unter Verwendung der neuen strukturierten Explorationsmethode. Für die Bananenaufgabe lernte der Roboter, die Frucht nach nur einer Stunde Online-Lernen in 84 Prozent der Fälle erfolgreich aufzuheben, während ein Roboter, der die ältere, weniger strukturierte Methode verwendete, nur in 56 Prozent der Fälle erfolgreich war. Für die Ladegeräteaufgabe, die feine motorische Fähigkeiten erforderte, um den Stecker an der Steckdose auszurichten, ermöglichte die neue Methode dem Roboter, einen stabilen, erfolgreichen Zustand etwa fünf Minuten schneller zu erreichen als die ältere Methode. Diese realen Ergebnisse bestätigten, dass die theoretischen Verbesserungen direkt in schnelleres, zuverlässigeres Lernen für physische Maschinen übergingen.

Der Erfolg dieser Arbeit unterstreicht einen grundlegenden Wandel in der Art und Weise, wie wir Roboter lehren können, zu lernen. Er zeigt, dass die Art und Weise, wie ein Roboter seine Umgebung exploriert, genauso wichtig ist wie die Intelligenz, die er nutzt, um Entscheidungen zu treffen. Indem die Forscher verstanden, dass der interne „Denkprozess“ eines Roboters stabil und vorhersehbar bleiben sollte, während der „Handlungsprozess“ der Ort für das Experimentieren ist, konnten sie Systeme schaffen, die effizienter und sicherer lernen. Die Ergebnisse legen nahe, dass wir, damit Roboter die komplexen, kontinuierlichen Bewegungen meistern können, die für Aufgaben in der realen Welt erforderlich sind, aufhören müssen, ihre Handlungen als eine Serie von zufälligen Vermutungen zu behandeln, und statfangen müssen, sie als strukturierte, zielgerichtete Experimente zu betrachten. Dieser Ansatz macht Roboter nicht nur besser darin, Anweisungen zu befolgen; er gibt ihnen die Fähigkeit, neue Anweisungen von selbst zu entwickeln – ein entscheidender Schritt hin zu Maschinen, die uns im Alltag wirklich unterstützen können.