Roboter kämpfen schon lange damit, sich mit der natürlichen Geschmeidigkeit von Lebewesen zu bewegen. Während Ingenieure Maschinen programmieren können, um in geraden Linien zu gehen oder Treppen zu steigen, bleibt es eine hartnäckige Herausforderung, sie dazu zu bringen, die komplexen, ausdrucksstarken Gesten eines Menschen oder den einzigartigen Gang eines Tieres nachzuahmen. Die Kernschwierigkeit liegt in der Übersetzung: Ein menschlicher Körper und ein Roboterkörper sind unterschiedlich aufgebaut, mit einer unterschiedlichen Anzahl von Gelenken und unterschiedlichen physikalischen Grenzen. Traditionell mussten Forscher, um einen Roboter eine menschliche Bewegung kopieren zu lassen, die menschliche Bewegung manuell in einen Code umschreiben, den der Roboter verstehen konnte – ein Prozess, der dem Wort-für-Wort-Übersetzen eines Gedichts in eine Sprache mit einer völlig anderen Grammatik gleicht. Diese manuelle Übersetzung ist langsam, unterbricht oft den Fluss der Bewegung und versagt, wenn der Roboter auf eine neue Art der Bewegung stößt, die er noch nicht gesehen hat.

Ein Team von Forschern der ETH Zürich hat einen neuen Ansatz entwickelt, der diese manuelle Übersetzung vollständig umgeht. Sie haben ein System geschaffen, das es Laufrobotern ermöglicht, einem Menschen oder einem Tier beim Bewegen zuzusehen und sofort zu verstehen, wie sie diese Bewegung auf ihren eigenen Körpern replizieren können, ohne dass ein vorgeschriebenes Skript benötigt wird. Indem sie den Roboter lehrten, den zugrunde liegenden Rhythmus und die Struktur der Bewegung zu erkennen, statt nur spezifische Gelenkwinkel zu kopieren, ermöglichten die Forscher den Maschinen, aus Rohvideo- und Bewegungsdaten in Echtzeit zu lernen. Diese Arbeit deutet auf eine Zukunft hin, in der Roboter neue Fähigkeiten erlernen können, indem sie diese einfach beobachten und sich dabei augenblicklich an ihre eigene, einzigartige physische Form anpassen.

Die Forscher unter der Leitung von Matthias Heyrman und Kollegen konzentrierten sich auf ein Problem, das das Fachgebiet jahrelang vor Rätsel gestellt hatte: Wie stellt man Bewegung so dar, dass sowohl die stetigen, sich wiederholenden Muster des Gehens als auch die plötzlichen, unvorhersehbaren Veränderungen einer Geste erfasst werden? Frühere Methoden behandelten diese beiden Aspekte oft getrennt oder versuchten, alle Bewegungen in eine einzige, starre mathematische Form zu pressen. Das Team erkannte, dass natürliche Bewegung eine Mischung aus zwei Dingen ist: strukturierten, periodischen Mustern wie dem rhythmischen Schwingen der Beine beim Gehen und unstrukturierten, aperiodischen Variationen wie einer plötzlichen Drehung oder einem Winken des Arms. Um dies zu lösen, entwickelten sie ein System namens „Multi-Domain Motion Embedding“, das wie eine Dual-Objektiv-Kamera für Bewegung fungiert. Ein Objektiv konzentriert sich auf die sich wiederholenden, wellenartigen Bewegungsmuster, während das andere die chaotischen, einzigartigen Details einfängt, die jede Bewegung unverwechselbar machen.

Anstatt die Pose eines Menschen manuell in Roboterbefehle zu übersetzen, speisten die Forscher Rohbewegungsdaten direkt in ihr System ein. Diese Daten stammten aus zwei Quellen: Aufnahmen von menschlichen Darstellern, die sich auf verschiedene Weise bewegten, und Videos von Hunden, die rennen und laufen. Das System verarbeitet diese Informationen durch zwei parallele Pfade. Der erste Pfad nutzt ein mathematisches Werkzeug, bekannt als Wavelet-Transformation, um die Bewegung in ihre Frequenzkomponenten zu zerlegen. Dies ermöglicht es dem Roboter, den „Takt“ der Bewegung zu sehen und die stetigen Zyklen eines Gangs oder den Rhythmus eines Tanzes zu identifizieren. Der zweite Pfad verwendet einen probabilistischen Encoder, um die ungeordneten, nicht-repetitiven Details zu erfassen, wie etwa die spezifische Art und Weise, wie eine Person sich in eine Kurve lehnt oder ein Hund sein Gleichgewicht auf unebenem Boden anpasst. Diese beiden Informationsströme werden zu einer einzigen, reichhaltigen Beschreibung der Bewegung kombiniert, die der Roboter verstehen kann.

Der wahre Test für dieses System war, ob es in der realen Welt ohne menschliches Eingreifen funktionieren konnte. Die Forscher trainierten ihre Roboter in einer simulierten Umgebung mittels Reinforcement Learning, einer Methode, bei der der Roboter durch Versuch und Irrtum lernt, um eine Belohnung zu maximieren. Sie brachten einem humanoiden Roboter, dem Fourier N1, bei, menschliche Bewegungen nachzuahmen, und einem vierbeinigen Roboter, dem ANYmal D, die Bewegungen eines Hundes nachzuahmen. Entscheidend war, dass sie den Robotern keine vorverarbeiteten, übersetzten Anweisungen gaben. Die Roboter mussten selbst herausfinden, wie sie die rohe menschliche oder tierische Bewegung auf ihre eigenen Körper abbilden. Die Ergebnisse waren beeindruckend. In Simulationen verfolgten die Roboter eine Vielzahl von Bewegungen erfolgreich, von einfachem Gehen bis hin zu komplexen, ausdrucksstarken Gesten, mit einer Genauigkeit, die bisherige Methoden übertraf.

Um zu beweisen, dass das System außerhalb des Computers funktionierte, setzten die Forscher die trainierten Policies auf der tatsächlichen Hardware ein. Der humanoide Roboter sah ein Video eines menschlichen Darstellers und begann sofort, dessen Bewegungen nachzuahmen, einschließlich Gehen, Drehen und Gestikulieren, ohne dass eine manuelle Anpassung des Codes erforderlich war. Ähnlich beobachtete der vierbeinige Roboter Aufnahmen eines Hundes und reproduzierte erfolgreich dessen Gangart. Noch beeindruckender war, dass das System eine Form des Zero-Shot-Learnings demonstrierte, was bedeutet, dass es Bewegungen bewältigen konnte, die es zuvor noch nie gesehen hatte. Als das System mit einer neuen Art von Hundegang konfrontiert wurde, der nicht in seinen Trainingsdaten enthalten war, versagte der Roboter nicht; stattdessen passte er die Bewegung an eine stabile, machbare Version an, die für seinen eigenen Körper funktionierte. Diese Fähigkeit zur Generalisierung legt nahe, dass das System die grundlegenden Prinzipien der Bewegung gelernt hat, anstatt nur eine Liste spezifischer Posen auswendig zu lernen.

Die Forscher verglichen ihre neue Methode auch mit älteren Techniken, die auf manuellem Retargeting basierten. Sie fanden heraus, dass die alten Methoden zwar etwas genauer sein konnten, wenn sie exakt die Bewegung kopierten, für die sie trainiert wurden, aber bei neuen oder unerwarteten Bewegungen kläglich scheiterten. Das neue System hingegen behielt seine Leistung über ein breites Spektrum ungesehener Bewegungen bei. Die Studie legt nahe, dass der Maschine ein tieferes Verständnis dafür vermittelt wird, wie man sich bewegt, indem man sie lernt, die Struktur der Bewegung direkt aus den Rohdaten zu erfassen, anstatt sie durch einen starren Übersetzungsprozess zu zwingen. Dieser Ansatz macht es Ingenieuren überflüssig, die Regeln für jede neue Bewegung handwerklich zu entwerfen, und öffnet die Tür für Roboter, die von der riesigen Vielfalt der Bewegungen in der natürlichen Welt lernen können.

Eines der bedeutendsten Ergebnisse war, wie das System mit den Unterschieden zwischen dem Roboter und dem Darsteller umging. Die Forscher entdeckten, dass der Roboter nicht versuchte, seinen Körper in eine unmögliche Form zu zwingen, um dem Menschen exakt zu entsprechen. Stattdessen interpretierte er die Bewegung so, dass sie für seine eigene Struktur physisch möglich war. Wenn zum Beispiel ein menschlicher Darsteller eine Bewegung ausführte, die für einen Roboter instabil wäre, passte das System die Bewegung an, um den Roboter im Gleichgewicht zu halten – es „reinterpretierte“ effektiv die Intention der Bewegung, anstatt die exakte Geometrie zu kopieren. Diese Flexibilität ermöglichte es den Robotern, stabil und funktionsfähig zu bleiben, selbst wenn sie Bewegungen von Darstellern unterschiedlicher Größe nachahmten oder komplexe, dynamische Aktionen ausführten.

Die Studie hob auch die Bedeutung der Dual-Encoding-Architektur hervor. Als die Forscher das System testeten, indem sie eines der beiden Objektive entfernten, sank die Leistung erheblich. Der Roboter hatte Schwierigkeiten, das volle Spektrum der Bewegung zu erfassen, indem er entweder die rhythmische Stabilität des Gangs vermisste oder nicht in der Lage war, sich an die einzigartigen Nuancen der Geste anzupassen. Dies bestätigte, dass sowohl die strukturierten, wellenartigen Muster als auch die unstrukturierten, chaotischen Details essenziell für ein vollständiges Verständnis der Bewegung sind. Das System funktioniert deshalb, weil es diese beiden Aspekte als komplementär betrachtet und eines als Fundament nutzt, während das andere die notwendigen Details hinzufügt.

Letztendlich stellt diese Arbeit eine Verschiebung in der Art und Weise dar, wie Roboter lernen zu sich zu bewegen. Anstatt sich darauf zu verlassen, dass Ingenieure menschliche Bewegungen in Roboter-Code übersetzen, haben die Forscher gezeigt, dass Roboter lernen können, Bewegung direkt zu verstehen. Durch die Kombination einer Methode zur Erfassung rhythmischer Muster mit einer Methode zur Erfassung einzigartiger Variationen haben sie ein System geschaffen, das sowohl robust als auch flexibel ist. Die in der Studie gezeigten Roboter folgten nicht nur einem Skript; sie lernten, die Sprache der Bewegung zu interpretieren und sie mit ihrer eigenen Stimme zu sprechen. Diese Fähigkeit deutet auf eine Zukunft hin, in der Roboter neue Fähigkeiten „on the fly“ erlernen können, indem sie sich an neue Umgebungen und Aufgaben anpassen mit einer Natürlichkeit, die zuvor unerreichbar war. Die Forscher kommen zu dem Schluss, dass dieser Ansatz ein solides Fundament für die nächste Generation der Robotersteuerung bietet, in der die Fähigkeit, durch Beobachtung zu lernen, zu einem Standardmerkmal statt zu einer seltenen Ausnahme wird.