Roboter, die sich wie Menschen bewegen und gehen, sind seit langem ein Ziel des Ingenieurwesens, doch ihnen beizubringen, dies in der realen Welt zu tun, ist ein Rätsel aus zwei unterschiedlichen Teilen. Erstens gibt es die Fähigkeit, menschliche Bewegungen nachzuahmen – eine Fertigkeit, die Forscher gemeistert haben, indem sie Maschinen darauf trainierten, riesige Bibliotheken menschlicher Bewegungsdaten zu kopieren. Diese „Tracker“ sind exzellent darin, einem Skript zu folgen und ihre Gliedmaßen auf flachem, vorhersehbarem Boden auf natürliche, flüssige Weise zu bewegen. Sie sind jedoch absichtlich so konzipiert, dass sie für ihre Umgebung blind sind; sie sehen keinen Bordstein, einen Ball oder eine Kiste. Zweitens gibt es die Fähigkeit, die Welt wahrzunehmen und auf sie zu reagieren. Traditionell haben Ingenieure dies gelöst, indem sie ein separates System bauten, das als Planer fungiert: Es betrachtet die Umgebung, entscheidet, was der Roboter tun soll, und sagt dem blinden Tracker dann, er solle diesen Plan ausführen. Diese Trennung funktioniert, aber sie schafft eine Lücke. Der Tracker kann keine kleinen, sofortigen Anpassungen vornehmen, wie etwa den Fuß zu verschieben, um einem Stein auszuweichen, oder einem herannahenden Objekt auszuweichen, da er auf Anweisungen von oben wartet. Ihm fehlen die visuellen Reflexe, die es einem Menschen ermöglichen, ohne nachzudenken zu stolpern und sich wieder zu fangen.

Ein Forschungsteam der University of Southern California hat einen neuen Weg entwickelt, um diese Lücke zu schließen, indem es einem Roboter ermöglicht, direkt zu sehen und zu reagieren, während er sich bewegt. Sie nennen ihr System ViBe, eine Methode, die einen bereits darauf trainierten Roboter, wie ein Mensch zu gehen, nimmt und ihm die Fähigkeit verleiht, seine Bewegungen basierend auf dem, was er sieht, anzupassen, ohne dass er das Gehen von Grund auf neu lernen muss. Anstatt ein neues Gehirn oder einen neuen Planer zu bauen, haben sie eine kleine, effiziente Schnittstelle zwischen den Augen des Roboters und seinen Muskeln eingesetzt. Diese Schnittstelle lernt, die spezifischen visuellen Details herauszufiltern, die für eine Aufgabe wichtig sind – wie die Kante eines Bordsteins oder die Position eines Balls – und speist diese Informationen direkt in das Bewegungssystem des Roboters ein. Das Ergebnis ist eine Maschine, die komplexe, dynamische Aufgaben in der realen Welt ausführen kann, wie etwa Parkour über unebenem Gelände zu laufen, einem geworfenen Ball auszuweichen oder einen Würfel in der Hand neu auszurichten, während sie gleichzeitig die ursprünglich beigebrachte, natürlich wirkende, menschenähnliche Bewegung beibehält.

Die Forscher begannen mit einem Roboter, der bereits gelernt hatte, menschliche Bewegungen auf flachem Boden perfekt zu verfolgen. Dieser Roboter war im Sinne der „Blindheit“ blind, da er keine Kamerabilder nutzte, um seine Schritte zu steuern; er folgte einfach einer vordefinierten Bewegungssequenz. Um ihm Sicht zu geben, fügte das Team ein vortrainiertes visuelles System hinzu, das bereits gelernt hatte, Objekte und Szenen aus Millionen von Bildern zu erkennen. Doch es war nicht genug, dem Roboter einfach einen Kamerafeed zu zeigen; der Roboter musste wissen, welche Teile des Bildes wichtig waren. Eine Wand aus Pixeln enthält zu viele Informationen, und die meisten davon sind für die Aufgabe des Gehens oder Ausweichens irrelevant. Das Team entwarf ein kleines Modul, einen Extraktor, der wie ein Filter wirkt. Er betrachtet die aktuelle Körperposition des Roboters und die Aufgabe, die er gerade ausführt, und nutzt diesen Kontext dann, um das Kamerabild zu scannen und nur die nützlichsten visuellen Hinweise auszuwählen. Wenn der Roboter versucht, über einen Bordstein zu springen, konzentriert sich der Extraktor auf die Kante des Bordsteins. Wenn er versucht, einen Ball zu fangen, konzentriert sich er auf die Flugbahn des Balls.

Diese ausgewählten visuellen Informationen werden dann durch eine Technik in das Bewegungssystem des Roboters injiziert, die nur einen winzigen Bruchteil der internen Einstellungen des Roboters verändert. Die Forscher ließen den ursprünglichen Bewegungstracker eingefroren, um den natürlichen, menschenähnlichen Gang zu bewahren, und passten nur die kleinen Pfade an, die die neuen visuellen Daten transportierten. Dieser Ansatz ermöglichte es ihnen, den Roboter für spezifische Aufgaben mittels Reinforcement Learning zu trainieren – einer Methode, bei der der Roboter durch Versuch und Irrtum lernt und Belohnungen für erfolgreiche Aktionen erhält. Sie testeten dieses System bei vier sehr unterschiedlichen Herausforderungen. In einer Aufgabe musste der Roboter über Bordsteine und unebenes Gelände laufen und rennen, wobei er seine Fußplatzierung in Echtzeit anpasste, um nicht zu stolpern. In einer anderen musste er Parkour betreiben, also über Lücken zu springen und auf schmalen Oberflächen zu landen. Eine dritte Aufgabe beinhaltete das Bewegen großer Objekte, wobei der Roboter sein Gleichgewicht und seinen Griff anpassen musste, während er einen Koffer oder einen Mülleimer trug. Die letzte Herausforderung war Dodgeball, bei dem der Roboter stillstehen, einem auf ihn zufliegenden Ball zusehen und seinen Körper bewegen musste, um ihm auszuweichen, ohne umzukippen.

Die Ergebnisse zeigten, dass diese Methode bemerkenswert gut funktionierte. Bei Tests in der realen Welt führte der Roboter diese Aufgaben mit einem hohen Maß an Erfolg aus und erreichte oft die Leistung von Systemen, die über perfekte, privilegierte Informationen über die Umgebung verfügen, die echte Roboter nicht haben können. Beispielsweise navigierte der Roboter in der Parkour-Aufgabe erfolgreich durch Hindernisse, die eine blinde Version desselben Roboters zum Absturz und zum Fallen gebracht hätten. Im Dodgeball-Szenario lernte der Roboter, dem Ball auszuweichen und dabei sein Gleichgewicht zu halten, eine Leistung, die erforderte, dass er von seiner Standard-Stehpose in eine kontrollierte, reaktive Weise abwich. Die Forscher fanden auch heraus, dass das System robust war; es funktionierte gut, selbst wenn sich die Lichtverhältnisse von hellem Sonnenlicht zu schwachen Innenlichtverhältnissen änderten oder wenn sich die Farben der Objekte verschoben. Dies deutet darauf hin, dass der Roboter lernte, die Form und Position von Dingen zu verstehen, anstatt nur spezifische Farben oder Texturen auswendig zu lernen.

Um zu beweisen, dass der Roboter tatsächlich auf das reagierte, was er sah, verglichen die Forscher ihr System mit einer Version, die nicht sehen konnte. Der blinde Roboter scheiterte trotz des gleichen zugrunde liegenden Bewegungstrainings daran, Bordsteine zu überqueren oder Hindernissen auszuweichen, und geriet oft vom Kurs ab oder kollidierte mit Objekten. Die Version mit Sicht hingegen nahm präzise, lokale Korrekturen an seinen Bewegungen vor. Er passte seine Fußplatzierung an, um auf einem Bordstein zu landen, verlagerte sein Gewicht, um ein schweres Objekt zu tragen, und bewegte seinen Körper, um einem Ball auszuweichen. Dies waren keine großen, vorab geplanten Manöver, sondern kleine, unmittelbare Anpassungen, die stattfanden, während sich der Roboter bewegte. Das Team demonstrierte auch, dass diese visuelle Anpassung mit einem einfachen, übergeordneten Planer kombiniert werden konnte. In einer Aufgabe, bei der der Roboter einen Würfel so ausrichten musste, dass eine bestimmte farbige Seite oben liegt, wählte ein sehr einfacher Planer lediglich eine Sequenz von Bewegungen aus. Das visuelle System des Roboters übernahm dann die schwierige Arbeit, den Würfel zu finden, ihn zu greifen und seinen Griff so anzupassen, dass die Bewegung erfolgreich war, selbst wenn der Würfel an einer etwas anderen Position als erwartet war.

Die Studie unterstreicht einen bedeutenden Wandel in der Art und Weise, wie Roboter beigebracht werden kann, mit der Welt zu interagieren. Anstatt einen Roboter für jede neue Aufgabe von Grund auf neu zu trainieren oder sich auf komplexe, separate Planungssysteme zu verlassen, ist es möglich, einen Roboter, der bereits weiß, wie man sich bewegt, zu nehmen und ihm die Fähigkeit zu geben, zu sehen und zu reagieren. Die Forscher zeigten, dass es möglich ist, die Kernbewegungsfähigkeiten intakt zu halten und nur die kleine Verbindung zwischen Vision und Aktion zu trainieren, um einen Roboten zu erschaffen, der sowohl in seiner Bewegung natürlich als auch in der Lage ist, mit der Unvorhersehbarkeit der realen Welt umzugehen. Obwohl das System nicht perfekt ist und manchmal durch schnell bewegende Objekte oder ungewöhnliche visuelle Ablenkungen verwirrt werden kann, stellt es einen kraftvollen Schritt nach vorn dar. Es zeigt, dass ein Roboter nicht alles von Anfang an lernen muss; er kann lernen, seine bestehenden Fähigkeiten an neue Situationen anzupassen, indem er einfach lernt, worauf er achten muss. Dieser Ansatz bietet einen praktischen Weg zur Schaffung von Humanoiden, die sich mit derselben Fluidität und Anpassungsfähigkeit durch unsere Welt bewegen können, wie wir es von einem Menschen erwarten.