Learning Humanoid End-Effector Control for Open-Vocabulary Visual Loco-Manipulation

Das Paper stellt HERO vor, ein neues Paradigma für die humanoide Loko-Manipulation, das durch die Kombination von Open-Vocabulary-Vision-Modellen für die visuelle Generalisierung und einer präzisen, residualbewussten Endeffektor-Steuerung mit simuliertem Training eine zuverlässige Interaktion mit alltäglichen Objekten in verschiedenen realen Umgebungen ermöglicht.

Runpei Dong, Ziyan Li, Xialin He, Saurabh Gupta

Veröffentlicht 2026-02-25
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

Stellen Sie sich vor, Sie haben einen Roboter, der wie ein Mensch aussieht und sich auf zwei Beinen fortbewegen kann. Bisher waren diese Roboter oft wie hochbegabte Turner: Sie konnten spektakuläre Saltos schlagen oder auf einem Bein balancieren. Aber wenn man sie bat, etwas ganz Alltägliches zu tun – wie eine Tasse Kaffee von einem niedrigen Couchtisch zu nehmen oder eine Banane von einem hohen Regal zu greifen –, scheiterten sie oft. Warum? Weil ihre „Hände" nicht genau genug wussten, wo sie hinmüssen, und weil sie nicht verstanden, was sie vor sich sahen.

Die Forscher in diesem Papier haben nun eine Lösung namens HERO entwickelt. Man kann sich HERO wie einen sehr erfahrenen Koch mit einem genialen Assistenten vorstellen.

Hier ist die Geschichte, wie HERO funktioniert, einfach erklärt:

1. Das Problem: Der Roboter ist blind und ungenau

Stellen Sie sich vor, Sie müssten mit verbundenen Augen eine Tasse greifen. Das wäre schwer, oder?

  • Das Sehen: Frühere Roboter waren wie Menschen, die nur eine sehr kleine Brille tragen. Sie sahen nur das, was direkt vor ihrer Nase war. Wenn sie sich bückten oder drehten, war das Objekt plötzlich verschwunden.
  • Die Bewegung: Selbst wenn sie wussten, wo die Tasse war, waren ihre Arme ungenau. Es war, als würde ein Maler versuchen, einen winzigen Punkt auf einer Leinwand zu treffen, aber seine Hand zitterte so stark, dass er 10 bis 13 Zentimeter daneben landete. Für das Greifen von Objekten ist das viel zu ungenau.

2. Die Lösung: Ein Team aus zwei Experten

HERO teilt die Aufgabe in zwei Teile auf, ähnlich wie bei einem Restaurant:

  • Der Assistent (Das große Gehirn): Dieser Teil nutzt moderne KI-Modelle, die das Internet „gelesen" haben. Wenn Sie sagen: „Bring mir die rote Tasse", versteht dieser Assistent sofort, was eine „rote Tasse" ist, auch wenn er sie noch nie gesehen hat. Er scannt den Raum, findet die Tasse und berechnet genau, wie man sie am besten greift. Er ist der Planer.
  • Der Koch (Die präzisen Hände): Der Assistent gibt den Plan an den Koch weiter. Aber der Koch ist nicht einfach nur ein Roboterarm. Er ist ein Meister der Feinmotorik, der in einer virtuellen Welt (einem Computerspiel) trainiert wurde, um seine Bewegungen millimetergenau auszuführen.

3. Der geheime Trick: Die „Nachkorrektur"

Das ist der wichtigste Teil der Erfindung. Frühere Roboter haben versucht, ihre Arme nur basierend auf ihren Gelenkdaten zu bewegen. Das war wie ein Autofahrer, der nur auf den Tacho schaut, aber nicht auf die Straße.

  • Das Problem: Die Sensoren im Roboter sind nicht perfekt. Wenn der Roboter sagt: „Meine Hand ist hier", ist sie oft ein paar Zentimeter daneben.
  • Die Lösung von HERO: HERO nutzt eine Art „intelligentes Nachmessen".
    • Stellen Sie sich vor, Sie werfen einen Ball in einen Korb. Wenn Sie sehen, dass der Ball daneben liegt, korrigieren Sie Ihren nächsten Wurf sofort.
    • HERO macht das in Echtzeit. Er nutzt ein kleines, trainiertes KI-Modell, das wie ein Spiegel funktioniert. Es sagt dem Roboter: „Hey, deine Hand ist eigentlich 2 Zentimeter weiter links, als du denkst."
    • Durch diese ständige Korrektur wird die Ungenauigkeit von 13 Zentimetern auf nur noch 2,5 Zentimeter reduziert. Das ist der Unterschied zwischen „nahe dran" und „perfekt getroffen".

4. Der ganze Körper tanzt mit

Ein weiterer genialer Aspekt ist, dass der Roboter nicht starr wie ein Stock steht. Wenn die Tasse auf einem niedrigen Tisch liegt, hockt er sich hin. Wenn sie weit weg ist, dreht er seinen Oberkörper.

  • Früher haben Roboter oft nur die Arme bewegt, was sie instabil machte.
  • HERO koordiniert den ganzen Körper wie ein Tänzer. Er beugt die Knie, dreht den Rumpf und balanciert dabei perfekt auf zwei Beinen, genau wie ein Mensch, der sich bückt, um einen Ball aufzuheben.

5. Das Ergebnis: Ein Roboter für den Alltag

Dank dieser Kombination aus einem „klugen Assistenten" (der versteht, was er sieht) und einem „präzisen Koch" (der die Hände millimetergenau steuert) kann HERO nun:

  • In verschiedenen Räumen (Büro, Küche, Wohnzimmer) arbeiten.
  • Verschiedene Dinge greifen (eine Banane, eine Kaffeetasse, ein Spielzeug).
  • Sogar Dinge greifen, die er noch nie gesehen hat, solange man ihm sagt, was es ist (z. B. „Greif das lila Buch").

Zusammenfassend:
Die Forscher haben einen Weg gefunden, Roboter nicht nur „stark" oder „schnell" zu machen, sondern sie geschickt und verständnisvoll zu machen. Sie haben das Problem gelöst, dass Roboter ihre eigenen Hände nicht genau genug spüren können, indem sie eine digitale Korrekturhilfe eingebaut haben. Das ist ein großer Schritt darauf hin, dass Roboter uns eines Tages wirklich im Haushalt helfen können – nicht nur beim Saltoschlagen, sondern beim Abwasch und beim Aufräumen.

Erhalten Sie solche Paper in Ihrem Posteingang

Personalisierte tägliche oder wöchentliche Digests passend zu Ihren Interessen. Gists oder technische Zusammenfassungen, in Ihrer Sprache.

Digest testen →