Stellen Sie sich eine Welt vor, in der Roboter wie tollpatschige Kleinkinder sind, die versuchen, einen Turm aus Jenga-Blöcken zu bauen. Sie haben Augen (Kameras) und ein Gehirn (künstliche Intelligenz), das Anweisungen wie „Hebe den roten Block auf“ verstehen kann. Aber hier ist der Haken: Augen können nicht fühlen. Wenn ein Block rutschig ist oder wenn der Griff des Roboters zu fest ist und den Block zerquetscht, oder wenn der Block zu gleiten beginnt, wird die Kamera des Roboters dies vielleicht nicht bemerken, bis es zu spät ist. Das ist das große Problem beim „dexterous manipulation“ – dem geschickten Manipulieren – dem Fachbegriff für die Verwendung von Händen durch Roboter bei empfindlichen, berührungsintensiven Aufgaben. Wissenschaftler versuchen schon lange, Robotern einen Tastsinn zu geben, aber das ist knifflig. Nur einem Roboter Sensoren für das Gefühl in sein Gehirn einzufügen, reicht oft nicht aus, weil der Robot vorhersagen muss, was als Nächstes passieren wird, und seinen Griff sofort anpassen muss, anstatt erst zu reagieren, nachdem er etwas fallen gelassen hat.

Hier kommt eine neue Idee namens ReTouch ins Spiel. Betrachten Sie es so, als würde man einem Roboter nicht nur einen Tastsinn geben, sondern einen „sechsten Sinn“, der es ihm ermöglicht zu erraten, wie sich seine Finger im nächsten Sekundenbruchteil anfühlen werden, und dann sofort die Vermutung zu korrigieren, falls die Realität nicht mit der Vorhersage übereinstimmt. Die Forscher haben ein System entwickelt, das das Gefühl wie ein lebendiges, atmendes Gespräch zwischen der Hand des Roboters und seinem Gehirn behandelt. Anstatt nur ein Bild einer Hand zu betrachten, die ein Objekt hält, zerlegt ReTouch das Gefühl in winzige, spezifische „Patches“ (Abschnitte) auf jeder Fingerspitze, wie eine hochauflösende Karte des Drucks. Dann aktualisiert es seine Karte ständig, während sich der Roboter bewegt, und korrigiert seine Vorhersagen in Echtzeit, wenn das Objekt rutscht oder sich verschiebt. Das Ergebnis ist ein Roboter, der schwierige, berührungsschwere Aufgaben – wie das Drücken eines Knopfens an einer Pipette oder das Abwischen eines Whiteboards – viel besser bewältigen kann als zuvor, selbst wenn etwas schiefgeht.

Das Problem: Augen können nicht fühlen, und Vorhersagen werden veraltet

Roboter werden immer besser darin, Anweisungen zu befolgen. Wenn Sie einem Roboter sagen: „Hebe den Becher auf“, sieht seine Kamera den Becher und sein Gehirn berechnet, wie sich der Arm bewegen muss. Aber sobald die Finger des Roboters tatsächlich den Becher berühren, wird es kompliziert. Ist der Becher rutschig? Gleitet er? Drückt der Roboter zu fest? Eine Kamera kann die unsichtbaren Kräfte am Kontaktpunkt nicht sehen.

Wissenschaftler haben versucht, dies zu beheben, indem sie Robotern „taktile Sensoren“ (Berührungssensoren) an ihren Fingern gaben. Einige Roboter beobachten einfach nur die Berührungsdaten und reagieren, wie ein Reflex. Andere versuchen vorherzusagen, wie sich die Berührung in der Zukunft anfühlen wird. Aber es gibt einen Fehler in der Funktionsweise der meisten dieser Systeme. Stellen Sie sich vor, Sie versuchen, einen Ball zu fangen. Sie sagen voraus, wo er in einer Sekunde sein wird. Aber wenn der Wind sich ändert oder der Ball seltsam rotiert, wird Ihre Vorhersage falsch. Wenn Sie Ihre Vorbindung nicht während Sie nach dem Ball greifen aktualisieren, könnten Sie ihn verfehlen.

Das Paper argumentet, dass viele aktuelle Robotersysteme diesen Fehler machen. Sie treffen eine Vorhersage darüber, wie sich ihre Finger anfühlen werden, am Anfang einer Bewegung, und halten dann an diesem Plan fest, selbst wenn das Objekt zu rutschen beginnt. Bis der Roboter bemerkt, dass sich das Objekt bewegt, ist es zu spät. Die Vorhersage ist „veraltet“ (stale) geworden.

Die Lösung: ReTouch und das „Patch“-System

Die Forscher führten ReTouch ein, ein neues System, das dieses Problem löst, indem es zwei Dinge tut: die Berührungsdaten besser organisiert und seine Vorhersagen ständig aktualisiert.

1. Der Tactile Patch Encoder: Eine Finger-Karte
Zuerst ändert ReTouch die Art und Weise, wie der Roboter seine Berührungssensoren „liest“. Die meisten Roboter werfen einfach alle Berührungsdaten in einen großen, unordentlichen Haufen. ReTouch hingegen behandelt jeden Finger wie eine kleine Karte. Es unterteilt die Oberfläche jedes Fingers in fünf spezifische „Patches“ (wie die Spitze, die Mitte, die Basis, die linke Seite und die rechte Seite).

Denken Sie an eine Wetterkarte. Anstatt nur zu sagen „es regnet“, sagt eine Wetterkarte genau, wo es regnet und wie stark. ReTouch macht das für das Tastgefühl. Es sagt dem Roboter: „Die Spitze deines Zeigefingers drückt fest, aber die Seite deines Mittelfingers berührt kaum etwas.“ Dies hilft dem Roboter, winzige, präzise Anpassungen vorzunehmen, wie etwa ein Mensch, der seinen Griff an einer rutschigen Weintraube anpasst, ohne sie zu zerquetschen.

2. Die „Foresight“- und „Hindsight“-Experten
Der zweite, und wichtigste Teil ist, wie ReTouch die Zukunft vorhersagt. Das System nutzt zwei „Experten“ (KI-Modelle), um aus dem Tastsinn zu lernen:

• Der Hindsight Expert (Rückblick-Experte): Dies ist der Lehrer. Während des Trainings schaut er auf die tatsächlichen zukünftigen Berührungsdaten (was wirklich passiert ist), um zu lernen, was der Roboter vorhergesagt haben sollte.
• Der Foresight Expert (Vorausschau-Experte): Dies ist der Schüler. Er versucht, die zukünftige Berührung basierend auf dem vorherzusagen, was er jetzt gerade sieht.

Hier liegt der magische Trick: Der Foresight Expert erstellt nicht nur eine einzige Vorhersage und hält an ihr fest. Er arbeitet mit einer extrem hohen Geschwindigkeit (36 Mal pro Sekunde). Jedes Mal, wenn er neue Berührungsdaten von den Fingern des Roboters erhält, sagt er: „Warte, meine Vorhersage war etwas daneben. Lass mich das aktualisieren!“ Dann nutzt er diese frische, aktualisierte Vorhersage, um die nächste Bewegung des Roboters zu korrigieren.

Das ist wie ein Videospiel, bei dem man die Pause drücken kann, die neue Position des Gegners betrachtet und sofort seine Strategie ändert. Wenn das Objekt rutscht, wartet der Roboter nicht auf die nächste „Runde“; er berechnet den Griff sofort neu und rettet das Objekt.

Was sie fanden: Roboter, die nichts fallen lassen

Um dies zu testen, bauten die Forscher eine echte Roboterhand (genannt XHand), die an einen Roboterarm (UR7e) montiert war, und erstellten einen neuen Datensatz namens XHT-Dataset. Sie zeichneten 900 reale Demonstrationen von Robotern auf, die sieben verschiedene schwierige Aufgaben ausführten, wie zum Beispiel:

• Das Drücken eines Knopfens an einer Pipette.
• Das Greifen von Wasserflaschen unterschiedlichen Gewichts.
• Das Abwischen eines Whiteboards mit einem Schwamm.
• Das Öffnen einer Schranktür, um ein Becherglas zu entnehmen.

Sie verglichen ReTouch mit anderen intelligenten Robotersystemen. Die Ergebnisse waren beeindruckend. Unter normalen Bedingungen war ReTouch 18,4 % erfolgreicher als das nächstbeste Robotersystem. Unter „herausfordernden“ Bedingungen (in denen der Roboter mit rutschigen Objekten, unterschiedlichen Höhen oder sogar jemandem, der das Objekt wegzieht, fertig werden musste) war Re

ReTouch 23,8 % häufiger erfolgreich.

Zum Beispiel war ReTouch bei der Aufgabe „Flüssigkeitstransfer“ (das Bewegen von Wasser von einem Behälter in einen anderen) um 19 % besser als der beste Konkurrent. Bei „Sponge Wipe“ (Schwamm wischen) war es um 25 % besser. Das Paper legt nahe, dass diese großen Verbesserungen dadurch entstehen, dass ReTouch „kontaktreiche“ Aufgaben bewältigen kann – Jobs, bei denen der Roboter ständig berührt, gleitet und sich an das Objekt anpasst.

Warum es wichtig ist

Das Paper zeigt, dass es nicht ausreicht, einem Roboter nur Sensoren zu geben; es geht darum, wie der Roboter diese Informationen nutzt. Wenn der Roboter nur auf Berührung reagiert, ist er zu langsam. Wenn er die Zukunft vorhersagt, aber seine Vorhersage nicht aktualisiert, wird er verwirrt. ReTouch beweist, dass der beste Weg, um komplee, berührungsschwere Aufgaben zu bewältigen, darin besteht, gleichzeitig zu sagen voraus und zu korrigieren.

Die Forscher fanden heraus, dass diese „Online-Verfeinerung“ (das Aktualisieren der Vorhersage während der Bewegung) der Schlüssel ist. Als sie eine Version des Roboters testeten, die eine Vorhersage traf und diese nicht aktualisierte, sank die Erfolgsquote signifikant. Dies deutet darauf hin, dass Roboter, um Aufgaben wie Chirurgie, Kochen oder das Montieren von Elektronik wirklich zu meistern, in der Lage sein müssen, die Zukunft zu „fühlen“ und ihre Meinung sofort zu ändern, wenn sich die Realität ändert. ReTouch ist ein großer Schritt dahin, Robotern diese Art von Geschicklichkeit zu verleihen.