Stellen Sie sich vor, Sie schauen sich eine Zaubershow an. Der Magier zieht ein Kaninchen aus einem Hut, und Sie sehen die Bewegung, die Farbe des Fells und die Art und Weise, wie der Hut sich neigt. Aber Sie können das Kaninchen nicht fühlen. Sie wissen nicht, ob der Magier es sanft streichelt oder fest zusammendrückt. In der Welt der Roboter und Computer ist dies ein riesiges Problem. Wir haben Kameras, die „sehen“ können, wie Hände Objekte greifen, aber sie sind blind für die unsichtbare Kraft eines Drucks. Dieses Feld, die Computer Vision (computergestütztes Sehen), versucht, Maschinen beizubringen, die physische Welt zu verstehen, nicht nur ihr Aussehen. Lange Zeit konnten Wissenschaftler nur raten, wie stark eine Hand drückte, wenn die Hand eine flache, langweilige Oberfläche wie einen Tisch berührte, und selbst dann war es schwierig. Aber das echte Leben ist chaotisch. Wir greifen nach runden Äpfeln, drücken weiche Kissen zusammen und benutzen Werkzeuge. Um Roboter bauen zu können, die kochen, putzen oder uns in der virtuellen Realität helfen können, müssen sie nicht nur verstehen, wo eine Hand etwas berührt, sondern auch wie stark sie an jedem einzelnen Punkt auf der Haut drückt.

Hier kommt HOPE (Hand-Object Pressure Estimation), eine neue Methode, die wie ein superstarker Röntgenblick für die unsichtbare Kraft eines Händedrucks wirkt. Anstatt spezielle Handschuhe mit Sensoren oder flache Druckmatten zu benötigen, betrachtet HOPE ein gewöhnliches Video einer Hand und schätzt die Druckkarte direkt auf der Haut selbst. Stellen Sie es sich so vor: Wenn Ihre Hand ein 3D-Mesh aus 778 winzigen, unsichtbaren Punkten wäre, sagt HOPE Ihnen genau, wie stark jeder Punkt gegen ein Objekt drückt. Die Forscher fanden heraus, dass sie einem Computer das „Fühlen“ von Druck beibringen konnten, ohne jemals etwas zu berühren, indem sie Videos von Händen in Sensorgestützten Handschuhen (die exakte Druckwerte liefern) mit Videos von bloßen Händen kombinierten, die Dinge berühren (die Hinweise auf den Kontakt geben). Sie bewiesen, dass dieses System mit Handschuhen, auf flachen Tischen und sogar in wilden Alltagsvideos funktioniert, in denen Menschen wahllos verschiedene Gegenstände greifen, und dabei sowohl vorhersagt, wo der Kontakt stattfindet, als auch wie stark der Druck ist.

Das Problem: Sehen ist nicht Fühlen

Stellen Sie sich vor, Sie versuchen zu lernen, wie man Klavier spielt, indem Sie nur ein Video von den Händen eines anderen beobachten. Sie sehen, wie sich die Finger bewegen, aber Sie können das Gewicht der Tasten oder den nötigen Druck, um einen Ton zu erzeugen, nicht fühlen. Das ist die Herausforderung, vor der Computer heute stehen. Sie sind großartig darin, zu erkennen, dass eine Hand in der Nähe einer Tasse ist, aber sie sind schlecht darin zu wissen, ob eine Hand sie sanft hält oder kurz davor ist, sie zu zerquetschen. Frühere Versuche, dies zu lösen, waren so, als würde man versuchen, das Gewicht eines Fisches zu messen, indem man nur auf einen flachen Schatten an der Wand blickt. Sie funktionierten ganz gut, wenn der Fisch auf einem flachen Tisch lag, aber sobald der Fisch in eine 3D-Welt mit Kurven und Winkeln sprang, brachen die Messungen zusammen. Außerdem benötigten die meisten dieser Methoden, dass die Hand einen speziellen, klobigen Handschuh mit Sensoren trägt, was das Aussehen und das Gefühl der Hand verändert, was es schwierig macht, dies auf echte, ungeschützte menschliche Hände anzuwenden.

Die Lösung: Ein „Universalübersetzer“ für den Tastsinn

Das Team hinter HOPE kam auf eine kluge Idee: Hören Sie auf, den Druck auf dem Objekt oder dem Tisch zu messen, und messen Sie ihn stattdessen direkt auf der Hand selbst. Sie behandelten die Hand wie eine digitale Karte mit 778 spezifischen „Checkpoints“ (genannt Vertices/Eckpunkte).

Um den Computer zu lehren, verwendeten sie einen „Universalübersetzer“-Ansatz. Sie nahmen Daten aus drei verschiedenen Quellen und zwangen sie, dieselbe Sprache zu sprechen:

1. Die Handschuh-Daten: Videos von Händen, die Sensorgestützte Handschuhe tragen, die den exakten Druck messen (in Kilopascal oder kPa). Dies ist wie ein Lehrer, der die exakte Mathematik kennt.
2. Die Flach-Daten: Videos von Händen, die auf flachen, sensorbedeckten Tischen drücken. Dies ist wie ein Lehrer, der nur weiß, wie man einen Knopf drückt.
3. Die Barfuß-Hände-Daten (Bare-Hand Data): Videos von Menschen, die Dinge ohne Handschuhe greifen, bei denen wir nur wissen, wo sie berührt haben, aber nicht wie stark. Dies ist wie ein Schüler, der weiß, wo er seine Finger platzieren muss, aber nicht, wie viel Kraft er anwenden soll.

Der magische Trick war das „Lifting“ all dieser verschiedenen Datentypen auf dieselbe 778-Punkte-Karte der Hand. Obwohl die Handschuh-Daten nur die Handfläche und die Fingerspitzen abdeckten und die Barfuß-Daten die ganze Hand betrafen, konnten sie diese kombinieren. Die Barfuß-Daten dienten als „Sicherheitsnetz“ oder strukturelle Orientierungshilfe, die dem Computer beibrachte, dass Druck nur dort entstehen kann, wo auch Kontakt besteht. Wenn der Computer sieht, dass eine Hand einen Ball berührt, weiß er, dass dort Druck sein muss, auch wenn er keine spezifische Zahl für die Stärke hat.

Wie es funktioniert: Der zeitreisende Detektiv

Das Gehirn von HOPE ist ein spezielles KI-Modell namens „Vertex-anchored Video Transformer“. Stellen Sie sich dieses Modell als einen Detektiv vor, der nicht nur ein einzelnes Foto betrachtet, sondern einen ganzen Film sieht.

• Die persistenten Tokens: Das Modell behandelt jeden der 778 Punkte auf der Hand als einen Charakter, der während des gesamten Videos gleich bleibt. Selbst wenn sich die Hand bewegt, bleibt der „Daumenspitzen-Charakter“ immer der Daumen-Spitzen-Charakter.
• Der Film-Zuschauer: Es beobachtet das Video Frame für Frame. Es weiß, dass Druck nicht instantan geschieht; er baut sich auf. Wenn eine Hand sich einer Tasse nähert, gibt es keinen Druck. Wenn sie sie berührt, beginnt der Druck. Wenn sie zudrückt, steigt der Druck an. Durch das Beobachten der Abfolge der Ereignisse kann das Modell den Druck besser schätzen, als wenn es nur ein einzelnes Standbild betrachten würde.
• Die Regel „Kein Kontakt, kein Druck“: Das Modell hat eine eingebaute Regel: Wenn die Hand das Objekt nicht berührt, muss der Druck Null sein. Dies hilft ihm, falsche Signale zu ignorieren und sich auf echte Interaktionen zu konzentrieren.

Was sie herausgefunden haben

Die Forscher testeten HOPE auf mehreren Datensätzen, einschließlich des „OpenTouch“-Datensatzes (Handschuhe), „PressureVisionDB“ (flache Oberflächen) und „MOW“ (Barhands in der freien Wildbahn).

• Besser als die alten Wege: Auf den Handschuh-Datensätzen sagte HOPE den Druck viel genauer voraus als bisherige Methoden, die versuchten, den Druck aus flachen Bildern zu schätzen. Es war besonders gut darin, genau den Teil der Hand zu identifizieren, der die Arbeit verrichtet.
• Die Überraschung der Barfuß-Hände: Obwohl das Modell hauptsächlich mit Daten von Handschuhen trainiert wurde, konnte es den Druck bei nackten Händen in Alltagsvideos erfolgreich vorhersagen. Das ist ein großer Erfolg, denn es bedeutet, dass das Modell die Physik des Berührens gelernt hat und nicht nur das Aussehen eines Handschuhs.
• Die Kraft der Datenmischung: Als sie das Modell mit und ohne die „Barfuß-Kontakt“-Daten testeten, fanden sie heraus, dass das Hinzufügen der Barfuß-Videos das Modell wesentlich besser darin machte, auf neue, unbekannte Situationen zu generalisieren. Die Kontakt-Daten fungierten als Leitfaden, der dem Modell half, die Form der Interaktionen zu verstehen, selbst wenn es keine exakten Druckzahlen hatte.

Die Grenzen und die Zukunft

Die Arbeit weist vorsichtig darauf hin, dass HOPE nicht perfekt ist. Es verlässt sich auf ein separates Werkzeug, um zuerst die Form der Hand zu bestimmen; wenn dieses Werkzeug verwirrt wird (z. B. wenn die Hand hinter einem Objekt verborgen ist), kann auch HOPE verwirrt werden. Außerdem sagt das Modell derzeit nur die Kraft voraus, die gerade in das Objekt drückt (Normalkraft), nicht aber die Scherkräfte oder Drehkräfte. Und obwohl es gut funktioniert, benötigt es noch vielfältigere Daten, um alle möglichen Objekte der Welt zu handhaben.

Dennoch deuten die Ergebnisse auf einen vielversprechenden Weg hin. Indem sie den Druck als eine Eigenschaft der Hand selbst behandeln, statt als eine des Objekts, und indem sie verschiedene Arten von Lerndaten mischen, bringt HOPE uns einen Schritt näher an Roboter, die die Welt wirklich „fühlen“ können und nicht nur sehen. Es ist ein Schritt in Richtung Maschinen, die eine reife Tomate aufheben können, ohne sie zu zerquetschen, oder die einem Menschen bei einer delikaten Aufgabe helfen können – und das alles, indem sie einfach nur ein einfaches Video beobachten.