M3-Tele: A Unified Multimodal Teleoperational Framework for Compliant Whole-Body Mobile Manipulation

Roboter, die sich in einem Haus bewegen und Dinge aufheben können, sind seit langem ein Traum der Science-Fiction, aber die Verwirklichung dieses Traums erfordert die Lösung eines schwierigen physikalischen Rätsels. Um wirklich nützlich zu sein, muss ein Roboter zwei Dinge gleichzeitig tun: durch einen unordentlichen Raum navigieren und Objekte sanft manipulieren, ohne sie zu beschädigen. Dies erfordert ein feines Gleichgewicht zwischen der Bewegung seines Körpers und dem Spüren der Welt, die er berührt. Wenn ein Roboter zu fest drückt, könnte er eine Vase umstoßen; wenn er sich zu steif bewegt, kann er keine Schublade öffnen oder eine Oberfläche abwischen. Damit ein Roboter diese Fähigkeiten von einem Menschen lernen kann, muss der Mensch in der Lage sein, ihn mit einem Maß an Sensibilität zu führen, das sich natürlich anfühlt, während der Roboter in der Lage sein muss, auf seine eigenen Sensoren zu hören und seinen Griff sowie den Druck in Echtzeit anzupassen. Ohne diese Fähigkeit zu fühlen und sich anzupassen, sind die gesammelten Daten für das Lehren des Roboters oft unbeholfen und inkonsistent, was es der Maschine erschwert, später komplexe Aufgaben zu erlernen.

Forscher der Shenzhen Technology University haben ein neues System namens M3-Tele entwickelt, um dieses Problem zu lösen. Sie bauten ein Framework, das es einem Menschen ermöglicht, einen mobilen Roboterarm über ein Smartphone zu steuern, aber mit einer entscheidenden Wendung: Das System ist darauf ausgelegt, den Kontakt zwischen dem Roboter und der Welt zu spüren. Der Roboter ist mit speziellen Sensoren an seinem Greifer ausgestattet, die sehen können, wie sehr die weichen Polster an seinen Fingern zusammengedrückt werden, wenn sie ein Objekt berühren, sowie mit Sensoren, die die Kraft messen, die gegen sein Handgelenk drückt. Wenn ein menschlicher Bediener den Roboter führt, um eine Whiteboard abzuwischen oder eine Schublade zu öffnen, folgt das System nicht einfach blind dem Pfad der Hand. Stattdessen prüft es ständig den Druck und das Zusammendrücken des Greifers und passt die Bewegung des Roboters automatisch an, um den Kontakt sanft und stetig zu halten. Dies schafft eine reibungslose, reaktionsschnelle Erfahrung, bei der sich der Roboter wie ein nachgiebiger Partner verhält und nicht wie eine starre Maschine.

Das Team testete dieses System bei vier verschiedenen Aufgaben, die von einfach bis schwierig reichten. Sie baten Freiwillige, das System zu verwenden, um einen Block aufzuheben, einen Stab zu drehen, eine Schublade aufzuziehen und ein Whiteboard abzuwischen. Die Ergebnisse zeigten, dass das neue System deutlich besser darin war, den Roboter in Kontakt mit Objekten zu halten, ohne den Griff zu verlieren oder zu viel Kraft auszuüben. Als die Forscher ihr System mit älteren Methoden verglichen, die keine Anpassungen durch Kraftsensorik verwendeten, war der Unterschied eklatant. Der neue Controller reduzierte den Fehler beim Verfolgen der gewünschten Kraft von über 4 Newton auf weniger als 0,35 Newton. In praktischen Begriffen bedeutet dies, dass der Roboter den Druck gegen eine Oberfläche mit viel größerer Präzision halten konnte. Darüber hinaus verhinderte das System, dass der Roboter versehentlich den Kontakt zu einem Objekt verlor, wodurch die Anzahl der Fälle, in denen der Griff verrutschte, von fast 2,5 Mal pro Versuch auf nahezu Null reduziert wurde.

Die Studie untersuchte auch, wie einfach das System für Menschen zu bedienen war. Die Forscher fanden heraus, dass die Rückmeldung des Bedieners über das Tastgefühl des Roboters die Aufgabe viel intuitiver machte. Nutzer bewerteten die Benutzerfreundlichkeit der neuen, Feedback-gestützten Schnittstelle signifikant höher als die Standard-Steuerungsmethoden und vergaben etwa 8,4 von 10 Punkten im Vergleich zu 5,8 für eine Basiskonfiguration. Dies deutet darauf hin, dass ein Mensch die Aufgabe effektiver steuern kann, wenn er „fühlen“ kann, was der Roboter fühlt, durch den Controller. Das System funktionierte bei allen verschiedenen Aufgaben gut und schloss die anspruchsvolle Wischaufgabe in 80 % der Fälle und einfachere Aufgaben in bis zu 94 % der Fälle erfolgreich ab. Diese Zuverlässigkeit ist entscheidlich, da sie bedeutet, dass der Roboter konsistente Demonstrationen sammeln kann, die hoch genug in ihrer Qualität sind, um für das Training verwendet zu werden.

Schließlich nutzten die Forscher die durch dieses System gesammelten Daten, um einem Roboter beizubringen, selbstständig eine Tafel abzuwischen, wobei sie eine Lernmethode verwendeten, die als Diffusion Policy bekannt ist. Sie testeten, ob der Roboter besser lernte, wenn er Zugang zu allen sensorischen Informationen hatte – der Kameraansicht, den Kraftmessungen und den taktilen Druckdaten – oder ob er mit nur der Kamera auskommen konnte. Die Experimente zeigten, dass der Roboter das effektivste Wischverhalten lernte, wenn er alle drei Arten von Informationen kombiniert hatte. Selbst wenn die Forscher dem Lernalgorithmus nur eine geringe Menge an Daten zur Verfügung stellten, half die Kombination aus Berührungs- und Kraftsensoren dem Roboter, die Aufgabe besser zu verstehen als allein durch die visuelle Wahrnehmung. Dies bestätigt, dass Roboter, um Aufgaben mit physischem Kontakt zu meistern, mit Daten unterrichtet werden müssen, die nicht nur erfassen, was der Roboter sieht, sondern auch genau, wie er die Welt fühlt. Die Arbeit zeigt, dass wir durch die Integration dieser Sinne in das Steuerungssystem Roboter bauen können, die nicht nur in der Lage sind, sich in unseren Häusern zu bewegen, sondern auch sanft und präzise genug sind, um mit den darin befindlichen Objekten zu interagieren.