ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
ADEPТ ist ein groß angelegtes Reinforcement-Learning-Framework, das die Entwicklung menschlicher Geschicklichkeit bei Robotern mit hohen Freiheitsgraden durch das Vortraining auf generischen Aufgaben und den Einsatz eines stabilen Post-Training-Rezepts beschleunigt, um einen Zero-Shot Sim-to-Real-Transfer zur Lösung komplexer, langfristiger Manipulationsaufgaben aus der visuellen und taktilen Rohwahrnehmung zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Roboter sind seit langem Meister der Fabrikhallen, die sich mit starrer Präzision bewegen, um Autos zu montieren oder Kisten zu stapeln. Doch wenn sie gebeten werden, die fließenden, feinfühligen Aufgaben des täglichen Lebens auszuführen – wie etwa ein zerbrechliches Ei aufzuheben, es zu wenden und es behutsam in eine Schüssel zu legen –, scheitern die meisten Maschinen. Dies ist die Herausforderung der Geschicklichkeit. Sie erfordert von einem Roboter, dass er Dutzende von beweglichen Teilen gleichzeitig koordiniert und dabei in Echtzeit auf Berührung und Sicht reagiert, um die chaotische Physik von Objekten zu bewältigen, die rutschen, rollen oder kollidieren. Jahrelang haben Forscher versucht, Robotern diese Fähigkeiten beizubringen, indem sie sie mit starren Regeln programmierten oder ihnen menschliche Demonstrationen zeigten, aber diese Methoden scheitern oft, wenn sich die Umgebung auch nur geringfügig ändert. Ein neuer Ansatz legt jedoch nahe, dass das Geheimnis der robotischen Geschicklichkeit nicht darin liegt, einem Roboter jede spezifische Aufgabe von Grund auf neu beizubringen, sondern ihm zuerst eine breite, fundamentale Erfahrung mit der physischen Welt zu vermitteln.
Ein Forschungsteam hat ein neues Framework namens ADEPT entwickelt, das Roboter lehrt, komplexe Manipulationsfähigkeiten zu erlernen, indem sie zuerst ein generisches Spiel des „Umpositionierens“ von Objekten meistern. Stellen Sie sich eine Roboterhand vor, die Monate in einer virtuellen Welt verbringt und einfach nur zufällige Formen – Zylinder, Würfel, Kugeln – aufhebt und sie an verschiedene Stellen auf einem Tisch bewegt. Sie lernt zu greifen, zu heben und zu drehen, ohne ein spezifisches Ziel zu verfolgen, außer die Objekte erfolgreich zu bewegen. Diese Phase baut ein tiefes, intuitives Verständnis dafür auf, wie sich Objekte verhalten und wie sich die Finger des Roboters bewegen müssen, um sie zu kontrollieren. Sobald dieses Fundament gelegt ist, führen die Forscher eine spezifische neue Aufgabe ein, wie etwa das Einsetzen eines Stifts in ein Loch oder das Platzieren eines Tellers in ein Geschirrgestell. Anstatt von vorne zu beginnen, nutzt der Roboter seine vorherige Erfahrung als Leitfaden. Die Forscher fanden heraus, dass diese Methode es dem Roboter ermöglicht, die anfängliche, unbeholfene Lernphase zu überspringen und seine allgemeinen Fähigkeiten sofort auf die neue, spezifische Herausforderung anzuwenden.
Die Leistungsfähigkeit dieses Ansatzes wird deutlich, wenn der Roboter mit einer Aufgabe konfrontiert wird, die er noch nie zuvor gesehen hat. In ihren Experimenten testeten die Forscher das System an zwei verschiedenen Roboterarmen, die mit mehrfingrigen Händen ausgestattet waren: einer mit dreiundzwanzig beweglichen Gelenken und einer mit neunundzwanzig. Sie trainierten die Roboter in einer High-Fidelity-Simulation, in der sie tausende Versuche gleichzeitig durchführen konnten. Die Roboter lernten zuerst, eine Vielzahl einfacher Formen umzupositionieren. Als die Forscher die Roboter dann baten, eine schwierige Aufgabe auszuführen – das Einsetzen eines Stifts in eine Platte, eine Herausforderung, die eine präzise Ausrichtung und den Umgang mit Kontaktkräften erfordert –, begannen die Roboter nicht bei Null. Sie erkannten sofort die Notwendigkeit, den Stift zu erreichen, zu greifen und zu heben – Fähigkeiten, die sie bereits gemeistert hatten. Der einzige Teil, den sie lernen mussten, war das abschließende, feinfühlige Einsetzen.
Es ist jedoch so, dass ein Roboter, der auf eine Aufgabe trainiert wurde, oft verlernt, was er gelernt hat, wenn man ihn bittet, eine andere Aufgabe auszuführen. Die Forscher entdeckten, dass, wenn sie versuchten, das Verhalten des Roboters direkt feinabzustimmen, die neuen Anweisungen die alten Fähigkeiten überschrieben, was dazu führte, dass der Roboter die Fähigkeit verlor, Objekte richtig zu greifen oder zu heben. Um dies zu lösen, entwickelten sie ein sorgfältiges Trainingsrezept. Zuerst verwendeten sie eine Technik, um das neue Verhalten des Roboters sanft so zu beeinflen, dass es dem alten, erfolgreichen Verhalten ähnelte, um sicherzustellen, dass die Kernfähigkeiten intakt blieben. Dann passten sie langsam das Verständnis des Roboters darüber an, was eine „gute“ Bewegung für die neue Aufgabe darstellt, damit er sich anpassen konnte, ohne das Gleichgewicht zu verlieren. Schließlich trainierten sie eine zweite, einfachere Version des Roboters, die sich nur auf das verlassen konnte, was sie durch Kameras sahen und was sie durch ihre Fingerspitzen fühlten, indem sie die internen Daten entfernten, die der Roboter während des Trainings nutzte. Dieser „Schüler“-Roboter wurde dann in die reale Welt geschickt.
Die Ergebnisse waren beeindruckend. In der realen Welt konnten diese Roboter erfolgreich einen Stift aufnehmen, ihn in ihrer Hand auszurichten und in ein Loch einzusetzen, wobei sie sich ausschließlich auf visuelles und taktiles Feedback verließen. Sie konnten einen symmetrischen, sternförmigen Stift sowie einen viel schwierigeren, asymmetrischen quadratischen und runden Stift handhaben, der eine einzige, präzise Ausrichtung erfordert, um zu passen. Das System lernte auch, einen flachen Teller zu greifen, ihn umzudrehen und in ein Geschirrgestell zu stellen – eine Sequenz von Handlungen, die das ursprüngliche Training nie explizit gezeigt hatte. Die Roboter führten diese Aufgaben in fünf bis zehn Sekunden aus, eine Geschwindigkeit, die mit der eines Menschen vergleichbar ist, während frühere Methoden mit einfacheren Greifern und externen Vorrichtungen zwanzig bis siebzig Sekunden benötigten.
Entscheidend war, dass die Forscher fanden, dass die Roboter natürliche, menschenähnliche Arten entwickelten, Objekte zu halten. Ohne explizit gesagt zu bekommen, wie sie den Stift halten sollen, lernten die Roboter, ihre Finger in einem stabilen Mehrpunktgriff um ihn zu legen, ganz ähnlich wie eine menschliche Hand. Roboter, die ohne die anfängliche Umpositionierungsphase trainiert wurden, entwickelten hingegen oft ungeschickte, instabile Arten, Objekte zu halten, die zwar für einen Moment funktionierten, aber unter Druck versagten. Die Studie legt nahe, dass ein Roboter, dem man zuerst eine breite, allgemeine Erfahrung mit der Physik von Objekten vermittelt, neue, spezifische Fähigkeiten viel schneller und zuverlässiger erlernen kann, als wenn man versucht, alles auf einmal zu lernen. Dieser Ansatz macht Roboter nicht nur schneller; er macht sie robuster und fähiger, die unvorhersehbare Natur der realen Welt mit einem Maß an Geschicklichkeit zu bewältigen, die zuvor unerreichbar war.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.