DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

In den virtuellen Welten, in denen Roboter das Bewegen lernen, sind die Objekte, mit denen sie interagieren, oft zu perfekt. Ein digitaler Apfel ist eine starre Kugel, die niemals Dellen bekommt; ein digitales Handtuch ist ein flaches Blatt, das sich niemals faltet. Damit ein Roboter in einer Simulation lernen kann, etwas zu greifen, zu heben oder zu tragen, muss dieses Objekt wie das reale Gegenstück reagieren. Es muss sich beim Drücken verformen, beim Fallenlassen herabhängen und seine Form halten, wenn es angehoben wird. Das Erstellen dieser digitalen Objekte von Grund auf ist schwierig, denn das visuelle Erscheinungsbild eines Objekts – wie es aussieht – ist nur die halbe Geschichte. Die andere Hälfte ist seine verborgene physische Natur: wie schwer es ist, wie weich oder steif sein Material ist und wie es auf Berührung reagiert. Ohne das Wissen um diese unsichtbaren Eigenschaften könnte ein Roboter versuchen, eine digitale Banane aufzuheben, nur um festzustellen, dass sie wie Glas zerbricht oder ihm wie Wasser durch die Finger gleitet, einfach weil der Computer nicht wusste, wie man sie biegsam macht.

Forscher haben lange versucht, diese 3D-Objekte mithilfe von Textbeschreibungen oder einzelnen Fotografien zu generieren, aber bis jetzt waren die Ergebnisse oft visuell überzeugend, aber physisch fehlerhaft. Sie mögen wie ein Plüschtier aussehen, aber in einer Simulation würden sie unter ihrem eigenen Gewicht zusammenbrechen oder nicht auf den Griff eines Roboters reagieren. Die Herausforderung liegt darin, dass ein Bild oder ein Satz nicht genügend Informationen enthält, um einem Computer genau zu sagen, wie sich ein Objekt verformen soll. Um dies zu lösen, hat ein Forscherteam ein neues System namens DeformSmith entwickelt. Dieses Framework errät nicht nur, wie ein Objekt aussehen sollte; es baut das Objekt in Schichten auf, testet dessen physisches Verhalten bei jedem Schritt und nutzt einen simulierten Roboter, um das Objekt zu manipulieren, bevor der Prozess abgeschlossen ist.

Der Kern dieses neuen Ansatzes ist ein schrittweiser Konstruktionsprozess, der dem Vorgehen eines menschlichen Ingenieurs beim Bau eines Prototyps nachempfunden ist, wobei jedoch ein Computer die schwere Arbeit übernimmt. Das System beginnt mit einer einfachen Beschreibung oder einem einzigen Foto und baut zuerst die 3D-Form des Objekts auf. Sobald die Form existiert, weist das System dem Objekt eine physische Identität zu, indem es entscheidet, wie viel es wiegt und wie es mit dem Boden interagiert. Dann fügt es die Materialeigenschaften hinzu und bestimmt, ob das Objekt weich wie ein Schwamm oder fest wie ein Gummiball ist. Entscheidend ist, dass das System diese Werte nicht einfach festlegt und auf das Beste hofft. Es führt eine Reihe von physischen Tests durch, lässt das Objekt fallen oder drückt darauf, um zu sehen, ob es sich korrekt verhält. Wenn das Objekt zu leicht kollabiert oder auf die falsche Weise springt, passt das System seine internen Einstellungen automatisch an und versucht es erneut.

Was diese Methode einzigartig macht, ist die Art und Weise, wie sie einen Roboter in den Prozess einbindet. Nachdem das Objekt die grundlegenden physischen Tests bestanden hat, versucht ein simulierter Roboterarm, es aufzuheben, zu tragen und abzusetzen. Hier lernt das System am meisten. Der Roboter versucht, das Objekt zu greifen, und das System beobachtet genau, ob das Objekt seine Form hält, ob es rutscht oder ob es sich so verformt, dass eine Bewegung unmöglich wird. Wenn der Roboter scheitert, nutzt das System diesen Fehler als Hinweis. Es erkennt vielleicht, dass das Objekt zu rutschig ist, oder dass der Griff zu schwach war, oder dass das Material für die Aufgabe zu weich ist. Das System geht dann zurück und verfeinert die Eigenschaften des Obgels oder ändert die Bewegung des Roboters, wobei es den Zyklus wiederholt, bis der Roboter die Aufgabe erfolgreich abschließen kann. Dies erzeugt eine Rückkopplungsschleife, in der das Objekt ständig verbessert wird, basierend darauf, wie gut es in einem realen Szenario funktioniert.

Die Forscher testeten dieses System, indem sie Dutzende verschiedener Objekte, von einem Rugbyball bis hin zu einer Plüschrobbe, sowohl mit Textbeschreibungen als auch mit Einzelbildern erstellten. Sie verglichen ihre Ergebnisse mit anderen fortschrittlichen Methoden, die dasselbe Ziel verfolgen. In diesen Vergleichen waren die von DeformSmith erstellten Objekte signifikant realistischer. Beim Fallenlassen behielten sie ihre Form bei und sprangen oder verformten sich auf eine natürliche Weise, während Objekte aus anderen Systemen oft zu einem Fladen zerquetscht wurden oder auseinanderfielen. In Blindtests, bei denen Menschen beurteilten, welches Objekt besser aussah und sich besser verhielt, gewann das neue System die Mehrheit der Fälle. Es war besonders erfolgreich bei der Erstellung von Objekten, die von einem Roboter manipuliert werden konnten; die Erfolgsquote beim Aufheben und Bewegen von Objekten stieg durch die robotergestützte Verfeinerung von weniger als der Hälfte auf mehr als zwei Drittel.

Das System arbeitet, indem es das Problem in handhabbare Phasen unterteilt und sicherstellt, dass die Form korrekt ist, bevor es sich um das Gewicht sorgt, und dass das Gewicht korrekt ist, bevor es sich um das Material sorgt. Dies verhindert, dass der Computer verwirrt wird, indem er versucht, alles gleichzeitig zu korrigieren. Ein zentrales „Harness“ (ein Steuerungsmodul) fungt als Aufseher, der alle Regeln im Auge behält und sicherstellt, dass Änderungen in einer Phase nicht die Arbeit einer vorangegangenen Phase zerstören. Wenn das System beispielsweise entscheidet, ein Objekt weicher zu machen, prüft es, ob diese Änderung das Objekt zu schwer macht oder dazu führt, dass es in den Boden einsinkt. Dieser sorgfältige, hierarchische Ansatz ermöglicht es dem System, komple

komplexe, interaktive Objekte zu bauen, die bereit für den Einsatz in Robotertrainingssimulationen sind.

Obwohl das System leistungsstark ist, merken die Forscher an, dass es derzeit am besten mit festen Objekten funktioniert, die gedrückt oder gedehnt werden können, und weniger mit Flüssigkeiten oder granularen Materialien wie Sand. Die abgeleiteten physischen Eigenschaften sind ebenfalls Schätzungen, die auf visuellen Hinweisen und Simulationen basieren, was bedeutet, dass sie noch mit realen Messungen verifiziert werden müssten, wenn sie für echte physische Roboter verwendet werden sollen. Die Fähigkeit, eine große Vielfalt an physisch glaubwürdigen Objekten aus einfachen Eingaben zu generieren, öffnet jedoch eine neue Tür für die Robotik. Anstatt jedes einzelne Objekt, das ein Roboter begegnen könnte, manuell zu modellieren, können Ingenieure nun ein Objekt beschreiben oder ein Bild zeigen, und das System baut einen digitalen Zwilling, der bereit ist, getestet, manipuliert und daraus gelernt zu werden. Diese Fähigkeit deutet auf eine Zukunft hin, in der Roboter viel schneller lernen können, mit der unordentlichen, verformbaren Welt alltäglicher Objekte umzugehen, indem sie mit einer riesigen Bibliothek automatisch generierter, physisch genauer digitaler Assets üben.