Um ein starres Objekt, wie eine Box oder einen Becher, zu bewegen, muss ein Roboter nur wissen, wo es sich befindet und wohin es gehen soll. Der Pfad ist geradlinig, und die Bewegungsregeln sind einfach. Doch um etwas Weiches und Veränderbares zu bewegen, wie ein Seil, ein Handtuch oder einen Klumpen Ton, wird die Aufgabe zu einem tiefgründigen Rätsel. Diese Objekte bewegen sich nicht einfach nur; sie biegen, dehnen und verdrehen sich auf eine Weise, die vollständig davon abhängt, woraus sie bestehen. Ein steifes Gummiband schnellt schnell zurück, während ein weiches Stück Teig seine neue Form für immer behält. Ein Roboter kann diese verborgenen Eigenschaften nicht allein durch das Ansehen eines Videos des Objekts erkennen. Er muss die „Persönlichkeit“ des Materials erraten, vorhersagen, wie das Material auf eine Berührung reagieren wird, und dann nach dieser Vorhersage handeln. Wenn die Vermutung falsch ist, könnte der Roboter zu fest ziehen und das Objekt zerreißen, oder zu sanft drücken und es gar nicht erst bewegen. Jahrelang haben Wissenschaftler darum gerungen, ein Computermodell zu bauen, das diese verborgenen Regeln schnell genug lernen kann, um in der realen Welt nützlich zu sein, was Roboter oft dazu zwang, für jedes neue Objekt, mit dem sie begegnen, stundenlang zu kalibrieren.

Forscher am Georgia Institute of Technology haben einen neuen Ansatz namens PhysCoRe vorgestellt, der darauf abzielt, dies zu lösen, indem er einen Roboter lehrt, die Physik weicher Objekte zu lernen, während er sie sich bewegen sieht. Anstatt zu versuchen, jede mögliche Form eines weichen Objekts auswendig zu lernen oder Stunden damit zu verbringen, dessen Steifigkeit zu messen, bevor er überhaupt etwas unternimmt, kombiniert dieses System eine Standard-Physik-Engine mit zwei intelligenten Lernmodulen. Das erste Modul, das die Autoren als „Material from Motion“ bezeichnen, beobachtet einen kurzen Clip, in dem ein Objekt manipuliert wird, und leitet sofort die Materialeigenschaften jedes winzigen Teils dieses Objekts ab. Es findet heraus, ob ein bestimmter Abschnitt steif oder dehnbar ist, und weist ihm sogar ein Maß an Konfidenz zu, wobei es genau weiß, wo es sich unsicher ist. Das zweite Modul, genannt „Residual from Dynamics“, fungiert als Feinabstimmung. Es lernt die kleinen, systematischen Fehler, die entstehen, wenn eine perfekte Physiksimulation auf die chaotische Realität von Reibung und unvollkommenem Kontakt trifft, und korrigiert die Vorhersagen des Roboters in Echtzeit.

Das System arbeitet, indem es ein weiches Objekt in tausende unsichtbare Punkte oder Partikel zerlegt, die mit einem Gitter interagieren, ähnlich wie ein digitales Wettermodell die Atmosphäre in ein Gitter unterteilt, um Stürme vorherzusagen. Wenn ein Roboterarm das Objekt berührt, simuliert das System, wie sich diese Partikel basierend auf dem Material bewegen sollten, das es gerade erraten hat. Da die Simulation jedoch eine Annäherung ist, ist sie nie perfekt genau. Das Modul „Residual from Dynamics“ springt ein, um den Unterschied zwischen der Simulation und dem, was tatsächlich geschieht, zu korrigieren, indem es aus der Lücke lernt, um die nächste Vorhersage zu verbessern. Entscheidend ist, dass dieser gesamte Prozess in einem einzigen, schnellen Durchgang geschieht. In Tests mit echten Robotern, die Seile, Handtücher und Knete manipulierten, identifizierte das System die Materialeigenschaften eines neuen Objekts in nur 11,4 Sekunden. Im Vergleich dazu benötigten frühere Methoden, die versuchten, das Material für jedes Objekt zu optimieren, über 900 Sekunden für ein einfaches Seil und mehr als 8.000 Sekunden für ein Modell aus Knete. Diese Geschwindigkeit bedeutet, dass ein Roboter theoretisch in der Lage ist, sich an ein neues weiches Objekt anzupassen, sobald er es sieht, ohne eine lange, mühsame Vorbereitungszeit zu benötigen, vorausgesetzt, das Objekt gehört zu einer Kategorie, die das System bereits kennt.

Die Forscher fanden heraus, dass dieser Ansatz nicht nur die zukünftige Form des Objekts genauer vorhersagt als bestehende Methoden, sondern auch eine Karte seiner eigenen Unsicherheit liefert. Während der Roboter mit dem Objekt interagiert, wächst die Konfidenz des Systems in den Bereichen, die sich bewegt und beobachtet wurden, während sie in den Bereichen, die noch verborgen oder unberührt sind, niedrig bleibt. Dieses Selbstbewusstsein ist nicht nur ein Nebenprodukt; es ist ein Werkzeug. Das Team demonstrierte, dass ein Roboter diesen Konfidenzkart nutzen kann, um zu entscheiden, wo er als Nächstes berühren soll. Wenn das System unsicher ist, wie sich ein bestimmter Teil eines Handtuchs falten wird, wird der Roboter angewiesen, genau diese Stelle zu prüfen, um mehr Informationen zu sammeln. Dies schafft einen Zyklus des aktiven Lernens, bei dem der Roboter das Objekt gezielt untersucht, um seine eigene Unsicherheit zu verringern, was zu besseren Manipulationsplänen führt. Bei Planungsaufgaben, wie dem Falten eines Handtuchs oder dem Formen eines Seils zu einem „S“, erzielte der Roboter, der dieses neue Modell verwendete, signifikant bessere Ergebnisse und brachte das Objekt näher an das gewünschte Ziel als Roboter, die ältere, langsamere oder weniger genaue Modelle verwendeten.

Die Studie schließt explizit die Vorstellung aus, dass ein Roboter lange Zeit kalibrieren muss, um jedes neue Objekt effektiv handhaben zu können, und zeigt stattdessen, dass eine schnelle, vorwärtsgerichtete Inferenz ausreicht, um eine hohe Genauigkeit innerhalb bekannter Objektkategorien zu erreichen. Sie argumentiert zudem gegen die ausschließliche Abhängigkeit von rein datengesteuerten Modellen, die die Physik ignorieren, und stellt fest, dass solche Modelle oft die grundlegenden Bewegungsgesetze missachten und Schwierigkeiten haben, auf neue Situationen zu generalisieren. Während das System sehr effektiv für elastische und elastoplastische Objekte wie Gummibänder, Handtücher und Knete ist, merken die Autoren an, dass es extreme Verhaltensweisen wie Reißen, Schneiden oder flüssähnliche Bewegungen noch nicht bewältigt. Die Ergebnisse basieren auf realen Experimenten mit einem KUKA-Roboterarm und einem Datensatz von zwölf Manipulationsepisoden, was bestätigt, dass die Methode außerhalb einer Computersimulation funktioniert. Die Konfidenz, die das System bei seinen Vorhersagen zeigt, ist nicht bloß eine Vermutung; sie ist ein messbares Signal, das mit der tatsächlichen Verformung des Objekts übereinstimmt, was beweist, dass der Roboter seiner eigenen Einschätzung dessen, was er weiß und was er noch lernen muss, vertrauen kann.

Diese Arbeit stellt einen bedeutenden Schritt in Richtung Roboter dar, die mit der Fähigkeit zur menschlichen Anpassungsfähigkeit mit weichen, unvorhersehbaren Materialien umgehen können. Indem PhysCoRe seine Vorhersagen in einem physikalischen Simulator verankert und gleichzeitig neuronale Netze nutzt, um die fehlenden Details zu erlernen, schlägt es die Brücke zwischen der starren Logik der Physik und der fließenden Realität der Welt. Es legt nahe, dass die Zukunft der robotergestützten Manipulation nicht darin besteht, dass ein Roboter alles über ein Objekt wissen muss, bevor er es berührt, sondern vielmehr darin, die notwendigen Details im Moment zu lernen, geleitet durch ein klares Verständnis seiner eigenen Grenzen. Die Fähigkeit, Materialeigenschaften in Sekunden zu identifizieren und dieses Wissen zur Planung komplexer Aufgaben zu nutzen, öffnet die Tür für Roboter, die neben Menschen in Umgebungen voller weicher, deformierbarer Objekte arbeiten können – vom Falten von Wäsche bis hin zum Umgang mit empfindlichen Lebensmitteln – ohne die Notwendigkeit eines langsamen, manuellen Setups.