Leveraging Inter-object Affordances for Efficient Planning in Contact-rich Tasks

Roboter sind seit langem Meister der Fabrikhallen, wo sie dieselben präzisen Bewegungen an identischen Bauteilen wiederholen. Doch betritt man eine echte Küche, ändern sich die Regeln. Hier kommen Objekte in jeder Form, Größe und aus jedem Material vor, und sie interagieren auf komplexe Weise. Eine schwere Pfanne kann nicht auf einem dünnen Salzstreuer balanciert werden, und ein runder Glaskrug wird von einer gekrümmten Oberfläche rollen. Damit ein Roboter diese chaotische Realität bewältigen kann, benötigt er mehr als nur eine Liste von Schritten; er muss die physischen „Interaktionsregeln“ zwischen Objekten verstehen. Dies ist die Herausforderung des Task-and-Motion-Plannings (Aufgaben- und Bewegungsplanung), ein Feld, das versucht, die Lücke zwischen High-Level-Zielen wie „den Tisch organisieren“ und der Low-Level-Physik der tatsächlichen Bewegung eines Roboterarms zu schließen. Während die moderne künstliche Intelligenz große Fortschritte im Verständnis von Sprache und Bildern gemacht hat, bleibt es eine erhebliche Hürde, einen Roboter dazu zu bringen, eine Vielzahl von Haushaltsgegenständen zuverlässig zu stapeln, ohne sie umzuwerfen.

Ein Forschungsteam der Universität Innsbruck hat dieses Problem angegangen, indem es einem Planungssystem beigebracht hat, über die physischen Beziehungen zwischen Objekten nachzudenken, noch bevor es auch nur einen Muskel bewegt. Anstatt sich auf vereinfachte Modelle zu verlassen, die alle Objekte als gleichförmige Blöcke behandeln, entwickelten sie eine Methode, die die spezifischen Affordanzen realer Gegenstände berücksichtigt. In diesem Zusammenhang ist eine Affordanz einfach das, was ein Objekt einem Roboter basierend auf seiner Form und seinem Material ermöglicht. Beispielsweise bietet ein flaches Schneidebrett eine stabile Oberfläche, um andere Gegenstände darauf zu halten, während der runde Boden eines Salzstreuers dies nicht tut. Die Forscher bauten ein System, das diese physischen Wahrheiten nutzt, um unmögliche Aktionen herauszufiltern, noch bevor der Roboter sie überhaupt versucht, um sicherzustellen, dass ein Plan, einen Becher auf eine Pfanne zu stapeln, nur dann generiert wird, wenn die Physik dies tatsächlich zulässt.

Der Kern ihrer Arbeit besteht in einer neuen Art und Weise, wie ein Roboter mit seiner Umgebung interagiert. Sie erstellten einen Satz von Regeln, die beschreiben, wie Objekte gegriffen, gestützt, gehoben oder geschoben werden können. Zum Beispiel versteht das System, dass eine Pfanne am Griff gehoben werden kann, aber zu schwer und unhandlich ist, um am Rand gepackt zu werden. Es weiß, dass ein Holztablett zu schwer ist, um es vom Tisch anzuheben, aber über dessen Oberfläche geschoben werden kann. Durch die direkte Kodierung dieser physikalischen Einschränkungen in den Planungsprozess vermeidet der Roboter Zeitverschwendung durch Versuche, Aktionen auszuführen, die physisch unmöglich sind, wie etwa der Versuch, ein großes, schweres Objekt auf einer kleinen, instabilen Oberfläche zu balancieren. Dieser Ansatz, den die Autoren Unified TAMP nennen, ermöglicht es dem Roboter, eine Sequenz von Aktionen zu generieren, die in der realen Welt garantiert machbar sind, statt nur theoretisch möglich.

Um diese Idee zu testen, richteten die Forscher eine simulierte Küchenumgebung mit einem Roboterarm und einer Sammlung gängiger Gegenstände ein: ein Salzstreuer, ein Glaskrug, ein Schneidebrett, eine Pfanne und ein Holztablett. Das Ziel war es, diese verstreuten Gegenstände zu organisieren, indem sie ordentlich auf das Tablett gestapelt wurden. Sie erstellten über hundert verschiedene Startszenarien, wobei sie die Anzahl der Objekte und deren Ausgangspositionen variierten, um zu sehen, wie gut ihre Methode unter Druck stand. Sie verglichen ihr neues System mit zwei anderen Ansätzen: einem älteren Tool zur Planung, das spezifische physische Eigenschaften ignorierte, und einem System, das auf ein großes Vision-Language-Modell zurückgriff, um die richtigen Schritte basierend auf dem gesunden Menschenverstand zu erraten.

Die Ergebnisse waren beeindruckend. Das neue System, das die detaillierten physikalischen Regeln einbezog, gelang es fast jedes Mal, gültige Pläne zu erstellen, wobei es eine Erfolgsquote von bis zu einhundert Prozent erreichte, wenn die Regeln perfekt bekannt waren. Selbst wenn das System ein Vision-Modell nutzen musste, um die Objekte und ihre Eigenschaften zu identifizieren, war es immer noch in neunzig Prozent der Fälle erfolgreich. Im Gegensatz dazu scheiterte die ältere Planungsmethode, die Objekte als generische Blöcke behandelte, in mehr als der Hälfte der Fälle, weil sie versuchte, Gegenstände auf eine Weise zu stapeln, die der Physik widersprach, wie etwa das Platzieren einer schweren Pfanne auf einem winzigen Salzstreuer. Das Vision-Language-Modell hingegen, trotz seiner Fähigkeit, Sprache und Bilder zu verstehen, hatte erhebliche Schwierigkeiten und war nur in etwa vierzig Prozent der Fälle erfolgreich. Es übersah oft subtile physische Details, wie die Tatsache, dass eine runde Oberfläche kein schweres Objekt tragen kann, was zu Plänen führte, die textlich logisch erschienen, aber in der Realität scheiterten.

Neben den Erfolgsraten war die Geschwindigkeit der Planung ein wesentlicher Differenzierungsfaktor. Das neue System generierte Pläne in einem Bruchteil einer Sekunde, etwa zwei Größenordnungen schneller als das Vision-Language-Modell, das im Durchschnitt über eine Minute benötigte. Diese Geschwindigkeit ergibt sich daraus, dass das neue System einen strukturierten, logischen Rahmen nutzt, um unmögliche Optionen sofort auszuschließen, während das Vision-Modell gezwungen ist, über jede Möglichkeit von Grund auf neu zu argumentieren. Die Forscher fanden heraus, dass die älteren Methoden mit zunehmender Anzahl an Objekten immer langsamer und fehleranfälliger wurden, während ihr neuer Ansatz seine Effizienz und Genauigkeit beibehielt. Dies deutet darauf hin, dass Roboter für einen effektiven Einsatz in komplexen, realen Umgebungen ein solides Fundament des physischen Verständnisses benötigen, das über das bloße Erkennen eines Objekts hinausgeht.

Die Studie verdeutlichte auch die Grenzen der alleinigen Abhängigkeit von Künstlicher Intelligenz, um die physische Welt zu verstehen. Während Vision-Language-Modelle leistungsstarke Werkzeuge zur Objekterkennung und zur Generierung von Ideen sind, fehlt ihnen die rigorose, schrittweise Argumentation, die erforderlich ist, um sicherzustellen, dass ein Plan in einer physischen Simulation funktioniert. Die Forscher zeigten, dass sie durch die Kombination des Alltagsverstandes dieser Modelle mit einem strengen, regelbasierten Planungssystem das Beste aus beiden Welten erhielten: die Fähigkeit, reale Objekte zu erkennen, und die Fähigkeit, einen Plan zu erstellen, der die Gesetze der Physik respektiert. Dieser hybride Ansatz ermöglicht es dem Roboter, die Unordnung einer echten Küche zu bewältigen, in der eine schwere Pfanne nicht am Rand gehoben werden kann und ein runder Becher nicht auf einer gekrümmten Oberfläche balanciert werden kann, ohne stecken zu bleiben oder zu scheitern.

Letztendlich zeigt diese Arbeit, dass Roboter, um von kontrollierten Laboratorien in unsere Häuser zu gelangen, mit einem tiefen, symbolischen Verständnis darüber ausgestattet sein müssen, wie Objekte miteinander interagieren. Es reicht nicht aus zu wissen, dass ein Becher existiert; der Roboter muss verstehen, dass der Becher einen flachen Boden hat, der einen Untersetzer tragen kann, aber eine gekrümmte Seite besitzt, die dies nicht kann. Durch die Integration dieser physikalischen Einschränkungen direkt in den Planungsprozess haben die Forscher ein System geschaffen, das sowohl schnell als auch zuverlässig ist. Die Experimente, die in einer realistischen Simulation durchgeführt wurden, zeigen, dass diese Methode komplexe Stapelaufgaben mit einem hohen Maß an Erfolg bewältigen kann, was einen vielversprechenden Weg für Roboter ebnet, die in der unvorhersehbaren und vielfältigen Welt menschlicher Umgebungen agieren müssen.