Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties

Stellen Sie sich eine Welt vor, in der Roboter die ultimativen Helfer sind, fähig dazu, unsere Hausarbeiten zu erledigen, unsere Autos zu bauen und unsere Gadgets zusammenzubauen. Aber es gibt einen kniffligen Job, mit dem selbst die klügsten Roboter zu kämpfen haben: aus einer unordentlichen Kiste voller verhedderter Teile genau das richtige herauszufischen. Dies wird als „Bin-Picking“ bezeichnet. Denken Sie an den Versuch, einen bestimmten Lego-Stein in einem Eimer zu finden, in dem hunderte identische Steine miteinander verfangen sind, einige nach oben zeigend, einige seitlich, und einige unter anderen verborgen. Für einen Menschen ist das einfach; wir können die Augen zusammenkneifen, den Kopf neigen und herumtasten. Für einen Roboter ist es ein Albtraum der Verwirrung. Wenn der Roboter falsch rät, wie ein Teil ausgerichtet ist, greift er es vielleicht verkehrt herum an, lässt es fallen oder, schlimmer noch, versucht, es falsch in eine Maschine zu zwängen, was zu einem Crash führt. Die große Frage in der Robotik derzeit laet sich darin: Wie bringen wir Maschinen bei, so anpassungsfähig und vorsichtig zu sein wie wir?

Diese Arbeit befasst sich genau mit diesem Problem, indem sie einen „modularen“ Weg vorstellt, um Robotern zu helfen, mit Unsicherheit umzugehen. Anstatt den Roboter zu zwingen, eine einzige, perfekte Vermutung darüber anzustellen, wo sich ein Objekt befindet, schlagen die Autoren vor, dass der Roboter in Begriffen von „Möglichkeiten“ denken sollte. Stellen Sie sich vor, der Roboter schaut nicht nur auf ein Teil und sagt: „Es ist hier“, sondern eher: „Es ist wahrscheinlich hier, aber es könnte auch dort sein, oder vielleicht umgedreht.“ Das Papier schlägt ein Toolkit aus verschiedenen Tricks – oder Modulen – vor, die der Roboter mischen und kombinieren kann. Einige Tricks beinhalten das Aufnehmen eines zweiten Fotos aus einem anderen Winkel, um die Verwirrung zu klären. Andere beinhalten das Bewegen des Objekts auf ein spezielles Tablett, damit es flach liegen und erneut überprüft werden kann. Die Autoren haben diese Ideen an echten Robotern getestet und festgestellt, dass der Roboter durch die Kombination dieser Module viel schneller und hochzuverlässig wurde und selbst dann kaum Fehler machte, wenn die Teile schwierig zu erkennen waren.

Das Dilemma des Roboters: Die unordentliche Kiste

Stellen Sie sich einen Roboterarm vor, der über einem Behälter steht, der mit wahllosen Metallteilen gefüllt ist. Die Aufgabe des Roboters ist es, eines aufzuheben und in eine Maschine zu legen. Das Problem ist, dass die Teile in einem chaotischen Haufen aufgestapelt sind. Manchmal sieht ein Teil exakt gleich aus, egal ob es nach links oder rechts zeigt, oder ob es umgedreht wurde. Dies ist das, was die Wissenschaftler als „Ambiguität“ bezeichnen. Wenn der Roboter das falsche Teil wählt oder es in der falschen Ausrichtung greift, schlägt der gesamte Prozess fehl.

In der Vergangenheit versuchten Roboter, dies zu lösen, indem sie ein einzelnes Bild aufnahmen und ihre beste Vermutung anstellten. Aber wenn die Vermutung falsch war, versuchte der Roboter, das Teil einzufügen, scheiterte und musste dann von vorne beginnen. Es war, als würde man versuchen, ein Puzzle zu lösen, während man eine Augenbinde trägt; man hat vielleicht Glück, aber man lässt wahrscheinlich ein Teil fallen. Die Autoren dieser Arbeit erkannten, dass der Roboter, anstatt eine einzige Antwort zu erzwingen, eine „Liste von Möglichkeiten“ in seinem Kopf behalten sollte. Er sollte sagen: „Es besteht eine 60-prozentige Chance, dass dieses Teil nach oben zeigt, und eine 40-prozentige Chance, dass es nach unten zeigt.“ Diese Liste wird als „Pose-Verteilung“ bezeichnet.

Das modulare Toolkit: Mixen und Kombinieren von Tricks

Die Kernidee dieser Arbeit ist, dass es nicht nur einen Weg gibt, eine unordentliche Kiste zu lösen. Stattdessen haben die Autoren ein „modulares Framework“ gebaut. Denken Sie an dies wie an ein Videospiel, in dem Sie verschiedene Power-ups ausrüsten können. Sie müssen nicht alle verwenden, aber Sie können sie kombinieren, um Ihren Charakter stärker zu machen. Das Papier stellt drei Haupt-„Power-ups“ (Module) vor, die der Roboter nutzen kann:

1. Der zweite Blick (Second View): Manchmal kann die Hauptkamera des Roboters nicht genug von dem Teil sehen, um zu wissen, in welche Richtung es zeigt. Es ist, als würde man versuchen, eine Münze in seiner Tasche zu identifizieren, indem man nur auf die Oberseite schaut; man kann nicht sagen, ob sie Kopf oder Zahl zeigt. Die Lösung? Der Roboter bewegt eine zweite Kamera in einen anderen Winkel. Das Papier beschreibt dies als das Aufnehmen eines Fotos aus einem Winkel von 30 Grad zur Seite. Durch die Kombination der „Vermutung“ aus der ersten Kamera mit der „Vermutung“ aus der zweiten Kamera kann der Roboter die Möglichkeiten eingrenzen. Es ist, als würde man zwei Freunden nach dem Weg fragen; wenn beide übereinstimmen, ist man sich viel sicherer, dass man in die richtige Richtung geht.

2. Das Sicherheits-Tablett (Re-orientation Tray): Wenn der Roboter nach dem Aufnehmen von zwei Bildern immer noch verwirrt ist oder wenn das Teil tief im Behälter vergraben ist, hat er einen Plan B. Er greift das Objekt und bewegt es auf ein spezielles, flaches Tablett. Dieses Tablett ist leer und sauber, sodass das Objekt flach liegt, ohne gegen etwas anderes zu stoßen. Sobald das Objekt auf dem Tablett ist, macht der Roboter ein neues Foto. Da das Objekt nicht mehr mit anderen Teilen verheddert ist, kann der Robtoter genau bestimmen, wo es sich befindet. Es ist, als würde man ein verheddertes Kopfhörerkabel nehmen, ein Ende herausziehen und es flach auf einen Tisch legen, um zu sehen, wo der Knoten ist.

3. Der Hand-Check (In-hand Pose Verification): Selbst nachdem der Roboter das Objekt aufgehoben hat, könnte er es leicht schief gegriffen haben. Um absolut sicher zu gehen, hält der Roboter das Objekt vor eine Kamera direkt in seiner „Hand“ (dem Greifer). Er vergleicht das, was er sieht, mit dem, was er zu sehen erwartet. Wenn das Objekt anders aussieht als erwartet – vielleicht ist es rotiert oder die falsche Seite zeigt – weiß der Roboter, dass er einen Fehler gemacht hat. Anstatt zu versuchen, es in die Maschine zu pressen, legt er das Objekt zurück und versucht es erneut. Dies ist wie das Überprüfen deiner Schnürsenkel, bevor du sie bindest; wenn sie komisch aussehen, machst du sie wieder auf und fängst von vorne an, damit du später nicht stolperst.

Was die Experimente zeigten

Die Autoren haben nicht nur über diese Ideen gesprochen; sie haben einen echten Roboteraufbau gebaut, um sie zu testen. Sie verwendeten einen Roboterarm mit einem 3D-Sensor und einem speziellen Greifer, und sie testeten ihn mit drei verschiedenen Arten von Objekten: einem Novo-Objekt, einer Welle (WRS-08) und einer Riemenscheibe (WRS-11). Diese Objekte wurden gewählt, weil sie knifflig sind; einige haben glänzende Oberflächen, die Kameras verwirren, und einige sehen aus verschiedenen Winkeln gleich aus.

Die Ergebnisse waren beeindruckend. Wenn der Roboter die ursprüngliche Methode verwendete (einfach nur aus der Kiste zu raten), war er in 89 % der Fälle erfolgreich und benötigte durchschnittlich 2,5 Griffe, um ein Objekt einzusetzen. Aber als sie das Modul „Sicherheits-Tablett“ hinzufügten, sprang die Erfolgsquote auf 100 % und er benötigte nur noch 2,25 Griffe. Als sie das Modul „Zweiter Blick“ hinzufügten, wurde er sogar schneller und benötigte nur noch 2,05 Griffe. Die absolut beste Leistung wurde erzielt, als sie alle Module zusammen verwendeten: Der Roboter erreichte eine Erfolgsquote von 100 % und benötigte nur 1,91 Griffe pro Objekt.

Das Papier testete diese Methoden auch an Objekten aus einem berühmten Robotik-Wettbewerb (World Robot Summit). Diese Objekte waren notorisch schwierig, mit vorherigen Erfolgsquoten von nur 1,6 %. Mit ihrem neuen modularen System erreichte der Roboter bei diesen schwierigen Teilen ebenfalls eine Erfolgsquote von 100 % und benötigte durchschnittlich 2,2 bis 3,3 Griffe pro Objekt.

Was die Autoren sagen (und nicht sagen)

Es ist wichtig anzumerken, was dieses Papier nicht behauptet. Die Autoren sagen vorsichtig, dass ihr aktuelles System am besten für Objekte funktioniert, die annähernd zylindrisch oder flach sind, bei denen die Hauptverwirrung über die Rotation besteht (wie das Drehen einer Münze). Sie geben zu, dass ihr System derzeit nur Rotationen in einer flachen Ebene (SO(2)) handhabt, nicht die volle 3D-Bewegung in jede Richtung (SE(3)). Sie schlagen vor, dass zukünftige Arbeiten dies erweitern könnten, um komplexere Formen zu handhaben, aber sie behaupten nicht, dass sie das bereits gelöst haben.

Sie schließen auch andere Ideen explizit aus. Zum Beispiel erwogen sie den Einsatz eines „Vibrationsförderers“ (ein vibrierendes Tablett, das Teile sortiert), entschieden sich aber dagegen, da es für kleine Chargen zu langsam ist und für jeden Objekttyp eine Abstimmung erfordert. Sie betrachteten auch die „nicht-prähensile Manipulation“ (das Verschieben von Teilen, ohne sie zu greifen), fanden dies aber zu schwer präzise zu steuern. Stattdessen halten sie an ihrem modularen Ansatz fest, Objekte zu greifen, zu prüfen und neu zu greifen.

Das Papier legt nahe, dass wir durch die Kombination dieser Module Roboter bauen können, die nicht nur schnell, sondern auch zuverlässig sind. Der entscheidende Punkt ist, dass Flexibilität die Antwort ist. Ein Roboter, der zwischen einem zweiten Foto, dem Bewegen auf ein sauberes Tablett oder dem Überprüfen seines Griffs wechseln kann, ist viel besser als ein Roboter, der versucht, alles in einem Schritt zu erleden. Die Autoren glauben, dass dieser Ansatz eine vielversprechende Richtung ist, um Robotersysteme zu bauen, die mit der unordentlichen, unvorhersehbaren Realität der realen Welt umgehen können.