Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties

Stel je een wereld voor waarin robots de ultieme helpers zijn, in staat om onze huishoudelijke taken te doen, onze auto's te bouwen en onze gadgets te assembleren. Maar er is één lastige klus waar zelfs de slimste robots moeite mee hebben: in een rommelige doos vol met warrige onderdelen grijpen en precies het juiste onderdeel eruit pikken. Dit wordt "bin-picking" genoemd. Denk aan het zoeken naar een specifieke Lego-steen in een emmer waar honderden identieke blokjes door elkaar liggen, waarbij sommigen omhoog wijzen, sommigen op hun zijkant liggen en anderen onder anderen verborgen zijn. Voor een mens is dit makkelijk; we kunnen turen, ons hoofd kantelen en voelen. Voor een robot is het een nachtmerrie van verwarring. Als de robot de verkeerde gok maakt over hoe een onderdeel gedraaid is, kan hij het ondersteboven oppakken, laten vallen, of erger nog, proberen het de verkeerde kant op in een machine te duwen, wat tot een crash leidt. De grote vraag in de robotica op dit moment is: hoe leren we machines om net zo aanpasbaar en voorzichtig te zijn als wij, wanneer dingen rommelig worden?

Dit artikel pakt dat exacte probleem aan door een "modulaire" manier te introduceren om robots te helpen omgaan met onzekerheid. In plaats van de robot te dwingen een enkele, perfecte gok te doen over waar een object zich bevindt, suggereren de auteurs dat de robot moet denken in termen van "mogelijkheden". Stel je voor dat de robot niet alleen naar een onderdeel kijkt en zegt: "Het is hier," maar eerder: "Het is waarschijnlijk hier, maar het zou ook daar kunnen zijn, of misschien wel ondersteboven ligt." Het paper stelt een toolkit van verschillende trucjes voor — of modules — die de robot kan combineren en afwisselen. Sommige trucs houden in dat de robot een tweede foto neemt vanuit een andere hoek om de verwarring op te helderen. Andere gaan over het verplaatsen van het object naar een speciale tray waar het plat kan liggen en opnieuw gecontroleerd kan worden. De auteurs hebben deze ideeën getest op echte robots en ontdekten dat door deze modules te combineren, de robot veel sneller en zeer betrouwbaar werd, waarbij hij zelden fouten maakte, zelfs wanneer de onderdelen moeilijk te zien waren.

Het Dilemma van de Robot: De Rommelige Bak

Stel je een robotarm voor die boven een bak staat gevuld met willekeurige metalen onderdelen. De taak van de robot is om er één op te pakken en in een machine te plaatsen. Het probleem is dat de onderdelen in een chaotische hoop opgestapeld liggen. Soms ziet een onderdeel er exact hetzelfde uit of het nu naar links of naar rechts wijst, of of het is omgedraaid. Dit is wat wetenschappers "ambiguïteit" noemen. Als de robot de verkeerde kiest, of het in de verkeerde oriëntatie oppakt, mislukt het hele proces.

In het verleden probeerden robots dit op te lossen door één foto te maken en hun beste gok te doen. Maar als de gok fout was, probeerde de robot het onderdeel in te voegen, faalde, en moest dan weer opnieuw beginnen. Het was alsof je een puzzel probeerde op te lossen terwijl je een blinddoek droeg; je hebt misschien geluk, maar je laat waarschijnlijk een stuk vallen. De auteurs van dit paper realiseerden zich dat in plaats van te dwingen tot één antwoord, de robot een "lijst van mogelijkheden" in zijn hoofd moet houden. Hij zou moeten zeggen: "Er is een kans van 60% dat dit onderdeel omhoog wijst, en een kans van 40% dat het omlaag wijst." Deze lijst wordt een "pose distribution" genoemd.

De Modulaire Toolkit: Mixen en Matchen van Trucs

De kern van dit paper is dat er niet slechts één manier is om een rommelige bak op te lossen. In plaats daarvan hebben de auteurs een "modulair framework" gebouwd. Denk hierbij aan een videogame waarbij je verschillende power-ups kunt uitrusten. Je hoeft ze niet allemaal te gebruiken, maar je kunt ze combineren om je personage sterker te maken. Het paper introduceert drie belangrijke "power-ups" (modules) die de robot kan gebruiken:

1. De Tweede Blik (Second View): Soms kan de hoofdcamera van de robot niet genoeg van het onderdeel zien om te weten welke kant het op wijst. Het is alsof je probeert te identificeren of een muntje op kop of munt ligt door alleen naar de bovenkant te kijken. De oplossing? De robot beweegt een tweede camera naar een andere hoek. Het paper beschrijft dit als het nemen van een foto vanuit een hoek van 30 graden opzij. Door de "gok" van de eerste camera te combineren met de "gok" van de tweede camera, kan de robot de mogelijkheden verkleinen. Het is alsoك vragen aan twee vrienden om de weg te wijzen; als ze allebei hetzelfde zeggen, weet je zeker dat je de goede kant op gaat.

2. De Veiligheidstray (Re-orientation Tray): Als de robot na het maken van twee foto's nog steeds in de war is, of als het onderdeel diep begraven ligt in de bak, heeft hij een back-up plan. Hij pakt het object op en verplaatst het naar een speciale, platte tray. Deze tray is leeg en schoon, zodat het object zonder tegen andere dingen aan te botsen plat kan liggen. Zodod het object in de tray ligt, maakt de robot een nieuwe foto. Omdat het object niet meer verstrikt is met andere onderdelen, kan de robot precies uitzoeken waar het zich bevindt. Het is alsof je een verwarde koptelefoonkabel uit elkaar haalt, één uiteinde eruit trekt en hem plat op een tafel legt om te zien waar de knoop zit.

3. De Handcheck (In-hand Pose Verification): Zelfs nadat de robot het object heeft opgepakt, kan het zijn dat hij het iets scheef heeft gegrepen. Om absoluut zeker te zijn, houdt de robot het object voor een camera direct in zijn "hand" (de gripper). Hij vergelijkt wat hij ziet met wat hij verwachtte te zien. Als het object er anders uitziet dan verwacht — misschien is het geroteerd of is de verkeerde kant zichtbaar — weet de robot dat hij een fout heeft gemaakt. In plaats van te proberen het in de machine te dwingen, legt hij het object terug en probeert hij het opnieuw. Dit is als het controleren van je veters voordat je ze strikt; als het er vreemd uitziet, doe je ze weer los en begin je opnieuw zodat je later niet struikelt.

Wat de Experimenten Lieten Zien

De auteurs hebben deze ideeën niet alleen besproken; ze hebben een echte robotopstelling gebouwd om ze te testen. Ze gebruikten een robotarm met een 3D-sensor en een speciale grijper, en ze testten dit met drie verschillende soorten objecten: een Novo-object, een aandrijfas (WRS-08) en een poelie (WRS-11). Deze objecten werden gekozen omdat ze lastig zijn; sommige hebben glanzende oppervlakken die camera's in verwarring brengen, en sommige zien er vanuit verschillende hoeken hetzelfde uit.

De resultaten waren indrukwekkend. Wanneer de robot de oorspronkelijke methode gebruikte (gewoon gokken vanuit de bak), slaagde hij in 89% van de gevallen en had hij gemiddeld 2,5 pogingen nodig om één object erin te krijgen. Maar wanneer ze de "Safety Tray"-module toevoegden, steeg het succespercentage naar 100% en hadden ze slechts 2,25 pogingen nodig. Toen ze de "Second Look"-module toevoegden, werd de robot nog sneller en had hij slechts 2,05 pogingen nodig. De absolute beste prestatie kwam voort uit het gebruik van alle modules samen: de robot behaalde een succespercentage van 100% en had slechts 1,91 pogingen per object nodig.

Het paper testte deze methoden ook op objecten van een beroemde robotwedstrijd (World Robot Summit). Deze objecten waren berucht moeilijk; eerdere pogingen hadden succespercentages van slechts 1,6%. Met hun nieuwe modulaire systeem behaalde de robot een succespercentage van 100% op deze moeilijke onderdelen ook, waarbij hij gemiddeld 2,2 tot 3,3 pogingen nodig had per object.

Wat de Auteurs (wel en niet) Zeggen

Het is belangrijk om op te merken wat dit paper niet claimt. De auteurs benadrukken dat hun huidige systeem het beste werkt voor objecten die min of meer cilindrisch of plat zijn, waarbij de belangrijkste verwarring gaat over rotatie (zoals het draaien van een muntje). Ze geven toe dat hun systeem momenteel alleen rotatie in een plat vlak (SO(2)) afhandelt, en niet volledige 3D-beweging in elke richting (SE(3)). Ze suggereren dat toekomstig werk dit kan uitbreiden om complexere vormen te kunnen afhanden, maar ze beweren niet dat ze dat al hebben opgelost.

Ze sluiten ook expliciet enkele andere ideeën uit. Zo overwogen ze bijvoorbeeld het gebruik van een "vibratory feeder" (een trillende tray die onderdelen sorteert), maar besloten hiervan af te zien omdat het te traag is voor kleine batches en voor elk type object opnieuw afgesteld moet worden. Ze keken ook naar "non-prehensile manipulation" (het duwen van onderdelen zonder ze vast te pakken), maar vonden dat te moeilijk om nauwkeurig te controlen. In plaats daarvan houden ze vast aan hun modulaire aanpak van grijpen, controleren en opnieuw grijpen.

Het paper suggereert dat we door deze modules te combineren robots kunnen bouwen die niet alleen snel zijn, maar ook betrouwbaar. De belangrijkste les is dat flexibiliteit het antwoord is. Een robot die kan schakelen tussen het nemen van een tweede foto, het verplaatsen naar een schone tray, of het dubbelchecken van zijn greep, is veel beter dan een robot die alles in één keer probeert te doen. De auteurs geloven dat deze aanpak een veelbelovende richting is om robotsystemen te bouwen die de rommelige, onvoorspelbare realiteit van de echte wereld kunnen aan.