LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories

Stel je een wereld voor waarin het meest delicate, repetitieve en nauwkeurige werk in een chemisch laboratorium niet door een menselijke hand wordt gedaan, maar door een machine. Decennialang hebben wetenschappers gedroomd van het automatiseren van deze ruimtes om ontdekkingen te versnellen, maar de robots die we tot nu toe hebben gebouwd, zijn vaak onhandig. Ze zijn uitgerust met eenvoudige, tangachtige grijpers die een doos of een blok kunnen vastpakken, maar ze worstelen met de genuanceerde, vloeiende bewegingen die nodig zijn om een glazen reageerbuis te hanteren, een vloeistof te schenken zonder te morsen, of een oplossing te roeren met een dunne staaf. Om vooruit te komen, hadden onderzoekers een manier nodig om machines de behendigheid aan te leren die een mens bezit—het vermogen om vingers te gebruiken om te voelen, aan te passen en objecten met zorg te manipuleren. Dit is de uitdaging van "dexterous manipulation" (behendige manipulatie), een vakgebied dat ernaar streeft robots handen te geven die meer kunnen dan alleen dingen vasthouden; ze moeten in staat zijn om complexe, meerstaps-taken uit te voeren die een zachte aanraking en een vaste hand vereisen.

In een nieuwe studie heeft een team onderzoekers een enorme nieuwe testomgeving gecreëerd om dit probleem op te lossen, specifiek voor chemische laboratoria. Ze noemen het LabDex. In plaats van een robot alleen te vragen om een enkel object op te pakken, hebben de onderzoekers de volledige omvang van het laboratoriumwerk georganiseerd in een duidelijke, drie niveaus tellende hiërarchie. Onderaan staan de "atomaire vaardigheden", wat de kleine, fundamentele bewegingen zijn zoals het oppakken van een glazen staaf, het schenken van water of het schudden van een buis. Het volgende niveau zijn de "compositionele vaardigheden", waarbij de robot verschillende van die kleine bewegingen aan elkaar moet rijgen om een enkele functie te voltooien, zoals het oppakken van een bekerglas, het schenken van de inhoud en het neerzetten ervan. Ten slotte zijn er de "long-horizon workflows" (langdurige workflows), wat complete experimenten zijn die van de robot vereisen dat hij een lange sequentie van verschillende acties uitvoert om een uiteindelijke wetenschappelijke resultaat te bereiken. Door het werk op deze manier op te splitsen, kon het team precies zien waar een robot slaagt en waar hij faalt, in plaats van alleen te kijken of het uiteindelijke experiment wel of niet slaagde.

Om deze benchmark te bouwen, hebben de onderzoekers een verenigd systeem geconstrueerd dat zowel in de echte wereld als in een computersimulatie werkt. In hun fysieke laboratorium gebruikten ze een robotarm uitgerust met een geavanceerde, multifunctionele hand die veel lijkt op en beweegt als een menselijke hand. Een menselijke operator, die speciale datahandschoenen droeg en gebruikmaakte van motion-tracking apparaten, tele opereerde de robot om deze taken uit te voeren door de robot fysiek door de bewegingen te leiden. De robot registreerde elke beweging, elke camerahoek en elke gewrichtspositie, waardoor een bibliotheek van duizenden demonstraties ontstond. Ze vertaalden deze lessen uit de echte wereld vervolgens naar een virtuele omgeving, waardoor ze het leerproces van de robot konden testen in een veilige, herhaalbare digitale ruimte voordat ze het opnieuw probeerden op de eigenlijke hardware. Deze tweeledige aanpak zorgt ervoor dat de data niet slechts een verzameling getallen is, maar een getrouwe representatie van de fysieke realiteiten van een chemisch laboratorium.

De onderzoekers hebben vervolgens enkele van de meest geavanceerde robotleer-systemen getest met behulp van deze nieuwe benchmark. Ze keken toe hoe deze systemen probeerden de taken te leren van de demonstratiedata. De resultaten waren onthullend. Hoewel sommige van de nieuwere, meer geavanceerde modellen succesvol eenvoudige, eenstaps-taken konden uitvoeren—zoals het oppakken van een bekerglas of het op een tafel plaatsen ervan met hoge nauwkeurigheid—struikelden ze aanzienlijk wanneer ze werden gevraagd die stappen aan elkaar te koppelen. Wanneer de taken complexer werden, waarbij de robot vloeistof uit één container naar een andere moest schenken en vervolgens de container moest terugplaatsen, daalde het succespercentage scherp. Het meest capabele model voltooide gemiddeld 0,73 atomaire vaardigheden per meerdelige taak, maar geen van de modellen was in staat om de volledige sequentie van een volledig experiment zelfstandig af te ronden.

Een nadere blik op de fouten liet zien dat het probleem niet alleen ging over het maken van een fout één keer; het ging erom hoe een kleine fout vroeg in het proces alles wat daarna kwam ruïneerde. Bijvoorbeeld, als een robot een trechter oppakte maar deze onder een iets verkeerde hoek vasthield, zou hij falen bij het in de kolf plaatsen, en de hele experiment zou stoppen. De studie toonde aan dat de robots bijzonder slecht waren in het hanteren van objecten die lang, dun of gemaakt van glas waren, zoals reageerbuizen en maatcilinders. Deze objecten zijn gevoelig voor exact waar de vingers ze aanraken, en de robots misten de fijne controle om hun grip in realtime aan te passen. Bovendien, wanneer de onderzoekers extra objecten op de tafel toevoegden die op het doelwit leken, raakten de robots in de war, waarbij ze vaak het verkeerde item pakten of helemaal niet in staat waren te handelen.

Het team testte ook hoe goed deze robots konden leren van meer data. Ze ontdekten dat het simpelweg tonen van meer voorbeelden van hoe een taak wordt uitgevoerd de robot hielp, maar slechts tot op zekere hoogte. De meest geavanceerde modellen verbeterden aanzienlijk wanneer ze honderden demonstraties zagen in plaats van slechts een paar, wat suggereert dat deze systemen een enorme hoeveelheid ervaring nodig hebben om de subtiele verschillen te leren tussen een succesvolle schenking en een gemorste vloeistof. Echter, zelfs met deze extra data konden de robots nog steeds niet betrouwbaar de volledige, langdurige experimenten voltooien die een menselijke chemicus met gemak kan doen. De studie concludeert dat hoewel we vooruitgang hebben geboekt in het leren aan robots om individuele, eenvoudige bewegingen uit te voeren, het vermogen om die bewegingen te combineren in een stabiele, betrouwbare en langdurige workflow een grote hindernis blijft.

Dit werk beweert niet het probleem van het autonome laboratorium te hebben opgelost. In plaats daarvan biedt het een duidelijke kaart van waar de weg geblokkeerd is. Door precies aan te geven welke vaardigheden ontbreken en hoe fouten in één stap doorwerken en het hele proces ruïneren, hebben de onderzoekers de wetenschappelijke gemeenschap een precies doelwit gegeven voor toekomstige verbeteringen. De LabDex-benchmark dient als een standaard meetlat, waardoor verschillende teams hun voortgang kunnen meten aan de hand van dezelfde set moeilijke, real-world taken. Het is een herinnering dat het bouwen van een robot die echt in een lab kan werken meer vereist dan alleen een sterke arm; het vereist een hand die kan denken, voelen en zich aanpassen, net als de menselijke handen die dit werk al eeuwenlang uitvoeren.