Revisiting the "Push-T" Robot Manipulation Task with Agentic Robotics

In de stille hoek van de robotica, waar machines leren bewegen, bestaat een eenvoudige maar hardnekkige uitdaging: een robot een object in een specifieke positie laten duwen zonder het vast te grijpen. Stel je een T-vormig blok voor dat op een tafel ligt. Een robotarm moet het een duwtje geven, gebruikmakend van slechts één contactpunt, totdat het in een perfecte oriëntatie landt. Deze taak, bekend als Push-T, is een standaardtest geworden voor kunstmatige intelligentie. Jarenlang was de gangbare methode om dit op te lossen imitatiegedrag, waarbij een robot honderden video's van mensen die het blok duwen bekijkt en probeert hun bewegingen te kopiëren. Deze aanpak werkt, maar vereist enorme hoeveelheden menselijke data en produceert vaak een robot die goed is in imiteren, maar niet noodzakelijkerwijs goed in het begrijpen van de fysica van waarom een duw werkt. Een nieuw idee komt in opkomst: in plaats van de robot te onderwijzen door hem voorbeelden te tonen, zouden we een computerprogramma kunnen leren om zijn eigen instructies te schrijven door over het probleem te redeneren?

Deze vraag staat centraal in een recente studie van onderzoekers aan de Universiteit van Californië, Berkeley. Ze herzag de Push-T-taak niet om een robot te trainen op menselijke data, maar om te zien of een AI-coderingsagent de puzzel vanaf nul kon oplossen. Ze gebruikten een geavanceerd taalmodel, een AI die in staat is om computercode te schrijven en te debuggen, en vroegen het om een controller voor een robot te creëren. De instructies waren strikt: de AI mocht geen geleerde beleidsregels of menselijke demonstraties gebruiken. Het moest een programma schrijven dat de geometrie van het blok, de wrijving van het oppervlak en de mechanica van het duwen begreep. De onderzoekers wilden weten of een machine de weg naar een oplossing kon vinden die niet alleen effectief, maar ook efficiënter was dan de beste door mensen afgestelde methoden.

Het resultaat was een opmerkelijke demonstratie van wat er gebeurt wanneer een AI de vrijheid krijgt om na te denken in plaats van alleen maar te kopiëren. De coderingsagent, werkend in een gesimuleerde omgeving, gokte niet blindelings. Het lokaliseerde eerst de digitale simulatie van de taak en begon code te schrijven die beschreef hoe een robot zich moest bewegen. Het begon met een basisplan: nader het blok, raak het aan, duw het, en trek je dan terug. Maar de agent stopte daar niet. Het voerde de code uit, keek naar de simulatie en zag waar de robot faalde. Wanneer het blok niet correct roteerde of vast kwam te zitten tegen de muur, analyseerde de agent de fout, paste de wrijvingsparameters in zijn code aan en probeerde het opnieuw. Deze cyclus van schrijven, testen en repareren gebeurde herhaaldelijk. De agent bouwde een intern model op van hoe het blok bewoog, en leerde dat duwen door het midden van het blok het vooruit liet bewegen, terwijl duwen vanaf de zijkant het deed draaien.

Na verschillende ronden van zelfverbetering produceerde de agent een oplossing die de standaardmethoden overtrof. In een test met tweehonderd verschillende startposities behaalde de door de AI geschreven code een perfect succespercentage, waarbij het blok elke keer naar het doel werd bewogen. In vergelijking hiermee slaagde een state-of-the-art robotbeleid, getraind op tweehonderd menselijke demonstraties, slechts ongeveer zesentwintig procent van de tijd. De oplossing van de AI was niet alleen betrouwbaarder; het was ook efficiënter. De door mensen getrainde robot deed er gemiddeld meer dan tweehonderd stappen over om de taak te voltooien, terwijl het programma van de AI het deed in ongeveer honderdtwintig stappen. Het vereiste ook minder afzonderlijke duwen, met een gemiddelde van net onder de vier duwen per taak, vergeleken met meer dan zes voor het door mensen getrainde model. De AI had een directer pad naar het doel ontdekt door de mechanica van de duw te begrijpen in plaats van het trial-and-error proces van een mens te imiteren.

De onderzoekers gingen vervolgens verder met de grenzen te verleggen. Ze vroegen de agent om niet alleen de T-vorm te oplossen, maar elke letter van het alfabet, van A tot Z. Elke letter vormde een nieuwe geometrische puzzel, met verschillende curven, hoeken en zwaartepunten. De agent kreeg dezelfde instructie: schrijf code om deze vormen te duwen zonder menselijke voorbeelden. De AI paste zijn strategie aan door een curriculum te creëren waarin het oefende op de letters die het moeilijkst vond. Het leerde de curven van een 'C' en de krappe hoeken van een 'Q' te hanteren door aan te passen hoe het elke vorm benaderde en roteerde. Uiteindelijk bereikte de agent een succespercentage van bijna drieënnegentig procent over alle zesentwintig letters. Het slaagde erin door te schakelen tussen verschillende contactpunten en een besturingsstrategie te gebruiken die voortdurend de zetten herzag op basis van wat het zag, waardoor het nooit in een doodlopende weg terechtkwam.

Om er zeker van te zijn dat dit niet slechts een trucje van de specifieke simulatie was, testten de onderzoekers de code van de AI op twee verschillende soorten gesimuleerde robotarmen, waarvan één gemodelleerd naar een Franka-arm en een andere naar een UR5-arm. Dezelfde logica die werkte voor de T-vorm en het alfabet, werkte voor beide machines. Het programma van de AI leidde de verschillende robots er succesvol toe om de letters te duwen, wat bewees dat het ontwikkelde redeneren draagbaar was. Het had de nieuwe arm niet opnieuw getraind; het paste simpelweg zijn begrip van contact en beweging toe op de nieuwe fysieke vorm. Dit suggereert dat de agent een algemeen principe van manipulatie heeft geleerd in plaats van een specifiek trucje voor één robot.

De studie benadrukte ook de kosten en complexiteit van deze aanpak. De AI-agent genereerde miljoenen woorden aan code en analyse tijdens het proces, een taak die meer dan tweehonderd uur aan geautomatiseerd werk in beslag nam en een aanzienlijke hoeveelheid rekenkracht kostte. De onderzoekers merkten op dat de agent de simulatie als een perfecte wereld beschouwde, wat een beperking is. In de echte wereld kan de wrijving variëren, of een camera kan iets uit focus zijn, zaken waar de simulatie geen rekening mee hield. Echter, het feit dat de agent een dergelijk complexe, meerstapsopgave kon oplossen zonder enige menselijke data, suggereert een krachtige nieuwe richting. Het laat zien dat een AI als een onderzoeker kan optreden, eigen hypothesen formuleert over hoe een robot zich zou moeten bewegen, deze test en het begrip verfijnt totdat het een oplossing vindt die niet alleen correct, maar ook elegant is.

Het werk beweert niet dat robots morgen klaar zijn om menselijke werknemers in fabrieken te vervangen. De simulaties waren geïdealiseerd en de echte wereld is chaotisch. Maar de bevindingen bieden een stille verschuiving in perspectief. In plaats van robots te onderwijzen door hen te laten zien wat ze moeten doen, kunnen we hen nu vragen uit te zoeken hoe ze het zelf kunnen doen. De agent duwde niet alleen een blok; het redeneerde door de fysica van de duw, leerde van zijn fouten en vond een betere manier. Daarmee toonde het aan dat, met de juiste instrumenten, kunstmatige intelligentie kan evolueren van imitatie naar een echte probleemoplosser, in staat om taken aan te pakken die te complex of te gevarieerd zijn voor een mens om handmatig te demonstreren.