Leveraging Inter-object Affordances for Efficient Planning in Contact-rich Tasks

Robots zijn al lang meesters op de fabrieksvloer, waar ze dezelfde precieze bewegingen herhalen op identieke onderdelen. Maar stap een echte keuken binnen, en de regels veranderen. Hier komen objecten in elke vorm, grootte en materiaal voor, en ze interageren op complexe manieren. Een zware koekenpan kan niet worden gebalanceerd op een dun peper- en zoutstelletje, en een ronde glazen mok zal van een gebogen oppervlak afrollen. Om een robot door deze rommelige realiteit te laten navigeren, heeft het meer nodig dan alleen een lijst met stappen; het moet de fysieke "spelregels" tussen objecten begrijpen. Dit is de uitdaging van task-and-motion planning, een vakgebied dat probeert de kloof te overbruggen tussen hoogwaardige doelen, zoals "organiseer de tafel", en de laag-niveau fysica van hoe een robotarm daadwerkelijk beweegt. Hoewel moderne kunstmatige intelligentie grote stappen heeft gezet in het begrijpen van taal en afbeeldingen, blijft het een aanzienlijke hindernis om een robot betrouwbaar een verscheidenheid aan huishoudelijke artikelen te laten stapelen zonder ze om te stoten.

Een team onderzoekers aan de Universiteit van Innsbruck heeft dit probleem aangepakt door een planningssysteem te leren nadenken over de fysieke relaties tussen objecten voordat het ook maar één spier vertrekt. In plaats van te vertrouwen op vereenvoudigde modellen die alle objecten als uniforme blokken behandelen, hebben zij een methode ontwikkeld die rekening houdt met de specifieke affordances van echte voorwerpen. In deze context is een affordance simpelweg wat een object een robot toestaat ermee te doen op basis van de vorm en het materiaal. Een plat snijplank biedt bijvoorbeeld een stabiel oppervlak om andere items op te houden, terwijl de ronde onderkant van een zoutstelletje dat niet doet. De onderzoekers bouwden een systeem dat deze fysieke waarheden gebruikt om onmogelijke acties weg te filteren voordat de robot ze zelfs maar probeert, waardoor wordt gewaarborgd dat een plan om een mok op een pan te stapelen alleen wordt gegenereerd als de fysica dat daadwerkelijk toelaat.

De kern van hun werk behelst een nieuwe manier om te definiëren hoe een robot met zijn omgeving interageert. Ze creëerden een reeks regels die beschrijven hoe objecten kunnen worden gegrepen, ondersteund, opgetild of geschoven. Bijvoorbeeld, het systeem begrijpt dat een koekenpan kan worden opgetild aan het handvat, maar te zwaar en onhandig is om aan de rand vast te pakken. Het weet dat een houten dienblad te zwaar is om van een tafel op te tillen, maar wel over het oppervlak kan worden geschoven. Door deze fysieke beperkingen direct in het planningsproces te coderen, vermijdt de robot tijd te verspillen aan het proberen uit te voeren van acties die fysiek onmogelijk zijn, zoals het proberen te balanceren van een groot, zwaar object op een klein, instabiel oppervlak. Deze aanpak, die de auteurs Unified TAMP noemen, stelt de robot in staat om een sequentie van acties te genereren die gegarandeerd haalbaar is in de echte wereld, in plaats van alleen theoretisch mogelijk.

Om dit idee te testen, zetten de onderzoekers een gesimuleerde keukenomgeving op met een robotarm en een collectie veelvoorkomende voorwerpen: een zoutstelletje, een glazen mok, een snijplank, een koekenpan en een houten dienblad. Het doel was om deze verspreide voorwerpen te organiseren door ze netjes op het dienblad te stapelen. Ze creëerden meer dan honderd verschillende startscenario's, waarbij ze het aantal objecten en hun beginposities varieerden, om te zien hoe goed hun methode standhield onder druk. Ze vergeleken hun nieuwe systeem met twee andere benaderingen: een oudere versie van de planningstool die de specifieke fysieke eigenschappen negeerde, en een systeem dat vertrouwde op een groot vision-language model om de juiste zetten te raden op basis van gezond verstand.

De resultaten waren opmerkelijk. Het nieuwe systeem, dat de gedetailleerde fysieke regels incorporeerde, slaagde er bijna elke keer in om geldige plannen te maken tijdens de tests, met een succespercentage van bijna honderd procent wanneer de regels perfect bekend waren. Zelfs toen het systeem een visiemodel moest gebruiken om de objecten en hun eigenschappen te identificeren, slaagde het nog steeds negentig procent van de tijd. In contrast hiermee faalde de oudere planningsmethode, die objecten als generieke blokken behandelde, meer dan de helft van de tijd omdat het probeerde items te stapelen op manieren die de natuurkunde tartten, zoals het plaatsen van een zware pan op een klein zoutstelletje. Het vision-language model, ondanks zijn vermogen om taal en afbeeldingen te begrijpen, had aanzienlijke problemen en slaagde slechts ongeveer veertig procent van de tijd. Het miste vaak subtiele fysieke details, zoals het feit dat een rond oppervlak een zwaar object niet kan ondersteunen, wat leidde tot plannen die logisch klonken in tekst, maar in de werkelijkheid zouden falen.

Naast succespercentages was de snelheid van planning een belangrijke differentiator. Het nieuwe systeem genereerde plannen in een fractie van een seconde, ongeveer twee grootheden sneller dan het vision-language model, dat gemiddeld meer dan een minuut nodig had. Deze snelheid komt voort uit het feit dat het nieuwe systeem een gestructureerd, logisch kader gebruikt om onmogelijke opties onmiddellijk uit te sluiten, terwijl het visiemodel elke mogelijkheid vanaf nul moet redeneren. De onderzoekers ontdekten dat naarmate het aantal objecten toenam, de oudere methoden steeds trager en foutgevoeliger werden, terwijl hun nieuwe aanpak haar efficiëntie en nauwkeurigheid behield. Dit suggereert dat voor robots om effectief te opereren in complexe, echte omgevingen, ze een solide fundament van fysiek begrip nodig hebben dat verder gaat dan alleen het herkennen van wat een object is.

De studie benadrukte ook de beperkingen van het uitsluitend vertrouwen op kunstmatige intelligentie om de fysieke wereld te begrijpen. Hoewel vision-language modellen krachtige instrumenten zijn voor het herkennen van objecten en het genereren van ideeën, missen ze de strikte, stapsgewijze redenering die nodig is om te garanderen dat een plan zal werken in een fysieke simulatie. De onderzoekers toonden aan dat door de algemene kennis van deze modellen te combineren met een strikt, op regels gebaseerd planningssysteem, ze het beste van beide werelden konden krijgen: het vermogen om echte objecten te herkennen en het vermogen om een plan te genereren dat de natuurwetten respecteert. Deze hybride aanpak stelt de robot in staat om de chaos van een echte keuken te hanteren, waar een zware pan niet aan de rand kan worden opgetild en een ronde mok niet op een gebogen oppervlak kan worden gebalanceerd, zonder vast te lopen of te falen.

Uiteindelijk toont dit werk aan dat voor robots om van gecontroleerde laboratoria naar onze huizen te bewegen, ze moeten worden uitgerust met een diep, symbolisch begrip van hoe objecten met elkaar interageren. Het is niet genoeg om te weten dat er een kopje bestaat; de robot moet begrijpen dat het kopje een platte bodem heeft die een onderzetter kan ondersteunen, maar een gebogen zijkant die dat niet kan. Door deze fysieke beperkingen direct in het planningsproces in te bouwen, hebben de onderzoekers een systeem gecreëerd dat zowel snel als betrouwbaar is. De experimenten, uitgevoerd in een realistische simulatie, laten zien dat deze methode complexe stapelopdrachten met een hoge mate van succes kan afhandelen, wat een veelbelovend pad biedt voor robots die de onvoorspelbare en gevarieerde wereld van menselijke omgevingen moeten navigeren.