Zero-WAM: In-Context World-Action Modeling from Human Videos for Open-Ended Task Generalization
Zero-WAM is een causaal video-actiemodel dat zero-shot cross-task generalisatie bereikt in robotische manipulatie door in-context menselijke video's als taakspecificaties te benutten, ondersteund door een synthetische dataset van 74,2K mens-robot paren en een toekomstige chunk-voorspellingsdoelstelling om de afhankelijkheid van visuele prompts af te dwingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Robots worstelen al lang met een fundamentele beperking: ze zijn uitstekend in het herhalen van wat ze expliciet hebben geleerd, maar ze wankelen wanneer ze worden geconfronteerd met een nieuwe situatie waarin ze nooit hebben geoefend. Als een robot leert om rode blokken te stapelen, kan hij vaak niet uitzoeken hoe hij blauwe blokken moet stapelen, of hoe hij een magnetron moet openen, tenzij een menselijke programmeur de code voor die specifieke taak herschrijft. Dit onvermogen om te generaliseren is een grote hindernis voor het bouwen van machines die in onze huizen of werkplekken kunnen helpen. Jarenlang hebben onderzoekers geprobeerd dit op te lossen door robots via taal te onderwijzen, door ze verbale instructies te geven zoals "pak de beker op." Woorden zijn echter vaak te vaag om de complexe, fysieke details van een taak vast te leggen, zoals precies hoe hard je een object moet knijpen of de precieze sequentie van bewegingen die nodig is om een knoop te ontwarren. Een natuurlijkere manier voor mensen om een robot te laten zien wat hij moet doen, is simpelweg het demonstreren ervan, maar het heeft moeilijk gebleken om een robot te leren direct te leren van een menselijke video omdat de robot en de mens anders bewegen en de wereld vanuit andere hoeken zien.
Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld waarmee een robot volledig nieuwe taken kan leren door naar een korte video te kijken van een mens die deze uitvoert, zonder dat daarvoor voorafgaande training voor die specifieke taak of wijzigingen aan de interne software van de robot nodig zijn. Ze noemen hun systeem Zero-WAM. De kern van het idee is om een menselijke video niet alleen als een referentie te behandelen, maar als een directe instructie. Wanneer de robot een nieuwe baan moet uitvoeren, kijkt hij naar een video van een mens die een soortgelijke baan uitvoert en gebruikt die visuele gids om zijn eigen volgende stappen te bepalen. Om dit werkend te krijgen, moesten de onderzoekers een enorm dataprobleem oplossen. Ze hadden duizenden voorbeelden nodig waarbij een menselijke video die een taak laat zien, perfect overeenkomt met de eigen bewegingen van de robot voor diezelfde taak. Omdat het handmatig verzamelen van dergelijke paren traag en duur is, bouwden ze een geautomatiseerd systeem dat bestaande opnames van werkende robots neemt en kunstmatige intelligentie gebruikt om bijbehorende menselijke video's te genereren. Dit proces creëerde een enorme bibliotheek van 74.200 gepaarde voorbeelden die bijna 9.000 verschillende taken beslaan, variërend van eenvoudige pak-en-plaatsacties tot complexe, meerstaps manipulaties.
De onderzoekers trainden hun model op deze diverse bibliotheek, waarbij ze het model leerden wat de robot als volgende moet doen op basis van de geschiedenis van zijn eigen bewegingen en de menselijke video die hij bekijkt. Een cruciaal onderdeel van hun methode was het waarborgen dat het model daadwerkelijk aandacht besteedde aan de menselijke video in plaats van alleen te gokken op basis van wat het eerder had gezien. Ze voegden een speciale trainingsstap toe waarbij het model niet alleen het eerstvolgende moment moest voorspellen, maar ook enkele stappen in de toekomst. Dit dwong het systeem om het langetermijndoel getoond in de menselijke video te begrijpen, in plaats van alleen te reageren op het directe verleden. Wanneer ze dit systeem testten in een gesimuleerde omgeving met zeven volledig nieuwe taken die de robot niet eerder tijdens de training had gezien, slaagde het in bijna de helft van de pogingen. Dit was een dramatische verbetering ten opzalle van eerdere methoden, die minder dan één op vijf pogingen slaagden. Het systeem slaagde erin om moeilijke uitdagingen aan te gaan, zoals het openen van een magnetron, het stapelen van blokken en het verplaatsen van een nietmachine, alles door simpelweg naar een menselijke demonstratievideo te kijken.
Het succes stopte niet in de simulatie. Het team nam het getrainde model mee naar een echte setting met een fysieke robotarm en testte het op taken die het plaatsen van objecten in containers, het verplaatsen van meerdere items in een specifieke volgorde en het met hoge precisie in gaten steken van tafelpoten omvatten. In deze real-world tests gebruikte de robot opnieuw menselijke video-instructies om ongeziene configuraties te navigeren, zoals het gebruik van verschillende gekleurde objecten of verschillende tafelopstellingen dan hij tijdens de training had gezien. Hoewel het succespercentage lager was dan in de simulatie vanwege de fysieke moeilijkheden van de echte wereld, slaagde de robot er nog steeds in om taken te voltooien die een standaard taalgebaseerd systeem helemaal niet zou kunnen oplossen. Zo slaagde de robot bijvoorbeeld, wanneer gevraagd om tafelpoten in specifieke gaten te steken op basis van een video-instructie, in een aanzienlijk deel van de proeven, terwijl het taalgebaseerde systeem volledig faalde.
De bevindingen suggereren dat de flessenhals in het maakbaar van aanpasbare robots niet noodzakelijkerwijs het vermogen van de robot om te bewegen is, maar de manier waarop we hem instructies geven. Door over te schakelen van tekstgebaseerde commando's naar video-gebaseerde demonstraties, en door een enorme, automatisch gegenereerde dataset te gebruiken om de robot te leren hoe hij menselijke acties vertaalt naar zijn eigen bewegingen, hebben de onderzoekers een levensvatbaar pad aangetoond naar flexibelere machines. Het systeem vereist niet dat de robot een nieuwe vaardigheid leert voor elke nieuwe baan; in plaats daarvan leert het een algemeen vermogen om visuele demonstraties te interpreteren. Dit betekent dat een robot in de toekomst potentieel een video kan krijgen van een mens die een lekkende kraan repareert of een plank organiseert, en het zou in staat zijn om dezelfde taak zelfstandig te proberen, waarbij het zijn fysieke bewegingen aanpast aan zijn eigen lichaam en de specifieke objecten voor zich. Het werk demonstreert dat met de juiste data en trainingsmethoden, robots kunnen beginnen de kloof tussen menselijke intuïtie en machinale uitvoering te overbruggen, waardoor ze dichter bij het doel van echt algemene assistenten komen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.