-sight: Unifying Vision-Language-Action and Latent World Modeling
-sight is een verenigd robot-fundatiemodel dat visie-taal-actiecontrole integreert met latente wereldmodellering door toekomstige ruimtelijke tokens en acties direct binnen de natuurlijke tokenruimte van de VLM te voorspellen, waarmee het de best presterende resultaten bereikt op diverse benchmarks zonder afhankelijk te zijn van pixelreconstructie of externe encoders.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Robots worstelen al lang met het bewegen door de wereld met de vloeiende intuïtie van een mens. Hoewel ze geprogrammeerd kunnen worden om een specifieke beweging perfect te herhalen, falen ze vaak wanneer de omgeving licht verandert of wanneer een taak een reeks stappen vereist die in realtime moet worden aangepast. Om deze kloof te overbruggen, hebben wetenschappers systemen ontwikkeld die visie, taal en actie combineren. Deze systemen stellen een robot in staat om een commando als "zet de beker op de tafel" te begrijpen en vervolgens uit te zoeken hoe hij zijn arm moet bewegen om dit te doen. Er blijft echter een aanzienlijke hindernis bestaan: de meeste van deze systemen kijken alleen naar het huidige moment. Ze zien de huidige scène en beslissen over de volgende beweging, maar ze anticiperen niet echt op wat er hierna zal gebeuren. Zonder dit vermogen om de directe toekomst voor te zien, kunnen robots struikelen bij taken die de coördinatie van complexe bewegingen vereisen, zoals lopen terwijl men een object draagt of navigeren rond obstakels die verschuiven terwijl men beweegt.
Een nieuwe aanpak genaamd Z-sight, ontwikkeld door onderzoekers van Maven Robotics en de University of Southern California, probeert dit op te lossen door de robot een vorm van "vooruitziendheid" te geven. In plaats van alleen te reageren op wat hij nú ziet, leert het systeem te voorspellen hoe de visuele wereld er een fractie van een seconde in de toekomst uit zal zien, en gebruikt het die voorspelling om acties te sturen. Dit gaat niet over het genereren van een volledige video van de toekomst, wat computationeel duur en traag zou zijn. In plaats daarvan voorspelt het systeem de essentiële visuele patronen die het brein van de robot gebruikt om de scène te begrijpen. Door te leren de volgende instantie te verbeelden terwijl het tegelijkertijd de volgende beweging bepaalt, kan de robot zijn pad vloeiender plannen en complexe taken afhandelen die voor andere systemen voorheen tot bevriezing of falen leidden.
De onderzoekers bouwden dit systeem door het te trainen op een enorme collectie gegevens, inclusief duizenden uren aan video's waarop mensen alledaagse taken uitvoeren en opnames van diverse robots. Het trainingsproces werd verdeeld in fasen. Eerst leerde het systeem menselijke bewegingen en taal te begrijpen aan de hand van video's van mensen die dingen doen zoals deuren openen of kleding vouwen. Daarna werd het blootgesteld aan gegevens van verschillende soorten robots, waarbij het leerde die menselijke observaties te vertalen naar de specifieke mechanica van robotbewegingen. Ten slotte werd het systeem verfijnd op een specifieke robot, een humanoïde machine genaamd de Unitree G1, om taken onder de knie te krijgen zoals het onder een tafel duwen van een stoel of het in een prullenbak gooien van afval. Tijdens dit proces werd het systeem geleerd om twee dingen tegelijk te doen: de toekomstige visuele staat van de wereld voorspellen en de fysieke acties genereren die nodig zijn om die staat te bereiken.
De kerninnovatie ligt in de manier waarop het systeem deze voorspellingen afhandelt. Veel eerdere pogingen om robots vooruitziendheid te geven, vertrouwden op het genereren van volledige videoframes van de toekomst of op het gebruik van aparte, bevroren systemen om te raden wat er zou gebeuren. Deze methoden waren ofwel te traag of te losgekoppeld van de eigen manier waarop de robot de wereld ziet. Z-sight vermijdt deze valkuilen door de toekomst direct in dezelfde "visuele taal" te voorspellen die de robot gebruikt om het heden te begrijpen. Het probeert geen pixel-perfecte video te recreëren; in plaats daarvan voorspelt het de abstracte visuele tokens die de scène vertegenwoordigen. Dit stelt de robot in staat de toekomst te zien als een reeks mogelijkheden die nauw verweven zijn met zijn huidige begrip, waardoor hij zijn acties on the fly kan aanpassen terwijl de voorspelde toekomst zich ontvouwt.
De resultaten van deze aanpak werden getest in zowel computer-simulaties als in echte experimenten. In een gesimuleerde omgeving die ontworpen is om de coördinatie van het hele lichaam te testen, behaalde het systeem een succespercentage van 81,9 procent op een verscheidenheid aan complexe taken, waarmee het de sterkste bestaande methoden met een aanzienlijke marge overtrof. Bij tests op de fysieke Unitree G1-robot in een echte kamer slaagde het systeem in 73,3 procent van de proeven over zes verschillende taken, waaronder het verplaatsen van objecten, het navigeren rond meubels en het uitvoeren van huishoudelijke taken met meerdere stappen. Ter vergelijking: het op één na beste systeem slaagde in slechts 53,3 procent van deze real-world pogingen. De onderzoekers ontdekten dat het vermogen van het systeem om de toekomst te anticiperen cruciaal was voor taken die een sequentie van bewegingen vereisten, zoals naar een stoel lopen, deze duwen en er vervolgens een object op plaatsen. Zonder deze vooruitziendheid zou de robot vaak het eerste deel van de taak voltooien, maar dan vastlopen bij de overgang naar de volgende stap.
Om te garanderen dat de verbeteringen voortkwamen uit het vooruitziendheid-mechanisme zelf en niet alleen uit het hebben van een groter of complexer model, voerden de onderzoekers verschillende gecontroleerde experimenten uit. Ze testten versies van het systeem die de toekomst niet konden voorspellen en vonden dat deze versies aanzienlijk slechter presteerden, zelfs wanneer ze over dezelfde hoeveelheid rekenkracht beschikten. Ze testten ook of het systeem vertrouwde op de specifieke inhoud van zijn voorspellingen of slechts op het feit dat het een voorspelling deed. Wanneer ze de voorspelde toekomst vervingen door willekeurige ruis of met de huidige statische afbeelding, stortte de prestatie van de robot in, wat erop wees dat het systeem daadwerkelijk de specifieke details van zijn toekomstige voorspelling gebruikte om zijn bewegingen te sturen. Bovendien slaagde het systeem erin om deze complexe voorspellingen en beslissingen ongelooflijk snel te maken, waarbij het een blok van 30 stappen in slechts 110 milliseconden verwerkte, wat snel genoeg is om een robot in realtime aan te sturen zonder vertraging.
De studie onderzocht ook hoe het systeem zich gedraagt wanneer er iets misgaat. Door tijdens het testen opzettelijk de voorspellingsstroom te verstoren, observeerden de onderzoekers dat de robot kon adapteren. Als het systeem werd verteld dat zijn voorspelling onbetrouwbaar was, vertrouwde het meer op wat het op dat moment kon zien, in plaats van te gokken wat er zou gebeuren. Deze flexibiliteit suggereert dat het systeem een robuuste manier heeft geleerd om planning met reactievermogen te balanceren. De onderzoekers merkten op dat hoewel het systeem zeer effectief is, het momenteel de toekomst voorspelt op basis van alleen wat het ziet, zonder expliciet verschillende actieopties te testen voordat het tot één keuze overgaat. Dit laat de mogelijkheid open voor toekomstige versies om verschillende potentiële uitkomsten te vergelijken voordat er wordt gehandeld, wat het vermogen om te plannen verder zal versterken.
Uiteindelijk demonstreert Z-sight dat een robot geen volledige video's van de toekomst hoeft te genereren om te begrijpen wat er volgt. Door te leren de toekomst te voorspellen in dezelfde abstracte visuele ruimte als die het gebruikt om het heden te begrijpen, bereikt het systeem een niveau van coördinatie en aanpassingsvermogen dat voorheen moeilijk te bereiken was. Deze aanpak stelt de robot in staat om met een gevoel van continuïteit te bewegen, waardoor de kloof tussen het zien van de wereld en het handelen binnen die wereld wordt overbrugd. Het succes van deze methode op zowel gesimuleerde als echte humanoïde robots suggereert dat deze manier van het combineren van perceptie, voorspelling en actie een standaard fundament kan worden voor meer capabele en autonome machines in de toekomst.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.