VGGT-DP: Generalizable Robot Control via Vision Foundation Models
VGGT-DP is een generaliseerbaar robotbesturingsframework dat de prestaties van visuomotorische beleid verbetert door geometrische priors van een vooraf getraind 3D-perceptiemodel te integreren met proprioceptieve feedback, terwijl het frame-gewijze tokenhergebruik en willekeurige tokenpruning gebruikt om ruimtelijke gronding, robuustheid en inferentie-efficiëntie te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Robots worstelen al lang met het bewegen met de vloeiende zelfverzekerdheid van een levend wezen. Decennialang programmeerden ingenieurs machines met rigide, handgeschreven regels, waarbij ze hen precies vertelden hoe ze hun armen moesten bewegen voor elke mogelijke situatie. Deze aanpak werkte in gecontroleerde fabrieken, maar faalde jammerlijk wanneer de wereld ook maar een klein beetje veranderde. In de afgelopen jaren heeft een nieuwe aanpak de overhand gekregen: robots leren door middel van voorbeelden, net zoals een kind leert door naar een ouder te kijken. De robot kijkt hoe een mens een taak uitvoert en probeert de bewegingen te kopiëren. Deze leersystemen missen echter vaak een diep begrip van de ruimte. Ze kunnen een object herkennen, maar falen vaak in het begrijpen van hoe dat object zich in de driedimensionale ruimte bevindt ten opzichte van het eigen lichaam van de robot. Deze kloof in ruimtelijk begrip beperkt het vermogen van een robot om complexe taken uit te voeren of zich aan te passen wanneer de camerahoek verandert of de omgeving verandert.
Een team van onderzoekers heeft een nieuw systeem ontwikkeld dat ontworpen is om deze kloof te overbruggen, geïnspireerd door hoe het biologische zicht werkt. In de natuur vertrouwen dieren niet op één enkel zintuig om te navigeren; ze combineren wat ze zien met een constant intern gevoel van de positie van hun eigen lichaam, ook wel proprioceptie genoemd. Deze interne feedback stelt een vlieg in staat om op een bewegend blad te landen of een kat om over een smalle rand te lopen zonder te vallen. De onderzoekers, onder leiding van Shijia Ge en collega's van Tsinghua University en andere instellingen, creëerden een framework genaamd VGGT-DP dat deze biologische strategie nabootst. In plaats van te vertrouwen op taalinstructies of eenvoudige visuele aanwijzingen, fuseert hun systeem een krachtig, vooraf getraind visueel model met de interne sensors van de robot. Deze combinatie stelt de robot in staat om een robuuste, driedimensionale kaart van zijn omgeving op te bouwen en precies te begrijpen waar zijn eigen ledematen zich binnen die ruimte bevinden.
De kern van dit nieuwe systeem is een visuele engine die getraind is op enorme hoeveelheden 3D-reconstructiedata. Terwijl standaard robotvisiemodellen vaak ontworpen zijn om klein en snel te zijn, waarbij detail wordt opgeofferd voor snelheid, gebruikt dit systeem een grootschalig model dat in staat is om diepte, camerahoeken en de precieze locatie van elk punt in een scène te voorspellen. De onderzoekers ontdekten dat door dit zware visuele model te gebruiken, de robot een veel sterker gevoel van geometrie kreeg. Het draaien van een dergelijk groot model in real-time is echter rekenintensief en traag. Om dit op te lossen, bedachten het team een slimme truc genaamd frame-wise token reuse. In een typische videostroom overlappen veel frames elkaar aanzienlijk; de achtergrond en de meeste objecten veranderen niet van het ene milliseconde naar het andere. Het nieuwe systeem herkent dit en stopt met het herberekenen van de visuele kenmerken voor delen van het beeld die niet zijn veranderd. Het verwerkt alleen de nieuwe informatie die in het laatste frame arriveert, waarbij de gecachte data van de vorige momenten wordt hergebruikt. Deze aanpak verminderde de tijd die de robot nodig heeft om na te denken drastisch, waardoor het krachtige visuele model praktisch bruikbaar werd voor echt gebruik.
Om ervoor te zorgen dat het zicht van de robot overeenkwam met zijn fysieke realiteit, voegden de onderzoekers een laag van interne supervisie toe. Ze leerden het visuele systeem om de eigen gewrichtshoeken en de handpositie van de robot te voer de enige basis van wat het zag. Als de ogen van de robot een hand zagen die naar een kopje reikte, moest het systeem in staat zijn om correct te raden waar die hand zich in de ruimte bevond. Dit dwong het visuele model om perfect af te stemmen op de interne staat van de robot, waardoor een nauwe feedbackloop ontstond. Het laatste puzzelstukje betrof een methode genaamd random token pruning, waarbij het systeem tijdens de training bewust kleine, willekeurige delen van de visuele data negeert. Deze techniek werkt als een vorm van stresstest, waardoor de robot wordt gedwongen om de algemene vorm en structuur van een scène te leren in plaats van specifieke details te memoriseren, wat hem veerkrachtiger maakt tegen ontbrekende informatie of ruis.
Bij tests op een reeks uitdagende taken die manipulatie betreffen, zoals het oppakken van objecten uit gaten, het vegen van items in een mandje of het trekken aan een stok, liet het nieuwe systeem opmerkelijke verbeteringen zien ten opzichte van bestaande methoden. In moeilijke scenario's die precieze ruimtelijke redenering vereisen, behaalde de nieuwe aanpak significant hogere succespercentages dan eerdere topmodellen. Zo slaagde het nieuwe systeem in een taak die vereiste dat een object uit een diep gat werd gepakt in 55% van de pogingen, terwijl de vorige beste methode (DP3) slechts 14% behaalde. Het systeem bleek ook zeer effectief in taken zoals het vegen van items in een hoop, waarbij het 44% van de tijd slaagde vergeleken met slechts 15% voor de eerstvolgende beste concurrent. Deze resultaten suggereren dat het geven van een diep, geometrie-bewust begrip van de ruimte veel kritischer is voor complexe manipulatie dan simpelweg het toevoegen van taalvaardigheden.
De onderzoekers waren echter voorzichtig om te vermelden waar het systeem nog tekortschiet. Hoewel het uitblonk in taken die complexe ruimtelijke redenering vereisten, presteerde het niet altijd beter dan oudere, eenvoudigere modellen bij zeer basale taken, zoals het reiken naar een nabijgelegen object. In deze eenvoudige scenario's introduceerde het zware visuele model soms onnodige complexiteit. Belangrijker nog, het systeem had moeite wanneer de camerahoek zelfs maar lichtjes veranderde. Wanneer de onderzoekers de robot testten met de camera die slechts vijf graden gedraaid was, daalde het succespercentage dramatisch van bijna 40% naar bijna nul. Dit geeft aan dat hoewel het systeem heeft geleerd om 3D-ruimte goed te begrijpen, het nog niet flexibel genoeg heeft geleerd om om te gaan met nieuwe gezichtspunten die niet aanwezig waren in de trainingsdata. De onderzoekers suggereren dat toekomstig werk zich moet richten op het robuuster maken van deze visuele representaties tegen veranderingen in perspectief.
De studie concludeert dat de weg naar meer capabele robots niet ligt in het slimmer maken van hen met taal, maar in het meer verankeren van hun zicht in de fysieke realiteit. Door een grootschalig visueel model dat 3D-geometrie begrijpt te combineren met het eigen interne gevoel van de robot voor zijn lichaam, creëerden de onderzoekers een systeem dat de wereld kan navigeren en manipuleren met een niveau van precisie dat voorheen onvoorzien was bij imitatie-leren. Het werk demonstreert dat de sleutel tot generaliseerbare robotbesturing een diep, ruimtelijk begrip van de omgeving is, ondersteund door een intern bewustzijn van de eigen staat van de robot. Hoewel er uitdagingen blijven bestaan, met name bij het omgaan met onverwachte veranderingen in camerahoeken, bieden de bevindingen een duidelijke richting voor de toekomst van robotbesturing: geef prioriteit aan ruimtelijke verankering en biologische inspiratie boven linguïstische complexiteit.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.