A Compositional Paradigm for Foundation Models: Towards Smarter Robotic Agents
Dit artikel stelt voor om principes van Continual Learning en Compositionality te integreren in Foundation Models om hun beperkingen bij het aanpassen aan dynamische real-world scenario's te overwinnen, waardoor de ontwikkeling van flexibelere, efficiëntere en intelligentere robotische agenten mogelijk wordt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren alles te doen, van het roosteren van brood tot het repareren van een lekkende kraan. Lange tijd was de beste manier om dit te doen het bouwen van een "superbrein" voor de robot—een massief, alwetend model getraind op terabytes aan data. Denk hierbij aan het inhuren van een genie dat elk boek in de bibliotheek heeft gelezen en elke video op het internet heeft bekeken. Deze "Foundation Models" zijn ongelooflijk slim; ze kunnen chatten als een mens, plaatjes herkennen en zelfs robotarmen aansturen. Maar er is een addertje onder het gras: ze zijn als een enorme, zware rugzak. Zodra je die rugzak op hebt, is hij moeilijk te veranderen. Als de robot een gloednieuwe vaardigheid moet leren, zoals het openen van een specifiek type pot, moet je vaak de hele rugzak afdoen, het genie vanaf nul opnieuw trainen en hem weer omdoen. Dat duurt eeuwig, verbruikt veel elektriciteit, en als de robot vergeet hoe hij brood moet roosteren terwijl hij leert over potten, dan is dat een probleem dat "catastrofale vergetelheid" wordt genoemd.
Om dit op te lossen, kijken wetenschappers naar twee verschillende ideeën: Continual Learning (voortdurend leren) en Compositionality (compositie). Continual Learning is als een student die nooit stopt met studeren; zij blijven nieuwe kennis aan hun brein toevoegen zonder de oude kennis te vergeten. Compositionality is als bouwen met LEGO-stenen. In plaats van één gigantisch, monolithisch blok plastic, heb je veel kleine, gespecialiseerde steentjes. Je kunt ze op verschillende manieren aan elkaar klikken om een kasteel, een auto of een ruimteschip te bouwen. Als je het ruimteschip in een onderzeeër wilt veranderen, hoef je alleen een paar steentjes te vervangen in plaats van het hele ding te laten smelten. De grote vraag is: kunnen we deze LEGO-achtige bouwstenen gebruiken om robots te maken die slimmer, sneller en gemakkelijker bij te werken zijn dan de enorme rugzakken die we vandaag de dag hebben?
Dit artikel, getiteld "A Compositional Paradigm for Foundation Models: Towards Smarter Robotic Agents", suggereert dat het antwoord ja is. De auteurs stellen dat het simpelweg groter en groter maken van AI-modellen tegen een muur aanloopt. Ze stellen voor dat we, in plaats van één massief, rigide model te trainen, systemen bouwen die kleinere, gespecialiseerde onderdelen combineren. Ze testten dit idee in twee zeer verschillende werelden: het herkennen van afbeeldingen en het aansturen van robotarmen.
Eerst keken ze naar beeldclassificatie. Stel je voor dat je een computer een stroom van verschillende soorten foto's laat zien, zoals vogels, auto's en bloemen, één na degene. In plaats van het hele computervisie-systeem telkens opnieuw te trainen wanneer er een nieuw type foto verschijnt, gebruikten de auteurs een "LEGO"-aanpak. Ze trainden kleine, aparte modules (genaamd LoRA-adapters) voor elke nieuwe taak. Vervolgens gebruikten ze een slim samenvoegingsproces om deze modules aan elkaar te klikken. Ze ontdekten dat deze methode niet alleen nauwkeuriger was, maar ook veel sneller te trainen. In hun tests op een dataset met 50 verschillende taken bereikte hun "LEGO"-methode een nauwkeurigheid van 55,17%, waarmee ze andere methoden versloegen die slechts 47,56% of 36,02% haalden. Nog beter: het duurde slechts 170,61 seconden om te trainen, terwijl de concurrenten meer dan 300 seconden nodig hadden.
Vervolgens namen ze dit idee mee naar de echte wereld van robotica. Ze wilden zien of een robot objecten kon manipuleren zonder een supercomputer nodig te hebben. Ze bouwden een systeem dat kleine, vooraf getrainde "adapters" gebruikte om het bestaande brein van een robot aan te passen, waardoor de robot zich ter plekke aan nieuwe contexten kon aanpassen. De resultaten waren opmerkelijk. In een taak voor robotmanipulatie behaalde hun lichtgewicht methode een succespercentage van 0,91 (wat betekent dat het 91% van de tijd slaagde) en verdiende een beloning van 0,60 per stap. In contrast hiermee faalden veel complexere en beroemde modellen zoals OpenVLA en InstructRL volledig, met een succespercentage van 0,0. Terwijl de zware modellen 40 tot 92 uur nodig hadden om te trainen, deed de methode van de auteurs het werk in slechts 14 uur.
Het artikel concludeert dat voor robots echt slimme agenten te worden die de rommelige, veranderende echte wereld kunnen aan, ze moeten stoppen met statische reuzen te zijn en flexibele verzamelingen vaardigheden te worden. Door deze kleine, efficiënte onderdelen te combineren, kunnen we agenten creëren die nieuwe dingen leren zonder de oude te vergeten, terwijl ze veel minder energie en tijd verbruiken. Het is een verschuiving van het bouwen van één onveranderlijk superbrein naar het assembleren van een team van gespecialiseerde experts die samen kunnen werken, direct kunnen aanpassen en problemen kunnen oplossen met een niveau van flexibiliteit dat de oude manier simpelweg niet kon evenaren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.