Sandwich-Residuals: Parameter-Efficient Test-time Adaptation of World Models

Robots die hun eigen bewegingen kunnen plannen, vertrouwen vaak op een interne kaart van hoe de wereld werkt. Stel je een robotarm voor die een blok over een tafel probeert te duwen. In plaats van alleen te reageren op wat er op dat moment gebeurt, bouwt een slimme robot een mentaal model dat voorspelt wat er zal gebeuren als hij zijn arm op een bepaalde manier beweegt. De robot leert te zeggen: "Als ik hier duw, zal het blok daarheen glijden." Dit mentale model, vaak een wereldmodel genoemd, stelt de robot in staat om toekomstige acties in zijn geest te simuleren voordat hij daadwerkelijk beweegt, wat helpt om fouten te vermijden en zijn doelen efficiënt te bereiken. Deze modellen worden meestal getraind in een gecontroleerde omgeving, zoals een computersimulatie, waar de belichting perfect is en de fysica consistent is. De echte wereld is echter rommelig. Wanneer een robot die in een simulatie is getraind, in een nieuwe kamer wordt geplaatst met andere belichting, of wanneer het tafeloppervlak gladder wordt, kan de interne kaart van de robot onjuist worden. De voorspellingen die hij maakt, komen niet langer overeen met de werkelijkheid, en de robot slaagt er niet in zijn taak te voltooien. Jarenlang was de standaardoplossing voor dit probleem het opnieuw trainen van delen van het brein van de robot terwijl hij aan het werk is, waarbij miljoenen interne instellingen worden aangepast om aan de nieuwe omstandigheden te voldoen. Dit proces is zwaar, traag en vereist dat de robot constant zijn eigen begrip van hoe dingen bewegen herschrijft.

Een team van onderzoekers heeft een veel lichtere manier ontdekt om dit probleem op te lossen. In plaats van de robot te vragen zijn volledige interne kaart te herschrijven, hebben ze ontdekt dat het vaak voldoende is om simpelweg de randen aan te passen waar de robot zijn inputs leest en zijn outputs schrijft. In een nieuwe studie introduceerden de onderzoekers een methode die ze "Sandwich-Residuals" noemen. Ze namen een robot die al had geleerd hoe hij moet bewegen in een simulatie en bevroren het interne brein van de robot volledig, waardoor voorkomend dat de miljoenen geleerde instellingen veranderden. Vervolgens voegden ze twee zeer kleine, flexibele lagen software toe: één die de informatie die naar het brein van de robot komt bijstelt, en een andere die de voorspellingen die eruit komen bijstelt. Deze kleine lagen fungeren als een sandwichvulling die rond de bevroren kern zit. Terwijl de robot probeert te bewegen en fouten maakt, leren deze kleine lagen de fouten onderweg te corrigeren, zonder ooit de zware, vooraf getrainde hersenen binnenin aan te raken. De robot leert te zeggen: "Mijn brein denkt dat het blok hierheen zal gaan, maar mijn nieuwe correctielaag weet dat de vloer glad is, dus ik pas mijn plan aan om het daarheen te sturen in plaats van hier."

De onderzoekers testten dit idee op een verscheidenheid aan uitdagende taken, waaronder het navigeren door doolhoven en het duwen van objecten met verschillende vormen. Ze vergeleken hun methode met de standaardaanpak, die het bijwerken van het interne brein van de robot inhoudt, en met een robot die helemaal geen aanpassingen maakt. In eenentwintig verschillende testscenario's slaagde de robot die de nieuwe "sandwich"-methode gebruikte er 65 procent van de tijd in om zijn doel te bereiken. Dit was een significante verbetering ten opzien van de onaangepaste robot, die slechts ongeveer 49 procent van de tijd slaagde. Belangrijker nog, de nieuwe methode presteerde bijna net zo goed als de standaardaanpak die het brein van de robot herschrijft, die ongeveer 68 procent van de tijd slaagde. Het cruciale verschil ligt in de efficiëntie. De standaardmethode moest bijna tien miljoen instellingen bijwerken om zich aan de nieuwe omstandigheden aan te passen. De nieuwe methode hoefde daarentegen slechts ongeveer honderdduizend instellingen aan te passen. Dit betekent dat de nieuwe aanpak minder dan drie procent van de computationele inspanning van de oude methode nodig heeft, terwijl het bijna hetzelfde niveau van succes bereikt.

De studie onderzocht ook wat er gebeurt als de robot met meerdere problemen tegelijkertijd wordt geconfronteerd, zoals een verandering in belichting gecombineerd met een verandering in hoe zwaar de objecten aanvoelen. In deze moeilijke "samengestelde" situaties was de nieuwe methode nog indrukwekkender. Het slaagde 1,9 keer vaker dan de onaangepaste robot, terwijl het net zo effectief bleef als de zware methode van het bijwerken van het brein. De onderzoekers ontdekten dat het type correctie dat nodig was, afhankelijk was van het specifieke probleem. Wanneer de robot door een doolhof navigeerde en de fysica van de beweging veranderde, deed de laag die de voorspellingen van de robot na uitvoering corrigeerde het meeste werk. Wanneer de robot objecten duwde en de controller gevoeliger werd, was de laag die de inputcommando's van de robot aanpaste belangrijker. Door beide lagen aan te houden, kon het systeem een grote verscheidenheid aan onverwachte veranderingen aan zonder van tevoren te weten wat voor soort problemen het zou tegenkomen.

Om te bewijzen dat dit idee verder gaat dan eenvoudige doolspelletjes, pasten de onderzoekers het ook toe op een complexere taak waarbij een realistische robotarm een kubus in de driedimensionale ruimte beweegt. Ze gebruikten hiervoor een ander type robotbrein dat rust op visuele patronen in plaats van het eerdere ontwerp. Zelfs met deze andere architectuur werkte hetzelfde "sandwich"-principe. De robot was in staat zich aan te passen aan veranderingen in belichting, camerahoeken en de kracht van zijn eigen motoren. In elk testgeval waarin de omstandigheden veranderden, verbeterde de nieuwe methode de prestaties van de robot vergeleken met niets doen, terwijl de andere methoden de robot soms zelfs slechter lieten presteren. Dit suggereert dat het vermogen om aan te passen niet altijd vereist dat een robot fundamenteel verandert hoe hij de wereld begrijpt. Soms is het genoeg om simpelweg een kleine, flexibele filter toe te voegen die de robot helpt zijn huidige situatie correct te interpreteren.

De bevindingen suggereren een verschuiving in hoe we robots voor de toekomst kunnen bouwen. Lange tijd was de aanname dat als de omgeving van een robot veranderde, het interne model van de fysica herschreven moest worden om erbij aan te sluiten. Dit artikel laat zien dat die aanname niet altijd noodzakelijk is. Als het kernbegrip van de robot van de wereld nog grotendeels correct is, kan hij simpelweg leren zijn inputs en outputs aan te passen om in de nieuwe realiteit te passen. Deze aanpak is niet alleen sneller en goedkoper, maar ook stabieler, omdat het het risico vermijdt dat de robot vergeet wat hij al weet terwijl hij probeert iets nieuws te leren. Hoewel de experimenten in computersimulaties werden uitgevoerd, wijzen de resultaten op een toekomst waarin robots nieuwe omgevingen kunnen betreden en onmiddellijk aan het werk kunnen gaan, waarbij ze kleine, efficiënte aanpassingen gebruiken om de verrassingen van de echte wereld op te vangen zonder dat er een enorme herziening van hun intelligentie nodig is.