The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

Stel je voor dat je een robot leert om door een doolhof te navigeren. Hiervoor bouwt de robot een "mentale kaart" van de wereld in zijn brein. Deze kaart is geen afbeelding; het is een gecomprimeerde, wiskundige samenvatting van hoe de wereld er op elk gegeven moment uitziet. Wetenschappers noemen dit een "latente wereldmodel". De robot leert deze kaart te begrijpen door video's van zichzelf te bekijken terwijl hij beweegt, en door te proberen te voorspellen wat er hierna gebeurt. Als hij de toekomst nauwkeurig kan voorspellen, gaan we ervan uit dat hij de wereld begrijpt. Zodra hij zo'n kaart heeft, gebruikt de robot een "planner" — een algoritme voor besluitvorming — om de beste route naar een doel te bepalen, zoals het vinden van een schatkist. De grote vraag in dit vakgebied is altijd geweest: als de robot er niet in slaagt een doel te bereiken dat ver weg is, komt dat dan omdat zijn mentale kaart wazig en onnauwkeurig is, of omdat zijn besluitvormingsinstrument kapot is? Dit artikel duikt in dat mysterie en onderzoekt of het probleem ligt bij het zicht van de robot of bij zijn kompas.

De onderzoekers in dit artikel onderzochten een specifieke robot die door een eenvoudige omgeving met twee kamers navigeert. Ze ontdekten dat de "mentale kaart" van de robot eigenlijk ongelooflijk scherp en nauwkeurig was, zelfs voor het ver kijken in de toekomst. Desondanks bleef de robot erin falen om doelen te bereiken die ver weg waren. De verrassende ontdekking is dat de robot niet faalde omdat hij het pad niet kon zien; hij faalde omdat het "kompas" dat hij gebruikte om afstand te meten, kapot was. De robot probeerde een specifieke wiskundige score te minimaliseren (de gekwadrateerde afstand tussen zijn huidige mentale staat en het doel), maar deze score begon na een bepa bepaald punt geen zin meer te hebben. Het was alsof een GPS zegt dat je dichter bij je bestemming komt terwijl je in werkelijkheid de tegenovergestelde richting op rijdt.

Het artikel laat zien dat de interne kaart van de robot nog steeds de staat van de wereld 75 stappen vooruit kon voorspellen met zeer weinig fouten — veel verder dan de 25 stappen waar de robot ooit voor probeerde te plannen. Het probleem was niet de kaart; het was de objectieffunctie, de regel die de planner gebruikte om succes te beoordelen. De onderzoekers ontdekten dat de standaardmanier waarop de afstand in de geest van de robot werd gemeten, "verzadigde" en daarna "omkeerde". Dit betekent dat zodra het doel meer dan ongeveer 120 eenheden verwijderd was, het verder weg bewegen van het doel de kostenscore juist verlaagde, waardoor de robot dacht dat hij vooruitgang boekte. De informatie over waar het doel was en hoe er daar te komen, was nog steeds volledig aanwezig in het brein van de robot, maar de planner van de robot negeerde het omdat hij naar de verkeerde metriek keek.

Om dit op te lossen, hebben de onderzoekers de robot niet opnieuw getraind of hebben ze hem niet voorzien van krachtigere hardware. In plaats daarvan hebben ze simpelweg het kapotte kompas vervangen door een nieuw een. Ze leerden de planner om te geven om "bereikbaarheid" (kan ik er daadwerkelijk komen?) in plaats van alleen om "nabijheid" (hoe dichtbij lijkt het?). Dit deden ze door een kleine helper te trainen die voorspelde hoeveel stappen het zou kosten om van het ene frame naar het andere te komen, in plaats van alleen de afstand tussen twee punten in een wiskundige ruimte te meten. Deze nieuwe aanpak was een groot succes. Op de originele instellingen van de robot steeg het succespercentage voor het bereiken van doelen die 100 stappen ver weg waren van een magere 26% naar een uitstekende 98%. Nog indrukwekkender was dat de robot 92% van die verre doelen kon bereiken met slechts een derde van het gebruikelijke tijdbudget.

Echter, deze reparatie is geen wondermiddel dat overal werkt. Wanneer de onderzoekers dezelfde fix probeerden toe te passen op de door de oorspronkelijke auteurs vrijgegeven gewichten, verbeterde het succes slechts van 14% naar 34%, wat tekortschoot voor de 70% die door een eenvoudig lineair methode werd behaald. De reden voor dit falen is dat het "mentale kaart" van het originele model te ver afdwaalt van de realiteit wanneer het de toekomst voorstelt zich. De nieuwe kompas werd getraind op echte videoframes, maar de planner beoordeelde verbeelde frames. Omdat de voorspellingen van het originele model zo onnauwkeurig waren, waren de verbeelde frames te verschillend van de echte frames voor de nieuwe kompas om correct te werken. Dit benadrukt een cruciale regel: een geleerde planningskosten moet getraind worden op exact hetzelfde type "verbeelde" data dat de planner daadwerkelijk zal gebruiken, anders zal het falen wanneer de voorspeller afwijkt.

De studie onthulde ook een vreemde eigenaardigheid: de "beste" planner was niet degene met de meest nauwkeurige kaart. Sterker nog, een planner die een kostenfunctie gebruikte die slechter was in het voorspellen van de exacte ruimtelijke afstand, plande eigenlijk beter. Dit kwam omdat de nieuwe kostenfunctie leerde om extra kosten in rekening te brengen voor het oversteken van een muur, terwijl de oude dat niet deed. De oude planner dacht dat twee kamers dicht bij elkaar lagen omdat ze fysiek nabij elkaar waren, waarbij de deur werd genegeerd. De nieuwe planner begreep dat je door de deur moet gaan, wat hem een betere navigator maakte. Het artikel concludeert dat voor planning op de lange termijn de flessenhals niet het vermogen is om de toekomst te voorspellen, maar het vermogen om te definiëren wat "er komen" eigenlijk betekent. Als je kompas de verkeerde kant op wijst, zal geen enkele perfecte visie je helpen je bestemming te vinden.