Operator-on-F complements value-equivalence: a planning-time diagnostic for latent world models

Stel je voor dat je een robot leert om een videogame te spelen. Je wilt niet dat de robot alleen de score uit het hoofd leert; je wilt dat hij begrijpt hoe de spelwereld eigenlijk werkt. In het vakgebied van kunstmatige intelligentie wordt dit "model-based reinforcement learning" genoemd. De robot bouwt een "wereldmodel" — een mentale simulatie in zijn brein waar hij kan oefenen met bewegen, springen en obstakels ontwijken zonder daadwerkelijk de echte game aan te raken.

Lange tijd hadden wetenschappers een eenvoudige manier om te controleren of deze mentale simulatie goed is: ze vragen: "Voorspelt de robot de score (beloning) correct?" Als de robot denkt dat hij een punt krijgt voor het springen, en dat gebeurt ook, gaan we ervan uit dat de robot het spel begrijpt. Dit idee wordt "waarde-equivalentie" genoemd. Het is alsof je controleert of een weervoorspeller goed is door alleen te vragen: "Heb je de temperatuur goed voorspeld?" Als de temperatuur klopte, gaan we ervan uit dat de voorspeller ook de wind, de wolken en de luchtdruk begrijpt. Maar wat als de voorspeller de temperatuur door geluk goed raadde, terwijl hij de windrichting volledig verkeerd had? De robot kan denken dat hij gaat winnen, maar wanneer hij probek te springen, kan hij van de kaart vallen omdat zijn mentale model van de fysica kapot is, zelfs als de voorspelling van de score er goed uitzag.

Dit artikel introduceert een nieuwe, zorgzamere manier om het brein van de robot te controleren. De auteurs, Donna Vakalis en collega's, stellen een diagnostisch hulpmiddel voor genaamd "operator-on-F". In plaats van alleen de uiteindelijke score te controleren, controleert dit hulpmiddel of de mentale simulatie van de robot van de volgende stap overeenkomt met de werkelijkheid. Stel je voor dat je een magische kristallen bol hebt die laat zien hoe de wereld er over vijf seconden uit zal zien. De oude methode controleert of de kristallen bol de juiste score aan het einde van die vijf seconden voorspelt. De nieuwe methode controleert of de afbeelding van de wereld in de kristallen bol op elk moment lijkt op de echte wereld. Ze testten dit op een beroemd AI-model genaamd TD-MPC2, dat getraind is om een virtuele cheeta te laten rennen. Ze ontdekten dat terwijl de oude methode zei dat het model prima functioneerde, de nieuwe methode een enorm probleem ontdekte in de grootste versie van het model, waarmee werd onthuld dat de mentale simulatie van het model was ingestort, zelfs terwijl het nog steeds de score correct voorspelde.

Het verhaal van de bedrieglijke cheeta

Laten we in het experiment duiken. De onderzoekers namen een krachtig AI-model dat getraind is om een virtuele cheeta zo snel mogelijk te laten rennen. Ze testten vijf verschillende versies van dit model, variërend van een kleine met 1 miljoen "neuronen" (parameters) tot een gigantische met 317 miljoen.

Ze voerden eerst een standaardcontrole uit: "Hoe goed voorspelt het model de beloning?" De resultaten waren verrassend saai. Elk model, van de kleine tot de gigantische, voorspelde de beloning met bijna dezelfde kleine foutmarge. De fout bleef in een zeer nauwe marge tussen 0,028 en 0,091. Het was alsof vijf studenten een wiskundetoets maakten en ze allemaal een score tussen de 97% en 99% haalden. Op basis hiervan zou je denken dat ze allemaal even briljant zijn.

Maar toen pasten de onderzoekers hun nieuwe "operator-on-F"-test toe. Deze test keek niet alleen naar de uiteindelijke score; het keek naar de interne kaart van de wereld terwijl de robot rende. Ze vroegen: "Als de robot denkt dat hij na 5 stappen in positie X zal zijn, is hij dan ook echt in positie X?"

De resultaten waren schokkend. Terwijl de beloningsvoorspellingen allemaal vergelijkbaar waren, varieerde de "operator-fout" (hoe fout de mentale kaart was) enorm.

• De kleinere modellen hadden lage fouten, variërend van 0,28 tot 0,36. Hun mentale kaarten waren redelijk.
• Maar de gigantische 317M-versie? De fout schoot omhoog naar 2,62. Dat is een orde van grootte slechter dan de anderen.

Hier komt de twist: de gigantische versie met de kapotte mentale kaart (fout 2,62) crashte daadwerkelijk in het spel. De prestatie (return) stortte in naar een verschrikkelijke 0,9. Ondertussen renden de kleinere modellen met betere mentale kaarten veel sneller. Toch, als je alleen naar de beloningsvoorspelling had gekeken, had je deze ramp volledig gemist. De beloningsfout voor het gigantische model was nog steeds slechts 0,091, waardoor het precies in die kleine, misleidende marge zat met de anderen.

De auteurs vonden een zeer sterke link tussen deze nieuwe foutmetriek en hoe goed de robot daadwerkelijk speelde. De correlatie tussen de operator-fout en het falen van de robot was -0,90. Dit betekent dat naarmate de mentale kaart slechter werd, de prestatie van de robot bijna perfect synchroon slechter werd. In contrast hiermee had de oude voorspelling van de beloningsfout bijna geen enkele verband met het werkelijke succes van de robot (een correlatie van slechts -0,30).

Waarom de oude controle faalde

Het artikel betoogt dat de oude manier van controleren (waarde-equivalentie) "stil" kan zijn wanneer er dingen misgaan. Het is als een automonteur die alleen controleert of de radio werkt. Als de motor op het punt staat te exploderen, kan de radio nog steeds perfect muziek afspelen. De monteur zegt: "Alles is geweldig!" terwijl de auto in brand staat.

In deze studie was de "radio" de beloningsvoorspelling. De "motor" was het vermogen van het model om de fysica van de wereld te simuleren. Het gigantische 317M-model had een werkende radio maar een kapotte motor. De nieuwe "operator-on-F"-test fungeerde als een monteur die de motorkap opende en direct de motor controleerde.

De onderzoekers vergeleken deze nieuwe test ook met een andere veelgebruikte metriek genaamd de "Bellman-residue". Ze ontdekten dat de nieuwe test botste met de Bellman-residue. Sterker nog, de Bellman-residue was zo vergelijkbaar met de ongenormaliseerde beloningsfout dat deze de modellen ook niet kon onderscheiden. De nieuwe test was de enige die het verschil kon zien tussen een model dat echt goed was en een model dat gewoon geluk had met zijn scorevoorspellingen.

Testen op verschillende architecturen

Om er zeker van te zijn dat dit geen toevalstreffer was met één specifiek type AI, testten de onderzoekers de methode op een compleet ander type model genaamd LeWM, dat leert zonder te worden verteld wat de score is (een "pure-SSL" model). Ze vergeleken dit nieuwe model met een standaard single-task TD-MPC2 model.

De resultaten waren duidelijk en onderscheidend. Het nieuwe LeWM-model had een operator-fout van 0,384 ± 0,009, terwijl het standaardmodel een fout had van 0,840. Het verschil was zo groot dat hun betrouwbaarheidsintervallen (de range waar de werkelijke waarde waarschijnlijk ligt) elkaar niet eens raakten. Dit suggereert dat het nieuwe diagnostische hulpmiddel werkt over verschillende soorten AI-breinen heen, en niet alleen bij het model waarmee ze begonnen.

De conclusie

Het artikel beweert niet dat de oude methoden nutteloos zijn of dat de nieuwe methode een wondermiddel is dat alles oplost. In plaats daarvan suggereert het dat vertrouwen op alleen beloningsvoorspelling gevaarlijk is. Het is als het beoordelen van een chef-kok enkel op hoe lekker het dessert is, terwijl je negeert dat hij misschien het hoofdgerecht heeft aangebrand.

De auteurs concluderen dat we beide controles moeten gebruiken: de oude beloningscontrole en de nieuwe "operator-on-F"-controle. De nieuwe controle fungeert als een vangnet dat fouten in het begrip van de wereld opvangt die de oude controle mist. In het geval van de gigantische 317M cheeta-model was de nieuwe controle de enige die kon verklaren waarom de robot faalde, zelfs toen het leek also[f] de score perfect te voorspellen. Het blijkt dat je geweldig kunt zijn in het voorspellen van de toekomstige score, maar verschrikkelijk in het begrijpen van de toekomstige wereld.