The Evaluation Protocol Determines the Result: An Independent Reproduction of LeWorldModel on TwoRoom

De Dilemma van de Detective: Wanneer de Kaart Niet Overeenkomt met het Gebied

Stel je voor dat je een robot leert om door een doolhof te navigeren. Je wilt niet alleen dat de robot het pad uit het hoofd leert; je wilt dat hij een "wereldmodel" bouwt in zijn brein—een mentale kaart die voorspelt wat er gebeurt als hij naar links of rechts draait. Als de robot de toekomst nauwkeurig kan voorspellen, kan hij vooruitplannen en complexe puzzels oplossen. Dit is de droom van latente wereldmodellen: AI-systemen die de verborgen regels van hun omgeving leren, zodat ze intelligent kunnen handelen zonder dat een mens hun hand hoefend vasthoudt.

Maar hier komt het lastige deel: hoe weet je of de mentale kaart van de robot echt goed is? Meestal controleren wetenschappers dit door te kijken hoe goed de robot de volgende stap voorspelt. Als hij het volgende frame van een video perfect kan raden, nemen we aan dat hij de wereld begrijpt. Deze paper stelt echter een gevaarlijke vraag: Wat als de robot een genie is in het voorspellen van de volgende seconde, maar een totale ramp bij het plannen voor de volgende minuut?

Dit verhaal komt uit de wereld van machine learning, specifelijk de studie naar hoe AI leert om de realiteit te simuleren. Het is een veld waar onderzoekers digitale breinen bouwen om fysica, beweging en oorzaak-gevolgrelaties te begrijpen. De belangen zijn groot, want als we robots of zelfrijdende auto's bouwen op basis van modellen die op papier goed lijken maar falen in de echte wereld, kunnen de gevolgen chaotisch zijn. Deze paper is het verhaal van een team onafhankelijke onderzoekers die besloten "detective" te spelen met een beroemde nieuwe AI-methode genaamd LeWorldModel. Ze wilden zien of de goocheltruc echt werkte, of dat de goochelaar gewoon een paar cruciale stappen in de instructies verborg.

---

De Zaak van de Ontbrekende Instructies

De onderzoekers gingen van start met het reproduceren van een resultaat uit een paper die beweerde dat hun nieuwe AI, LeWorldModel, ongeveer 87% van de tijd een simpel doolhof met twee kamers kon oplossen. Dit leek laag vergeleken met andere methoden die 97–100% haalden, maar de auteur beweerde dat hun methode bijzonder was omdat deze eenvoudiger was en geen fancy trucjes nodig had om te werken.

Het onafhankelijke team, onder leiding van Joyjeet Singh, huurde computerkracht (ongeveer $24 aan GPU-tijd) om de AI vanaf nul op te bouwen. Ze verwachtten dezelfde succesratio van 87% te zien. In plaats daarvan stuitten ze op een bende verborgen geheimen.

De Vier Verborgen Regels
Het team ontdekte dat de instructies van de oorspronkelijke paper leken op een recept waarbij de belangrijkste ingrediënten waren vergeten. Als je alleen de gepubliceerde configuratiebestanden volgde, zou de AI niets leren. De onderzoekers vonden vier "ongedocumenteerde conventies" diep in de code die alles bepaalden:

1. Dense Action Gathering: De AI moest elke kleine beweging die de robot maakte zien, niet slechts een paar momentopnames.
2. Programmatic Width: De grootte van een specifiek deel van het brein werd bepaald door een verborgen wiskundige formule, niet door een getal in het instellingenbestand.
3. ImageNet Normalization: De afbeeldingen die aan de AI werden gevoerd, moesten op een zeer specifieke manier worden verwerkt (met behulp van "ImageNet"-standaarden), en niet simpelweg door kleuren door 255 te delen.
4. Z-Scored Actions: De bewegingen van de robot moesten wiskundig worden aangepast op basis van de hele dataset, waarbij vreemde "NaN" (niet een getal) fouten eerst verwijderd moesten worden.

Zonder deze vier verborgen aanpassingen kon de "voorspeller" (het deel dat de toekomst raadt) van de AI niet eens convergeren. Het was alsof je een taart probeerde te bakken met een recept dat vergat te vermelden: "voeg bloem toe" of "verwarm de oven voor".

De Geest in de Machine
Zelfs nadat het recept was gecorrigeerd, liep het team tegen een muur aan. Tijdens drie van hun trainingsruns leek het alsof de AI faalde. De "validation loss" (een score die meet hoe slecht de AI was) schommelde wild, wat suggereerde dat het model kapot was. Maar de "training loss" (hoe slecht het was op de data waar het van leerde) werd eigenlijk steeds beter!

Ze vonden de schuldige: een Batch Normalization layer. Denk aan dit als een thermostaat in het brein van de AI. In de verkeerde modus was deze thermostaat defect, waardoor kleine fouten met een factor 300 werden versterkt. Het liet de AI lijken also op het falen, terwijl hij eigenlijk perfect aan het leren was. Zodra ze deze thermostaat "herkalibreerden", kwam de ware prestatie naar boven.

De Twee Verschillende Kaarten
Het team ontdekte ook dat de oorspronkelijke paper twee verschillende sets regels publiceerde voor het testen van de AI, en deze gaven totaal andere resultaten:

• De "Korte" Test: Het configuratiebestand van de code zei dat de AI getest moest worden met een doel dat 25 stappen verwijderd is en een budget van 50 stappen. Onder deze regel haalde de AI van de oorspronkelijke auteurs 84,0%.
• De "Lange" Test: De appendix van de paper zei dat de AI getest moest worden met een doel dat 100 stappen verwijderd is en een budget van 150 stappen. Onder deze regel haalde dezelfde AI slechts 14,0%.

De onderzoekers realiseerden zich dat de geclaimde succesratio van "87%" waarschijnlijk gebaseerd was op de "Korte" test, maar de "Lange" test (die in de appendix werd beschreven) was veel moeilijker en onthulde de zwakte van de AI.

De Grote Verrassing: Nauwkeurigheid Betekent Geen Vaardigheid

De meest schokkende ontdekking ging niet over de verborgen regels; het ging over wat "goed" eigenlijk betekent.

Het team trainde drie verschillende versies van de AI:

1. Een "slechte" versie met hoge voorspellingsfouten.
2. Een "gemiddelde" versie (de versie van de oorspronkelijke auteurs).
3. Een "geweldige" versie met zeer lage voorspellingsfouten (de gecorrigeerde versie van het team).

De Korte-Termijn Winst:
Wanneer het doel dichtbij was (25 stappen), was de "geweldige" AI de beste, met een succespercentage van 94,0%. De "slechte" AI was de slechtste met 78,0%. Dit was logisch: betere voorspelling = beter plannen.

De Lange-Termijn Ramp:
Maar wanneer het doel ver weg was (100 stappen), draaiden de regels volledig om.

• De "geweldige" AI (de meest nauwkeurige voorspeller) werd de slechtste planner, met slechts 20,0% succes.
• De "slechte" AI (de minst nauwkeurige voorspeller) werd de beste planner, met 80,0% succes.

De meest nauwkeurige AI was zo zelfverzekerd over zijn perfecte voorspellingen dat hij enorme, roekeloze bewegingen maakte en het doel overschoot, eindigend op 116,6 eenheden afstand (verder dan een willekeurige gok!). De "slechte" AI, die onzeker was over zijn voorspellingen, bewoog voorzichtiger en bereikte daadwerkelijk het doel.

Wat Dit Betekent voor de Toekomst

Deze paper zegt niet dat de AI-methode nutteloos is. Sterker nog, nadat de verborgen regels waren gecorrigeerd, bereikte de AI van het team 94,0% op de korte test, waarmee het de oorspronkelijke claim versloeg. De representatie (de mentale kaart) was solide; de robot wist waar hij was.

Echter, de paper levert een sterke waarschuwing: Je kunt een planner niet beoordelen op hoe goed hij de volgende stap voorspelt.

In dit specifieke doolhof maakte het een "perfecte voorspeller" de AI juist slechter in langetermijnplanning. De onderzoekers ontdekten dat de meest nauwkeurige modellen zo zeker waren van hun pad dat ze zich vastlegden op extreme acties die hen de verkeerde kant op stuurden.

Het team ontdekte ook dat een vooraf geregistreerd experiment (een test die van tevoren was gepland om te zien of de AI beter was in het navigeren naar doelen in dezelfde kamer versus een andere kamer) wel werkte op één versie van de AI, maar volledig faalde op een andere. Dit suggereert dat de "magie" van de AI mogelijk specifiek is voor de exacte versie van het model, en niet een algemene eigenschap van de methode is.

De Conclusie
De paper concludeert dat als je een AI wilt bouwen die kan plannen voor de lange termijn, je niet alleen degene moet kiezen die de toekomst het meest nauwkeurig voorspelt. In feite zou het kiezen van het meest nauwkeurige model op deze taak hebben betekend dat je de slechtste planner koos. De les voor de toekomst is dat we nieuwe manieren nodig hebben om AI te testen die verder kijken dan eenvoudige voorspellingsscores, want een perfecte kaart betekent niet altijd dat je weet hoe je moet rijden.