🤖 machine learning

Chess-World-Model: A 10M-Game Benchmark for Exact State Tracking from Chess Move Sequences

Dit artikel introduceert Chess-World-Model, een grootschalige benchmark afgeleid van 10 miljoen echte schaakpartijen die state-tracking-capaciteiten evalueert en aantoont dat recurrente architecturen Transformers aanzienlijk overtreffen en dat out-of-distribution-testen essentieel is om modelfalen aan het licht te brengen dat schaal alleen niet kan verbergen.

Oorspronkelijke auteurs: Benjamin Walker, Terry Lyons

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benjamin Walker, Terry Lyons

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Schaken-Memorytest"

Stel je voor dat je een schaakpartij op tv bekijkt, maar het scherm is zwart. Je kunt alleen de presentator horen die de zetten noemt: "Pion naar E4, Paard naar F3, Loper naar C4..."

Jouw taak is om op elk moment een perfect mentaal beeld van het hele bord in je hoofd te houden. Je moet precies weten waar elk stuk staat, wiens beurt het is, en zelfs obscure regels zoals "kan ik nu rokeren?" of "is er een speciale slag beschikbaar?".

Dit paper introduceert een enorme nieuwe test genaamd CHESS-WORLD-MODEL om te zien of AI-modellen dit kunnen. In plaats van alleen maar de volgende zet te raden (zoals een schaakbot), moet de AI na elke enkele zet de hele staat van het bord reconstrueren.

Waarom Dit Belangrijk Is: Het "Shortcut"-Probleem

De auteurs stellen dat veel AI-modellen lijken op studenten die antwoorden uit het hoofd leren in plaats van de wiskunde te begrijpen.

Het Probleem: Als je een AI traint op miljoenen echte menselijke schaakpartijen, kan het zijn dat het gewoon veelvoorkomende openingspatronen uit het hoofd leert (zoals "Paarden gaan meestal naar F3 in de eerste 10 zetten"). Het behaalt een hoge score, maar het heeft eigenlijk niet geleerd hoe het spel werkt. Het raadt gewoon op basis van wat er meestal gebeurt.
De Oplossing: De auteurs hebben een "valstrik"-test bedacht. Ze hebben een tweede set testpartijen gegenereerd waarbij de zetten volledig willekeurig worden gekozen (maar nog steeds legaal). Deze partijen zien er raar en chaotisch uit, helemaal niet als menselijk spel.
- Als de AI de regels van schaken echt heeft geleerd (de "fysica" van het spel), zou het deze willekeurige partijen prima moeten aankunnen.
- Als de AI alleen menselijke patronen uit het hoofd had geleerd, zal het op de willekeurige partijen hopeloos falen.

Het Experiment: Wie Speelde Er?

De onderzoekers testten vier verschillende soorten AI-"hersenen" (architecturen) om te zien welke het beste is in het bijhouden van de staat:

De Transformer: Het populairste type AI vandaag de dag (het type achter veel chatbots). Het kijkt naar de volledige geschiedenis van zetten tegelijk.
Drie "Recurrence" Modellen (SLiCE, Mamba-3, Gated DeltaNet): Dit zijn nieuwere soorten AI die zijn ontworpen om hun geheugen stap-voor-stap bij te werken, net als een mens die zet-voor-zet nadenkt.

Ze testten deze modellen op vier verschillende groottes, variërend van "klein" (3 miljoen parameters) tot "groot" (40 miljoen parameters).

De Resultaten: Grootte Is Niet Alles

Hier is wat ze ontdekten, met enkele eenvoudige analogieën:

1. De Kleine Modellen: Recurrence Wint
Bij de kleinere groottes waren de "stap-voor-stap" modellen (Recurrence) veel beter dan het "kijk-naar-alles"-model (Transformer).

Analogie: Stel je een klein team voor dat een bewegend auto probeert te volgen. De Transformer is als een team dat elke seconde een foto van de hele weg maakt en die aan elkaar plakt. De Recurrence-modellen zijn als een team dat een enkele kaartmarkering bijwerkt terwijl de auto beweegt. Voor kleine teams is de kaartmarkering-aanpak veel efficiënter.

2. De Grote Modellen: De "Saturatie"-Valstrik
Toen ze de modellen enorm maakten (rond de 18 miljoen parameters), werden alle van hen bijna perfect in het voorspellen van de bordstaat voor echte menselijke partijen.

De Valstrik: Als je alleen keek naar hoe ze presteerden op menselijke partijen, zou je denken dat alle modellen even briljant waren. De verschillen verdwenen. Het leek alsof "groter altijd beter is".

3. De Willekeurige Test: De Waarheid Wordt Geopenbaard
Dit is de belangrijkste bevinding van het paper. Toen ze deze enorme modellen testten op de willekeurige, chaotische partijen:

De modellen die "perfect" waren op menselijke partijen begonnen plotseling te falen.
De Recurrence-modellen (vooral die met complexere interne wiskunde) bleven veel nauwkeuriger.
Analogie: Het is als een student die een A+ haalt op een oefentest omdat het antwoordensleutel uit het hoofd heeft geleerd. Maar als je hen een volledig andere test geeft met dezelfde regels maar willekeurige vragen, zakken ze. De Recurrence-modellen waren degene die de regels daadwerkelijk hadden geleerd, niet alleen de antwoorden.

4. De "Expressiviteit"-Factor
De onderzoekers testten ook "vereenvoudigde" versies van de Recurrence-modellen (waarbij ze sommige van hun complexe wiskundige functies verwijderden).

Op menselijke partijen deden de vereenvoudigde modellen het nog steeds redelijk.
Op willekeurige partijen crashten de vereenvoudigde modellen.
Conclusie: Om met onverwachte situaties om te gaan, heb je een brein nodig dat flexibel en expressief is, niet alleen een groot een.

De Conclusie

Het paper concludeert dat CHESS-WORLD-MODEL een betere manier is om AI-"wereldmodellen" te testen (systemen die begrijpen hoe de wereld verandert).

Oude manier: Testen op bekende data. (Resultaat: Grotere modellen winnen altijd; we kunnen niet zien of ze slim zijn of alleen maar uit het hoofd leren).
Nieuwe manier: Testen op bekende data en vreemde, willekeurige data. (Resultaat: We kunnen zien welke modellen de onderliggende regels daadwerkelijk begrijpen en welke alleen maar doen alsof).

De auteurs tonen aan dat schaal (modellen groter maken) falen kan verbergen. Een model kan perfect lijken op standaardtests, maar falen in het begrijpen van de basisregels van een systeem wanneer dingen vreemd worden. De nieuwe benchmark blootlegt deze verborgen falen, waardoor onderzoekers AI kunnen bouwen die echt begrijpt hoe ze toestanden in de tijd moeten bijhouden.

Technische Samenvatting: CHESS-WORLD-MODEL

Probleemstelling

Wereldmodellen vereisen het vermogen om een correcte latente toestand te handhaven over reeksen van acties heen. Waar bestaande benchmarks vaak vertrouwen op synthetische taken (bijvoorbeeld pariteit, modulaire rekenkunde) of taalgebaseerde evaluaties, falen ze er frequent in om gestructureerde toestandswijzigingen te testen in realistische, deterministische domeinen. Synthetische taken zijn vaak te klein of te regelmatig, waardoor modellen kunnen profiteren van shortcuts of probleemstructuren kunnen memoriseren naarmate de schaal toeneemt, waardoor fundamentele fouten in het volgen van de toestand worden verdoezeld. Omgekeerd koppelen complexe wereldmodel-taken toestandvolging vaak aan perceptie of planning, waardoor het moeilijk is om computationele fouten te isoleren.

Het artikel stelt dat Schaken een natuurlijke testomgeving biedt voor dit probleem. In tegenstelling tot domeinen met perceptuele ambiguïteit of stochastische overgangen, is schaken een volledig waargenomen, deterministische omgeving met exacte overgangsregels. De taak is niet om schaken te spelen, maar om te fungeren als een geleerde spelengine: gegeven een reeks legale zetten, moet het model de exacte bordtoestand (inclusief stuklocaties en hulpvariabelen zoals rokade-rechten en zettellers) op elk moment reconstrueren. Deze formulering maakt een exacte evaluatie van toestandsherstel mogelijk zonder subjectieve oordelen of geleerde simulatoren.

Methodologie

De Benchmark: CHESS-WORLD-MODEL

De auteurs introduceren CHESS-WORLD-MODEL, een grootschalige benchmark opgebouwd uit 10 miljoen echte schaakpartijen afkomstig uit de Lichess Open Database. De benchmark evalueert modellen op twee distincte splits:

Houd-out Real-Game Split: Een subset van door mensen gespeelde partijen die wordt gebruikt om generalisatie binnen de verdeling van menselijk spel te meten.
Random-Uniform Split: Een set van 10.000 partijen gegenereerd door uniform legale zetten te bemonsteren op elke ply. Deze split test of modellen de onderliggende overgangsregels van schaken hebben geleerd of slechts veelvoorkomende menselijke openingen en tactische motieven hebben gememoriseerd.

Taakformulering:
De taak is een probleem van trajectvoorspelling van zet naar toestand.

Input: Een reeks UCI-zettokens (bronvak, doelvak, promotietype).
Output: Op elk tijdstip $t$ $t$ moet het model de volledige schaaktoestand $s_t$ $s_{t}$ voorspellen. Deze toestand bestaat uit 75 categorische labels:
- 64 labels voor stukplaatsing op het bord (13 klassen per vak).
- 11 hulplabels voor FEN-achtige variabelen (beurt, rokade-rechten, en passant, halfmove-klok, fullmove-nummer).
Maatstaf: De primaire maatstaf is ExactState, die 1 is alleen als alle 75 labels correct zijn voorspeld op een gegeven tijdstip.

Experimentele Opzet

De auteurs benchmarken vier sequentiemodel-families onder een gekoppeld interface en trainingsprotocol over vier schalen (ongeveer 3M, 8M, 18M en 38M parameters):

Causal Transformer: Een attention-gebaseerde baseline.
Block-diagonal SLiCE: Een recurrent model met input-afhankelijke block-diagonale toestandsovergangen.
Mamba-3: Een recurrent model dat de MIMO-variant gebruikt met rang 4.
Gated DeltaNet: Een recurrent model dat negatieve eigenwaarden toestaat in zijn overgangsmatrix.

De studie omvat ook ablaties die deze "expressieve" varianten vergelijken met minder expressieve tegenhangers (bijvoorbeeld diagonale SLiCE, Mamba-2, en Gated DeltaNet met alleen positieve eigenwaarden) om de theoretische noodzaak van expressieve toestandsovergangsmatrices voor toestandvolging te testen.

Belangrijkste Resultaten

1. Recurrente Modellen Presteren Beter dan Transformers op Kleine/Matige Schalen

Op de houd-out real-game split presteren recurrente modellen (SLiCE, Mamba-3, Gated DeltaNet) aanzienlijk beter dan de causale Transformer op kleinere schalen (3M en 8M parameters). De Transformer vereist aanzienlijk meer parameters om vergelijkbare nauwkeurigheid te bereiken, wat suggereert dat expliciete recurrente updates beter aansluiten bij het handhaven van een evoluerende latente toestand vanuit een stroom legale zetten.

2. Distributieverandering onthult Verborgen Fouten

Hoewel de prestaties op de houd-out real-game split voor alle modellen bij ongeveer 18M parameters satureren tot bijna perfecte nauwkeurigheid, blijft de random-uniform split zeer discriminerend tot 40M parameters.

Modellen die perfect lijken op menselijke partijen falen vaak aanzienlijk op willekeurige legale spelen.
Het sterkste model (Mamba-3 bij 38M) bereikt slechts ongeveer 80% ExactState-nauwkeurigheid op de random-uniform split, terwijl meerdere modellen bijna perfect zijn op de real-game split.
Dit geeft aan dat hoge nauwkeurigheid binnen de verdeling een falen in het leren van robuuste, regel-consistente toestandswijzigingen kan verbergen, aangezien modellen kunnen vertrouwen op shortcuts die specifiek zijn voor de verdeling van menselijke partijen.

3. Expressiviteit van Toestandsovergangen is Kritiek

Ablatiestudies tonen aan dat het verminderen van de expressiviteit van het toestandsovergangsmechanisme (bijvoorbeeld het verwijderen van negatieve eigenwaarden of block-diagonale structuren) consequent de prestaties op de random-uniform split verslechtert, zelfs wanneer de houd-out real-game prestaties hoog blijven.

Diagonale SLiCE vertoont numerieke instabiliteit en extreem hoge loss op de random-uniform split ondanks redelijke real-game prestaties.
Mamba-2 en Gated DeltaNet (positieve eigenwaarden) tonen significante dalingen in ExactState-nauwkeurigheid op de random-uniform split in vergelijking met hun expressieve tegenhangers.
Dit bevestigt dat expressieve overgangsmechanismen noodzakelijk zijn voor robuuste toestandvolging onder distributieverandering, niet alleen voor kleine modellen.

Betekenis en Claims

Het artikel stelt dat CHESS-WORLD-MODEL een praktische, grootschalige benchmark voor toestandvolging vestigt die fouten blootlegt die modelgrootte en evaluatie binnen de verdeling anderszins zouden verbergen.

Diagnostische Kracht: De benchmark toont aan dat "opschalen" alleen niet garandeert dat de onderliggende dynamiek wordt geleerd; modellen kunnen hoge nauwkeurigheid op menselijke data bereiken door patronen te memoriseren in plaats van de overgangsregels te leren. De random-uniform split is essentieel om onderscheid te maken tussen memorisatie en regel-consistente toestandvolging.
Architecturale Inzicht: De resultaten ondersteunen de theoretische hypothese dat input-afhankelijke lineaire RNN's met expressieve toestandsovergangsmatrices (bijvoorbeeld negatieve eigenwaarden, block-diagonale structuren) superieur zijn aan standaard Transformers en minder expressieve RNN's voor het handhaven van gestructureerde latente toestanden.
Fundament voor Wereldmodellen: Door exacte toestandvolging te isoleren in een deterministisch domein, biedt de benchmark een fundament voor het ontwikkelen van sequentiemodellen met betrouwbare interne toestandswijzigingen, een noodzakelijk onderdeel voor het bouwen van robuustere geleerde wereldmodellen.

De auteurs merken expliciet beperkingen op: de benchmark vangt geen perceptuele onzekerheid, stochastiek of gedeeltelijke waarneembaarheid, en de random-uniform split is slechts één vorm van distributieverandering. Het dient echter als een gefocuste test voor gestructureerde toestandswijzigingen, een kritieke bottleneck in het huidige wereldmodel-onderzoek.