Technische Samenvatting: REPAIR – Voorspellend Zelf-gesuperviseerd Representatie-leren in Schaken

Probleemstelling

Huidige methoden voor het leren van schaakrepresentaties vertrouwen voornamelijk op reinforcement learning (RL) met zelfspel (bijv. AlphaZero, Leela Chess Zero) of supervised learning met handmatige heuristieken en domeinkennis. Deze benaderingen vereisen vaak kostbare trainingsopstellingen en expliciete zetlabels. Hoewel zelf-gesuperviseerd leren aanzienlijk succes heeft behaald in de beeld- en natuurlijke taalgebieden (bijv. MAE, BERT), blijft de toepassing ervan op sequentiële staatgegevens zoals schaakpartijen onderbelicht. De uitdaging bestaat in het leren van een semantisch rijke, laagdimensionale representatie van schaaktoestanden zonder te vertroukken op expliciete zetannotaties, spelersratings of dure RL, terwijl het model in staat moet zijn om te redeneren over stukbewegingen en ontbrekende toestanden in een sequentie te reconstrueren.

Methodologie: De REPAIR-architectuur

De auteurs stellen REPAIR voor (Representation Prediction via Autoencoding using Iterative Refinement), een zelf-gesuperviseerde architectuur die concepten uit Masked Autoencoders (MAE), Joint Embedding Predictive Architectures (JEPA) en BERT synthetiseert. Het framework werkt op sequenties van toestanden (bijv. opeenvolgende schaakposities) via de volgende pijplijn:

1. Encoder (Onafhankelijke Staatstoewijzing):

   • Elke schaaktoestand $s_i$ (gerepresenteerd als een $19 \times 8 \times 8$ bitmap) wordt onafhankelijk van elkaar gemapt naar een latente vector $z_i$ door een convolutionele encoder.
   • De encoder maakt gebruik van Squeeze-and-Excitation blokken om kanaalgewichten te leren, waarbij belangrijke kenmerken worden benadrukt.
   • Cruciaal is dat de encoder toestanden onafhankelijk verwerkt; er stroomt op dit stadium geen temporele informatie tussen de toestanden.

2. Masking:

   • Een sequentie van latente vectoren $Z$ wordt gegenereerd. Willekeurige delen van de sequentie (met uitzondering van de eerste en laatste elementen) worden gemaskeerd met een leerbare token $\bar{z}_i$ met een waarschijnlijkheid $p$.
   • Het paper maakt gebruik van hoge maskeringratio's (tot 90%), gebruikmakend van het feit dat schaaksequenties veel informatie kunnen afleiden uit kleine contexten, in tegenstelling tot natuurlijke taal.

3. Predictor (Iteratieve Verfijning):

   • De Predictor is de enige component die informatieuitwisseling tussen toestanden mogelijk maakt. Het gebruikt een single-layer, encoder-only Transformer met vier attention heads.
   • Het werkt iteratief: beginnend met de gemaskeerde sequentie, werkt het de latente representaties $\hat{z}_i$ bij door te letten op de gehele sequentie. Dit proces herhaalt zich $n$ keer, met als doel de gemaskeerde latente toestanden te laten convergeren naar de ongemaskeerde grondwaarheid ($z_i \approx \hat{z}_i^{(n)}$).
   • Deze iteratieve verfijning stelt het model in staat om gaten in de latente sequentie te "repareren".

4. Decoder (Staat-reconstructie):

   • De decoder is een geïnverteerde encoder die de verfijnde latente vectoren terug naar de invoerruimte mapt ($s_i \approx \hat{s}_i$).
   • Het doel is om de originele bitmap te reconstrueren, wat effectief het herstellen van ontbrekende bordtoestanden inhoudt.

5. Loss-functies:

   • JEPA Loss: Minimaliseert de afstand tussen de output van de Predictor en de ongemaskeerde grondwaarheid latente representatie.
   • Decoder Loss (Long): Berekent de reconstructiefout tussen de originele staat en de staat die is gedecodeerd uit de Predictor's output. Dit voorkomt representatie-instorting (collapse).
   • Decoder Loss (Short): Berekent de reconstructiefout tussen de originele staat en de staat die direct uit de Encoder's output is gedecodeerd (zonder Predictor-verfijning).
   • Het paper stelt vast dat het combineren van de Long Decoder Loss met de Short Decoder Loss de beste prestaties levert, wat de Predictor effectief traint om representaties te verfijnen zonder de JEPA latente alignment loss nodig te hebben.

Belangrijkste Bijdragen

• Nieuwe Architectuur: Introductie van REPAIR, die MAE-stijl masking, JEPA-stijl latente voorspelling en BERT-stijl sequentieverwerking integreert in een verenigd zelf-gesuperviseerd framework voor sequentiële staatgegevens.
• Zelf-gesuperviseerd Schaken: Demonstratie dat betekenisvolle schaakrepresentaties kunnen worden geleerd zonder reinforcement learning, handmatige heuristieken of gelabelde zetdata, enkel door te vertrouwen op de statistische structuur van spelsequenties.
• Iteratieve Latente Reparatie: Een mechanisme waarbij een lichtgewicht Predictor gemaskeerde latente toestanden iteratief verfijnt, waardoor het model in staat is om over stukbewegingen te redeneren en grote gaten in spelsequenties te reconstrueren.
• Semantische Clustering: Bewijs dat de geleerde latente ruimte van nature clusterende schaakconcepten bevat, waaronder spelfasen (opening, middenspel, eindspel), specifieke openingfamilies (ECO-codes) en puzzelmotieven.

Experimentele Resultaten

Het model werd getraind op 80.000 Lichess-partijen (juni 2025) met een 50% masking ratio, gevolgd door een fase met 90% masking.

• Reconstructienauwkeurigheid:

  • Modellen getraind met de Long Decoder Loss bereikten een top-1 reconstructienauwkeurigheid van ongeveer 93% op gemaskeerde velden, zelfs wanneer 80% van de sequentie gemaskeerd was.
  • Combinaties die de Long Decoder Loss misten, resulteerden in aanzienlijk lagere nauwkeurigheid of modelinstorting.
  • Het model demonstreerde het vermogen om legale zetpatronen te reconstrueren en onzinnige zetten uit te sluiten (bijv. het negeren van zetten die leiden tot onmiddellijke stukslag).

• Attention Analyse:

  • Visualisatie van de attention weights van de Predictor toonde aan dat informatie aanvankelijk verspreidt van gemaskeerde toestanden naar naburige ongemaskeerde toestanden en vervolgens verder propageert.
  • Het attention mechanisme stabiliseert na ongeveer vijf iteraties, het punt waarop staatswijzigingen stagneren.

• Semantiek van de Representatieruimte:

  • Spelfasen: PCA-projecties van volledige spel-trajecten onthulden duidelijke clusters die overeenkomen met openingen, castling-gebeurtenissen (apart voor Wit en Zwart), middenspelen en eindspelen.
  • Opening: t-SNE projecties van ECO-openingen toonden duidelijke clustering per ECO-code (bijv. koningspion versus damepion openingen), waarbij de geleerde embeddings een betere scheiding vertoonden dan ruwe bitmaps.
  • Puzzels: De embeddingruimte slaagde erin om schaakpuzzels te scheiden op basis van semantische motieven (bijv. "geavanceerde pion", "back-rank mate", "koningin eindspel"), wat bevestigt dat het model hoogwaardige strategische concepten begrijpt.

Betekenis en Claims

Het paper claimt dat REPAIR een semantisch rijke representatieruimte voor schaken biedt die puur voortkomt uit zelf-gesuperviseerde training. In tegenstelling tot eerdere benaderingen waar embeddings een bijproduct zijn van een beleid (policy) dat getraind is om te winnen, richt REPAIR zich expliciet op het leren van betekenisvolle embeddings voor de toestanden zelf.

De auteurs stellen dat het model een "intuïtie" van schaakregels en -strategieën vertoont, wat blijkt uit:

1. Het vermogen om ontbrekende schaaktoestanden met hoge nauwkeurigheid te reconstrueren.
2. Het genereren van waarschijnlijkheidsverdelingen die de legale zetrestricties en tactische consequenties respecteren (bijv. het vermijden van zetten die stukken verliezen).
3. De natuurlijke clustering van spel-trajecten en puzzelmotieven in de latente ruimte, wat een intuïtieve dissectie van spellen mogelijk maakt door hun paden te observeren.

Dit werk suggereert dat dergelijke zelf-gesuperviseerde architecturen kunnen worden toegepast op andere domeinen die opeenvolgende transformaties inhouden, wat een weg biedt naar verklaarbare processen zonder de noodzaak voor kostbare reinforcement learning of expliciete labeling.