🤖 machine learning

RePAIR: Predictive Self-Supervised Representation Learning in Chess

Dieses Paper stellt RePAIR vor, eine neuartige Architektur für selbstüberwachtes Repräsentationslernen, die Masked Autoencoding und prädiktive Modellierung kombiniert, um sequentielle Schachstellungen in kompakte latente Räume zu kodieren, was die Entstehung bedeutungsvoller Schachkonzepte und intuitiver Spielanalysen ermöglicht, ohne auf kostspieliges Reinforcement Learning angewiesen zu sein.

Ursprüngliche Autoren: Christoph Koller, Johannes Fürnkranz, Timo Bertram

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Christoph Koller, Johannes Fürnkranz, Timo Bertram

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten eine Schachpartie, aber jemand hat mehrere Seiten aus dem Notizbuch herausgerissen. Sie sehen die Ausgangsposition und die Endposition, aber die Züge dazwischen fehlen.

Stellen Sie sich nun einen hochbegabten Schüler vor, der nie die Regeln des Schachs von einem Menschen gelernt hat und auch nicht Millionen von Partien gegen einen Computer gespielt hat, um Preise zu gewinnen. Dieser Schüler wurde stattdessen lediglich mit tausenden vollständigen Schachpartien gezeigt. Seine Aufgabe ist es, auf die „Vorher-Nachher“-Bilder zu schauen und zu erraten, wie die fehlenden Seiten ausgesehen haben könnten.

Dies ist der Kernaspekt von REPAIR, einem neuen Computerprogramm, das in dem Paper beschrieben wird.

Das „Lückentext“-Spiel

Die Forscher haben ein System entwickelt, das wie eine hochtechnologische Version eines „Lückentext“-Rätsels funktioniert. So funktioniert es, Schritt für Schritt:

Das Maskieren (Verstecken der Hinweise): Der Computer nimmt eine Sequenz von Schachstellungen (wie eine laufende Partie) und verbirgt zufällig große Teile davon. Es ist, als würde man ein Foto eines Schachbretts nehmen, 80 % der Figuren mit einem schwarzen Marker übermalen und fragen: „Was war hier?“
Der Encoder (Der Schnappschuss-Macher): Zuerst betrachtet der Computer die sichtbaren Figuren und wandelt jede Brettposition in einen kompakten, geheimen Code (einen „latenten Zustand“) um. Dies geschieht für jedes Brett unabhängig voneinander, ohne die Nachbarn bereits zu berücksichtigen.
Der Predictor (Der Detektiv): Dies ist der magische Teil. Der Computer besitzt einen „Predictor“, der wie ein Detektiv agiert. Er betrachtet die geheimen Codes der sichtbaren Bretter und versucht, die fehlenden Teile zu reparieren. Er rät nicht einfach nur wahllos; er nutzt ein „leichtgewichtiges“ Gehirn (ein kleines Transformer-Modell), um den Kontext zu betrachten. Er fragt: „Wenn der König hier steht und die Dame dort, was muss in den fehlenden Schritten passiert sein?“
Der Decoder (Der Künstler): Sobald der Predictor die geheimen Codes repariert hat, übersetzt das System diese zurück in tatsächliche Schachbretter, um zu sehen, ob die Vermutung richtig war.

Warum ist das besonders?

Normalerweise muss man einem Computer beibringen, Schach zu spielen, indem man Reinforcement Learning verwendet. Das ist wie das Training eines Hundes mit Leckerlis: Der Computer spielt Millionen von Partien, gewinnt oder verliert und lernt so langsam, welche Züge gut sind. Das ist teuer und erfordert viel Rechenleistung.

REPAIR ist anders. Es kümmert sich nicht darum, zu gewinnen oder zu verlieren. Es weiß nicht, was ein „Schachmatt“ ist. Es kümmert sich nur um Muster. Es lernt, indem es versucht, die fehlenden Teile der Partie zu rekonstruieren. Indem es sich selbst dazu zwingt, die Lücken zu füllen, lernt es unbewusst die tiefe Logik des Schachs:

Es lernt, dass Bauern vorwärts ziehen.
Es lernt, dass Springer in einer „L-Form“ springen.
Es lernt, dass man seinen König nicht in Gefahr bringen darf.

Das Paper zeigt, dass das Modell, weil es die Partie so oft „reparieren“ musste, eine mentale Landkarte des Schachs aufgebaut hat, die unglaublich reich an Bedeutung ist.

Die „Schach-Universum“-Karte

Das faszinierendste Ergebnis tritt ein, wenn man sich die „geheimen Codes“ des Computers (den latenten Raum) ansieht. Die Forscher haben diese Codes auf eine 2D-Karte projiziert, und sie sah aus wie eine Stadt mit deutlichen Stadtvierteln:

Das Eröffnungsviertel: Alle Partien, die mit ähnlichen Eröffnungszügen begannen (wie dem Zug des Königsbauern), gruppierten sich in einem Bereich zusammen.
Die Mittelspiel-Zone: Während der Partie bewegte sich der Pfad in einen anderen Teil der Karte.
Das Endspiel-Dorf: Wenn nur noch wenige Figuren übrig waren, pendelte sich der Pfad in einer kleinen, spezifischen Ecke ein.
Das „Rochade“-Nachbarschaft: Es gab sogar einen spezifischen Cluster für Partien, in denen die Spieler „rochade“ gemacht haben (ein spezieller Zug, um den König zu schützen).

Es ist, als hätte der Computer, allein durch den Versuch, die fehlenden Seiten aufzufüllen, seine eigene interne Landkarte der Schachwelt erstellt, in der ähnliche Konzepte nebeneinander liegen.

Was das Modell kann

Das Paper demonstriert drei coole Dinge:

Es kann die fehlenden Züge erraten: Selbst bei riesigen Lücken (wie 25 fehlenden Zügen) kann das Modell ein Brett rekonstruieren, das wie eine legale, logische Schachstellung aussieht. Es rät nicht einfach nur zufällige Figuren; es versteht die Regeln.
Es geht mit Ambiguität um: Manchmal gibt es zwei oder drei legale Wege von Punkt A nach Punkt B. Das Modell wählt nicht einfach nur einen; es zeigt ein „unscharfes“ Brett, auf dem die Figuren leicht transparent sind, was signalisiert: „Es könnte dies sein, oder es könnte jenes sein.“
Es versteht Rätsel: Wenn ihm Schachrätsel gezeigt werden (wie „finde den Gewinnzug“), gruppiert das Modell Rätsel mit ähnlichen Themen (wie „Matt auf der Rückreihe“ oder „fortgeschrittener Bauer“) in seiner mentalen Karte zusammen, obwohl es nie explizit auf diese Themen hingewiesen wurde.

Das Fazale

Das Paper behauptet, dass REPAIR ein neuer Weg ist, Computer über sequentielle Daten (wie Schachpartien) lehren zu können, ohne dass teures Training oder menschliche Lehrer nötig sind. Allein durch den Versuch, die fehlenden Teile einer Sequenz zu „reparieren“, lernt der Computer die tiefe Struktur und die Regeln des Spiels von selbst und erstellt eine reiche, organisierte Karte von Schachkonzepten, die Menschen tatsächlich verstehen und erforschen können.

Technisches Resümee: REPAIR – Prädiktives selbstüberwachtes Repräsentationslernen in Schach

Problemstellung

Derzeitige Methoden zum Erlernen von Schachrepräsentationen verlassen sich überwiegend auf Reinforcement Learning (RL) mit Selbstspiel (z. B. AlphaZero, Leela Chess Zero) oder auf überwachtes Lernen unter Verwendung handgefertigter Heuristiken und Domänenexpertise. Diese Ansätze erfordern oft kostspielige Trainingsaufbauten und explizite Zug-Labels. Während selbstüberwachtes Lernen in Bild- und Sprachdomänen (z. B. MAE, BERT) signifikante Erfolge erzielt hat, bleibt seine Anwendung auf sequentielle Zustandsdaten wie Schachpartien untererforscht. Die Herausforderung besteht darin, eine semantisch reiche, niedrigdimensionale Repräsentation von Schachzuständen zu erlernen, ohne auf explizite Zugannotationen, Spielerbewertungen oder teures RL angewiesen zu sein und gleichzeitig in der Lage zu sein, über Figurenzüge zu schlussfolgern und fehlende Zustände in einer Sequenz zu rekonstruieren.

Methodik: Die REPAIR-Architektur

Die Autoren schlagen REPAIR (Representation Prediction via Autoencoding using Iterative Refinement) vor, eine selbstüberwachte Architektur, die Konzepte aus Masked Autoencoders (MAE), Joint Embedding Predictive Architectures (JEPA) und BERT synthetisiert. Das Framework operiert auf Sequenzen von Zuständen (z. B. aufeinanderfolgende Schachstellungen) durch den folgenden Prozess:

Encoder (Unabhängige Zustandsabbildung):
- Jeder Schachzustand $s_i$ (dargestellt als eine $19 \times 8 \times 8$ Bitmap) wird durch einen konvolutionalen Encoder unabhängig auf einen latenten Vektor $z_i$ abgeb Karten.
- Der Encoder nutzt Squeeze-and-Excitation-Blöcke, um Kanalgewichte zu lernen und wichtige Merkmale hervorzuheben.
- Entscheidend ist, dass der Encoder Zustände unabhängig verarbeitet; in dieser Phase fließt keine zeitliche Information zwischen den Zuständen.
Maskierung:
- Eine Sequenz von latenten Vektoren $Z$ wird generiert. Zufällige Teile der Sequenz (mit Ausnahme der ersten und letzten Elemente) werden mit einer Wahrscheinlichkeit $p$ mit einem lernbaren Token $\bar{z}_i$ maskiert.
- Das Paper verwendet hohe Maskierungsraten (bis zu 90 %), da es die Tatsache nutzt, dass Schachsequenzen große Mengen an Informationen aus kleinen Kontexten ableiten können, im Gegensatz zur natürlichen Sprache.
Predictor (Iterative Verfeinerung):
- Der Predictor ist die einzige Komponente, die einen Informationsaustausch zwischen Zuständen ermöglicht. Er verwendet einen einlagigen, reinen Encoder-Transformer mit vier Attention-Heads.
- Er arbeitet iterativ: Ausgehend von der maskierten Sequenz aktualisiert er die latenten Repräsentationen $\hat{z}_i$ , indem er auf die gesamte Sequenz achtet. Dieser Prozess wiederholt sich $n$ -mal mit dem Ziel, die maskierten latenten Zustände gegen die unmaskierte Grundwahrheit zu konvergieren ( $\hat{z}_i^{(n)} \approx z_i$ ).
- Diese iterative Verfeinerung ermöglicht es dem Modell, Lücken in der latenten Sequenz zu „reparieren“.
Decoder (Zustandsrekonstruktion):
- Der Decoder ist ein invertierter Encoder, der die verfeinerten latenten Vektoren zurück in den Eingangsraum abbildet ( $s_i \approx \hat{s}_i$ ).
- Das Ziel ist es, die ursprüngliche Bitmap zu rekonstruieren, wodurch die fehlenden Brettzustände effektiv wiederhergestellt werden.
Loss-Funktionen:
- JEPA Loss: Minimiert die Distanz zwischen dem Output des Predictors und der unmaskierten Grundwahrheit der latenten Repräsentation.
- Decoder Loss (Long): Berechnet den Rekonstruktionsfehler zwischen dem Originalzustand und dem Zustand, der aus dem Output des Predictors dekodiert wurde. Dies verhindert den Kollaps der Repräsentation.
- Decoder Loss (Short): Berechnet den Rekonstruktionsfehler zwischen dem Originalzustand und dem Zustand, der direkt aus dem Output des Encoders (ohay ohne Predictor-Verfeinerung) dekodiert wurde.
- Das Paper stellt fest, dass die Kombination aus dem Long Decoder Loss und dem Short Decoder Loss die beste Leistung erzielt, da sie den Predictor effektiv dazu trainiert, Repräsentationen zu verfeinern, ohne dass der JEPA-latente Alignment-Loss benötigt wird.

Zentrale Beiträge

Neuartige Architektur: Einführung von REPAIR, das MAE-Stil-Maskierung, JEPA-Stil-latente Prädiktion und BERT-Stil-Sequenzverarbeitung in einem einheitlichen selbstüberwachten Framework für sequentielle Zustandsdaten integriert.
Selbstüberwachtes Schachlernen: Demonstration, dass aussagekräftige Schachrepräsentationen ohne Reinforcement Learning, handgefertigte Heuristiken oder gelabelte Zugdaten gelernt werden können, indem man sich allein auf die statistische Struktur von Spielsequenzen stützt.
Iterative latente Reparatur: Ein Mechanismus, bei dem ein leichtgewichtiger Predictor maskierte latente Zustände iterativ verfeinert, was es dem Modell ermöglicht, über Figurenzüge zu schlussfolgern und große Lücken in Spielsequenzen zu rekonstruieren.
Semantische Clusterbildung: Nachweis, dass der gelernte latente Raum Schachkonzepte natürlich clustert, einschließlich Spielphasen (Eröffnung, Mittelspiel, Endspiel), spezifischer Eröffnungsfamilien (ECO-Codes) und Rätsel-Motiven.

Experimentelle Ergebnisse

Das Modell wurde auf 80.000 Lichess-Partien (Juni 2025) mit einer Maskierungsrate von 50 % trainiert, gefolgt von einer Phase mit 90 % Maskierung.

Rekonstruktionsgenauigkeit:
- Modelle, die mit dem Long Decoder Loss trainiert wurden, erreichten eine Top-1-Rekonstruktionsgenauigkeit von etwa 93 % bei maskierten Feldern, selbst wenn 80 % der Sequenz maskiert waren.
- Kombinationen, denen der Long Decoder Loss fehlte, zeigten signifikant geringere Genauigkeit oder einen Modellkollaps.
- Das Modell zeigte die Fähigkeit, legale Zugmuster zu rekonstruieren und unsinnige Züge auszuschließen (z. B. das Ignorieren von Zügen, die zu einem sofortigen Figurenverlust führen).
Attention-Analyse:
- Die Visualisierung der Attention-Gewichte des Predictors zeigte, dass sich Informationen zunächst von maskierten Zuständen zu benachbarten unmaskierten Zuständen ausbreiten und dann weiter propagieren.
- Der Attention-Mechanismus stabilisiert sich nach etwa fünf Iterationen, was dem Punkt entspricht, an dem die Zustandsänderungen stagnieren.
Semantik des Repräsentationsraums:
- Spielphasen: PCA-Projektionen vollständiger Spieltrajektorien offenbarten distinkte Cluster, die Eröffnungen, Rochaden-Ereignisse (getrennt für Weiß und Schwarz), Mittelspiele und Endspiele widerspiegeln.
- Eröffnungen: t-SNE-Projektionen von ECO-Eröffnungsstellungen zeigten eine klare Clusterbildung nach ECO-Code (z. B. Bauerneröffnung mit e4 vs. d4), wobei die gelernten Embeddings eine bessere Trennung aufweisen als Roh-Bitmaps.
- Rätsel: Der Embedding-Raum konnte Schachrätsel erfolgreich basierend auf semantischen Motiven (z. B. „fortgeschrittener Bauer“, „Matt auf der Rückreihe“, „Damenendspiel“) trennen, was bestätigt, dass das Modell hochgradig strategische Konzepte erfasst.

Bedeutung und Behauptungen

Das Paper behauptet, dass REPAIR einen semantisch reichen Repräsentationsraum für Schach bereitstellt, der rein aus selbstüberwachtem Training hervorgeht. Im Gegensatz zu früheren Ansätzen, bei denen Embeddings ein Nebenprodukt einer für den Sieg trainierten Policy sind, konzentriert sich REPAIR explizit auf das Erlernen aussagekräftiger Embeddings für die Zustände selbst.

Die Autoren behaupten, dass das Modell eine „Intuition“ für Schachregeln und -strategien besitzt, was durch Folgendes belegt wird:

Die Fähigkeit, fehlende Brettzustände mit hoher Genauigkeit zu rekonstruieren.
Die Generierung von Wahrscheinlichkeitsverteilungen, welche die legalen Zugbeschränkungen und taktischen Konsequenzen respektieren (z. B. Vermeidung von Zügen, die Figuren verlieren).
Die natürliche Clusterbildung von Spieltrajektorien und Rätselmotiven im latenten Raum, was eine intuitive Zerlegung von Partien durch Beobachtung ihrer Pfade ermöglicht.

Die Arbeit legt nahe, dass solche selbstüberwachten Architekturen auch auf andere Domänen angewendet werden können, die sukzessive Transformationen beinhalten, und bietet somit einen Weg zu erklärbaren Prozessen, ohne dass ein kostspieliges Reinforcement Learning oder explizite Labeling erforderlich ist.