Resumen Técnico: REPAIR – Aprendizaje de Representación Predictiva Auto-Supervisada en Ajedrez

Planteamiento del Problema

Los métodos actuales para el aprendizaje de representaciones de ajedrez dependen predominantemente del aprendizaje por refuerzo (RL) con auto-juego (por ejemplo, AlphaZero, Leela Chess Chess Zero) o del aprendizaje supervisado utilizando heurísticas manuales y experiencia en el dominio. Estos enfoques suelen requerir configuraciones de entrenamiento costosas y etiquetas de movimientos explícitas. Si bien el aprendizaje auto-supervisado ha logrado un éxito significativo en los dominios de la imagen y el lenguaje natural (por ejemplo, MAE, JEPA, BERT), su aplicación a datos de estados secuenciales como las partidas de ajedrez sigue estando poco explorada. El desafío consiste en aprender una representación de baja dimensión y semánticamente rica de los estados de ajedrez sin depender de anotaciones de movimientos explícitos, calificaciones de jugadores o un RL costoso, permitiendo al mismo tiempo que el modelo razone sobre los movimientos de las piezas y reconstruya estados faltantes en una secuencia.

Metodología: La Arquitectura REPAIR

Los autores proponen REPAIR (Representación Predictiva mediante Autocodificación usando Refinamiento Iterativo), una arquitectura auto-supervisada que sintetiza conceptos de Masked Autoencoders (MAE), Joint Embedding Predictive Architectures (JEPA) y BERT. El marco opera sobre secuencias de estados (por ejemplo, posiciones de ajedrez consecutivas) a través del siguiente flujo de trabajo:

1. Codificador (Mapeo de Estado Independiente):

   • Cada estado de ajedrez $s_i$ (representado como un mapa de bits de $19 \times 8 \times 8$) se mapea independientemente a un vector latente $z_i$ mediante un codificador convolucional.
   • El codificador utiliza bloques de Squeeze-and-Excitation para aprender pesos de canales, enfatizando características importantes.
   • Crucialmente, el codificador procesa los estados de forma independiente; no fluye información temporal entre estados en esta etapa.

2. Enmascaramiento (Masking):

   • Se genera una secuencia de vectores latentes $Z$. Porciones aleatorias de la secuencia (excluyendo el primer y último elemento) se enmascaran con un token aprendible $\bar{z}_i$ con una probabilidad $p$.
   • El artículo emplea ratios de enmascaramiento altos (hasta el 90%), aprovechando el hecho de que las secuencias de ajedrez permiten una gran inferencia de información a partir de contextos pequeños, a diferencia del lenguaje natural.

3. Predictor (Refinamiento Iterativo):

   • El Predictor es el único componente que permite el intercambio de información entre estados. Utiliza un Transformer de una sola capa, de tipo solo codificador, con cuatro cabezales de atención.
   • Opera de forma iterativa: comenzando con la secuencia enmascarada, actualiza las representaciones latentes $\hat{z}_i$ mediante la atención a toda la secuencia. Este proceso se repite $n$ veces, con el objetivo de converger los estados latentes enmascarados hacia la verdad fundamental no enmascarada ($z_i \approx \hat{z}_i^{(n)}$).
   • Este refinamiento iterativo permite al modelo "reparar" los huecos en la secuencia latente.

4. Decodificador (Reconstrucción de Estado):

   • El decodificador es un codificador invertido que mapea los vectores latentes refinados de vuelta al espacio de entrada ($s_i \approx \hat{s}_i$).
   • El objetivo es reconstruir el mapa de bits original, recuperando efectivamente los estados de tablero faltantes.

5. Funciones de Pérdida (Loss Functions):

   • Pérdida JEPA: Minimiza la distancia entre la salida del Predictor y la representación latente de la verdad fundamental no enmascarada.
   • Pérdida del Decodificador (Larga): Calcula el error de reconstrucción entre el estado original y el estado decodificado desde la salida del Predictor. Esto evita el colapso de la representación.
   • Pérdida del Decodificador (Corta): Calcula el error de reconstrucción entre el estado original y el estado decodificado directamente desde la salida del Codificador (sin el refinamiento del Predictor).
   • El artículo encuentra que combinar la Pérdida del Decodificador Larga con la Pérdida del Decodificador Corta ofrece el mejor rendimiento, entrenando efectivamente al Predictor para refinar las representaciones sin necesidad de la pérdida de alineación latente JEPA.

Contribuciones Clave

• Arquitectura Novedosa: Introducción de REPAIR, que integra el enmascaramiento estilo MAE, la predicción latente estilo JEPA y el procesamiento de secuencias estilo BERT en un marco auto-supervisado unificado.
• Aprendizaje de Ajerez Auto-supervisado: Demostración de que se pueden aprender representaciones de ajedrez significativas sin aprendizaje por refuerzo, heurísticas manuales o datos de movimientos etiquetados, basándose únicamente en la estructura estadística de las secuencias de juego.
• Reparación Latente Iterativa: Un mecanismo donde un Predictor ligero refina iterativamente los estados latentes enmascarados, permitiendo que el modelo razone sobre los movimientos de las piezas y reconstruya grandes brechas en las secuencias de juego.
• Agrupamiento Semántico (Semantic Clustering): Evidencia de que el espacio latente aprendido agrupa naturalmente conceptos de ajedrez, incluyendo fases de juego (apertura, medio juego, final), familias de aperturas específicas (códigos ECO) y motivos de problemas (puzzles).

Resultados Experimentales

El modelo fue entrenado con 80,000 partidas de Lichess (junio de 2025) con un ratio de enmascaramiento del 50%, seguido de una fase con un 90% de enmascaramiento.

• Precisión de Reconstrucción:

  • Los modelos entrenados con la Pérdida del Decodificador Larga lograron una precisión de reconstrucción top-1 de aproximadamente el 93% en casillas enmascaradas, incluso con el 80% de la secuencia enmascarada.
  • Las combinaciones que carecían de la Pérdida del Decodificador Larga resultaron en una precisión significativamente menor o en el colapso del modelo.
  • El modelo demostró la capacidad de reconstruir patrones de movimientos legales y excluir movimientos no sensatos (por ejemplo, ignorando movimientos que conducen a la captura inmediata de una pieza).

• Análisis de Atención:

  • La visualización de los pesos de atención del Predictor mostró que la información se propaga inicialmente desde los estados enmascarados hacia los estados no enmascarados vecinos y luego se propaga más allá.
  • El mecanismo de atención se estabiliza después de aproximadamente cinco iteraciones, que es el punto donde los cambios de estado se estancan.

• Semántica del Espacio de Representación:

  • Fases de Juego: Las proyecciones PCA de las trayectorias completas de las partidas revelaron grupos distintos correspondientes a aperturas, eventos de enroque (separados para Blancas y Negras), medio juego y finales.
    os.
  • Aperturas: Las proyecciones t-SNE de las posiciones de apertura ECO mostraron un agrupamiento claro por código ECO (por ejemplo, aperturas de peón de rey vs. peón de dama), mostrando que las incrustaciones (embeddings) aprendidas tienen una mejor separación que los mapas de bits originales.
  • Problemas (Puzzles): El espacio de incrustación separó con éxito los problemas de ajedrez basados en motivos semánticos (por ejemplo, "peón avanzado", "mate de primera fila", "final de damas"), confirmando que el modelo captura conceptos estratégicos de alto nivel.

Significado y Reivindicaciones

El artículo afirma que REPAIR proporciona un espacio de representación semánticamente rico para el ajedrez que emerge puramente del entrenamiento auto-supervisado. A diferencia de enfoques previos donde las incrustaciones son un subproducto de una política entrenada para ganar, REPAIR se enfoca explícitamente en aprender incrustaciones significativas para los estados mismos.

Los autores aseguran que el modelo demuestra una "intuición" de las reglas y estrategias del ajedrez, evidenciada por:

1. La capacidad de reconstruir estados de tablero faltantes con alta precisión.
2. La generación de distribuciones de probabilidad que respetan las restricciones de movimientos legales y las consecuencias tácticas (por ejemplo, evitar movimientos que pierdan piezas).
3. El agrupamiento natural de las trayectorias de juego y los motivos de los problemas en el espacio latente, lo que permite la disección intuitiva de las partidas mediante la observación de sus caminos.

Este trabajo sugiere que tales arquitecturas auto-supervisadas pueden aplicarse a otros dominios que involucran transformaciones sucesivas, ofreciendo una vía para procesos explicables sin la necesidad de un costoso aprendizaje por refuerzo o etiquetado explícito.