기술 요약: REPAIR – 체스에서의 예측적 자기지도 표현 학습

문제 정의

현재 체스 표현을 학습하는 방법들은 주로 자기 대국(self-play)을 동반한 강화 학습(RL)(예: AlphaZero, Leela Chess Zero)이나 수작업으로 제작된 휴리스틱 및 도메인 전문 지식을 활용한 지도 학습에 의존합니다. 이러한 접근 방식은 비용이 많이 드는 훈련 설정과 명시적인 수(move) 라벨을 필요로 합니다. MAE, BERT, JEPA와 같은 자기지도 학습이 이미지 및 자연어 영역에서 상당한 성공을 거두었음에도 불구하고, 체스와 같은 순차적 상태 데이터에 대한 적용은 여전히 미개척 분야로 남아 있습니다. 과제는 명시적인 수 주석, 플레이어 레이팅 또는 값비싼 RL에 의 Rely하지 않으면서, 체스 기물의 움직임을 추론하고 시퀀스 내의 누락된 상태를 재구성할 수 있는 의미론적으로 풍부하고 저차원적인 체스 상태 표현을 학습하는 것입니다.

방법론: REPAIR 아키텍처

저자들은 MAE(Masked Autoencoders), JEPA(Joint Embedding Predictive Architectures), BERT의 개념을 합성한 자기지도 아키텍처인 REPAIR(Representation Prediction via Autoencoding using Iterative Refinement)를 제안합니다. 이 프레임워크는 다음 파이프라인을 통해 상태의 시퀀스(예: 연속적인 체스 포지션) 상에서 작동합니다:

1. 인코더 (독립적 상태 매핑):

   • 각 체스 상태 $s_i$($19 \times 8 \times 8$ 비트맵으로 표현됨)는 컨볼루션 인코더에 의해 독립적으로 잠재 벡터 $z_i$로 매핑됩니다.
   • 인코더는 중요한 특징을 강조하기 위해 채널 가중치를 학습하는 Squeeze-and-Excitation 블록을 사용합니다.
   • 결정적으로, 인코더는 상태를 독립적으로 처리하며, 이 단계에서는 상태 간에 시간 정보가 흐르지 않습니다.

2. 마스킹 (Masking):

   • 잠재 벡터 $Z$의 시퀀스가 생성됩니다. 시퀀스의 첫 번째와 마지막 요소를 제외한 무작위 부분은 확률 $p$로 학습 가능한 토큰 $\bar{z}_i$로 마스킹됩니다.
   • 본 논문은 체스 시퀀스가 자연어와 달리 작은 맥락으로부터도 큰 정보를 추론할 수 있다는 점을 활용하여 높은 마스킹 비율(최대 90%)을 적용합니다.

3. 예측기 (Iterative Refinement):

   • 예측기는 상태 간의 정보 교환을 허용하는 유일한 구성 요소입니다. 이는 4개의 어텐션 헤드를 가진 단일 레이어의 인코더 전용 트랜스포머를 사용합니다.
   • 이는 반복적으로 작동합니다: 마스킹된 시퀀스에서 시작하여, 전체 시퀀스에 어텐션을 수행함으로써 잠재 표현 $\hat{z}_i$를 업데이트합니다. 이 과정은 $n$번 반복되며, 마스킹된 잠재 상태를 마스킹되지 않은 실제 값(ground truth)으로 수렴시키는 것($z_i \approx \hat{z}_i^{(n)}$)을 목표로 합니다.
   • 이러한 반복적 정제는 모델이 잠재 시퀀스의 공백을 "수리(repair)"할 수 있게 합니다.

4. 디코더 (State Reconstruction):

   • 디코더는 입력 공간으로 잠재 벡터를 다시 매핑하는 역(inverted) 인코더입니다($s_i \approx \hat{s}_i$).
   • 목표는 원래의 비트맵을 재구성하여 누락된 보드 상태를 효과적으로 복구하는 것입니다.

5. 손실 함수 (Loss Functions):

   • JEPA 손실: 예측기의 출력과 마스킹되지 않은 실제 잠재 표현 사이의 거리를 최소화합니다.
   • 디코더 손실 (Long): 예측기의 출력에서 나온 상태와 원래 상태 사이의 재구성 오차를 계산합니다. 이는 표현 붕괴(representation collapse)를 방지합니다.
   • 디코더 손실 (Short): 인코더의 출력에서 직접 나온 상태와 원래 상태 사이의 재구성 오차를 계산합니다(예측기 정제 없이).
   • 본 논문은 Long 디코더 손실과 Short 디코더 손실을 결합하는 것이 최상의 성능을 낸다는 것을 발견했으며, 이는 JEPA 잠재 정렬 손실 없이도 예측기가 표현을 정제하도록 효과적으로 훈련시킵니다.

주요 기여

• 새로운 아키텍처: MAE 스타일의 마스킹, JEPA 스타일의 잠재 예측, 그리고 BERT 스타일의 시퀀스 처리를 통합된 자기지도 프레임워크로 결합한 REPAIR를 도입했습니다.
• 자기지도 체스 학습: 체스 게임의 통계적 구조에만 의존하여 강화 학습, 수작업 휴리스틱, 또는 라벨링된 수 데이터 없이도 의미 있는 체스 표현을 학습할 수 있음을 입증했습니다.
• 반복적 잠재 수리 (Iterative Latent Repair): 경량화된 예측기가 마스킹된 잠재 상태를 반복적으로 정제하여, 모델이 기물의 움직임과 큰 공백을 추론하고 게임 시퀀스의 큰 간극을 재구성할 수 있게 하는 메커니즘입니다.
• 의미론적 클러스터링: 학습된 잠재 공간이 게임 단계(오프닝, 미들게임, 엔드게임), 특정 오프닝 패밀리(ECO 코드), 퍼즐 모티프를 포함한 체스 개념을 자연스럽게 클러스터링한다는 증거를 제시했습니다.

실험 결과

모델은 80,000개의 Lichess 게임(2025년 6월)을 사용하여 50% 마스킹 비율로 훈련되었으며, 이후 90% 마스킹 단계가 이어졌습니다.

• 재구성 정확도:

  • Long 디코더 손실로 훈련된 모델은 시퀀스의 80%가 마스킹된 상황에서도 마스킹된 칸(square)에 대해 약 **93%**의 Top-1 재구성 정확도를 달랐습니다.
  • Long 디코더 손실이 결여된 조합은 현저히 낮은 정확도를 보이거나 모델 붕괴가 발생했습니다.
  • 모델은 합법적인 수 패턴을 재구성하고 비상식적인 수(예: 즉각적인 기물 잡힘으로 이어지는 수)를 배제하는 능력을 보여주었습니다.

• 어텐션 분석:

  • 예측기의 어텐션 가중치 시각화 결과, 정보가 처음에 마스킹된 상태에서 인접한 마스킹되지 않은 상태로 퍼져나간 후 더 멀리 전파됨을 보여주었습니다.
  • 어텐션 메커니즘은 상태 변화가 정체되는 지점인 약 5번의 반복 후에 안정화됩니다.

• 표현 공간의 의미론:

  • 게임 단계: 전체 게임 궤적의 PCA 투영은 오프닝, 캐슬링 이벤트(백과 흑 각각 별도로), 미들게임, 엔드게임에 해당하는 뚜렷한 클러스터를 드러냈습니다.
  • 오프닝: ECO 오프닝 포지션의 t-SNE 투영은 ECO 코드(예: 킹스 폰 vs 퀸스 폰 오프닝)에 따른 명확한 클러스터링을 보여주었으며, 학습된 임베딩이 원본 비트맵보다 더 나은 분리도를 보였습니다.
  • 퍼즐: 임베딩 공간은 "전진한 폰", "백랭크 메이트", "퀸 엔드게임"과 같은 의미론적 모티프에 따라 체스 퍼즐을 성공적으로 분리하여, 모델이 고차원적인 전략적 개념을 포착하고 있음을 확인시켜 주었습니다.

의의 및 주장

본 논문은 REPAIR가 순수하게 자기지도 학습을 통해 체스의 의미론적으로 풍부한 표현 공간을 제공한다고 주장합니다. 승리를 위해 훈련된 정책의 부산물로서 임베딩이 생성되는 기존 방식과 달리, REPAIR는 상태 자체에 대한 의미 있는 임베딩을 학습하는 데 명시적으로 집중합니다.

저자들은 모델이 체스의 규칙과 전략에 대한 "직관"을 보여준다고 주장하며, 그 근거로 다음을 제시합니다:

1. 높은 정확도로 누락된 보드 상태를 재구성하는 능력.
2. 합법적인 수 제약 조건과 전술적 결과(예: 기물을 잃는 수를 피함)를 준수하는 확률 분포 생성.
3. 잠재 공간 내에서 게임 궤적과 퍼즐 모티프가 자연스럽게 클러스터링되어, 게임의 경로를 관찰함으로써 직관적인 분석을 가능하게 함.

이 연구는 이러한 자기지도 아키텍처가 연속적인 변환을 포함하는 다른 도메인에도 적용될 수 있으며, 비용이 많이 드는 강화 학습이나 명시적인 라벨링 없이도 설명 가능한 프로세스를 위한 경로를 제공함을 시사합니다.