🤖 machine learning

Chessformer: A Unified Architecture for Chess Modeling

이 논문은 기하학적 어텐션 편향과 정사각형 토큰 표현을 통합하여 인간 수 예측에서 최첨단 성능을 달성하고, Leela Chess Zero 의 기량을 크게 향상시키며, 세밀한 해석 가능성을 가능하게 하는 통합형 인코더 전용 트랜스포머 아키텍처인 Chessformer 를 소개하며, 이는 도메인 기하학과 모델 설계를 정렬함으로써 여러 목표에 걸쳐 우수한 결과를 산출함을 보여줍니다.

원저자: Daniel Monroe, George Eilender, Philip Chalmers, Zhenwei Tang, Ashton Anderson

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daniel Monroe, George Eilender, Philip Chalmers, Zhenwei Tang, Ashton Anderson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

체스 게임을 거대하고 복잡한 도시라고 상상해 보세요. 수년 동안 AI 연구자들은 이 도시를 항해하기 위해 다양한 종류의 "도시 가이드"를 구축해 왔습니다. 어떤 가이드는 최고의 투어 가이드(모든 게임을 승리하도록) 로 설계되었고, 다른 가이드는 인간 관광객을 모방(일반인이 무엇을 할지 예측하도록) 하도록 설계되었으며, 또 다른 가이드는 투명한 지도(의사 결정 방식을 정확히 파악할 수 있도록) 로 설계되었습니다.

이 논문이 지적하는 문제는 연구자들이 이 세 가지 작업을 위해 세 개의 별도이고 호환되지 않는 가이드북을 구축해 왔다는 점입니다. 이러한 가이드북들은 종종 번거롭고 비효율적이며, 체스 도시의 고유한 "기하학"에 잘 맞지 않습니다.

저자들은 Chessformer를 소개합니다. 이는 똑똑한 새로운 설계를 통해 이전의 별도 가이드들보다 세 가지 작업을 모두 더 잘 수행하는 새로운 올인원 가이드북입니다.

그들이 어떻게 했는지 간단한 개념으로 나누어 설명합니다:

1. 새로운 지도: "말판 칸을 토큰으로"

대부분의 이전 AI 모델들은 체스판을 긴 이동 목록 (이야기를 읽는 것처럼) 이나 흐릿한 사진처럼 바라보았습니다. 저자들은 이를 도시를 항해할 때 거리 이름 목록을 읽거나 우주에서 위성 사진을 보는 것과 같다고 주장합니다. 이는 구체적인 배치를 잃어버리게 만듭니다.

대신 Chessformer 는 64 칸 말판의 각 칸을 고유한 "토큰"(데이터의 구성 요소) 으로 취급합니다.

비유: 모든 거리 모퉁이에 전용 GPS 위성이 있는 도시를 상상해 보세요. AI 는 단순히 "이동"을 보는 것이 아니라, 말이 서 있는 모퉁이와 가고자 하는 모퉁이 사이의 구체적인 관계를 봅니다. 이는 체스판의 자연스러운 모양에 완벽하게 부합합니다.

2. 비결: "기하학적 어텐션 편향 (GAB)"

표준 AI 모델은 "위치"를 이해하는 데 일반적인 방식을 사용합니다 (예: 책에서 "옆에"라는 것이 지도에서와 동일하다는 것을 아는 것). 하지만 체스에서 "옆에"라는 것은 말에 따라 매우 다르게 의미합니다. 나이트의 "옆에"는 "L"자 모양이고, 룩의 "옆에"는 직선입니다.

저자들은 **기하학적 어텐션 편향 (Geometric Attention Bias, GAB)**이라는 새로운 도구를 발명했습니다.

비유: GAB 를 동적이고 모양이 변하는 자라고 생각하세요.
- AI 가 룩을 볼 때, 자는 룩이 얼마나 이동할 수 있는지 보기 위해 직선으로 늘어납니다.
- 나이트를 볼 때, 자는 즉시 "L"자 모양으로 변형되어 나이트의 점프를 봅니다.
- 게임 단계에 따라 변하기도 합니다. 초반에는 전체 말판을 보다가, 엔드게임에는 킹의 안전에 집중적으로 초점을 맞춥니다.
- 이를 통해 AI 는 매번 처음부터 학습할 필요 없이 말판의 기하학을 즉시 "느낄" 수 있습니다.

3. 세 가지 승리

이 논문은 Chessformer 가 세 가지 특정 영역에서 승리한다고 주장하며, 하나의 아키텍처가 모두 수행할 수 있음을 증명합니다:

A. 인간을 예측하는 인간을 이기는 것 ("심리전" 승리)

목표: 인간 선수가 다음에 무엇을 할지 예측합니다.
결과: MAIA-3라는 모델을 만들었습니다. 이는 인간 수를 57.1% 정확도로 예측합니다.
마법: 이전 모델들은 이 수준에 근접하기 위해 막대한 양의 컴퓨터 성능 (3 억 5 천 5 백만 개의 "뇌 세포" 또는 파라미터) 이 필요했습니다. MAIA-3 는 7 천 9 백만 개의 파라미터(크기의 4 분의 1 미만) 로 이를 달성했습니다. 슈퍼컴퓨터 대신 작고 효율적인 노트로 친구의 수를 예측하는 것과 같습니다.

B. 최고의 엔진을 이기는 것 ("그랜드마스터" 승리)

목표: 기존 최고의 엔진보다 체스를 더 잘 둡니다.
결과: Chessformer 를 유명한 오픈소스 엔진인 Leela Chess Zero에 연결했습니다.
마법: 이 업그레이드는 100 점 이상의 "Elo" 점수(실력 측정치) 를 추가했습니다. 비교하자면, 최상위 인간 선수와 세계 챔피언 사이의 차이는 보통 50 점에 불과합니다. 이 업그레이드는 너무 강력하여 새로운 Leela 엔진이 실제로 장기적인 세계 챔피언 엔진인 Stockfish를 주요 토너먼트에서 격파했습니다.

C. 두뇌 내부 보기 ("투명성" 승리)

목표: AI 가 왜 그 수를 두었는지 이해합니다.
결과: Chessformer 는 각 칸을 특정 토큰으로 취급하기 때문에, AI 의 "어텐션"(무엇에 집중하는지) 을 살펴보고 "아, 나이트가 묶여 있는 칸을 보고 있구나"라고 말할 수 있습니다.
마법: 이전 모델들은 블랙박스 같았습니다. 입력과 출력은 보이지만 중간 과정은 미스터리였습니다. Chessformer 는 투명한 창과 같습니다. 저자들은 AI 가 "포크"(두 개의 말을 동시에 공격) 나 "핀"(말을 가두기) 과 같은 특정 체스 개념을 학습하고 있으며, 이러한 패턴이 말판의 어떤 칸에서 발생했는지 정확히 지적할 수 있음을 발견했습니다.

핵심 교훈

이 논문의 주요 교훈은 정렬 (alignment) 이 중요하다는 점입니다. 특정 세계 (예: 체스) 를 이해하도록 AI 를 구축할 때, 그 세계를 일반적인 상자에 강제로 넣어서는 안 됩니다. 대신 AI 의 두뇌를 그 세계의 모양에 맞게 구축해야 합니다.

말판의 기하학 (칸을 토큰으로) 과 이동 규칙 (동적 GAB) 을 존중하는 모델을 구축함으로써, 저자들은 이전보다 훨씬 적은 컴퓨팅 성능을 사용하면서도 더 강력하고, 인간과 유사하며, 이해하기 쉬운 시스템을 동시에 만들었습니다.

기술 요약: CHESSFORMER

문제 제기

체스 모델링 분야는 현재 단편화되어 있으며, 서로 다른 아키텍처가 종종 상충되는 목표들, 즉 순수한 기량 극대화, 인간의 수 선택 예측, 그리고 기계적 해석 가능성 달성을 위해 각각 최적화되어 있습니다. 기존 접근법들은 종종 체스 도메인의 기하학적 구조와 불일치합니다. 예를 들어, 트랜스포머 기반 모델들은 종종 수 시퀀스나 선형화된 보드 표현과 같은 토큰화 방식이나 로터리 임베딩과 같은 위치 인코딩을 사용하는데, 이는 2 차원 보드에 인위적인 1 차원 구조를 부과하여 성능을 저해할 수 있습니다. 이러한 단편화는 내부 표현을 도메인의 고유한 기하학에 정렬함으로써 기량, 인간 수 예측, 해석 가능성에서 동시에 최첨단 성능을 달성할 수 있는 단일 통합 아키텍처가 존재할 수 있는지라는 질문을 제기합니다.

방법론

저자들은 이러한 목표들을 통합하도록 설계된 인코더 전용 트랜스포머 아키텍처인 Chessformer를 소개합니다. 핵심 설계 원칙은 다음과 같습니다:

스퀘어 토큰 표현 (Square-Token Representation): 이전 방법들이 수 시퀀스나 합성곱 채널을 토큰화한 것과 달리, Chessformer 는 64 개의 보드 스퀘어를 별도의 토큰으로 취급합니다. 각 스퀘어는 12 가지 말 종류 (또는 빈 칸) 중 하나의 존재를 나타내는 12 차원 벡터로 표현됩니다. 보드는 움직일 쪽의 관점에서 뒤집힙니다. 이력을 포착하기 위해 모델은 현재 보드 상태의 표현을 이전 $n$ 개의 상태 (일반적으로 $n=7$ ) 와 연결하여 시간 단계당 64 개의 토큰으로 구성된 고정된 시퀀스를 생성합니다.
기하학적 어텐션 편향 (Geometric Attention Bias, GAB): 표준 자기 어텐션의 치환 불변성과 체스의 고유한 기하학을 해결하기 위해 저자들은 GAB 를 제안합니다. 이는 보드 상태 자체에 기반하여 어텐션 편향을 생성하는 새로운 동적 위치 인코딩입니다.
- 메커니즘: 보드 상태 토큰은 선형 프로젝션과 레이어 정규화를 통해 전역 표현으로 압축됩니다. 이 표현은 각 어텐션 헤드를 위한 편향 템플릿 ( $h \times 4096$ ) 을 생성하도록 프로젝션됩니다. 이러한 편향들은 $h \times 64 \times 64$ 로 재구성되어 소프트맥스 전에 도트곱 어텐션 로짓에 가산적으로 추가됩니다.
- 기능: GAB 는 모델이 정적 상대 또는 절대 위치에 의존하는 대신 위치의 특정 기하학 (예: 말의 이동성, 폰 구조) 에 어텐션 패턴을 적응할 수 있게 합니다. 이는 기하학적 템플릿의 동적 믹서 역할을 합니다.
출력 헤드:
- 밸류 헤드: 인코더 출력의 평균 풀링 followed by 선형 프로젝션을 통해 게임 결과 (승, 무, 패) 를 예측합니다.
- 폴리시 헤드: "출발지 - 도착지" 형식을 활용합니다. 쿼리 벡터는 시작 스퀘어에 해당하고, 키 벡터는 도착 스퀘어에 해당합니다. 폴리시 로짓은 스케일된 도트곱을 통해 계산되어 모든 가능한 수를 나타내는 $64 \times 64$ 행렬을 생성합니다. 이 설계는 체스 수의 "from-to" 구조를 자연스럽게 지원하며 해석 가능성을 향상시킵니다.
학습 체계:
- 인간 수 예측 (MAIA-3): 보드 상태와 플레이어 등급을 기반으로 인간의 수를 예측하기 위해 Lichess 블리츠 게임의 재샘플링 데이터셋으로 학습되었습니다. 등급은 약한 엔진 레벨과 강한 엔진 레벨 사이에 보간된 "소프트 임베딩"을 통해 통합됩니다.
- 기량 (Leela-CF): 검색이 추가된 Leela Chess Zero(Lc0) 오라클로부터의 지도 학습 증류로 학습되었습니다. 모델은 추론 중 트리 검색을 수행하지 않고도 MCTS 증류 오라클의 폴리시 분포와 밸류를 예측하도록 학습합니다.

주요 기여

통합 아키텍처: Chessformer 는 순수 기량, 인간 수 예측, 그리고 해석 가능성에서 동시에 최첨단 성능을 향상시킨 최초의 아키텍처로 입증되었습니다.
기하학적 어텐션 편향 (GAB): 보드 상태에 적응하여 정적 절대 및 상대 편향을 능가하는 새로운 동적 위치 인코딩입니다. 이는 모델이 말 이동 패턴과 같은 도메인 특유의 기하학적 관계를 더 효과적으로 포착할 수 있게 합니다.
스퀘어 토큰 설계: 스퀘어를 토큰으로 취급함으로써 아키텍처는 체스의 시각적 및 기하학적 본질과 정렬되어 파라미터 부하를 줄이고 어텐션 및 활성화가 특정 보드 스퀘어에 직접 귀속되도록 합니다.
출발지 - 도착지 폴리시 헤드: 행동 공간을 출발지 - 도착지 쌍의 행렬로 명시적으로 모델링하는 폴리시 헤드로, 세분화된 해석 가능성을 용이하게 합니다.

결과

1. 인간 수 예측 (MAIA-3)

성능: 79M 파라미터 MAIA-3 모델은 ALLIE 테스트 세트에서 **57.1%**의 수 일치 정확도를 달성했습니다.
효율성: 이는 검색이 활성화된 355M 파라미터 모델이 필요했던 이전 최첨단 (ALLIE-ADAPTIVE-SEARCH, 55.9%) 을 능가합니다. MAIA-3 는 그보다 4 분의 1 미만의 파라미터로 검색 없이 이 성과를 달성했습니다.
확장성: 5M 파라미터 MAIA-3 모델은 55.4% 정확도에 도달하여 이전 최첨단과 동일한 성능을 70 배 적은 파라미터로 달성했습니다.
기술 수준: 모든 기술 수준에서 향상이 관찰되었으며, 가장 큰 개선은 높은 등급에서 발생하여 모델이 강한 기량의 일관성을 더 잘 포착함을 시사합니다.

2. 기량 (Leela-CF)

증류: 191M 파라미터 Chessformer(Leela-CF) 가 검색이 추가된 Lc0 오라클로부터 증류되었습니다.
Elo 상승: 검색 없는 환경에서 Leela-CF 는 (밸류 최대화를 사용하여) 2466의 Elo 와 (폴리시 선택을 사용하여) 2374의 Elo 를 달성하여, 더 적은 FLOPs 를 사용하면서도 AC-270M(2299 Elo) 및 Leela-CNN(2168 Elo) 과 같은 기준 모델들을 크게 능가했습니다.
토너먼트 승리: Chessformer 기반 엔진이 전체 Leela Chess Zero 구성에 통합되었을 때, TCEC Cup 11 및 TCEC Swiss 6 및 7을 포함한 여러 주요 토너먼트에서 Stockfish(상징적인 세계 챔피언 엔진) 를 격파했습니다. 이는 이전 최고의 Lc0 구성 대비 100 Elo 포인트 이상의 기량 상승을 의미했습니다.

3. 해석 가능성

귀속: 스퀘어 토큰 설계는 어텐션 패턴과 활성화가 특정 보드 스텀어에 직접 귀속되도록 합니다.
특징 분석: 교차 레이어 트랜스코더를 사용하여 저자들은 포크, 핀, 체크와 같은 전술적 모티프와 왕의 안전, 폰 구조와 같은 전략적 개념에 해당하는 매우 해석 가능한 특징들을 식별했습니다.
GAB 대 의미적 어텐션: 분석 결과, GAB 편향은 위치 간에는 상대적으로 일관적이지만 쿼리 스퀘어에 따라 크게 변하는 반면 (지역 기하학 포착), 도트곱 어텐션은 위치 간에는 크게 변하지만 쿼리 스퀘어 간에는 일관된 것으로 나타났습니다 (전체 의미적 맥락 포착). 이는 GAB 가 기하학적 제약을 처리하고 도트곱이 의미적 평가를 처리하는 상호 보완적인 분업이 있음을 시사합니다.

중요성과 주장

이 논문은 Chessformer가 도메인의 기본 구조와 모델의 토큰화, 위치 인코딩, 그리고 출력 설계를 정렬함으로써 성능, 인간과의 호환성, 그리고 해석 가능성에서 동시에 향상을 이룰 수 있음을 보여준다고 주장합니다.

효율성: 이 아키텍처는 이전 최첨단 방법들에 비해 훨씬 적은 파라미터와 계산 자원으로 우수한 결과를 달성합니다.
인간 호환성: 검색 없이 높은 정확도로 인간 기행을 모델링함으로써, 초인간 엔진 기량과 인간 같은 행동 사이의 간극을 메우며, 이는 교육 및 협력에 도움이 될 수 있습니다.
기계적 통찰력: 도메인 정렬 아키텍처는 기계적 해석 가능성을 더 자연스럽게 만들어 연구자들이 내부 모델 상태를 체스 개념에 직접 매핑할 수 있게 합니다.

저자들은 GAB 가 현재 체스에 특화되어 있지만, 더 넓은 교훈은 모델 아키텍처를 도메인의 기하학적 구조에 적응시키는 것이 AI 모델이 과업 숙달과 인간 호환성 모두에 유연하게 적응할 수 있게 한다는 점이라고 결론지었습니다. 그들은 GAB 의 이점이 기하학적 관계가 중심이 되는 도메인에 의존할 수 있으며, 계획 및 평가에서 GAB 와 의미적 어텐션 간의 상호작용을 완전히 이해하기 위해서는 더 깊은 기계적 분석이 필요하다고 인정합니다.