💬 NLP

Disentangling generalization and memorization in large language models using chess

이 논문은 새로운 훈련 사전 지식이 없는 낯선 위치에서 성능이 크게 저하되어 무작위 추측 수준으로 떨어지는 대규모 언어 모델이 공통 패턴을 암기하는 데 크게 의존한다는 것을 보여주기 위해 체스를 통제된 테스트베드로 활용하며, 이는 체계적 일반화 능력의 본질적 한계를 드러냅니다.

원저자: Leonard S. Pleiss, Maximilian Schiffer, Robert K. von Weizsaecker

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leonard S. Pleiss, Maximilian Schiffer, Robert K. von Weizsaecker

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

어떤 학생이 실제로 어떤 과목을 학습하고 있는지, 아니면 이전에 본 특정 시험의 답을 단순히 암기하고 있는지 파악하려고 한다고 상상해 보세요.

이 논문은 ChatGPT, Claude, Gemini 같은 도구의 뒤를 이끄는 AI 두뇌인 대규모 언어 모델 (LLM) 을 테스트하기 위해 거대하고 통제된 교실로서 체스 게임을 활용합니다. 연구자들은 다음과 같은 점을 알고 싶어 했습니다: 이러한 AI 가 문제를 해결할 때 진정한 추론을 사용하고 있는지, 아니면 방대한 훈련 데이터베이스에서 암기한 답을 꺼내오고 있는지요.

다음은 간단한 비유를 사용하여 그들의 실험과 발견을 정리한 내용입니다.

1. 설정: 세 가지 유형의 체스 퍼즐

암기와 추론 사이의 차이를 테스트하기 위해 연구자들은 비디오 게임의 세 가지 다른 레벨처럼 세 가지 유형의 체스 위치를 만들었습니다.

"유명한" 퍼즐 (Within-Distribution): 이는 "루이 로페스"와 같은 표준적이고 잘 알려진 체스 오프닝들입니다. 수백만 번의 게임에 등장하며 AI 의 훈련 데이터에 포함되어 있을 가능성이 높습니다.
- 비유: 이는 학생에게 교과서에 문자 그대로 적혀 있는 질문을 하는 것과 같습니다. 만약 그들이 정답을 맞춘다면, 그들은 단순히 책을 외우고 있을지도 모릅니다.
"익숙하지만 새로운" 퍼즐 (Near-Distribution): 이는 정상적인 체스 게임처럼 보이지만 이전에 플레이된 적이 없는 게임들입니다. 규칙을 따르고 표준적인 게임처럼 보이지만, 구체적인 배치는 고유합니다.
- 비유: 이는 교과서와 동일한 숫자와 공식을 사용하지만 "사과와 오렌지"에 대한 이야기가 약간 다른 수학 문제와 같습니다. 학생은 답을 복사하는 것이 아니라 점들을 연결해야 합니다.
"외계인" 퍼즐 (Out-of-Distribution): 이는 기이하고 무작위적인 보드 배치들입니다. 말들이 실제 생활에서 거의 발생하지 않는 방식으로 배치됩니다 (예: 폰이 킹을 막는 경우). 그들은 모든 일반적인 패턴을 깨뜨립니다.
- 비유: 이는 학생에게 들어본 적도 없는 언어와 본 적도 없는 규칙을 사용하여 논리 퍼즐을 풀라고 요구하는 것과 같습니다. 암기할 교과서가 없습니다; 그들은 처음부터 생각해야 합니다.

2. 실험: AI 의 수행 방식

연구자들은 다양한 최상위 AI(GPT-3.5, GPT-4o, GPT-5, Claude, Gemini) 에게 이 세 가지 유형의 퍼즐에서 최선의 수를 두도록 요청했습니다. 그들은 AI 의 수가 슈퍼컴퓨터 체스 엔진이 만들 수 있는 수와 얼마나 가까운지로 성공을 측정했습니다.

다음은 그들이 발견한 내용입니다:

"유명한" 퍼즐: AI 는 슈퍼 암기왕입니다

퍼즐이 표준적이고 익숙했을 때, AI 들은 매우 잘 플레이했습니다.

교훈: 모델들은 암기에 놀라울 정도로 뛰어납니다. 만약 그들이 이전에 패턴을 본 적이 있다면, 그들은 완벽하게 해결책을 회상할 수 있습니다.

"외계인" 퍼즐: AI 가 붕괴됩니다

퍼즐이 기이하고 새로운 (Out-of-Distribution) 경우, AI 들은 무너졌습니다.

교훈: 그들의 수행은 무작위 추측 수준으로 떨어졌습니다. 실제로 그들은 높은 비율로 불법적인 수 (예: 비숍처럼 나이트를 이동시키는 것) 를 두기 시작했습니다.
비유: 이는 기말고사의 모든 질문에 대한 답을 알고 있는 학생이, 빈 용지를 handed 받고 "이야기를 쓰라"고 요청받았을 때, 소란스러운 말을 하기 시작하는 것과 같습니다. 그들은 게임의 규칙을 실제로 이해하지 못합니다; 그들이 본 패턴만 인식할 뿐입니다.

"익숙하지만 새로운" 퍼즐: 가파른 하락

퍼즐이 약간 덜 익숙해짐에 따라, AI 의 수행은 단순히 약간 떨어지는 것이 아니라 가파른 절벽을 미끄러져 내렸습니다.

교훈: 퍼즐이 AI 가 이전에 보지 못한 것과 더 많이 닮을수록, 그들의 수행은 더 나빠졌습니다.

3. "더 깊이 생각하기" 테스트

연구자들은 AI 에게 답변하기 전에 "단계별로 생각하라"고 지시하는 "추론 모드"를 갖춘 새로운 모델들 (GPT-5 등) 도 테스트했습니다.

결과: 더 깊이 생각하는 것은 도움이 되었지만, 그 정도는 제한적이었습니다.
주의점: 퍼즐이 기이했을 때 (Out-of-Distribution), AI 는 많은 시간을 "생각하는 데" 보냈습니다 (더 많은 단어/토큰 사용), 하지만 여전히 문제를 해결하지 못했습니다.
비유: 이는 학생이 어려운 수학 문제에 직면했을 때, 방정식을 풀기 대신 수학의 역사에 대한 10 페이지 분량의 에세이를 쓰기 시작하는 상황을 상상해 보세요. 그들은 열심히 일하고 있지만, 이미 알고 있는 것들을 재배열할 뿐 새로운 해결책을 창조하지는 않습니다. "생각하는" 과정은 그들의 암기를 증폭시켰지만 진정한 추론을 만들어내지는 못했습니다.

4. 주요 결론

이 논문은 현재의 대규모 언어 모델들이 패턴 매칭에 뛰어나지만 진정한 일반화에는 어려움을 겪는다고 결론지었습니다.

확장이 만병통치약은 아닙니다: 모델들을 더 크게 만드는 것 (더 많은 데이터와 파라미터 추가) 은 그들이 더 많이 암기하는 데 도움이 되지만, 그들이 본 적 없는 것들에 대해 추론하는 법을 배우는 데는 도움이 되지 않는 것으로 보입니다.
"결정화"된 함정: 모델들은 "결정화"된 지식 (암기된 덩어리) 에 의존합니다. 이러한 덩어리가 사용 가능하지 않을 때, 그들은 의지할 수 있는 "유동적" 지능이 없습니다. 그들은 게임의 규칙을 첫 원리에서 유도할 수 없습니다; 오직 이전에 본 것과 정확히 같은 것처럼 보일 때만 게임을 인식할 수 있습니다.

간단히 말해: 이러한 AI 들은 체스의 전체 역사를 암송할 수 있는 백과사전과 같습니다. 하지만 그들이 본 적 없는 규칙 세트와 체스판이 있는 방에 들어가면, 말들을 올바르게 움직이는 방법조차 모를지도 모릅니다. 그들은 과거의 달인이지만, 아직 새로운 것의 달인은 아닙니다.

기술 요약: 체스를 활용한 대규모 언어 모델의 일반화와 암기 분리

문제 제기

대규모 언어 모델 (LLM) 의 놀라운 능력에도 불구하고, 그 성능 향상의 기원에 대한 근본적인 논쟁이 지속되고 있습니다: 개선이 방대한 학습 코퍼스의 향상된 검색 (암기) 에서 비롯된 것인지, 아니면 진정한 체계적 추론 능력 (일반화) 에서 비롯된 것인지? 현대의 불투명한 학습 세트에서 "관련 사전 지식 (relevant priors)" (학습 분포와 유사한 데이터) 의 가용성이 불명확하기 때문에, 현재 벤치마크는 이러한 능력을 분리해 내는 데 실패하는 경우가 많습니다. 결과적으로 기존 연구들은 종종 회상 (recall) 과 추론을 혼동하여, LLM 이 학습 데이터의 다양성 (manifold) 을 넘어 얼마나 일반화할 수 있는지에 대한 정도가 불분명한 채 남아 있습니다.

방법론

이를 해결하기 위해 저자들은 체스를 테스트베드로 활용한 통제된 실증적 프레임워크를 제안합니다. 체스는 명확한 규칙, 깊은 조합적 복잡성 (약 $10^{43}$ 개의 상태), 그리고 초인적 엔진을 통한 계산적으로 검증 가능한 성능 지표라는 독특한 조합을 제공합니다. 본 연구는 LLM 의 학습 데이터 내 관련 사전 지식의 추정 밀도에 기반하여 체스 위치 (position) 의 분류 체계를 구축합니다:

분포 내 (Within-Distribution, WD): 인간 플레이에서 빈번하게 발생하는 위치 (예: 표준 오프닝 라인) 로, 학습 데이터에 존재할 가능성이 높습니다. 이는 암기를 테스트합니다.
근접 분포 (Near-Distribution, ND): 시작 위치에서 무작위 합법적인 수로 생성되었으나 데이터베이스에는 없으면서도 익숙한 상태 (예: 표준 폰 구조) 와 구조적 동형성을 유지하는 위치입니다. 이는 연상적 회상과 보간을 테스트합니다.
분포 외 (Out-of-Distribution, OOD): 무작위 말 배치로 생성된 위치로, 인간 게임과 구조적 유사성이 최소인 비전형적인 보드 상태를 만듭니다. 이는 일반화와 원리 기반 추론을 테스트합니다.

평가 프로토콜:

모델: 본 연구는 GPT 계보 (GPT-3.5, GPT-4o, GPT-5) 와 현대 모델 (Claude Opus, Gemini) 을 평가합니다. GPT-5 는 최소 및 중간 수준의 추론 (Chain-of-Thought) 구성으로 모두 테스트됩니다.
지표: 성능은 초인적 엔진 (Stockfish 17.1) 에 대한 결정 후회 (decision regret) 를 측정하는 표준 지표인 **센티폰 손실 (Centipawn Loss, CPL)**로 측정됩니다. 불법 수는 엄격하게 패널티를 부과합니다 (CPL = 1,000). 무작위 합법 수 베이스라인과 Leela Chess Zero (Lc0) 는 각각 하한과 상한으로 작용합니다.
정규화: 규칙 준수에서 수의 질을 분리하기 위해, 불법 수를 제외하고 무작위 합법 수 정책 against 정규화한 후 결과도 분석됩니다.

주요 기여

원칙적 사전 지식 분류 체계: 이 논문은 체스의 조합적 구조를 활용하여 불투명한 학습 코퍼스의 관련 사전 지식 밀도를 근사화하는 방법을 제시함으로써, 학습 데이터에 대한 명시적 지식 없이도 암기와 일반화를 체계적으로 구분할 수 있게 합니다.
종단적 및 계보 간 분석: 세대 간 (GPT-3.5 에서 GPT-5 까지) 과 서로 다른 아키텍처 (Anthropic, Google, OpenAI) 간의 모델 진화에 대한 엄격한 평가를 제공하여, 규모와 추론 증강의 효과를 분리해 냅니다.
일반화 격차의 정량화: 본 연구는 "일반화 격차" ( $R_{gen}$ ) 를 정량화하여, 관련 사전 지식의 밀도가 감소함에 따라 성능이 체계적으로 저하됨을 보여줍니다.

결과

분석은 모든 테스트된 모델에서 일관되고 가파른 성능 경사를 드러냈습니다:

성능 저하: 모델 성능 (CPL 로 측정) 은 위치가 WD 에서 ND 를 거쳐 OOD 로 이동함에 따라 일관되게 감소합니다.
- WD 위치에서 모델은 합리적으로 잘 수행하며, 종종 무작위 플레이를 능가합니다.
- ND 위치에서 성능은 크게 하락합니다.
- OOD 위치에서 기본 모델 성능은 무작위 플레이 베이스라인으로 회귀합니다. 최첨단 모델인 GPT-5 조차도 불법 수를 제외할 경우 OOD 시나리오에서 무작위 합법 수 정책을 능가하지 못합니다.
불법 수: 불법 수의 빈도는 OOD 조건에서 급격히 증가합니다 (예: Claude Opus 의 경우 OOD 에서 50% 이상, Gemini 의 경우 70% 이상). 이는 암기된 패턴이 사용 불가능할 때 규칙 일관성을 유지하지 못함을 나타냅니다.
규모에 대한 체감하는 수익: 새로운 모델 세대는 꾸준한 개선을 보이지만, 희소한 사전 지식을 가진 작업에 대해서는 개선 속도가 급격히 감소합니다. GPT-3.5 와 GPT-5 간의 격차는 WD 에서는 상당하지만 OOD 에서는 미미합니다.
추론의 한계: 추론 증강 추론 (Chain-of-Thought) 은 절대적 성능을 향상시키고 불법 수를 줄이지만, 사전 지식이 희소해질수록 토큰당 상대적 한계 편익은 감소합니다. OOD 조건에서 추론은 WD 대비 일반화 격차를 확대하는데, 이는 추론이 새로운 일반화를 위한 엔진이 아니라 암기의 증폭기로 작용함을 시사합니다.

중요성과 주장

이 논문은 이러한 발견들이 현재 최첨단 LLM 의 체계적 일반화에 심각한 한계가 있음을 강조한다고 주장합니다.

암기 vs 추론: 결과는 LLM 이 표면적 휴리스틱과 패턴의 방대한 라이브러리를 보유하고 있지만, 이러한 패턴이 부재할 때 원리로부터 유효한 전략을 구축하는 능력이 부족함을 시사합니다.
확장 법칙: 본 연구는 확장만으로는 일반화 격차를 메울 수 있다는 관념에 도전합니다. 모델 용량을 증가시키는 것은 주로 학습 분포의 데이터가 풍부한 영역 내에서의 회상을 향상시키며, 구조적으로 새로운 영역은 해결되지 않은 채 남는다고 주장합니다.
추론의 본질: 저자들은 현재 Chain-of-Thought 메커니즘이 주로 검색 최적화기 (올바른 기억을 찾는 데 도움) 로 기능하며, 개념적 종합이나 유동적 추론을 위한 독립적인 엔진이 아니라고 주장합니다.
광범위한 함의: 연구는 도메인 특화적이지만, 저자들은 이러한 모티프 (강건한 암기, 취약한 일반화, 체감하는 수익) 가 LLM 의 일반적인 현상을 반영할 수 있으며, 밀접한 사전 지식 없이 새로운 작업을 해결하기 위해 구조적 규칙을 추론하는 데 체계적인 어려움이 있음을 시사합니다. 이는 역사적 데이터가 부족한 급변하거나 새로운 도메인에서 LLM 을 배포할 때의 안전성과 신뢰성에 중대한 함의를 가집니다.

이 논문은 관련 사전 지식 부재 상황에서 견고한 성능을 달성하려면 단순한 확장 이상의 메커니즘이 필요하며, 진정한 유동적 지능을 지원하는 아키텍처 변경이 필요함을 결론짓습니다.