당신은 아주 똑똑하고 박학다식한 로봇에게 게임 하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 세상에 존재하는 모든 책이 담긴 도서관을 주었고, 로봇은 시를 읊고 복잡한 수학 문제를 풀며 코드를 작성할 수 있습니다. 하지만 당신이 로봇을 앉혀 두고 틱택토(Tic-Tac-Toe) 같은 간단한 게임을 시키면, 로봇은 어처구니없는 실수를 하기 시작합니다. 겉보기에는 좋아 보이는 수를 두지만, 다섯 수 뒤에 게임에서 지게 되는 식이죠. 이것이 바로 **거대 언어 모델(LLM)**의 세계입니다. 대화하고 추론하는 데는 매우 뛰어나지만, 하나의 나쁜 결정이 전체를 망칠 수 있는 일련의 의사결정 과정을 수행할 때는 때때로 어려움을 겪는 똑똑한 AI 말입니다.

연구자들이 던지는 핵심 질문은 이것입니다: 왜 이런 일이 발생하는가? 로봇이 그 순간의 단계들을 생각하는 데 서툰 것일까요? 아니 아니면 단순히 책에서 본 게임을 기억해 내려다가 논리를 이해하지 못해 "환각(hallucination)"을 일으키는 것일까요? 이를 알아내기 위해 과학자들은 순차적 의사결정(sequential decision-making), 즉 "하나의 선택이 다음 선택을 위한 판의 상태를 바꾸는 일련의 선택 과정"이라는 세련된 방식을 사용합니다. 그들은 체스나 체커처럼 한 명의 승리가 다른 쪽의 패배로 직결되는 **영합 게임(zero-sum games)**을 통해 이를 테스트합니다. 이 게임들은 규칙이 엄격하고, 수학적으로 무엇이 "완벽한" 수인지 정확히 알 수 있기 때문에 테스트하기에 완벽합니다. 만약 로봇이 틱택토에서 완벽한 컴퓨터 프로그램을 이기지 못한다면, 그 뇌 어딘가가 고장 난 것입니다.

추론 병목 현체의 수수께집

이 연구에서 프라하 공과대학교의 연구진은 이 문제를 파헤쳐 보기로 했습니다. 그들은 효율적인 소형 모델부터 GPT-5.4나 Gemini 3.1 Pro와 같은 최첨단 거대 모델에 이르기까지 현재 사용 가능한 가장 똑똑한 AI 모델들을 데려와 틱택토, 님(Nim, 돌 더미를 이용한 게임), 커넥트 포(Connect Four) 같은 단순한 게임으로 도전장을 내밀었습니다.

결과는 AI에게 다소 당혹스러웠습니다. 경쟁 수준의 수학 문제를 풀 수 있는 가장 진보된 모델들조차도 최적이 아닌 수를 두었습니다. 인간 어린이가 오후 한나절이면 절대 지지 않는 법을 배울 수 있는 틱택토에서, 이 AI 모델들은 백 수당 4개에서 12개의 실수를 저질렀습니다. 커넥트 포에서는 "최첨단" 모델들이 표준 컴퓨터 상대에게 거의 매번 패배했으며, 보통 40수 정도 지속되어야 할 게임이 시작된 지 10수 만에 무너지는 모습을 보였습니다.

연구자들은 알고 싶었습니다: AI가 게임을 그냥 잊어버리는 것일까? 아마도 학습 데이터에서 본 전략을 떠올리려 노력 중이지만, 게임이 약간 달라지자 혼란을 느끼는 것일지도 모른다고 생각했습니다. 이를 테스트하기 위해 그들은 AI에게 속임수를 썼습니다. 게임의 근본적인 구조는 그대로 유지하되, 겉모습인 "스킨"만 바꾼 것입니다. 틱택-택토를 세 숫자의 합이 15가 되면 이기는 "매직 스퀘어"로 바꾸거나, 강을 건너는 "이야기"로 변형했습니다.

여기 반전이 있습니다: AI는 더 나아지지도, 그렇다고 더 나빠지지도 않았습니다. 게임이 수학 퍼즐이나 이야기로 위장되었음에도 불구하고, AI는 여전히 동일한 횟수의 실수를 저질렀습니다. 이는 문제가 AI가 암기된 전략을 잊어버렸거나 규칙을 이해하지 못하는 데 있는 것이 아니라, **그 순간의 추론 병목 현상(reasoning bottleneck)**에 있다는 것을 시사합니다. 이는 역사 교과서를 암송하고 논리도 완벽히 이해하지만, 막상 눈앞의 간단한 논리 퍼즐을 풀라고 하면 현재 상황을 올바른 다음 단계로 연결하지 못해 얼어붙는 학생과 같습니다. AI가 '아는 것'과 변화하는 환경 속에서 '할 수 있는 것' 사이의 간극은 실재하며, 매우 완고합니다.

해결책: "성찰하는" 노트

이 거대한 AI 모델들을 다시 학습시키는 것은 비용이 많이 들고 위험하기 때문에(코드를 짜거나 말하는 능력을 잃을 수도 있으므로), 연구자들은 질문했습니다: AI의 뇌를 바꾸지 않고 도와줄 방법은 없을까?

그들은 REAPER(Rule Extraction via Periodic Experiential Reflection, 주기적 경험 성찰을 통한 규칙 추출)라고 불리는 새로운 프레임워크를 구축했습니다. REAPER를 새로운 뇌라고 생각하기보다, AI 옆에 앉아 있는 똑똑한 노트이자 엄격한 코치라고 생각하세요.

작동 방식은 다음과 같습니다:

1. 게임: AI가 상대방과 게임을 합니다.
2. 성찰: 게임이 끝난 후, AI는 단순히 최종 점수(승/패)만 보는 것이 아닙니다. 대신, REAPER 시스템은 AI가 수행한 모든 개별 수를 살펴보도록 강제합니다. 그리고 묻습니다: "그 당시 판의 상태에서 이 수는 좋았는가? 이 수가 승리에 도움이 되었는가, 아니면 해가 되었는가?"
3. 신용 할당(Credit Assignment): 이것이 마법 같은 부분입니다. 일반적인 게임에서는 게임에 지면 모든 수가 나빴다고 생각할 수 있습니다. 하지만 REAPER는 말합니다. "잠깐, 결과적으로는 졌더라도 중간에 아주 좋은 수를 두었잖아." REỀPER는 최종 결과가 패배일지라도 좋은 수에는 공로를 인정하고, 나쁜 수에는 책임을 묻습니다.
4. 규칙 책: 몇 번의 게임이 지나면, REAPER는 이러한 성찰들을 모아 간단한 자연어 규칙으로 기록합니다. 단순히 "특정 지점에서 X라는 수가 좋았다"라고 기억하는 대신, "상대방이 구석을 위협하면 차단하라"와 같이 학습합니다.
5. 루프: AI는 다시 게임을 플레이하지만, 이번에는 움직이기 전에 자신이 쓴 규칙 노트와 과거의 실수들을 읽어봅니다.

결과: 더 강해진 것이 아니라 더 똑똑해진 것

연구진은 이 방법을 작은 효율적인 AI 모델(GPT-5 nano)을 사용하여 틱택토에 테스트했습니다. 결과는 명확했습니다:

• 베이스라인: 노트 없이 플레이했을 때, AI는 많은 실수를 하며 형편없이 플레이했습니다.
• 초기 시도: 단순한 버전의 노트를 시도해 보았으나, 너무 무질서하여 AI가 계속 형식 오류를 범했습니다.
• REAPER의 성공: 성찰과 규칙 추출의 전체 시스템을 적용하자, AI의 성능이 급격히 향상되었습니다. 완벽한 상대에 맞서 최선의 결과인 무승부를 기록하는 비율이 기존의 개선된 베이스라인인 **81.8%**에서 **86.8%**로 뛰어올랐습니다.

결정적으로, AI를 재학습시킬 필요가 없었습니다. AI는 마치 자신의 과거 게임을 연구하며 실력을 키우는 인간 플레이어처럼, 순수하게 자신의 경험으로부터 학습했습니다. 연구진은 이 방법이 단순히 AI를 더 잘 플레이하게 만든 것뿐만 아니라, 명확한 전략을 따르게 함으로써 의사결정에 사용하는 단어(토큰)의 양을 줄여 더욱 효율적으로 만들었다는 사실도 발견했습니다.

이것이 의미하는 바

이 논문은 게임에서 AI의 문제가 규칙을 이해하는 지능의 문제가 아니라, 긴 행동의 사슬을 최종 결과와 연결하는 데 어려움을 겪는 것임을 시사합니다. AI에게 자신의 실수를 성찰하고 특정 게임으로부터 일반적인 규칙을 추출하는 방법을 알려줌으로써, 우리는 코드 한 줄 수정하지 않고도 서툰 플레이어를 전략적인 플레이어로 바꿀 수 있습니다.

연구자들은 이것이 단순한 게임을 대상으로 한 시뮬레이션임을 주의 깊게 언급합니다. 이것이 모든 AI 문제를 해결한다거나 복잡한 현실 세계의 시나리오에서도 완벽하게 작동할 것이라고 주장하는 것은 아닙니다. 하지만 이는 중요한 점을 증명합니다: 경험적 기억과 자기 성찰은 강력한 도구입니다. 만약 우리가 AI에게 자신이 한 일을 되돌아보고, 거기서 배우며, 교훈을 기록하는 법을 가르칠 수 있다면, 우리는 단순히 공허 속에서 "생각"하는 존재가 아니라, 주변 세계로부터 실제로 배우는 에이전트를 구축할 수 있을 것입니다.