🤖 machine learning

Reinforcement Learning in Super Mario Bros: Curriculum, Pedagogy, and Optimal Level Design in World 1-1

이 논문은 몬테카를로 강화 학습 에이전트가 레벨의 구간들이 무작위 순열이 아닌 원래의 점진적 순서대로 제시될 때에만 우수한 학습 효율과 제로의 치명적 실패를 달성한다는 것을 입증함으로써, 슈퍼 마리오 브라더스 월드 1-1의 정전적(canonical) 설계가 지닌 교육적 효능을 경험적으로 검증한다.

원저자: Jesse Ponnock, Lucas Ho

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jesse Ponnock, Lucas Ho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 로봇에게 슈퍼 마리오 브라더스를 가르치고 있다고 상상해 보세요. 당신은 두 가지를 알고 싶습니다.

어떤 학습 방법이 가장 효과적인가? (로봇이 모든 단계를 하나하나 암기해야 할까요, 아니면 패턴을 추측하는 "신경망" 뇌를 사용해야 할까요?)
레벨의 순서가 중요한가? An (그 유명한 월드 1-1 레벨이 실제로 플레이 방법을 가르치기 위해 설계된 것일까요, 아니면 그저 운 좋은 우연일까요?)

이 논문의 저자들은 단순화된 디지털 버전의 월드 1-1을 만들고 네 가지 서로 다른 "로봇"이 이를 클리어하도록 했습니다. 그들이 발견한 내용을 쉽게 설명해 드립니다.

네 가지 로봇 (알고리즘)

연구진은 로봇이 학습하는 네 가지 방식을 테스트했습니다:

Q-Learning & SARSA: 이것들은 초강력 암기꾼이라고 생각하세요. 이들은 특정 지점에서 점프했을 때 어떤 일이 일어나는지 적어두는 거대한 노트를 가지고 있습니다. 이들은 추측하지 않고 기억합니다.
Monte Carlo (몬테카를로): 이것은 이야기꾼입니다. 이들은 매 단계마다 지식을 업데이트하지 않습니다. 대신, 전체 게임(에피소드)이 끝날 때까지 기다렸다가, 전체 여정을 되돌아보며 이렇게 말합니다. "좋아, 이 전체 과정은 좋았어, 그러니 내가 했던 모든 단계는 아마도 좋은 아이디어였을 거야."
DQN (Deep Q-Network): 이것은 패턴 추측가입니다. 이들은 이전에 보았던 것을 바탕으로 무엇을 할지 추측하는 복잡한 뇌(신경망)를 사용합니다. 이들은 거대하고 복잡한 세상을 다루도록 설계되었지만, 연구진은 이 단순한 레벨에 이것이 과한 기능(overkill)인지 확인하고 싶었습니다.

세 가지 난이도 레벨

연구진은 세 가지 버전의 동일한 레벨에서 이 로봇들을 테스트했습니다:

레벨 1 (정적 상태): 땅, 파이프, 낭떠러지만 존재합니다. 적은 없습니다.
레벨 2 (+블록): 부술 수 있는 벽돌과 물음표 블록이 추가되었습니다.
레벨 3 (+적): 굼바와 엉금엉금이 추가되었습니다. 이것이 실제 완성된 형태입니다.

커다란 놀라움들

1. "이야기꾼"이 경주에서 승리했다

레벨이 어려워졌을 때(적이 등장했을 때), Monte Carlo 로봇이 압도적인 승자로 나타났습니다. 이 로봇은 레벨을 95% 확률로 클리어했습니다.

이유는? 다른 로봇들(Q-Learning 등)은 결승선까지 가는 가장 빠른 경로를 찾으려 했습니다. 이들은 목표에 집중하느라 작은 보너스들(물음표 블록 치기 등)을 무시했습니다.
하지만 Monte Carlo 로봇은 전체 이야기를 살펴보았습니다. 이 로봇은 가는 길에 물음표 블록을 치는 것이 추가 점수를 주고 여정을 더 안전하게 만든다는 것을 깨달았습니다. 즉, 단순히 "빠른" 플레이어가 되기보다, 가는 길에 모든 것을 수집하는 "부유한" 플레이어가 되는 법을 배웠습니다.

2. "패턴 추측가" (DQN)의 멘붕

보통 가장 똑똑하다고 알려진 DQN 로봇은 가장 쉬운 레벨(레벨 1)에서 처참하게 실패했습니다. 이 로봇은 단 **10%**만 성공했습니다.

비유하자면: 수학을 배우려는 학생이 있는데, 문제를 틀릴 때마다 엄청난 "낙제(F)"를 받고, "우수(A)"를 받는 경우는 거의 없는 상황과 같습니다. 학생은 "F"를 받는 것이 너무 무서워서 문제를 푸는 것을 포기하고 그냥 포기해 버립니다.
레벨 1에서 로봇은 구덩이에 계속 빠졌고 엄청난 벌점을 받았습니다. (작은 보상을 주는) 물음표 블록을 거의 치지 못했기 때문에, 로봇의 "기억 저장소"는 실패로 가득 찼습니다. 로봇은 공포의 루프에 갇혀버렸습니다.
해결책: 물음표 블록이 추가되자(레벨 2), 로봇은 갑자기 **93%**의 승률로 성공하기 시작했습니다. 블록으로부터 얻는 작은 보상들이 떨어지는 것에 대한 공포를 상쇄해주었고, 덕분에 학습할 수 있었습니다.

3. 레벨 디자인은 교육의 마스터클래스이다

이 논문의 가장 흥ente한 부분은 커리큘럼 실험입니다.

설정: 월드 1-1은 6개의 뚜렷한 섹션(A, B, C, D, E, F)으로 구성되어 있습니다. 원래 게임은 A → B → C → D → E → F 순서로 진행됩니다. 이는 쉬운 단계(적 한 마리)에서 시작하여 점점 어려워지는(적의 무리) 구조입니다.
테스트: 연구진은 순서를 뒤섞었습니다. 어려운 부분을 먼저 플레이하게 하거나(F → E → D...), 무작위 순서로 만들었습니다.
결과:
- 원래 순서 (A→F): 로봇은 빠르게 학습했고, 거의 매번 승리했으며, 결코 완전히 실패하지 않았습니다.
- 역순 (F→A): 로봇은 처참하게 고전했습니다. 초반에 끊임없이 구덩이에 빠졌고, 겁을 먹었으며, 많은 로봇이 아예 플레이하는 법을 배우지 못했습니다.
- 무작위 순서: 일부 무작위 순서는 괜찮았지만, 원래의 순서만큼 완벽한 것은 없었습니다.

결론: 왜 순서가 중요한가

이 논문은 월드 1-1이 단순한 재미있는 레벨이 아니라, 완벽하게 설계된 선생님임을 증명합니다.

만약 학생을 불길 속으로 던져 넣는다면 (어려운 부분을 먼저 한다면), 학생은 패닉에 빠지고 포기할 것입니다.
만약 학생이 모래사장에서 연습하게 한다면 (쉬운 부분을 먼저 한다면), 학생은 자신감을 쌓을 것입니다.
불길에 도달할 때쯤, 그들은 문제를 정확히 어떻게 다뤄야 하는지 알게 됩니다.

연구진은 Monte Carlo 로봇이 이 순서에 매우 민감하다는 것을 발견했는데, 이는 이 로봇이 전체 이야기로부터 배울 것이기 때문입니다. 만약 이야기가 재앙으로 시작된다면, 로봇은 게임 전체가 재앙이라고 생각하게 됩니다. 반면, DQN 로봇은 순서에 신경 쓰지 않았습니다. 왜냐하면 DQN은 과거의 경험(좋은 경험과 나쁜 경험 모두)을 뒤섞어서 사용하는 "기억 저장소"를 사용하기 때문에, 레벨이 쉽게 시작되는지 어렵게 시작되는지를 구분하지 못했습니다.

요약

최고의 학습자: "이야기꾼" (Monte Carlo)은 결승선뿐만 아니라 여정 자체를 즐기는 법을 배웠기 때문에 전체 게임을 클리어하는 데 가장 뛰어났습니다.
최고의 선생님: 원래의 월드 1-1 디자인은 플레이어를 가르치는 데 과학적으로 입증된 최고의 방법입니다. 이는 도전을 서서히 도입함으로써 학습자가 압도당하는 것을 방지합니다.
교훈: AI(그리고 아마도 인생에서도)에서, 문제를 어떻게 소개하느냐는 문제가 무엇인지만큼이나 중요합니다. 너무 어렵게 시작하면, 아무리 똑똑한 알고리즘이라도 실패할 수 있습니다.

기술 요약: 슈퍼 마리오 브라더스의 강화 학습

문제 정의
슈퍼 마리오 브라더스 월드 1-1은 게임 디자인 문헌에서 단계적 교육의 정수로 널리 찬사받는 사례이다. 이 레벨 구조는 (파이프, 틈새, 적과 같은) 메커닉을 안전하고 낮은 위험도의 순서로 먼저 도입한 뒤, 이를 통합하도록 요구한다. 그러나 이러한 구조가 진정으로 경험적으로 측정 가능한 교육적 커리큘럼인지, 아니면 단지 매력적인 서사에 불과한지는 공식적으로 검증된 바 없다. 본 논문은 강화 학습(RL)을 경험적 렌즈로 사용하여 월드 1-1의 정전적(canonical) 설계가 가진 교육적 효능을 검증하고자 한다. 구체적으로, 저자들은 두 가지 질문을 조사한다: (1) 어떤 RL 알고리즘이 레벨을 가장 효과적으로 학습하며, 이것이 복잡도에 따라 달라지는가? (2) 정전적 세그먼트 순서가 무작위 순열에 비해 학습을 가속화하는가?

방법론
저자들은 표준 게임 또는 RL 라이브러리를 사용하지 않고, 충실한 타일 기반 표현을 보장하기 위해 월드 1-1을 처음부터 완전한 이산 환경(fully discrete environment)으로 구현하였다.

환경: 레벨은 212 × 14 타일 그리드로 구성된다. 복잡도가 증가하는 세 가지 버전을 생성하였다:
- v1 (정적): 지면, 파이프, 틈새, 계단.
- v2 (+블록): 부술 수 있는 벽돌과 물음표 블록 추가.
- v3 (+적): 스톰프(밟기) 메커닉을 포함한 NES 정확도의 물리 엔진을 적용한 17개의 적(굼바 및 쿠파) 추가.
상태 공간(State Space): 열, 행, 점프 단계, 그리고 "뷰포트"(화면 창 내의 타일 코드 튜플)를 포함하는 튜플로 표현된다. 상태 공간은 v1의 3차원에서 v3의 115차원으로 확장된다.
알고리즘: Q-Learning, SARSA, Monte Carlo (MC), Deep Q-Network (DQN)의 네 가지 알고리즘을 비교하였다. 모든 알고리즘은 공유된 감쇠 스케줄을 가진 $\epsilon$ $ϵ$ -greedy 탐색을 사용하였다.
- 테이블 방식(Q-Learning, SARSA, MC)은 근사가 아닌 방문된 상태의 값을 기록하는 정확한 Q-테이블(defaultdict)을 사용하였다.
- DQN은 경험 재현(experience replay, 50k 버퍼)과 타겟 네트워크 동기화를 사용하는 PyTorch MLP(128-128-3)를 활용하였다.
커리큘럼 실험: 레벨을 6개의 정전적 세그먼트(A–F)로 분할하였다. 열두 가지 조건을 테스트하였다: 정전적 순서(A→F), 역순(F→A), 그리고 10가지의 무작위 순열. 이 실험에는 에피소드 단위의 궤적에 민감한 Monte Carlo 에이전트를 선택하였다.

주요 기여

커스텀 구현: 외부 게임 엔진 없이 구축된, NES에 충실한 파이썬 기반의 이산형 월드 1-1 환경.
알고리즘 벤치마킹: 테이블 방식과 함수 근사 방식의 비교를 위해 60회의 훈련 실행(4개 에이전트 × 3개 레벨 × 5개 시드)을 수행하였다.
커리큘럼 검증: 레벨 세그먼트의 순열 공간을 샘플링하여 교육적 구조의 가설을 테스트하기 위한 체계적인 실험(60회의 추가 실행)을 수행하였다.

결과

알고리즘 성능:
- **Monte Carlo (MC)**가 가장 강력한 에이전트로 나타났으며, 전체 레벨(v3)에서 94.9% ± 1.5%의 승률을 달성하였다. MC는 DQN(76.4%) 및 테이블 TD 방식보다 우수했는데, 이는 승리 경로를 따라 가장 직접적인 경로를 택하기보다 중간 보상(블록 부수기, 물음표 블록 치기)을 극대화하는 법을 학습했기 때문이다.
- DQN은 "보상 밀도" 의존성을 보였다. DQN은 리플레이 버퍼가 양의 신호에 비해 사망 페널티(−50)로 범람함에 따라 v1에서 치명적인 실패(승률 10.6%)를 겪었다. 그러나 중간 보상(물음표 블록)이 신호를 다양화한 v2에서는 회복하였다(승률 93.4%). v3에서 DQN은 과잉 일반화로 인해 가장 낮은 승률(76.4%)을 기록했는데, 이는 적을 밟는 보상(+5)을 감수하기보다 적을 완전히 피하는 법을 학습했기 때문이다.
- 테이블 방식은 모든 레벨에서 수렴하였다. MC는 v1과 v2에서 가장 빠르게 수렴하였고, SARSA와 Q-Learning은 탐색 보수성으로 인해 v1에서 약간 느린 수렴 속도를 보였다.
커리큘럼 학습:
- **정전적 순서 (A→F)**가 가장 빠르고 견고한 조건이었으며, 10개의 시드 모두에서 치명적 실패 없이 94.7%의 승률을 달성하였다. 약 2,771 에피소드 만에 50% 승률에 도달하였다.
- **역순 (F→A)**은 심각한 불이익을 받았으며, 48.5%의 승률을 기록했고 10개 중 4개의 시드가 완전히 실패하였다.
- 무작위 순열은 두 극단 사이(평균 승률 89.0%)에 군집을 이루었으나 변동성이 컸다. 어떤 단일 무작위 순열도 정전적 조건의 세 가지 기준(최고 승률, 가장 빠른 수렴, 제로 실패)을 모두 만족시키지 못했다.
민감도 메커니즘: 커리큘럼 효과는 업데이트 메커니즘에 특이적이었다. DQN은 경험 재현 버퍼가 전이(transition)를 균등하게 샘플링하여 쉬운 단계에서 어려운 단계로 이어지는 시간적 순서를 지워버리기 때문에 커리큘럼 효과가 나타나지 않았다(null curriculum effect). 에피소드 후에만 업데이트하는 MC는 세그먼트의 순서에 매우 민감하다.

의의 및 주장
본 논문은 월드 1-1의 설계가 학습을 가속화하고 우연히 재현될 수 없는 진정한 교육적 구조를 인코딩하고 있음을 입증하는 첫 번째 경험적 검증을 제공한다. 결과는 다음과 같다:

교육적 구조의 실재성: 월드 1-1의 특정 세그먼트 순서는 임의적인 것이 아니라, 궤적 기반 신호에 의존하는 에이전트의 학습 효율성과 견고함을 최적화한다.
알고리즘 선택 기준: 테이블 방식과 DQN 사이의 선택은 상태 공간의 크기에만 의존해서는 안 된다. 희소한 보상이 존재하는 이산적이고 비균질한 환경에서는 테이블 방식(특히 MC)이 DQN보다 뛰어날 수 있다. DQN의 성공은 경험 재현 버퍼를 안정화하기 위한 보상 밀도에 달려 있다.
업데이트 메커니즘의 민감도: 커리큘럼 순서에 대한 민감도는 업데이트 메커니즘에 의해 결정된다. 에피소드 단위 학습자(MC)는 점진적 난이도의 이점을 얻지만, 재현 기반 학습자(DQN)는 균등한 샘플링으로 인해 시간적 순서에 무감각하다.

저자들은 월드 1-1의 설계가 단순한 서사가 아닌 기능적인 커리큘럼이며, 그 효과는 학습 신호의 시간적 구조를 활용하는 에이전트의 능력에 달려 있다고 결론짓는다.