Sliding Puzzles Gym: A Scalable Benchmark for State Representation in Visual Reinforcement Learning

이 논문은 기존 강화학습 벤치마크의 한계를 극복하기 위해 시각적 표현 학습의 복잡성을 정밀하게 조절할 수 있는 새로운 벤치마크 '슬라이딩 퍼즐 짐 (SPGym)'을 제안하고, 이를 통해 현재 알고리즘들이 시각적 다양성에 취약하며 단순한 데이터 증강이 복잡한 표현 학습 기법보다 더 나은 성능을 보일 수 있음을 실험적으로 규명했습니다.

핵심

1. 왜 이 실험이 필요한가요? (기존의 문제점)

지금까지 AI 를 가르칠 때는 **'아케이드 게임 (Atari)'**이나 '자동차 운전 시뮬레이터' 같은 복잡한 게임을 사용했습니다. 하지만 이 게임들은 문제가 하나 있었습니다.

비유: "운전 면허 시험을 치는데, 차가 고장 나면 운전 실력을 알 수 없다"

기존 게임들은 AI 가 **① 차를 어떻게 조종할지 (정책)**와 **② 차의 상태를 어떻게 파악할지 (시각 인식)**를 동시에 배워야 했습니다. 만약 AI 가 운전을 못 한다면, 우리는 "운전 실력이 부족해서인가?" 아니면 "눈이 잘 안 보여서인가?"를 구분하기 어렵습니다.

연구자들은 **"시각 인식 능력만 따로 떼어내서 평가할 수 있는 도구"**가 필요했습니다. 그래서 만든 것이 바로 SPGym입니다.

---

2. SPGym 은 어떻게 작동하나요? (게임의 규칙)

SPGym 은 고전적인 **'숫자 퍼즐 (8 퍼즐)'**을 변형했습니다.

• 기존 퍼즐: 숫자 1~8 이 적힌 타일을 빈 공간에 맞춰서 순서대로 나열합니다.
• SPGym 퍼즐: 숫자 대신 아무 사진이나 타일 조각으로 바꿉니다.
  • 예: 타일 1 에는 '강아지 사진', 타일 2 에는 '산 사진'이 붙어 있고, AI 는 이 조각들을 원래 사진처럼 맞춰야 합니다.

이 게임의 핵심 마법 (혁신) 은 무엇일까요?

1. 게임 규칙은 그대로: 타일을 움직이는 방법 (위, 아래, 왼쪽, 오른쪽) 은 변하지 않습니다. AI 가 '어떻게 움직여야 하는지'는 이미 알고 있다고 가정합니다.
2. 시각 난이도만 조절: 연구자가 사진의 종류 (데이터 풀) 수만 늘리면 됩니다.
   • 난이도 1: 같은 강아지 사진만 1 장 사용. (쉬움)
   • 난이도 100: 강아지, 고양이, 자동차, 풍경 등 100 가지 다른 사진이 섞여 있음. (어려움)

비유: "레고 조립하기"
레고 조립 방법 (규칙) 은 똑같지만, **레고 블록의 무늬 (사진)**만 계속 바꿔주는 상황입니다. AI 는 "이 무늬가 어떤 모양인지"를 기억하고 이해해야만 퍼즐을 풀 수 있습니다.

---

3. 실험 결과: AI 들은 무엇을 못 했을까요? (놀라운 발견)

이 게임으로 최신 AI 들을 테스트했더니, 예상치 못한 결과가 나왔습니다.

① "외운 것"과 "이해한 것"의 차이

AI 들은 훈련할 때 본 사진 (예: 강아지 사진) 으로 퍼즐을 잘 풀었습니다. 하지만 **아예 본 적 없는 새로운 사진 (예: 고양이 사진)**이 나오면, 완전히 망했습니다.

비유: "수학 문제를 풀 때, 공식을 이해한 게 아니라 '문제 번호'만 외워서 푼 학생"과 같습니다. 문제 번호 (사진) 가 바뀌면 아무것도 못 합니다.

② 복잡한 기술보다 간단한 방법이 더 나을 때도 있음

AI 연구자들은 "더 똑똑한 기술 (복잡한 신경망 등)"을 쓸수록 잘 풀릴 거라 생각했습니다. 하지만 SPGym 에서는 단순히 사진을 흑백으로 바꾸거나 색상을 뒤섞는 (데이터 증강) 아주 간단한 방법이 오히려 복잡한 기술보다 더 잘 작동하기도 했습니다.

③ 사진이 너무 많으면 AI 는 혼란스러워함

사진 종류가 100 가지로 늘어나면, AI 들은 퍼즐을 푸는 데 훨씬 더 많은 시간을 들였거나 아예 포기했습니다. AI 는 "시각적 다양성"을 처리하는 능력이 부족하다는 것이 드러났습니다.

---

4. 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"현재의 AI 는 세상을 '이해'하는 게 아니라, 훈련 데이터만 '외우고' 있을 뿐"**이라고 경고합니다.

• 현재의 한계: AI 는 새로운 환경 (새로운 사진) 에 적응하는 능력이 매우 부족합니다.
• 미래의 방향: 단순히 데이터를 많이 주는 것만으로는 부족합니다. AI 가 시각 정보를 **'진짜로 이해'**하고, 새로운 상황에서도 **일반화 (Generalization)**할 수 있는 새로운 학습 방법이 필요합니다.

한 줄 요약:

"이 연구는 AI 가 눈으로 세상을 볼 때, 단순히 '기억'만 하고 있는지, 아니면 진짜로 '이해'하고 있는지 확인하는 새로운 거울 (SPGym) 을 만들었고, 현재 AI 들은 그 거울 앞에서 많이 부끄러운 모습을 보였다는 사실을 발견했습니다."

이 도구를 통해 앞으로 더 똑똑하고, 어떤 상황에서도 잘 적응하는 진짜 지능형 로봇을 만드는 데 기여할 것으로 기대됩니다.

기술 요약

슬라이딩 퍼즐 짐 (SPGym): 시각적 강화학습을 위한 확장 가능한 상태 표현 벤치마크

이 논문은 강화학습 (RL) 에이전트가 원시 시각 입력에서 작업 관련 정보를 추출하고 다양한 환경에서 일반화하는 능력을 평가하기 위한 새로운 벤치마크인 **Sliding Puzzles Gym (SPGym)**을 제안합니다. 기존 RL 벤치마크는 표현 학습 (representation learning) 과 정책 최적화, 환경 역학을 분리하여 평가하는 데 한계가 있었으며, SPGym 은 이러한 격차를 해소하기 위해 고안되었습니다.

1. 문제 정의 (Problem)

시각적 강화학습 (Visual RL) 에서 에이전트는 고차원의 픽셀 데이터를 처리하여 유용한 특징을 추출하고 의사결정에 활용해야 합니다. 그러나 기존 벤치마크 (Atari, DeepMind Control Suite 등) 는 에이전트의 전반적인 성능을 측정할 때 표현 학습, 정책 최적화, 환경 역학 학습이 서로 얽혀 있어, 표현 학습 능력만을 독립적으로 평가하기 어렵습니다.

또한, 기존 시각 학습 전용 벤치마크 (ProcGen, Distracting Control Suite 등) 는 시각적 복잡성과 작업 난이도를 동시에 변경하거나, 작업과 무관한 시각적 방해 요소를 도입하는 방식으로, 표현 학습의 영향을 정밀하게 조절하거나 격리하는 데 한계가 있었습니다. 따라서 시각적 다양성 (visual diversity) 을 체계적으로 조절하면서도 환경 역학은 고정하여 표현 학습의 한계를 정밀하게 분석할 수 있는 도구가 필요했습니다.

2. 방법론 (Methodology)

SPGym 의 설계 원리

SPGym 은 고전적인 8-타일 퍼즐 (8-puzzle) 을 시각적 RL 작업으로 변환한 오픈소스 벤치마크입니다. 다음과 같은 세 가지 핵심 설계 원칙을 따릅니다:

1. 일관된 환경 역학: 난이도가 변하더라도 퍼즐의 기본 규칙 (타일 이동, 빈 공간, 목표 상태) 은 변하지 않습니다.
2. 정밀한 시각적 복잡도 조절: 그리드 크기 (H x W) 와 이미지 풀 (image pool) 크기를 조절하여 시각적 다양성을 독립적으로 스케일링할 수 있습니다.
3. 명확한 성공 지표: 퍼즐 완성 여부에 기반한 성공률을 측정합니다.

환경 구성

• 관측 (Observation): 에이전트는 숫자가 아닌 임의의 이미지 패치 (image patches) 로 구성된 그리드를 관측합니다. 각 에피소드 시작 시, 미리 정의된 이미지 풀에서 무작위 이미지를 선택하여 퍼즐 타일로 분할하고 배치합니다.
• 상태 공간 (State Space): 에이전트는 내부 상태 (ground-truth state) 에 접근할 수 없으며, 오직 관측된 이미지 (POMDP) 만을 기반으로 정책을 학습해야 합니다.
• 확장성:
  • 시각적 다양성: 이미지 풀의 크기 ($p$) 를 증가시켜 관측의 다양성을 높입니다. 이는 상태 공간의 크기를 늘리지 않고도 표현 학습의 난이도를 높이는 핵심 메커니즘입니다.
  • 그리드 크기: 3x3 에서 4x4 등으로 그리드 크기를 늘려 상태 공간의 복잡도와 탐색 난이도를 높입니다.
• 보상 함수: 맨해튼 거리 (Manhattan distance) 를 기반으로 한 밀집 보상 (dense reward) 을 사용하여 학습 신호를 제공합니다.

실험 설정

• 데이터셋: ImageNet-1k 검증 세트 및 DiffusionDB(생성형 이미지) 를 사용했습니다.
• 알고리즘: PPO, SAC (및 다양한 표현 학습 변형: RAD, CURL, SPR, DBC, AE, VAE 등), DreamerV3 를 평가했습니다.
• 평가 지표: 80% 성공률에 도달하는 데 필요한 환경 스텝 수 (샘플 효율성), 선형 프로빙 (linear probing) 정확도, 분포 외 (OOD) 일반화 성능.

3. 주요 기여 (Key Contributions)

1. SPGym 벤치마크 제안: 환경 역학을 고정하면서 시각적 복잡성만 체계적으로 확장하여 표현 학습 능력을 독립적으로 평가할 수 있는 새로운 프레임워크를 제시했습니다.
2. 최신 방법론에 대한 포괄적 분석: 다양한 RL 알고리즘과 표현 학습 기법 (데이터 증강, 대비 학습, 재구성 학습, 세계 모델 등) 을 SPGym 에서 평가하여, 기존 시각 RL 방법론의 근본적인 한계를 규명했습니다.
3. 시각 RL 확장성의 통찰: 시각적 다양성이 증가함에 따라 에이전트가 일반화되지 못하고 특정 이미지를 암기 (memorization) 하는 경향이 있음을 발견했습니다. 이는 현재 방법론이 진정한 시각적 이해를 달성하는 데 어려움을 겪고 있음을 시사합니다.

4. 실험 결과 (Results)

4.1. 표현 학습 능력에 따른 에이전트 구분

SPGym 은 에이전트의 표현 학습 능력을 효과적으로 구분했습니다.

• DreamerV3: 모든 이미지 풀 크기에서 가장 뛰어난 성능을 보였으며, 특히 시각적 다양성이 증가할 때도 성능 저하가 완만했습니다. 이는 세계 모델 (world model) 을 통한 예측적 학습이 시각적 다양성 처리에 효과적임을 시사합니다.
• SAC + RAD (데이터 증강): 복잡한 보조 목적 함수를 가진 방법들보다 단순한 데이터 증강 (회색조 변환 + 채널 셔플) 이 더 효과적이었습니다.
• 기타 방법 (CURL, SPR, VAE 등): 많은 고급 표현 학습 기법들이 표준 SAC 보다 더 많은 샘플을 요구하거나 성능이 저하되었습니다. 이는 SPGym 의 이산적 (discrete) 인 상태 전이와 불연속적인 관측 특성이 이러한 방법들의 가정 (예: 잠재 공간의 부드러움, 전역적 이미지 유사성) 과 충돌하기 때문입니다.

4.2. 시각적 다양성의 영향

• 성능 저하: 이미지 풀 크기가 커질수록 모든 알고리즘의 성능이 저하되었습니다. PPO 는 풀 크기 10 에서, SAC 는 30 에서 급격히 떨어졌습니다.
• 암기 현상: 에이전트들은 훈련된 이미지들에 대해 높은 성공률을 보였지만, 전혀 새로운 이미지 (Hard OOD) 에 대해서는 거의 0% 의 성공률을 기록했습니다. 이는 에이전트가 일반적인 표현을 학습하는 것이 아니라 훈련 데이터의 시각적 패턴을 암기하고 있음을 의미합니다.

4.3. 일반화 능력의 한계

• OOD 일반화: 훈련 풀이 커질수록 오히려 증강된 데이터 (Easy OOD) 에 대한 일반화 성능이 떨어지는 역설적인 현상이 관찰되었습니다. 이는 작은 풀에서 학습된 에이전트가 작업의 구조적 불변성 (structural invariances) 에 더 민감하게 적응했기 때문으로 해석됩니다.
• 선형 프로빙 (Linear Probing): 학습된 인코더의 선형 프로빙 정확도와 샘플 효율성 사이에 강한 음의 상관관계가 있었습니다. 즉, 작업 관련 공간 정보를 더 잘 포착한 인코더일수록 학습이 빨랐습니다.

4.4. 다른 데이터셋 및 그리드 크기

• DiffusionDB: ImageNet 과 합성 이미지 (DiffusionDB) 모두에서 유사한 성능 저하 패턴이 관찰되어, 문제가 특정 데이터셋의 의미론적 내용에 기인한 것이 아니라 시각적 다양성 자체에서 비롯됨을 확인했습니다.
• 그리드 크기: 4x4 그리드로 확장 시 상태 공간이 기하급수적으로 늘어나며 학습 난이도가 크게 증가했으나, 샘플 효율성이 높은 DreamerV3 는 여전히 해결 가능한 수준을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 SPGym 을 통해 현재 시각적 강화학습 방법론이 직면한 근본적인 한계를 드러냈습니다.

1. 암기 vs. 일반화: 현재의 end-to-end RL 방법론은 다양한 시각 입력에 대해 진정한 일반화를 이루지 못하고, 훈련 데이터의 시각적 패턴을 암기하는 경향이 강합니다.
2. 표현 학습의 중요성: 복잡한 보조 목적 함수보다는 데이터 증강이나 세계 모델 기반 접근이 SPGym 과 같은 구조적 역학을 가진 작업에서 더 효과적일 수 있음을 시사합니다.
3. 향후 연구 방향: 단순한 시각적 다양성 증가만으로는 일반화 성능을 개선할 수 없으며, 시각적 표현 학습과 정책 학습을 더 잘 분리하거나, 시각적 추론을 위한 강력한 귀납적 편향 (inductive bias) 을 도입하는 새로운 알고리즘 개발이 필요함을 강조합니다.

SPGym 은 이러한 연구 방향을 제시하고, 견고하고 일반화 가능한 의사결정 시스템을 개발하기 위한 필수적인 도구로 자리 잡을 것으로 기대됩니다.