The Cell Must Go On: Agar.io for Continual Reinforcement Learning

이 논문은 비에피소드적이고 역동적인 'Agar.io'를 기반으로 한 새로운 연구 플랫폼 'AgarCL'을 소개하며, 이를 통해 기존 강화학습 알고리즘과 지속적 학습 방법들의 성능을 평가하고 지속적 강화학습이 안정성 - 가소성 딜레마를 넘어선 더 복잡한 과제를 안고 있음을 시사합니다.

핵심

이 논문은 인공지능 (AI) 이 한 번 배운 것을 잊지 않고, 끊임없이 변화하는 세상에서 살아남는 법을 연구하기 위해 만든 새로운 '게임장'에 대한 이야기입니다.

제목은 **"세포는 멈추지 않는다: 연속 강화학습을 위한 Agar.io"**입니다.

이 복잡한 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 연구가 필요한가요? (기존의 문제점)

지금까지 AI 를 가르칠 때는 보통 '시험' 방식을 썼습니다.

비유: "이제 공을 던지는 법을 배웠으니, 100 번 던져보고 점수를 매겨라. 그 점수가 좋으면 그걸로 끝! 이제 그 공 던지는 법은 절대 바꾸지 마."

하지만 현실 세계는 다릅니다.

비유: "오늘은 공을 던지는 날이지만, 내일은 공이 날아오는 방향이 바뀌고, 모래바람이 불고, 상대방이 공을 잡으러 달려온다."

기존의 AI 는 이런 끊임없이 변하는 상황에 대처하지 못합니다. 한 번 정해진 공식을 고수하다 보면, 세상이 변했을 때 AI 는 당황해서 무너지고 맙니다. 이를 **'연속 강화학습 (Continual RL)'**이라고 하는데, AI 가 평생 배우고 적응하도록 만드는 것이 목표입니다.

2. 해결책: 'AgarCL'이라는 새로운 게임장

연구진은 기존에 있던 복잡한 시뮬레이터들은 너무 단순하거나, 인위적으로 상황을 바꾸는 방식이라서 현실을 잘 반영하지 못한다고 생각했습니다. 그래서 그들은 유명한 웹 게임 **<Agar.io>**를 기반으로 새로운 실험실 AgarCL을 만들었습니다.

Agar.io 란?

비유: 페트리 접시 (세포 배양 접시) 안에 작은 점 (세포) 이 하나 있습니다. 이 점은 주변의 작은 먹이를 먹어서 커집니다. 하지만 다른 점들이 더 크면 잡아먹히기도 하고, 바이러스를 만나면 쪼개지기도 합니다.

AgarCL 의 특징 (왜 이것이 좋은 실험실인가?):

1. 끝이 없는 게임: 게임이 끝나고 다시 시작하는 '라운드' 개념이 없습니다. 죽어도 바로 다시 태어나서 계속 이어집니다. (비유: 게임 오버가 없는 무한한 생존 게임)
2. 나를 기준으로 세상이 변한다: 내가 먹이를 많이 먹어 커질수록, 내 시야는 넓어지고 이동 속도는 느려집니다. 즉, 내가 변할수록 내가 보는 세상의 규칙도 함께 변합니다.
3. 예측 불가능한 환경: 다른 세포들 (봇) 이 나를 쫓거나 피하고, 바이러스가 터지기도 합니다.

3. 주요 발견: AI 는 왜 망했을까?

연구진은 최신 AI 기술들 (DQN, PPO, SAC 등) 을 이 게임장에 투입해 보았습니다. 결과는 충격적이었습니다.

• 결과: 아무리 똑똑한 AI 도 결국 시간이 지나면 성능이 떨어졌습니다.
• 이유: AI 가 "지금까지 잘했던 방법"을 고수하려다 보니, 세상이 변했을 때 그 방법이 통하지 않는다는 것을 깨닫지 못했습니다. 마치 어제까지 비가 오지 않아 우산을 안 썼는데, 갑자기 폭우가 쏟아졌을 때 우산이 없던 사람처럼요.

특히 흥미로운 점은, AI 가 배운 정책을 '고정'해버리면 (더 이상 배우지 않게 하면) 시간이 지날수록 성능이 급격히 추락했다는 것입니다. 이는 "한 번 배운 것을 고정하는 것"이 연속적인 세상에서는 오히려 독이 된다는 것을 증명합니다.

4. 미니 게임으로 원인을 파악하다

왜 AI 가 실패하는지 정확히 알기 위해, 연구진은 게임을 여러 조각으로 잘라 **'미니 게임'**을 만들었습니다.

• 먹이만 모으기: 단순히 먹이를 먹는 연습.
• 상대방과 싸우기: 다른 세포를 피하거나 잡는 연습.
• 바이러스 활용하기: 바이러스를 이용해 상대를 쪼개는 전략.

발견:
AI 는 단순한 먹이 모으기에는 잘했지만, 상대방이 움직이거나 바이러스가 개입하는 복잡한 상황에서는 완전히 무너졌습니다. 특히, 어떤 전략이 언제 유효한지 판단하는 '탐색' 능력과 오랜 시간 동안의 결과를 연결하는 능력이 부족했습니다.

5. 결론: 앞으로의 방향

이 논문은 "우리가 만든 AI 는 아직 멀었다"는 것을 솔직하게 보여줍니다.

• 핵심 메시지: AI 가 세상을 살아남으려면, 단순히 "정답"을 외우는 게 아니라 세상이 변할 때마다 스스로를 업데이트하는 능력이 필요합니다.
• 의의: AgarCL 은 AI 연구자들에게 "진짜 어려운 시험"을 제공합니다. 이 게임장에서 AI 가 살아남는다면, 비로소 우리가 일상에서 마주하는 복잡하고 변덕스러운 세상 (날씨, 교통, 주식 시장 등) 에서도 AI 가 제 역할을 할 수 있을 것입니다.

한 줄 요약

"AI 에게는 정답이 있는 시험지가 아니라, 매일 변하는 현실 세계가 필요합니다. 우리는 <Agar.io>를 변형한 'AgarCL'이라는 게임장을 만들어, AI 가 평생 배우며 살아남는 법을 훈련시키고 있습니다."

기술 요약

제공된 논문 "The Cell Must Go On: Agar.io for Continual Reinforcement Learning"에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

• 지속적 강화학습 (Continual RL) 의 한계: 기존 지속적 RL 연구는 주로 이산적인 작업 (episodic tasks) 을 순차적으로 전환하거나, 데이터 스트림의 급격한 변화 (abrupt task shifts) 를 시뮬레이션하는 방식에 의존합니다. 그러나 실제 세계는 에이전트의 행동과 상호작용에 따라 점진적이고 연속적으로 변화하는 '내생적 비정상성 (endogenous, interaction-driven non-stationarity)'을 보입니다.
• 기존 벤치마크의 부족: 기존 RL 벤치마크는 복잡한 동역학, 부분적 관측성 (partial observability), 연속적인 행동 공간, 그리고 에이전트의 상태에 따라 변화하는 환경 구조를 동시에 다루기 어렵습니다. 또한, 대부분의 플랫폼이 에피소드 구조를 기반으로 하여 무한한 시간 horizon 에서의 적응 능력을 평가하기에는 부적합합니다.
• 핵심 문제: 에이전트가 고정된 정책으로 수렴하지 않고, 환경의 점진적인 변화와 상호작용에 따라 지속적으로 적응하며 학습할 수 있는 평가 플랫폼과 과제의 부재.

2. 제안된 방법론: AgarCL (Methodology)

저자들은 게임 'Agar.io'를 기반으로 한 새로운 연구 플랫폼 AgarCL을 제안합니다. 이는 지속적 RL 연구를 위한 평가 환경이자 도전 과제입니다.

• 환경 특성:

  • 비-에피소드 (Non-episodic): 에이전트가 죽더라도 게임이 종료되지 않고 즉시 리스폰 (respawn) 됩니다. 이는 에이전트의 행동 결과가 다음 '생명'으로 이어지는 무한한 horizon 을 가집니다.
  • 내생적 비정상성: 에이전트의 질량 (mass) 이 커질수록 이동 속도가 느려지고, 시야 (field of view) 가 확대됩니다. 즉, 에이전트의 상태 변화가 관측 공간과 행동의 결과를 직접적으로 변화시킵니다.
  • 고차원 부분 관측성: 에이전트는 픽셀 기반의 고차원 이미지 (4 채널: 먹이, 바이러스, 적, 에이전트) 를 관측하며, 이는 부분 관측성 (POMDP) 문제를 야기합니다.
  • 하이브리드 행동 공간: 연속적인 이동 좌표 $(x, y)$와 분할 (Split), 질량 방출 (Eject) 같은 이산적 행동을 동시에 선택해야 합니다.
  • 보상 함수: 에이전트의 질량 변화량 ($\Delta mass$) 을 기반으로 하며, 죽음 시 초기 질량보다 큰 질량을 잃으면 패널티를 받습니다.

• 실험 설계:

  • 전체 게임 (Full Game): 8 개의 봇, 10 개의 바이러스, 500 개의 먹이가 있는 복잡한 환경.
  • 미니 게임 (Mini-games): 비정상성, 탐색, 장기적 신용 할당 (credit assignment) 등 특정 요소를 격리하여 분석하기 위해 설계된 9 가지 하위 작업 (예: 먹이 수집, 다른 에이전트와의 상호작용, 바이러스 활용 등).

3. 주요 기여 (Key Contributions)

1. AgarCL 플랫폼 개발: 기존 GOBIGGER(에피소드형 다중 에이전트) 와 달리, 지속적 RL 에 특화된 비-에피소드, 고차원, 하이브리드 행동 공간 환경을 최초로 제공합니다.
2. 진단용 미니 게임 시리즈: 전체 환경의 복잡성을 분해하여 특정 기술 (비정상성 적응, 탐색, 전략적 상호작용) 을 평가할 수 있는 일련의 미니 게임을 도입했습니다.
3. 고정 정책의 붕괴 현상 입증: 학습이 중단된 후 고정된 정책 (PPO 등) 을 배포했을 때, 시간이 지남에 따라 성능이 급격히 저하됨을 실험적으로 증명했습니다. 이는 정적 정책이 지속적 환경에서는 무효함을 보여줍니다.
4. 기존 알고리즘 및 지속적 학습 방법의 한계 규명: DQN, PPO, SAC 등 표준 RL 알고리즘과 Shrink & Perturb, ReDo, Continual Backpropagation 등 지속적 학습 전용 알고리즘을 평가하여, AgarCL 환경에서의 성능 한계와 안정성 - 가소성 (stability-plasticity) 딜레마 이상의 문제점을 발견했습니다.

4. 실험 결과 (Results)

• 표준 RL 알고리즘의 실패: DQN, PPO, SAC 모두 전체 게임 (Full Game) 에서 효과적인 정책을 학습하지 못했습니다. 특히 160M 프레임 학습 후에도 성능이 수렴하지 않거나 불안정했습니다.
• 정책 붕괴 (Policy Collapse): 학습이 완료된 PPO 정책을 고정하여 배포한 결과, 초기에는 경쟁력이 있었으나 시간이 지남에 따라 성능이 급격히 떨어졌습니다. 이는 환경의 동역학 변화에 적응하지 못했기 때문입니다.
• 지속적 학습 알고리즘의 효과 부재: Shrink & Perturb, ReDo, Continual Backpropagation 등을 적용해도 PPO 단일 모델 대비 유의미한 성능 향상이 관찰되지 않았습니다. 이는 AgarCL 의 어려움이 단순히 '기억 소실 (catastrophic forgetting)'이나 '가소성 유지' 문제를 넘어, **탐색 (exploration)**과 장기적 신용 할당, 부분 관측성 처리 등 더 근본적인 문제에 있음을 시사합니다.
• 미니 게임 분석:
  • 비정상성: 질량 증가로 인한 속도 저하와 시야 변화는 에이전트의 행동을 지속적으로 재조정해야 함을 요구합니다.
  • 탐색의 어려움: 리셋 (reset) 이 없는 환경에서 에이전트가 길을 잃으면 다시 찾기 어렵습니다.
  • 전략적 상호작용: 바이러스를 이용해 적을 분할하거나, 다른 봇을 피하는 등의 복잡한 전략은 기존 알고리즘이 학습하지 못했습니다.
• 초기화 민감성: 하이퍼파라미터 튜닝이 매우 중요하며, 한 작업에서 최적화된 하이퍼파라미터가 다른 작업에서는 성능을 급격히 저하시키는 경우가 많았습니다.

5. 의의 및 결론 (Significance)

• 새로운 벤치마크의 제시: AgarCL 은 지속적 RL 연구에 있어 '세계는 에이전트보다 더 크다 (Big World Hypothesis)'는 가설을 검증할 수 있는 현실적이고 복잡한 플랫폼을 제공합니다.
• 연구 방향의 전환: 기존 연구가 주로 '알고리즘 개선'에 집중했다면, AgarCL 은 평가 방법론의 부재와 하이퍼파라미터 민감성 문제를 부각시킵니다. 지속적 RL 의 진보는 새로운 알고리즘뿐만 아니라 더 견고한 벤치밍킹 관행에 달려 있음을 강조합니다.
• 미래 과제: 현재 표준 RL 알고리즘조차 이 환경에서 실패하므로, 지속적 적응, 장기적 계획, 그리고 부분 관측성 하에서의 효율적 탐색을 동시에 해결할 수 있는 새로운 접근법이 필요함을 시사합니다.

요약하자면, 이 논문은 AgarCL이라는 새로운 플랫폼을 통해 지속적 강화학습의 본질적인 어려움 (내생적 비정상성, 무한 horizon, 부분 관측성) 을 부각시켰으며, 기존 알고리즘들이 이러한 환경에서 실패하는 이유를 분석함으로써 향후 지속적 RL 연구의 방향성을 제시합니다.