기술 요약: Forager – 부분 관측성을 위한 경량 지속 학습 테스트베드

문제 제기

지속 강화 학습 (Continual Reinforcement Learning, CRL) 은 부분 관측 가능하고 비정상적인 (non-stationary) "거대 세계 (big world)"에서 에이전트가 무한히 학습하고, 행동하며, 탐험할 수 있도록 개발하는 것을 목표로 합니다. 현재 CRL 연구는 주로 가소성 상실 (loss of plasticity)—즉, 작업 전환 후 에이전트가 학습을 계속할 수 없는 현상—에 초점을 맞추고 있으며, 이는 종종 인위적으로 비정상성을 도입한 완전 관측 가능 마르코프 결정 과정 (MDP) 내에서 이루어집니다.

부분 관측성 하의 CRL 연구에는 중요한 격차가 존재합니다. 부분 관측성은 실제 세계 환경의 근본적인 특성 ("거대 세계 가설") 이지만, 대부분의 기존 벤치마크는 다음과 같은 한계를 가집니다:

1. 완전 관측 가능 (예: ALE, Mujoco) 으로, 에이전트가 이론적으로 환경을 완벽하게 시뮬레이션할 수 있습니다.
2. 장기 CRL 실험을 수행하는 데 비용이 너무 많이 듭니다 (예: Minecraft, Craftax). 종종 성공을 위해 대규모 병렬 처리나 특권 상태 정보가 필요합니다.
3. 빠른 반복을 방해하는 성장하는 메모리 풋프린트와 같은 기술적 한계를 겪습니다 (예: Jelly Bean World).

결과적으로, 부분 관측성을 처리하기 위한 상태 구성 (state construction)(메모리/순환 구조 사용) 과 지속 학습(변화하는 동역학 추적) 간의 상호작용은 아직 충분히 탐구되지 않았습니다.

방법론: Forager 환경

저자들은 CRL 을 위한 확장 가능한 테스트베드로 설계된 경량 구성 가능한 그리드 월드 환경인 Forager를 소개합니다.

• 환경 구조: Forager 는 에이전트가 다양한 보상과 리스폰 (respawn) 행동을 가진 버섯을 수집하기 위해 이동하는 무한한 토로이드 (toroidal) 세계를 시뮬레이션합니다. 이 세계는 절차적으로 생성되지만 복잡한 물리 엔진이나 풍부한 그래픽에 의존하지 않습니다.
• 부분 관측성: 에이전트는 제한된 에이전트 중심 시야 (Field of View, FOV) 로 작동합니다. 관측치는 가시 영역의 RGB 이미지 또는 이진 텐서입니다. 에이전트는 전역 상태를 볼 수 없으므로 FOV 외부의 객체 위치와 리스폰 시간을 추적하기 위해 메모리가 필요합니다.
• 비정상성: 환경은 다음과 같은 다양한 형태의 비정상성을 지원합니다:
  • 작업 전환: 특정 객체 유형의 보상 함수가 주기적으로 변경됩니다 (예: 이전에 긍정적이었던 버섯 유형이 부정적으로 변함).
  • 동적 보상: 시간이 지남에 따라 감소하거나 숨겨진 일정에 따라 변경되는 보상.
  • 끝없는 스트림: 멸종된 버섯 종을 새로운 종이 대체하여 무한한 작업 시퀀스를 생성하는 변형.
• 성능 특성: Forager 는 속도와 메모리 효율성을 위해 최적화되었습니다. 에이전트의 탐험 역사와 관계없이 일정한 메모리 풋프린트를 유지하면서 초당 최대 $10^5$프레임 (FPS) 으로 실행됩니다. 이는 메모리 사용량이 탐험에 따라 증가하는 Jelly Bean World 와 같은 벤치마크와 대조됩니다.
• 구현: 이 환경은 CPU 구현과 단일 GPU 에서 수백 개의 병렬 실험을 가능하게 하는 JAX 기반 구현 (Foragax) 으로 제공됩니다.

주요 기여

1. 자원 효율적 테스트베드: Forager 는 CRL 알고리즘의 신속한 프로토타이핑을 위한 구성 가능한 환경을 제공합니다. 연구자들은 복잡한 게임 엔진의 계산 오버헤드 없이 부분 관측성 정도 (FOV 크기를 통해) 와 문제 난이도 (객체 배치 및 보상 동역학을 통해) 를 제어할 수 있습니다.
2. 상태 구성의 필요성 입증: 이 논문은 부분 관측성으로 인해 표준 심층 RL 에이전트 (DQN, PPO) 가 Forager 에서 제대로 작동하지 못한다는 실증적 증거를 제시합니다. 이는 이 설정에서 지속적 성능을 위해 상태 구성(메모리 흔적 또는 순환 아키텍처를 통해) 이 표준 가소성 완화 기술보다 더 중요함을 강조합니다.
3. 종합 벤치마킹 스위트: 저자들은 다양한 알고리즘을 평가합니다:
   • 베이스라인: DQN 및 PPO.
   • 가소성 완화: 초기화 방향 정규화, cReLU 활성화, Shrink & Perturb, L2 정규화, 영구 - 일시적 Q-학습 (PT-DQN).
   • 상태 구성: 지수적 메모리 흔적, 심층 순환 Q-네트워크 (DRQN), 순환 시간 단위 PPO (RTU-PPO).
4. 끝없는 작업 변형: 에이전트가 정적 정책으로 수렴하지 않고 영원히 학습하도록 강제하는 새로운 작업의 끝없는 스트림을 생성하는 특정 구성으로, 현재 CRL 에이전트의 한계를 부각시킵니다.

실험 결과

1. 부분 관측성의 영향 (시야)

• 관측: FOV 가 감소함에 따라 피드포워드 DQN 에이전트의 성능이 크게 떨어집니다.
• 발견: 큰 FOV 의 경우, DQN 은 오라클 검색 (Oracle Search) 의 성능에 근접합니다. 반면, 작은 FOV(에이전트가 "생태계" 간격을 볼 수 없는 경우) 에서는 DQN 이 최적의 채집 전략을 학습하지 못하고 무작위 또는 최근접 이웃 검색처럼 행동합니다. 이는 환경이 숨겨진 상태를 추적하기 위해 효과적으로 메모리를 필요로 함을 확인시켜 줍니다.

2. 가소성 상실 및 완화

• 관측: 작업 전환 변형에서 PPO 는 심각한 가소성 상실 (시간에 따른 성능 저하) 을 보인 반면, DQN 은 경미한 저하만 보였습니다.
• 완화 테스트: 제안된 여러 완화 방안 (cReLU, L2 Init, Shrink & Perturb, PT-DQN) 이 테스트되었습니다.
  • 결과: 일부 완화 방안 (특히 L2 Init과 cReLU) 이 적응 속도를 개선하거나 완전한 붕괴를 방지했지만, 어떤 것도 에이전트가 오라클 검색 베이스라인의 성능에 근접하게 하지는 못했습니다.
  • 결론: 부분 관측 가능 환경에서 CRL 을 위해 가소성 상실만 완화하는 것은 불충분합니다. 에이전트는 여전히 유용한 내부 상태를 구성할 능력이 부족합니다.

3. 상태 구성의 역할

• 간단한 메모리: 최근 보상의 지수적으로 가중된 메모리 흔적을 추가하면 DQN 과 PPO 모두의 성능이 크게 향상되었습니다.
• 순환 아키텍처:
  • DRQN: GRU 를 사용한 수정된 DRQN 은 표준 DQN 을 능가하지 못했으며, 이는 특정 구현이나 알고리즘이 이 맥락에서 유용한 상태를 추출하지 못했음을 시사합니다.
  • RTU-PPO: 순환 시간 단위 (RTU) 계층을 사용하는 순환 PPO 변형은 모든 학습 에이전트 중 최고의 성능을 달성했으며, 오라클 검색 베이스라인과 거의 일치했습니다.
  • 지속 학습 증거: RTU-PPO 에이전트가 실험 중간에 "동결"(학습 중단) 되었을 때, 성능이 크게 떨어졌습니다. 이는 에이전트가 정적 정책으로 수렴한 것이 아니라, 부분 관측성을 처리하기 위해 순환 상태를 활용하면서 작업 전환에 적응하며 지속적으로 재학습하고 있었음을 증명합니다.

4. 끝없는 작업 스트림

• 가장 까다로운 변형 (네 가지 생태계, 동적 종 교체, 숨겨진 단서) 에서조차 최상의 순환 에이전트 (RTU-PPO) 는 정체되어 오라클 성능에 도달하지 못했습니다.
• 해석: 빠른 보상 비정상성, 큰 세계 크기, 제한된 FOV 의 조합은 현재 알고리즘이 단일 스트림 (동기식) 학습 설정에서 특히 완전히 극복할 수 없는 과제를 만듭니다.

중요성 및 주장

이 논문은 Forager가 부분 관측성과 상태 구성의 과제를 분리하는 확장 가능하고 메모리 효율적인 환경을 제공함으로써 CRL 연구의 중요한 격차를 메운다고 주장합니다.

• 겸손한 주장: 저자들은 Forager 가 현실적인 시뮬레이션이 아니며 복잡한 물리가 부족하다고 명시적으로 밝힙니다. 그 가치는 복잡한 게임 엔진의 계산 오버헤드 없이 현재 알고리즘을 도전할 만큼 충분한 복잡성과 신속한 프로토타이핑 사이의 균형을 맞출 수 있는 능력에 있습니다.
• 핵심 통찰: 주요 발견은 가소성 상실 완화가 중요하지만, 부분 관측 가능 세계에서 에이전트가 지속적으로 학습할 수 있게 하는 상태 구성(순환 또는 메모리를 통해) 이 지배적인 요소라는 것입니다.
• 향후 방향: 끝없는 작업 변형은 거대하고 부분 관측 가능한 세계에서 빠른 적응, 시간적 추상화, 효과적인 탐험을 처리할 수 있는 알고리즘에 대한 향후 연구를 촉진하기 위한 "도전 과제" 역할을 합니다.

이 논문은 현재 CRL 에이전트들이 이러한 설정에서 명확한 한계를 가지고 있으며, Forager 가 대규모 환경의 계산적 금지 없이 이러한 한계를 조사할 수 있는 과학적 테스트베드를 제공한다고 결론지었습니다.