Preventing Learning Stagnation in PPO by Scaling to 1 Million Parallel Environments

이 논문은 PPO 의 학습 정체 문제를 해결하기 위해 100 만 개 이상의 병렬 환경을 확장하고 이를 위한 하이퍼파라미터 조정 레시피를 제안함으로써, 1 조 개의 전이를 거치며 성능이 지속적으로 향상되도록 함을 보여줍니다.

핵심

1. 문제: "왜 AI 는 더 이상 배우지 못할까?"

보통 우리는 AI 가 더 많은 데이터를 보면 더 똑똑해질 것이라고 생각합니다. 하지만 실제로는 AI 가 일정 수준에 도달하면, 아무리 많은 데이터를 주어도 성능이 더 이상 오르지 않는 **'정체기'**에 빠집니다.

기존 연구들은 이를 "AI 가 너무 일찍 포기해서 (탐색 부족)"이거나 "뇌 (네트워크) 가 망가져서 (가소성 손실)"라고 생각했습니다.

하지만 이 논문은 **"아니요, 문제는 AI 의 '학습 속도'와 '데이터의 질'이 맞지 않기 때문입니다"**라고 말합니다.

비유: 무거운 차를 미는 상황
imagine(상상해 보세요) 당신이 무거운 차를 밀고 있습니다.

• 과도한 힘 (큰 학습 단계): 당신이 너무 세게 밀면 차는 앞뒤로 심하게 흔들리다가 제자리에서 멈춥니다. (AI 가 너무 급하게 변해서 오히려 엉망이 됨)
• 부족한 정보 (작은 데이터): 당신이 차를 밀 때 주변 상황을 제대로 보지 못하고 (데이터가 부족해서) 엉뚱한 방향으로 힘을 쓰게 됩니다.

이 논문은 PPO(인공지능 학습 알고리즘 중 가장 유명한 것) 가 이 두 가지 문제, 즉 **"너무 큰 학습 단계"**와 "노이즈가 많은 데이터" 때문에 정체기에 빠진다고 분석했습니다.

2. 해결책: "동시 작업자 100 만 명을 고용하라!"

이 문제를 해결하는 가장 간단하면서도 강력한 방법은 무엇일까요? 바로 병렬 환경 (Parallel Environments) 의 수를 극적으로 늘리는 것입니다.

비유: 요리사 팀의 규모

• 기존 방식 (소규모 팀): 요리사 1 명이 재료를 하나하나 다듬고, 요리를 하고, 맛을 봅니다. 재료가 부족해서 맛을 보기가 어렵고, 실수하면 다시 시작해야 합니다.
• 새로운 방식 (대규모 팀): 요리사 100 만 명을 동시에 고용합니다.
  • 100 만 명이 동시에 재료를 다듬고 요리합니다.
  • 덕분에 한 번에 얻는 정보의 양이 어마어마하게 많아집니다 (노이즈 감소).
  • 또한, 100 만 명이 각자 다른 경험을 하므로, "이건 너무 급하게 변했어"라는 경고 신호를 더 잘 받아서 조심스럽게 (작은 단계로) 발전할 수 있습니다.

저자들은 PPO 를 100 만 개 이상의 병렬 환경으로 확장했을 때, AI 가 1 조 (1 Trillion) 개의 데이터까지 학습을 멈추지 않고 계속 성장하는 것을 확인했습니다.

3. 중요한 팁: "무작정 늘리면 안 된다!"

그렇다고 해서 단순히 사람 (환경) 수만 늘린다고 해서 다 좋은 것은 아닙니다. 중요한 **'조리법 (레시피)'**이 있습니다.

비유: 큰 배를 만들 때 엔진을 어떻게 할까?
배를 100 배 크게 만들었다고 해서 엔진을 100 배 더 세게 돌리면 배는 뒤집힙니다.

• 잘못된 방법: 환경 수를 늘리면서 학습 속도 (학습률) 나 한 번에 처리하는 데이터 양 (미니 배치) 을 무작정 늘리면, AI 는 혼란을 겪어 성능이 떨어집니다.
• 올바른 방법 (이 논문의 제안):
  1. 엔진 세기 (학습률) 는 그대로 유지하세요.
  2. 한 번에 처리하는 데이터 양 (미니 배치) 도 그대로 유지하세요.
  3. 대신 반복 횟수 (최적화 단계 수) 만 늘리세요.

즉, **"동시에 일하는 사람을 늘리되, 한 사람이 하는 일의 방식과 강도는 그대로 유지하고, 그냥 더 많은 일을 시키라"**는 것입니다. 이 방법을 따르면 AI 는 안정적으로 계속 성장할 수 있습니다.

4. 결론: "무한한 학습의 가능성"

이 연구는 복잡한 로봇 조종이나 게임 같은 환경에서, AI 가 더 이상 발전하지 못하고 멈추는 것을 막았습니다.

• 핵심 메시지: AI 가 멈추는 것은 AI 가 바보가 된 게 아니라, 우리가 너무 큰 걸음으로 너무 적은 정보를 가지고 학습을 시켰기 때문입니다.
• 해결책: 100 만 명의 동시 학습 환경을 만들어 데이터의 질을 높이고, 학습 속도를 조절하면 AI 는 멈추지 않고 계속 발전할 수 있습니다.

이 방법은 앞으로 더 똑똑하고, 멈추지 않는 인공지능을 만드는 데 중요한 이정표가 될 것입니다. 마치 100 만 명의 학생이 동시에 교실에 앉아, 선생님의 말 (학습 규칙) 을 지키면서 각자 다른 문제를 풀면, 교실 전체가 훨씬 더 빠르게 성장하는 것과 같은 원리입니다.

기술 요약

이 논문은 강화학습 (RL), 특히 널리 사용되는 근접 정책 최적화 (Proximal Policy Optimization, PPO) 알고리즘에서 발생하는 학습 정체 (Learning Stagnation) 현상을 해결하기 위한 연구입니다. 저자들은 PPO 가 특정 조건에서 최적 성능에 도달하지 못하고 하위 최적 수준 (suboptimal level) 에서 멈추는 현상이 기존에 알려진 탐험 부족이나 모델 용량 문제가 아니라, 확률적 최적화 (Stochastic Optimization) 관점에서 바라본 '외부 루프 (outer loop)'의 단계 크기 (step size) 와 노이즈 간의 불균형에서 비롯됨을 규명했습니다.

아래는 이 논문의 상세한 기술적 요약입니다.

---

1. 문제 정의 (Problem)

• 학습 정체 (Plateaus): 많은 RL 에이전트가 환경에서 이론적으로 가능한 최적의 보상보다 훨씬 낮은 수준에서 성능이 정체되는 현상이 빈번하게 발생합니다.
• 기존 해석의 한계: 기존 연구들은 이를 탐험 부족 (insufficient exploration), 신경망의 가소성 손실 (plasticity loss), 또는 최적화 문제 등으로 설명했습니다.
• 핵심 문제: 저자들은 특히 온-정책 (on-policy) 알고리즘인 PPO 에 초점을 맞추어, 학습 데이터가 축적됨에 따라 샘플 기반의 손실 추정치가 실제 목적 함수의 좋은 대리 변수 (proxy) 역할을 하지 못하게 되어 학습이 정체된다고 주장합니다.

2. 방법론 및 개념적 모델 (Methodology & Conceptual Model)

저자들은 PPO 의 학습 과정을 **내부 루프 (inner loop, 신경망 최적화)**와 **외부 루프 (outer loop, 정책 업데이트)**로 나누어 분석했습니다.

• PPO 를 확률적 최적화 문제로 재해석:
  • 외부 루프 (Outer Loop): 현재 정책으로 데이터를 수집하고, 이를 기반으로 정책을 업데이트하는 과정. 이는 표준 확률적 경사 하강법 (SGD) 과 유사하게 모델링됩니다.
  • 핵심 변수:
    1. 외부 단계 크기 (Outer Step Size): 정책이 한 업데이트 단계에서 얼마나 크게 변하는지 (정규화 강도에 의해 제어됨).
    2. 업데이트 노이즈 (Update Noise): 샘플링된 배치의 손실 최소화가 실제 목적 함수 최대화와 얼마나 일치하는지 (배치 크기에 의해 제어됨).
• 정체 메커니즘: 외부 단계 크기가 업데이트 노이즈에 비해 너무 크면, SGD 에서와 마찬가지로 에이전트는 국소 최적점 주변에서 진동 (thrashing) 하거나 하위 최적 수준에서 학습이 멈추게 됩니다.
• 해결 방안: 이 문제를 해결하기 위해 두 가지 접근이 가능합니다.
  1. 정규화 강화: 단계 크기를 줄임 (예: PPO-EWMA 의 Center of Mass 증가 또는 클리핑 임계값 $\epsilon$ 감소).
  2. 데이터량 증가: 업데이트 노이즈를 줄임 (예: 더 많은 병렬 환경에서 데이터 수집).

3. 주요 기여 (Key Contributions)

A. 병렬 환경 수 증가를 통한 해결책 제시

• 병렬 환경 (Parallel Environments) 의 역할: 병렬 환경 수를 늘리는 것은 단순히 데이터 수집 속도를 높이는 것을 넘어, 업데이트 노이즈를 줄이고 (더 큰 배치 크기), 행동 정책 (behavior policy) 의 나이를 늘려 (더 많은 환경 상호작용을 거친 후 업데이트) 외부 단계 크기를 자연스럽게 감소시킵니다.
• 하이퍼파라미터 조정 레시피 (Scaling Recipe): 병렬 환경 수를 늘릴 때 다른 하이퍼파라미터를 어떻게 조정해야 하는지에 대한 실용적인 가이드를 제시했습니다.
  • 권장 전략: 미니배치 크기 (Minibatch Size) 와 학습률 (Learning Rate) 을 고정하고, 최적화 단계 수 (Optimization Steps) 만 늘리는 것이 가장 안정적입니다.
  • 비권장 전략: 미니배치 크기만 늘리고 학습률을 조정하지 않거나, 무작정 스케일링하는 것은 학습 불안정을 초래하여 성능 저하를 유발할 수 있습니다.

B. 대규모 스케일링 실험 (Scaling to 1 Million Environments)

• Kinetix 환경에서의 성과: 복잡하고 오픈 엔디드 (open-ended) 인 물리 기반 환경인 Kinetix 에서 PPO 를 100 만 개 이상의 병렬 환경으로 확장하여 실험했습니다.
• 기존 한계 극복: 기존 설정 (약 2,000 개 환경) 은 약 100 억 단계 (10 billion transitions) 에서 성능이 정체되었으나, 제안된 스케일링 방식을 적용한 설정은 1 조 (1 trillion) 단계에 달하는 상호작용 동안 **단조 증가 (monotonic improvement)**하는 성능 향상을 보였습니다.

C. 로봇 공학 및 다른 도메인에서의 검증

• IsaacGym 로봇 작업: Singla et al. (2024) 의 SAPG 방법론과 기존 PPO 를 IsaacGym 로봇 작업 (Allegro Hand, Shadow Hand 등) 에서 테스트했습니다.
• 결과: 기존 방법론이 병렬화를 늘릴 때 미니배치 크기를 무작정 늘려 성능이 떨어지는 반면, 저자들이 제안한 '미니배치 크기 고정' 전략을 적용하면 PPO 의 성능이 SAPG 를 능가하거나 격차를 크게 줄이며 안정적으로 확장됨을 증명했습니다.

4. 실험 결과 (Results)

1. 단계 크기와 정체 관계 확인: 외부 단계 크기가 너무 크면 (정규화가 약하면) 학습이 조기에 정체됨을 실험적으로 확인했습니다. 학습 도중 정규화 강도를 높여 단계 크기를 줄이면 정체된 에이전트가 다시 학습을 시작하여 높은 성능을 회복할 수 있었습니다.
2. 배치 크기의 중요성: 큰 배치 크기 (병렬 환경 수 증가) 는 약한 정규화 조건에서도 학습이 정체되지 않도록 허용하는 것을 보여주었습니다. 이는 SGD 의 대규모 배치 학습 이론과 일치합니다.
3. 데이터 - 발산 비율 (Data to Divergence Ratio, DDR): 학습 예산 (데이터 양) 이 증가함에 따라 DDR 을 증가시켜야 (더 많은 데이터를 수집하고 더 작은 정책 변화) 조기 정체를 방지할 수 있음을 보였습니다.
4. 100 만 병렬 환경 달성: Kinetix 환경에서 100 만 개 이상의 병렬 환경을 사용하여 1 조 단계 학습을 달성했고, 이는 기존 최상위 성능을 크게 상회하며 오픈 엔디드 학습의 새로운 지평을 열었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 알고리즘적 통찰: PPO 의 학습 정체는 새로운 알고리즘 개발이 아니라, 기존 알고리즘의 하이퍼파라미터 스케일링 전략을 올바르게 이해하고 적용함으로써 해결 가능함을 보였습니다.
• 실용적 가이드: 대규모 RL 학습을 수행할 때, 단순히 병렬 환경 수만 늘리는 것이 아니라 내부 최적화 과정 (미니배치 크기, 학습률) 을 고정하고 업데이트 횟수만 늘리는 것이 안정성과 성능을 보장하는 핵심임을 제시했습니다.
• 미래 지향성: 이 연구는 컴퓨팅 자원이 증가함에 따라 RL 에이전트가 지속적으로 학습할 수 있는 '무한 학습 (indefinite learning)'의 가능성을 보여주며, 희소 보상 (sparse reward) 환경이나 더 복잡한 탐험 문제로의 확장을 위한 기초를 마련했습니다.

요약하자면, 이 논문은 PPO 의 학습 정체를 확률적 최적화의 관점에서 해석하고, 병렬 환경 수의 대규모 확장과 적절한 하이퍼파라미터 스케일링 레시피를 통해 1 조 단계에 달하는 학습에서도 성능이 계속 향상되도록 하는 획기적인 결과를 도출했습니다.