기술적 요약: 적응형 배치 확장을 통한 확장 가능한 온-폴리시 강화 학습

1. 문제 제기

강화 학습 (RL) 분야의 통념은 대규모 배치 훈련이 본질적으로 RL 과 양립할 수 없다는 것이다. 지도 학습에서는 배치 크기를 늘리면 기울기 추정이 안정화되어 거대 모델의 훈련을 가능하게 하는 것 (스케일링 법칙) 과 달리, RL 실무자들은 일반적으로 소규모 배치 (예: 256~1024) 에 의존한다. 이 제한은 RL 의 데이터 분포가 갖는 고유한 비정상성 (non-stationarity) 에 기인한다. 정책 ($\pi_\theta$) 이 업데이트됨에 따라 데이터 분포가 이동하여 편차 - 분산 트레이드오프가 발생하기 때문이다.

주류 관점은 임계값을 초과하는 배치 크기를 늘리면 수확 체감이 발생하거나 성능이 저하된다고 본다. 대규모 배치는 훈련 초기의 불안정한 단계에서 에이전트가 일시적이고 불안정한 궤적에 과적합되게 만든다고 여겨진다. 따라서 표준적인 관행은 대규모 아키텍처를 사용하더라도 모델의 가소성을 유지하고 이동하는 분포에 적응하기 위해 소규모 배치를 선호한다. 본 논문은 이러한 관점의 정적 성격을 도전하며, 비정상성의 정도는 일정하지 않고 훈련 과정에서 진화한다고 주장한다.

2. 방법론: 적응형 배치 확장 (ABS)

저자들은 학습 정책의 안정성에 기반하여 유효 배치 크기를 동적으로 조정하는 적응형 배치 확장 (Adaptive Batch Scaling, ABS) 프레임워크를 제안한다. 핵심 가설은 RL 훈련이 두 가지 뚜렷한 영역으로 구성된다는 것이다:

1. 초기 단계 (높은 비정상성): 급격한 행동 변화를 특징으로 함. 불안정한 궤적에 대한 과적합을 방지하고 가소성을 유지하기 위해 소규모 배치가 필요하다.
2. 후기 단계 (거의 정상성): 정책이 수렴함에 따라 데이터 분포가 안정화된다. 대규모 배치는 기울기 노이즈를 억제하고 정밀한 수렴을 가능하게 하여 유익해진다.

주요 구성 요소

• 행동 발산 ($\delta_\pi$): 정책의 비정상성을 정량화하기 위해 도입된 새로운 지표. 기준 배치에서 현재 정책 ($\pi_\theta$) 과 이전 정책 ($\pi_{\theta_{old}}$) 간의 선호 행동이 변경되는 상태의 비율을 측정한다.
  • 형식적 정의: $\delta_\pi(\theta', \theta) := \frac{1}{M} \sum_{i=1}^{M} \mathbb{I} [\pi_{\theta'}(s_i) \neq \pi_{\theta}(s_i)]$.
  • 높은 $\delta_\pi$ 는 높은 변동성 (초기 단계) 을 나타내고, 낮은 $\delta_\pi$ 는 안정성 (후기 단계) 을 나타낸다.
• 동적 확장 스케줄: 유효 배치 크기 ($|B|$) 는 행동 발산에 반비례하여 확장된다.
  • 롤아웃 길이 ($L_{adapt}$) 는 정규화된 발산에 기반하여 최소 ($L_{min}$) 와 최대 ($L_{max}$) 사이에서 로그적으로 조정된다.
  • $\delta_\pi$ 가 높을 때 (급격한 변화), $L_{adapt}$ 는 $L_{min}$ (소규모 배치) 으로 설정된다.
  • $\delta_\pi$ 가 낮을 때 (안정적), $L_{adapt}$ 는 $L_{max}$ (대규모 배치) 로 확장된다.
• 통합: 이 방법은 병렬화 Q-네트워크 (Parallelised Q-Network, PQN) 알고리즘과 통합된다. 행동 발산의 계산은 순방향 전달 (forward passes) 만에 의존하므로, 역방향 전달 (backward passes) 이 필요한 방법 (예: 기울기 노이즈 스케일) 에 비해 계산 효율성이 높다.

3. 주요 기여

1. RL 비정상성의 정량화: 연속된 정책 업데이트 간의 행동 수준 변화를 측정하기 위한 실용적인 순방향 전달 지표인 행동 발산의 도입.
2. 적응형 배치 확장 프레임워크: 초기 훈련에서의 가소성 필요성과 후기 훈련에서의 안정성 필요성 사이의 간극을 해소하는, 정책 안정성에 반응하여 배치 크기 (롤아웃 길이) 를 동적으로 확장하는 간단하면서도 효과적인 알고리즘.
3. 확장성 검증: ALE 벤치마크에서 ABS 가 더 큰 배치 크기로 성능 향상을 가능하게 한다는 실증적 증명. 특히 더 큰 네트워크 아키텍처 (예: ResNet 스타일의 멀티-스킵 모델) 와 결합될 때, RL 에서 이전에는 달성 불가능하다고 여겨졌던 확장 행동을 보여줌.

4. 실험 결과

이 방법은 PQN 알고리즘을 사용하여 Atari-57 및 Atari-10 벤치마크에서 평가되었으며, 연속 제어 (MuJoCo) 와 오프-폴리시 설정 (BTR) 으로 확장되었다.

• 고정 배치 대비 성능: ABS 는 대부분의 환경에서 일반 PQN 과 고정된 소규모/대규모 배치 베이스라인을 능가했다. 초기 단계 점수는 소규모 배치로 인해 더 높았고, 후기 단계 분산은 대규모 배치로 인해 더 낮았다.
• GNS 와의 비교: ABS 는 샘플 효율성과 최종 성능 모두에서 기울기 노이즈 스케일 (GNS) 접근법을 능가했으며, 추가적인 역방향 전달을 피하므로 계산 효율성이 훨씬 높았다.
• 대규모 모델과의 확장성: 더 큰 아키텍처 (PQN-L 및 PQN-XL) 에 적용되었을 때, ABS 는 일관되게 성능을 향상시켰다. 특히, 고정된 대규모 배치를 사용하면 대규모 모델에서 성능이 저하되는 반면, ABS(소규모에서 대규모로 확장) 는 이러한 모델의 잠재력을 열어 최고의 성능을 달성했다. 이는 모델 규모와 적응형 배치의 효율성 사이에 양의 상관관계가 있음을 확인시켜 준다.
• 일반화:
  • 연속 제어: KL 발산을 비정상성 대리 지표로 사용하여 MuJoCo 의 PPO 에 적용한 결과, ABS 는 샘플 효율성과 최종 성능을 향상시켰다.
  • 오프-폴리시 RL: 롤아웃 길이를 배치 크기 범위로 대체하는 최소한의 수정으로 BTR 에 적용한 결과, 5 개 Atari-5 환경 중 4 개에서 성능이 향상되었다.

5. 중요성 및 주장

본 논문은 대규모 배치 훈련이 RL 과 양립할 수 없다는 "통념"에 도전한다고 주장한다. 비정상성이 고정된 제약이 아니라 진화하는 속성임을 입증함으로써, 저자들은 더 큰 네트워크와 더 큰 배치 크기가 적응적으로 관리될 때 RL 에서 최고의 성능을 달성할 수 있음을 보여준다.

이 연구의 중요성은 강화 학습의 확장 잠재력을 열어준다는 점에 있다. 이는 고용량 RL 에이전트가 지도 학습 (예: LLM 및 비전 트랜스포머) 의 성공을 이끈 대규모 배치 훈련의 이점을 활용할 수 있게 한다. 저자들은 ABS 를 확장 가능한 RL 을 향한 기초적인 단계로 위치시키며, 대규모 규모에서 RL 과 지도 학습 간의 성능 격차를 해소한다.

한계 및 향후 방향:
저자들은 현재 작업이 온-폴리시 알고리즘에 초점을 맞추고 있지만, 향후 작업에는 오프라인 RL 로의 ABS 확장, 트랜스포머 기반 아키텍처에서의 검증, 그리고 확장 가능한 RLHF 를 위한 대규모 언어 모델 정렬 기술 (예: GRPO) 에의 방법 통합이 포함될 것이라고 언급했다.