기술 요약: 근사 차기 정책 샘플링

문제 제기

심층 강화학습 (RL) 알고리즘은 정책 개선 과정에서 근본적인 "닭과 달걀" 문제에 직면합니다. 정책을 안전하게 개선하려면 가치 함수가 업데이트된(차기) 정책의 상태 방문 분포에서 정확해야 합니다. 그러나 이 분포는 학습 중에 알려져 있지 않습니다.

Conservative Policy Iteration (CPI), Trust Region Policy Optimization (TRPO), Proximal Policy Optimization (PPO) 와 같은 표준 접근법은 정책 업데이트를 작게 유지하도록 제약함으로써 이 문제를 해결합니다. 이는 새로운 정책의 분포가 가치 함수가 신뢰할 수 있다고 가정되는 현재 분포와 가깝게 유지되도록 보장합니다. 이는 치명적인 성능 저하를 방지하지만, 본질적으로 정책 업데이트의 크기를 제한하여 종종 수렴 속도가 느려지고 데이터 활용이 비효율적이게 만듭니다. 해당 논문은 이러한 보수적인 방법들이 잠재적인 정책에 맞춰 데이터를 적응시키기보다는, 데이터에 맞춰 정책 업데이트를 축소한다고 주장합니다.

방법론: 근사 차기 정책 샘플링 (ANPS)

이 논문은 **근사 차기 정책 샘플링 (Approximate Next Policy Sampling, ANPS)**을 대안적 패러다임으로 제안합니다. 목표 정책을 현재 정책에 가깝게 유지하도록 제약하는 대신, ANPS 는 학습 데이터 수집을 예상되는 차기 정책의 상태 방문 분포와 정렬되도록 이동시킵니다.

ANPS 를 구현하기 위해 저자들은 **안정적 가치 근사 정책 반복 (Stable Value Approximate Policy Iteration, SV-API)**이라는 프레임워크를 도입하여 **목표 정책 ($\pi$)**과 **행동 정책 ($\beta$)**을 분리합니다.

• 목표 정책 ($\pi_k$): 여러 반복 동안 고정됩니다. 이는 가치 목표 ($Q^{\pi_k}$) 와 업데이트의 궁극적 목표를 정의합니다.
• 행동 정책 ($\beta_k$): 데이터 수집을 담당하는 반복적으로 업데이트되는 정책입니다. 고정된 목표 정책과 관련된 상태를 탐색하고, 자신의 분포를 예상되는 차기 목표 정책과 정렬되도록 정제됩니다.
• 안정성 게이트: 알고리즘은 안정성 기준 $C$가 충족된 경우에만 목표 정책을 업데이트 ($\pi_{k+1} \leftarrow \beta_{k+1}$) 하는 것을 확정합니다. 이 기준은 가치 추정치와 행동 정책의 수렴을 모니터링합니다.

핵심 논리는 목표 정책을 고정함으로써 행동 정책이 $Q^{\pi_k}$를 정확하게 추정하기 위해 안전하게 탐색하고 데이터를 수집할 수 있다는 것입니다. 가치 추정치가 안정화되고 행동 정책이 목표 정책과 정렬되면, 새로운 정책으로의 크고 제약 없는 "점프"가 실행됩니다.

이론적 프레임워크

이 논문은 이 접근법을 정당화하기 위해 이론적 경계를 유도합니다:

1. 정리 3.3: 차기 정책의 분포에 대한 가중 행동 가치 오차 ($\epsilon(d_{\pi'}, q_\pi)$) 를 명시적으로 포함하는 정책 개선 경계를 수립합니다. 이는 정책 점프의 크기와 무관하게 가치 함수가 차기 정책의 분포에서 정확하다면 개선이 보장됨을 강조합니다.
2. 보조정리 3.5 및 Corollary 3.6: 학습 분포가 $\delta$-차기 정책 정렬 (NPA) 을 달성하는 경우 (즉, 차기 정책의 분포와 가깝다면), 차기 정책에서의 오차는 학습 오차에 분포 이동에 비례하는 항을 더한 값으로 제한됨을 보여줍니다.
3. 정리 4.3: 행동 정책이 안정화되어 ($\beta_k$와 $\beta_{k+1}$ 사이의 분포 이동이 작음을 보장) 학습 분포에서의 가치 오차가 제한된다면 SV-API 가 정책 개선을 보장함을 증명합니다. 중요한 점은 이 정리가 보수적인 방법들이 개선 항을 단계 크기에 따라 축소하는 것과 달리 제약 없는 목표 정책 업데이트를 허용한다는 것입니다.

주요 기여

1. 근사 차기 정책 샘플링 (ANPS): 정책 업데이트 크기를 제약하는 대신 학습 데이터를 차기 정책의 분포와 정렬시키는 새로운 접근법.
2. 이론적 경계: 차기 정책의 분포의 중요성을 분리하는 일반적 경계 (정리 3.3) 와 학습 오차 및 행동 발산을 제어함으로써 SV-API 가 더 큰 정책 점프를 가능하게 하여 개선을 보장함을 증명하는 구체적 경계 (정리 4.3).
3. SV-API 프레임워크: 행동 정책과 목표 정책을 분리하여 알고리즘이 목표를 고정하고 관련 경험을 수집하며 안전하게 더 큰 정책 업데이트를 실행할 수 있도록 하는 실용적 래퍼 (SV-PPO 로 구현됨).
4. 실증적 검증: SV-PPO 가 표준 PPO 와 비교하여 고차원 이산 (Atari) 및 연속 제어 (Brax) 벤치마크에서 동등하거나 더 나은 성능을 발휘하면서도 실질적으로 더 큰 목표 정책 업데이트를 실행함을 입증.

결과

저자들은 SV-PPO 를 16 개 Atari 게임과 12 개 Brax 연속 제어 작업에서 표준 PPO 와 비교 평가했습니다.

• 성능: SV-PPO 는 PPO 성능과 일치하거나 초과했습니다. Atari 에서 동적 변형은 16 개 게임 중 11 개에서 PPO 를 이겼으며 (6 개에서 통계적으로 유의미함), 정적 변형은 7 개 게임에서 PPO 를 이겼습니다. Brax 에서 동적 변형은 중앙값 1% 의 개선을 보였습니다.
• 업데이트 크기: SV-PPO 는 훨씬 더 큰 목표 정책 업데이트를 실행했습니다. 정적 변형은 KL 발산 기준으로 PPO 보다 약 511% 더 큰 업데이트를 수행했으며, 동적 변형은 평균적으로 96% 더 큰 업데이트를 수행했습니다.
• 행동 안정성: 더 큰 목표 점프에도 불구하고 행동 정책 업데이트는 작고 제약된 상태로 유지되어 데이터 수집 중 분포 이동이 제어되었음을 보장했습니다.
• 사례 연구 (Four Rooms): 그리드 월드 실험에서 표준 PPO 는 드물게 방문된 상태에 대한 부정확한 가치 추정에 기반한 조기 업데이트로 인해 80 회 반복 부근에서 "가치 churn"과 치명적인 망각을 겪었습니다. 반면 SV-PPO 는 목표 정책을 고정하고 행동 정책이 광범위한 데이터를 수집하도록 함으로써 이러한 실패 없이 최적 정책으로 성공적으로 수렴했습니다.

중요성과 주장

이 논문은 ANPS 가 고전적인 보수적 정책 업데이트 전략에 대한 실행 가능한 대안을 제공한다고 주장합니다. 분포 정렬의 부담을 정책 업데이트 크기에서 데이터 수집 과정으로 이동시킴으로써, ANPS 는 현대 심층 RL 의 안전성 보장을 유지하면서도 고전적 정책 반복의 특징인 "큰 점프"를 가능하게 합니다.

저자들은 이 접근법이 피할 것이 아니라 다음 정책이 방문할 상태를 능동적으로 샘플링함으로써 분포 불일치 문제를 해결한다고 강조합니다. 그들은 이 방법이 오프-정책 평가 (별도의 행동 정책 도입) 에 의존하고 업데이트 시기를 결정하기 위해 가치 추정치의 안정성이라는 대리 지표를 사용하지만, 관련 분포에서 기본 가치 함수가 충분히 정확하다면 큰 정책 업데이트가 안전할 수 있음을 성공적으로 입증했다고 지적합니다. 이 연구는 정책 업데이트에 대한 "보수적" 제약이 RL 안정성의 근본적 요구사항이라기보다는 현재 알고리즘 설계의 산물일 수 있음을 시사합니다.