기술 요약: 연속적 행동 공간에서의 재시도 정책 경사 (Retry Policy Gradients)

문제 정의

탐색(Exploration)은 강화 학습(RL), 특히 연속 제어 분야에서 핵심적인 과제로 남아 있습니다. 일반적인 접근 방식은 대개 확률적 정책과 명시적인 엔트로피 정규화(예: Soft Actor-Critic, SAC) 또는 노이즈 주입을 결합하여 사용합니다. 이러한 방법들은 효과적이긴 하지만, 보조적인 엔트로피 보너스를 도입하여 최적 정책이 높은 엔트로피를 갖도록 편향시키며, 결과적으로 진정한 결정론적 최적해(deterministic optimum)로의 수렴을 방해할 수 있습니다.

최근 "재시도 기반(retry-based)" 목적 함수(예: pass@K, max@K)가 이산 행동 공간 및 대규모 언어 모델(LLM) 사후 학습에서 유망한 성과를 보여주고 있습니다. 이러한 목적 함수는 기대 수익(expected return) 대신 $M$개의 샘플링된 궤적으로부터 얻은 최대 수익을 최적화합니다. 선행 연구인 ReMax는 이산 공간에서 이 목적 함수가 명시적인 엔트로피 보너스 없이도 수익 불확실성에 적응함으로써 자연스럽게 탐색을 장려한다는 것을 입증했습니다. 그러나 연속적 행동 공간에서의 ReMax에 대한 이론적 특성은 아직 탐구되지 않았으며, 이산 공간을 위한 기존의 경사 추정기(gradient estimator)는 연속 도메인으로 확장되지 않습니다.

방법론

이론적 프레임워크

저자들은 경로 미분 추정기(pathwise derivative estimator)를 사용하여 ReMax 목적 함수를 연속적 행동 공간으로 확장합니다.

• 목적 함수: Q-함수 $Q(s, a)$와 재시도 예산 $M$이 주어졌을 때, 목적 함수는 다음과 같이 정의됩니다:
  $$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$$
  엔트로피 정규화 목적 함수와 달리, 이 공식은 결정론적 최적 정책($\pi^*$)을 전역 최적해로 보존하며, 엔트로피 보너스에 내재된 확률성 편향을 피합니다.

• 경사 추정: 연속 공간에서는 정확한 계산이 불가능하므로, 저자들은 재매개변수화(Reparameterization, RP) 경사 추정기를 채택합니다. 행동은 $a_i = \mu + \sigma \epsilon_i$ (여기서 $\epsilon_i \sim \mathcal{N}(0, I)$)를 통해 샘플링됩니다. 목적 함수는 $B$개의 행동을 샘사플링하고, 그들의 Q-값을 정렬한 뒤, 상위 $M$개 값의 가중 합을 계산함으로써 근사됩니다. 이를 통해 Q-네트워크와 정책 파라미터에 대한 역전파가 가능해집니다.

경사 역학의 이론적 분석

본 논문은 이차 보상 함수 $r(a) = -a^2$를 갖는 가우시안 정책 $\mathcal{N}(\mu, \sigma^2)$에 대해 ReMax 경사가 어떻게 최적화 지형을 재형성하는지에 대한 상세한 분석을 제공합니다. $M > 1$일 때 두 가지 핵심 메커니즘이 식별되었습니다:

1. 엔트로피 증가 (방향 효과): 정책의 평균이 최적점에서 멀리 있고 스케일 $\sigma$가 작을 때, 경사 방향은 자연스럽게 $\sigma$를 증가시키는 방향을 가리킵니다. 이는 $M$개의 샘플에 대한 "max" 연산자가 보상(또는 비용)의 긍정적인 기대 상승 변동을 생성하며, 이는 정책의 스케일을 키움으로써만 접근 가능하기 때문입니다. 이는 명시적인 보너스 없이도 확률적 탐색을 촉진합니다.
2. 경사 감쇠 (크기 효과): 정책이 최적점에 도달함에 따라 경사 노름(gradient norm)이 감소합니다. $M$개의 샘플 중 최적의 것을 선택하는 것은 최적점으로부터의 편차를 줄여, 결과적으로 하위 최적(suboptimal) 샘플들을 "용서"하고 수렴 속도를 늦추는 효과를 냅니다. 이 감쇠 효과는 훈련 과정 동안 더 높은 엔트로피를 더 오래 유지하도록 돕습니다.

저자들은 또한 Adam 옵티마이저와의 상호작용을 분석합니다. 그들은 Adam의 적응형 정규화(특히 안정화 파라미터 $\epsilon$)가 경사 감쇠 효과를 상쇄할 수 있음을 보여줍니다. 작은 $\epsilon$ (기본값 $10^{-8}$)은 경사를 정규화하여 수렴을 가속화하고 엔트로피 유지 효과를 감소시킬 수 있는 반면, 더 큰 $\epsilon$은 감쇠 동작을 복원합니다.

알고리즘: ReMAC

저자들은 이러한 발견을 오프 폴리시 액터-크리틱 알고리즘인 **ReMax Actor-Critic (ReMAC)**에 구현합니다.

• 크리틱 (Critic): 클리핑된 더블 Q-러닝(오버에스티메이션을 줄이기 위해 두 개의 크리틱 사용)을 포함한 표준 시간 차(temporal-difference) 회귀를 통해 훈련됩니다.
• 액터 (Actor): ReMax 목적 함수의 경로 미분을 사용하여 최적화됩니다.
• 구현: ReMAC은 엔트로피 보너스와 온도 튜닝을 제거하고 액터 손실을 ReMax 손실로 교체함으로써 SAC에 대한 최소한의 수정 사항으로 제시됩니다.

주요 결과

이론적 발견

• 벡터장 분석: 1D 가우시안 정책에 대한 경사 벡터장 시각화 결과, $M > 1$일 때 경사는 최적점에서 멀어질 때 정책을 높은 엔트로피 쪽으로 밀어내는 반면, 표준 RL ($M=1$)은 항상 낮은 엔트로피 쪽으로 밀어낸다는 것을 확인했습니다.
• 수렴 특성: ReMax는 결정론적 최적해($\mu=0, \sigma=0$)로 수렴하는 반면, 엔트로피 정규화는 확률적 최적해($\mu=0, \sigma>0$)로 수렴합니다.
• Adam 상호작용: 토이 문제를 통한 이론적/경험적 분석은 감쇠 효과가 Adam의 $\epsilon$ 파라미터에 민감하다는 것을 보여줍니다.

경험적 평가

Brax 스위트(Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d)의 6개 연속 제어 태스크에 대해 3백만 스텝 동안 실험을 수행했습니다.

• 성능: $M > 1$인 ReMAC은 SAC와 대등한 성능을 보였으며, 일반적으로 PPO보다 우수한 성능을 나타냈습니다. 몇몇 환경(Ant, Reacher, Swimmer, Walker2d)에서는 더 큰 재시도 예산($M=4, 8$)이 $M=1$보다 높은 평균 수익을 기록했습니다.
• 엔트로피 역학: 이론적 예측과 일치하게, $M > 1$인 ReMAC은 훈련 전반에 걸쳐 $M=1$(표준 RL)보다 높은 정책 엔트로피를 유지했습니다. 엔트로피는 특히 Ant와 Swimmer 환경에서 $M$이 커짐에 따라 증가하는 경향을 보였습니다.
• SAC와의 비교: ReMAC은 표준 RL($M=1$)보다 높은 엔트로피를 달성했지만, 명시적 엔트로피 극대화를 수행하는 SAC보다는 낮은 엔트로피를 유지했습니다. 이는 예상된 결과입니다.

의의 및 주장

본 논문의 기여는 다음과 같이 정리됩니다:

1. 이론적 확장: ReMax를 연속적 행동 공간으로 확장하고, 경로 미분(pathwise derivatives)을 통해 탐색 촉진 특성에 대한 엄밀한 이론적 설명을 제공한 첫 번째 연구입니다.
2. 내재적 탐색: 재시도 기반 목적 함수가 명시적인 엔트로피 보너스가 아닌 경사 지형의 기하학적 구조(방향 및 크기)를 통해 어떻게 확률적 탐색을 유도할 수 있는지 입증했습니다. 이는 최적 정책을 결정론적 해에서 벗어나게 만드는 편향을 방지합니다.
3. 실용적 타당성: ReMAC의 도입은 이러한 이론적 특성이 최소한의 아키텍처 변경만으로 실제 딥 RL 환경에서 SAC 수준의 성능을 달anim으로써 실용적으로 작동함을 보여줍니다.
4. 최적화 통찰: 본 연구는 재시도 기반 목적 함수의 탐색-수렴 트레이드오프를 조절하는 데 있어 옵티마이저의 하이퍼파라미터(특히 Adam의 $\epsilon$)의 결정적인 역할을 강조합니다.

저자들은 자신의 이론적 분석이 매끄러움(smoothness)과 강볼록성(strong convexity)을 가정하고 있으며, 이것이 모든 실제 딥 RL 환경에서 성립하지 않을 수 있음을 언급하며 연구 범위를 겸손하게 설정했습니다. 이들은 ReMAC을 확률적 탐색을 위한 개념 증명(proof-of-concept)으로 제시하며, 향후 연구에서 ReMax를 Q-함수에 대한 사후 샘플링(posterior sampling)과 결합하여 희소 보상(sparse-reward) 환경에서의 "심층 탐색(deep exploration)"을 가능하게 할 수 있다고 제언합니다.