기술적 요약: 가우시안 평활화를 활용한 소프트 결정론적 정책 경사

문제 제기

결정론적 정책 경사 (DPG) 와 그 딥러닝 구현체인 심층 결정론적 정책 경사 (DDPG) 는 연속 제어 작업에 널리 사용됩니다. 그러나 이러한 방법들은 중요한 가정에 의존합니다: 행동 가치 함수 (크리틱) 가 행동에 대해 미분 가능해야 한다는 것입니다. 희소하거나 이산적인 보상을 포함하는 실제 제어 문제에서, 결과적으로 도출된 Q-함수는 종종 매끄럽지 않거나 미분 불가능합니다. 이러한 조건 하에서 DPG 업데이트에 필요한 행동 경사는 정의되지 않거나 매우 불안정해져 학습 성능이 저하됩니다. 저자들은 표준 시차 (Temporal Difference, TD) 학습이 크리틱의 행동 경사의 매끄러움을 명시적으로 제약하지 않기 때문에, DPG 가 로봇 공학 및 자율 주행에서 흔히 발생하는 불규칙한 보상 지형에 민감하다고 지적합니다.

방법론

본 논문은 표준 벨만 백업을 가우시안 평활화 (Gaussian Smoothing, GS) 를 통해 공식화된 $\sigma$-평활화된 벨만 방정식으로 대체하는 소프트 결정론적 정책 경사 (Soft-DPG) 프레임워크를 제안합니다.

핵심 이론적 프레임워크

1. $\sigma$-평활화된 벨만 방정식: 표준 Q-함수 $Q^\pi(s, a)$를 학습하는 대신, 이 방법은 평활화된 행동 가치 함수 $Q^\pi_\sigma(s, a)$를 학습합니다. 이는 새로운 연산자 $T^\pi_\sigma$의 고정점으로 정의됩니다:
   $$Q^\pi_\sigma(s, a) = R(s, a) + \gamma \mathbb{E}_{s' \sim P(\cdot|s,a), w \sim \mathcal{N}(0, I)} [Q^\pi_\sigma(s', \pi(s') + \sigma w)]$$
   핵심적으로, 평활화는 벨만 백업 연산자에 직접 적용되어, 결과적으로 도출된 가치 함수가 학습된 크리틱의 사후 평활화가 아닌 평활화된 역학과 일치하도록 보장합니다.

2. 소프트-DPG 정리: 가우시안 평활화의 특성을 활용하여 저자들은 새로운 정책 경사 정리를 유도합니다. 표준 DPG 가 $\nabla_a Q(s, a)$를 요구하는 것과 달리, 소프트-DPG 경사는 교란된 행동에서 평활화된 크리틱의 함수 평가에만 의존합니다:
   $$\nabla_\theta J_\sigma = \mathbb{E}_{s \sim \rho_{\nu_\theta}, \tilde{a} \sim \nu_\theta} \left[ \frac{1}{\sigma^2} \nabla_\theta \pi_\theta(s) (\tilde{a} - \pi_\theta(s)) Q^{\pi_\theta}_\sigma(s, \tilde{a}) \right]$$
   여기서 $\tilde{a} = \pi_\theta(s) + \sigma w$입니다. 이 공식화는 크리틱의 행동 경사에 대한 명시적 의존성을 제거하여, 기본 Q-함수가 매끄럽지 않더라도 경사가 잘 정의되도록 보장합니다.

3. 이론적 보장: 본 논문은 평활화 매개변수 $\sigma$로 인해 도입된 근사 오차에 대한 엄격한 상한을 제공합니다. 보상 및 전이 역학이 리프시츠 연속성 조건을 만족한다면, 원래 가치 함수와 평활화된 버전 사이의 차이가 유계이며 제어 가능함을 입증합니다.

알고리즘 구현: 소프트 DDPG

저자들은 이 프레임워크를 소프트 DDPG라는 심층 강화 학습 알고리즘으로 구현합니다. 이 알고리즘은 표준 DDPG 아키텍처 (리플레이 버퍼 및 타겟 네트워크를 갖춘 액터 - 크리틱) 를 따르지만 업데이트 규칙을 수정합니다:

• 크리틱 업데이트: 타겟 값은 가우시안 교란이 가해진 타겟 행동 ($\tilde{a}' = \bar{\pi}(s') + \sigma w$) 을 사용하여 계산되며, 이는 크리틱이 평활화된 벨만 연산자의 고정점을 근사하도록 훈련시키는 효과를 가집니다.
• 액터 업데이트: 정책은 가우시안 교란이 가해진 행동을 샘플링하고 평활화된 크리틱을 평가하여 업데이트되며, $\nabla_a Q$의 계산을 피합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 소프트-DPG 프레임워크: 가우시안 평활화를 벨만 연산자에 직접 통합함으로써 표준 DPG 의 미분 가능성 한계를 극복하는 원칙적인 프레임워크의 도입.
2. 이론적 분석: 원래 MDP 와 평활화된 MDP 간의 행동 가치 및 상태 가치 함수에서 발생하는 근사 오차에 대한 분석적 상한 유도 및 평활화 매개변수로 인한 편향에 대한 공식적 보장 제공.
3. 소프트 DDPG 알고리즘: 특히 불규칙한 보상 표면이 있는 환경에서 경쟁력 있는 안정성과 성능을 입증하는 실용적인 심층 RL 알고리즘의 구현.

실험 결과

저자들은 표준 MuJoCo 연속 제어 벤치마크 (OpenAI Gym) 와 그들의 이산화 보상 변형에서 소프트 DDPG 를 평가했습니다.

• 연속 보상 환경: 표준 밀집 보상 설정 (예: HalfCheetah, Hopper) 에서 바닐라 DDPG 는 일반적으로 더 높은 성능을 달성합니다. 저자들은 기본 가치 함수가 이미 매끄러운 경우 가우시안 평활화가 근사 편향을 도입하므로 이는 이론적으로 예상된 것이라고 지적합니다. 그러나 소프트 DDPG 는 이러한 설정에서도 경쟁력을 유지합니다.
• 이산 보상 환경: 보상이 희소하거나 이산적이거나 매끄럽지 않은 환경에서 소프트 DDPG 는 표준 DDPG 보다 명확하고 일관된 개선을 보여줍니다. Ant, Hopper, Inverted Double Pendulum과 같이 보상이 이산화된 작업에서 표준 DDPG 는 정의되지 않은 경사로 인해 불안정한 학습을 겪는 반면, 소프트 DDPG 는 안정적인 정책 업데이트를 유지하고 더 높은 최종 보상을 달성합니다.
• 추가 벤치마크: BipedalWalker 및 MountainCar와 같은 환경에서 이산 보상을 사용한 추가 실험은 대부분의 비매끄러운 시나리오에서 소프트 DDPG 가 베이스라인을 능가함을 확인했습니다.

중요성과 주장

본 논문은 소프트-DPG 가 비매끄러운 환경에서 결정론적 정책 경사의 불안정성에 대한 원칙적인 해결책을 제공한다고 주장합니다. 크리틱 행동 경사에 대한 의존성을 제거함으로써, 이 방법은 Q-함수가 미분 불가능할 때도 정책 업데이트가 잘 정의되도록 보장합니다.

저자들은 소프트 DDPG 를 로봇 공학 및 자율 주행과 같이 희소하거나 이산적인 보상이 흔한 불규칙한 보상 지형을 포함하는 제어 작업에 대한 강력한 대안으로 위치시킵니다. 그들은 평활화 매개변수 $\sigma$의 튜닝이 필요하다는 점과 다른 DDPG 기반 방법들처럼 심층 RL 설정에서 수렴 보장이 없이 하이퍼파라미터에 대한 민감성을 계승한다는 한계를 인정합니다. 이 작업은 모든 시나리오에서 DDPG 를 대체한다고 주장하는 것이 아니라, 표준 가정이 실패하는 더 넓은 범주의 문제로 그 적용 범위를 확장하는 것입니다.