기술적 요약: 엔트로피 정규화 액터-크리틱에서의 혼합 정책 재검토

문제 제기

연속 행동 강화학습 (RL) 에서, 특히 Soft Actor-Critic(SAC) 과 같은 엔트로피 정규화 액터-크리틱 프레임워크 내에서 표준 정책 매개변수화는 단봉형 (unimodal) 가우시안 분포 (또는 그 경계 "스쿼시드" 변형) 입니다. 혼합 정책 (예: 가우시안 혼합 모델) 은 이론적으로 다봉형 최적 정책을 표현할 수 있는 더 큰 유연성과 탐색을 용이하게 하지만, 최첨단 알고리즘에서는 크게 부재해 왔습니다.

혼합 정책 채택의 주요 장벽은 저분산 재매개변화 (RP) 기울기 추정치의 부재입니다. SAC 의 안정성과 성능에 결정적인 역할을 하는 표준 RP 기법은 행동을 노이즈와 매개변수의 결정론적 함수로 표현할 수 있는 능력 ($a = f_\theta(\epsilon)$) 에 의존합니다. 혼합 정책의 경우, 구성 요소 선택 (혼합 가중치) 의 이산적 특성으로 인해 직접적인 재매개변화가 불가능하여, 유연성을 훼손하는 고분산 가능도비 (LR) 추정치나 임시 방편에 의존할 수밖에 없습니다. 본 논문은 이 기울기 추정 격차를 해결함으로써 혼합 정책의 이론적 이점을 실제로 실현할 수 있는지 조사합니다.

방법론

1. 혼합 정책의 이론적 분석

저자들은 먼저 엔트로피 정규화 하에서 혼합 정책의 견고성에 관한 이론적 보장을 확립합니다:

• 정상점 (Stationary Points): 그들은 혼합 정책의 정상점 집합이 기본 단봉형 정책의 정상점 집합의 초집합 (superset) 임을 증명합니다. 결과적으로, 혼합 정책의 최적 정상점은 기본 정책의 정상점과 적어도 동등하게 좋음이 보장됩니다.
• 고엔트로피 하의 존재성: 강한 엔트로피 정규화 (큰 엔트로피 스케일 $\alpha$) 가 있는 시나리오에서는 단봉형 가우시안 정책이 정상점을 갖지 못해 발산할 수 있습니다. 반면, 가우시안 혼합 (GM) 정책은 더 큰 $\alpha$ 값에서도 정상점을 유지하는 것으로 밝혀져 더 큰 견고성을 제공합니다.
• 다봉성 (Multimodality): 분석에 따르면 혼합 정책은 다봉형 보상 지형을 가진 환경에 더 적합합니다. 이는 단일 모드로 붕괴되는 단봉형 정책에서 흔히 발생하는 실패 양상 없이 여러 모드에 걸쳐 높은 확률 질량을 유지할 수 있기 때문입니다.

2. 주변화 재매개변화 (MRP) 추정치

혼합 정책의 실용적 훈련을 가능하게 하기 위해, 본 논문은 주변화 재매개변화 (Marginalized Reparameterization, MRP) 추정치를 제안합니다.

• 유도: 저자들은 재매개변화 정책 기울기 정리를 혼합 정책으로 확장합니다. 편향 없이 불가능한 이산 혼합 변수를 재매개변화하는 대신, 이산 구성 요소 선택 변수 $K$에 대해 주변화 (marginalize) 합니다.
• 메커니즘: MRP 추정치는 모든 혼합 구성 요소의 기여도를 혼합 확률로 가중치하여 합산하고, 연속 구성 요소 정책만 재매개변화함으로써 기울기를 계산합니다.
  $$\hat{\nabla}_\theta \hat{J}(\pi^m_\theta) = \nabla_\theta \sum_{k=1}^N \pi^w_\theta(k|S_t) \left( Q_w(S_t, f_\theta(\epsilon_t; S_t, k)) - \alpha \log \pi^m_\theta(f_\theta(\epsilon_t; S_t, k)|S_t) \right)$$
• 분산 특성: 저자들은 보상 함수에 대한 특정 매끄러움 가정 하에서 MRP 추정치의 공분산 행렬의 대각합 (trace) 이 표준 LR 추정치보다 낮음을 증명합니다. 이 이론적 분산 감소는 고차원 연속 제어에서의 안정성에 결정적입니다.

3. 실험 설정

저자들은 SAC 를 기본 알고리즘으로 사용하여 광범위한 벤치마크를 통해 제안된 방법을 평가합니다:

• 합성 밴딧 (Synthetic Bandits): 피크 찾기 능력을 테스트하기 위해 다봉형 크리틱 함수를 모방하도록 설계됨.
• 연속 제어 벤치마크: OpenAI Gym MuJoCo(7 개 작업), DeepMind Control Suite(10 개 작업), MetaWorld(30 개 작업), MyoSuite(10 개 작업), 그리고 고전적 제어 환경 (Pendulum, Acrobot, MountainCar) 을 포함한 57 개 환경.
• 베이스라인: RP 를 사용한 표준 스쿼시드 가우시안 (SG), LR 을 사용한 스쿼시드 가우시안 혼합 (SGM), 반재매개변화 (HalfRP), 그리고 Gumbel-Softmax RP(GumbelRP) 와의 비교 포함.

주요 결과

1. 대안 추정치 대비 MRP 의 우위성

혼합 정책에 대한 기울기 추정치를 비교하는 실험에서, MRP 추정치는 LR, HalfRP, GumbelRP 추정치보다 일관되게 우수한 성능을 발휘합니다.

• 안정성: LR 추정치는 고차원 환경 (예: Humanoid, HumanoidStandup) 에서 자주 발산하는 반면, MRP 는 안정성을 유지합니다.
• 분산: 경험적 측정은 LR 추정치가 베이스라인을 갖추었음에도 불구하고 MRP 가 LR 보다 현저히 낮은 기울기 분산을 보임을 확인시켜 줍니다.
• 편향: Gumbel-Softmax 트릭을 통해 편향을 도입하는 GumbelRP 추정치와 달리, MRP 는 편향되지 않은 상태를 유지합니다.

2. 혼합 정책의 성능

• 일반 벤치마크: 57 개 연속 제어 환경 전반에 걸쳐 혼합 정책 (SGM-MRP) 은 기본 단봉형 정책 (SG-RP) 과 동등하거나 약간 더 나은 성능을 발휘합니다. MetaWorld 에서는 혼합 정책이 종종 현저히 높은 성공률을 달성합니다.
• 다봉형 밴딧: 다봉형 보상 함수를 가진 합성 밴딧 작업에서 혼합 정책은 기본 정책보다 최대 피크를 찾을 가능성이 더 높아, 우수한 탐색 능력을 입증합니다.
• 비형상 보상 (Unshaped Rewards): 혼합 정책의 가장 중요한 경험적 이점은 비형상 (희소) 보상이 있는 환경에서 관찰됩니다 (예: 표준 MountainCar, Acrobot). 크리틱이 덜 매끄럽고 여러 피크를 보이는 이러한 설정에서 혼합 정책은 기본 정책을 크게 능가합니다. 저자들은 이를 혼합 정책이 동시에 여러 행동 모드를 유지하여 밀집된 보상 신호가 부재할 때 더 효율적인 탐색을 가능하게 하기 때문이라고 설명합니다.
• 엔트로피 견고성: 이론적 예측과 일치하게, 혼합 정책은 기본 정책이 종종 수렴하지 않거나 하위 최적 모드로 붕괴되는 더 높은 엔트로피 스케일에서도 성능을 유지합니다.

중요성과 주장

본 논문은 혼합 정책을 엔트로피 정규화 액터-크리틱 알고리즘을 위한 "이론적 호기심"에서 "실용적 도구"로 격상시킨다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 이론적 정당성: 단봉형 정책에 비해 혼합 정책이 엔트로피 정규화에 대한 해결 품질과 견고성을 향상시킨다는 최초의 증명을 제공합니다. 특히 고엔트로피 하에서 정상점의 존재와 관련하여 그렇습니다.
2. 알고리즘적 혁신: 유연성을 훼손하지 않는 혼합 정책을 위한 최초의 편향 없는 RP 기반 기울기 추정치인 주변화 재매개변화 (MRP) 추정치를 도입합니다. 본 논문은 이 추정치가 표준 LR 접근법보다 분산이 낮음을 증명합니다.
3. 경험적 검증: 광범위한 실험을 통해 MRP 가 혼합 정책이 표준 가우시안 정책과 동등하거나 그 이상의 성능을 발휘하게 하며, 다봉형 보상 지형과 비형상 보상이 특징인 환경에서 명확한 이점을 제공함을 입증합니다.

저자들은 혼합 정책이 modest 한 계산 오버헤드를 도입하지만, MRP 추정치가 이를 단봉형 정책에 대한 실현 가능하고 종종 더 우수한 대안으로 만든다고 결론지으며, 특히 도전적인 탐색 시나리오에서 그렇다고 강조합니다. 그들은 혼합 정책이 모든 작업에 대해 보편적으로 우월하다고 주장하지는 않지만, 엔트로피 정규화 설정에서 단봉형 표현의 한계를 극복하는 데 있어 그 특정 유용성을 강조합니다.