기술적 요약: 혼합 기울기를 통한 하이브리드 이산 - 연속 행동 공간에서의 정책 최적화

문제 제기

이 논문은 대규모 문제에서 강화 학습 (RL) 의 근본적인 한계인 고차원 행동 공간에서의 신용 할당 (credit assignment) 문제를 다룹니다. REINFORCE 와 Proximal Policy Optimization (PPO) 과 같은 표준 모델 없는 정책 기울기 방법은 스코어 함수 (SF) 추정기에 의존합니다. 이러한 방법들은 정책 교란과 누적 보상을 상관관계로 분석하여 기울기를 추정합니다. 고차원 환경에서는 단일 스칼라 반환값이 외생적 무작위성과 얽힌 수천 개의 행동 구성 요소에 귀속되어야 하므로, 이 접근법은 심각한 신호 - 대 - 잡음비 저하를 겪습니다.

반면 미분 가능한 시뮬레이션(경로별 또는 PW 기울기) 은 시뮬레이터를 통해 역전파하여 더 정교한 신용 할당을 얻을 수 있는 해결책을 제시합니다. 그러나 전통적으로 완전히 매끄러운 동역학을 필요로 합니다. 로봇 공학, 제어, 운영 연구의 많은 실제 문제들은 하이브리드 이산 - 연속 행동 공간(예: 이산적 체제를 선택하고 그 안에서 연속적 제어를 최적화하는 경우) 이나 불연속성을 가진 조각별 매끄러운 동역학을 포함합니다. 이러한 환경에서는 표준 PW 기울기가 편향되거나 정보 제공이 불가능해지므로, 실무자들은 덜 효율적인 SF 기반 방법으로 되돌아가고 이용 가능한 구조적 정보를 폐기해야 합니다.

핵심적인 과제는 역전파를 통해 연속 구성 요소의 매끄러움을 활용하면서도 편향을 도입하지 않고 이산적 결정과 불연속성을 올바르게 처리하는 정책 최적화 프레임워크를 개발하는 것입니다.

방법론: 하이브리드 정책 최적화 (HPO)

저자들은 훈련 중 외생적 무작위성 (예: 수요, 날씨) 의 전체 실현에 접근할 수 있는 시뮬레이터를 갖는 외생적 MDP를 위한 하이브리드 정책 최적화 (HPO) 프레임워크를 제안합니다. 이를 통해 동일한 궤적에 대한 반사실적 정책 평가가 가능해집니다.

1. 정책 표현

정책 $\pi$는 두 구성 요소로 분해됩니다:

• 이산 구성 요소 ($\pi^X_\phi$): 유한 집합 $\mathcal{X}$에서 이산 행동 $x_t$(예: 체제 또는 모드) 를 선택하는 확률적 정책.
• 연속 구성 요소 ($\pi^B_\kappa$): 가능한 각 이산 행동 $j \in \mathcal{X}$에 대해 후보 연속 행동 $b_t$를 출력하는 결정론적 제어기. 실행되는 행동은 $b_t = \pi^B_\kappa(s_t)[x_t]$입니다.

이 "타워형" 구조는 이산 행동이 조건부로 주어졌을 때 연속 제어기가 매개변수 $\kappa$에 대해 매끄럽게 작동하도록 허용합니다.

2. 혼합 기울기 추정기

핵심 이론적 기여는 경로별 (PW) 과 스코어 함수 (SF) 항을 결합한 편향 없는 혼합 기울기 추정기입니다. 매개변수 $\theta = (\phi, \kappa)$로 파라미터화된 정책에 대해 기울기는 다음과 같습니다:

• 이산 기울기 ($\nabla_\phi J$): 표준 SF 추정기를 사용하여 계산:
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• 연속 기울기 ($\nabla_\kappa J$): 경로별 항과 교차 항의 합으로 계산:
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{PW 기울기 항}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{교차 항}}$$

핵심 메커니즘:

• PW 항은 이산 행동을 고정하고 시뮬레이터를 통해 연속 행동에 대해 역전파합니다. 이는 비용에 대한 연속 행동의 직접적인 효과를 분리하여 신용 할당을 크게 개선합니다.
• 교차 항은 연속 매개변수 $\kappa$의 변화가 어떻게 상태 궤적 $s_t(\kappa)$를 변경하고, 이것이 다시 이산 정책 $\pi^X_\phi$의 확률 분포를 이동시키는지 포착합니다.
• 이 추정기는 자동 미분 프레임워크 (예: PyTorch) 에서 stop_grad(detach) 연산을 사용하여 구현됩니다. 이는 PW 항에 대해 이산 샘플링을 고정된 것으로 처리하면서, 교차 항은 상태에 대한 이산 로그 확률의 의존성을 유지하도록 합니다.

3. 불연속성 처리

이 논문은 행동 불연속성을 가진 문제 (조각별 매끄러운 MDP) 를 하이브리드 MDP 로 재구성할 수 있음을 보여줍니다. 행동 공간의 "매끄러운 영역"을 선택하는 이산 행동과 해당 영역 내의 제어를 지정하는 연속 행동을 도입함으로써, 프레임워크는 국소적 매끄러움을 활용하면서도 편향 없음을 유지합니다.

주요 기여

1. HPO 프레임워크: 하이브리드 이산 - 연속 행동 공간을 위한 정책 최적화 프레임워크로, 편향 없는 혼합 기울기 추정기를 산출합니다. 이는 문제 구조가 허용하는 wherever 경로별 (PW) 기울기를 활용하여 순수 PW 방법의 취약성과 순수 SF 방법의 높은 분산을 모두 피합니다.
2. 교차 항의 이론적 특성화: 저자들은 이산 정책이 **최적 반응 (best response)**에 접근함에 따라 교차 항이 소멸됨을 증명합니다 (정리 2). 구체적으로, 교차 항의 크기는 이산 정책의 비최적성 ($\epsilon$) 과 상태의 연속 매개변수에 대한 민감도에 의해 상한이 결정됩니다. 이 결과는 최적점 근처에서 이산 및 연속 구성 요소 간의 결합이 약화되어 근사적 분산 업데이트가 가능함을 시사합니다.
3. 실증적 검증: **공동 재주문 문제 (JRP)**와 **스위칭 선형 2 차 조절기 (S-LQR)**에 대한 광범위한 실험은 HPO 가 특히 연속 행동 차원이 증가함에 따라 PPO 를 크게 능가함을 보여줍니다.
   • 확장성: HPO 의 PPO 대비 성능 격차는 연속 행동 공간의 차원 ($p$) 이 커짐에 따라 현저히 확대됩니다. 예를 들어, S-LQR 에서 PPO 는 $p > 24$일 때 수렴에 실패하는 반면, HPO 는 $p=48$까지 안정적으로 수렴합니다.
   • 기울기 품질: 분석 결과, 혼합 추정기는 고차원에서 높은 정렬성과 낮은 RMSE 를 유지하는 반면, PPO 가 사용하는 순수 SF 추정기는 차원이 커짐에 따라 정렬성이 거의 0 으로 붕괴되는 것으로 나타났습니다.
4. 분산 감소 전략: 이 논문은 최적점 근처에서 교차 항을 제거 (HPONoCross) 하는 것이 유익할 수 있음을 보여줍니다. 교차 항의 기대값은 이산 정책이 개선됨에 따라 소멸하는 반면 분산은 증가하므로, 훈련의 최종 단계에서 이를 제거하면 상당한 편향을 도입하지 않고 노이즈를 줄일 수 있습니다.

결과 및 의의

이 논문은 HPO 가 미분 가능한 시뮬레이터를 사용할 수 있지만 이산적 결정이 역사적으로 경로별 방법의 적용 범위를 제한해 온 현실적이고 대규모의 문제에 정책 기울기 방법을 적용하는 데 중요한 진전이라고 주장합니다.

• 성능: JRP 및 S-LQR 벤치마크에서 HPO 는 PPO 에 비해 일관되게 낮은 테스트 손실을 달성하며, 목표 성능 격차에 도달하는 데 필요한 정책 업데이트 횟수가 적습니다. 이 이점은 고차원 연속 공간 ($p \ge 40$) 에서 가장 두드러집니다.
• 기울기 효율성: 혼합 기울기는 순수 SF 기울기보다 훨씬 더 나은 신호를 제공합니다. 고차원에서 SF 추정기의 실제 기울기 방향에 대한 정렬성은 거의 0 으로 떨어지는 반면, 혼합 추정기는 0.8 이상의 정렬성을 유지합니다.
• 분산화 가능성: 소멸하는 교차 항에 대한 이론적 결과는 이산 정책이 최적 반응에 충분히 근접한 시점에 이산 및 연속 구성 요소를 별도로 최적화할 수 있는 반분산 훈련의 경로를 시사합니다.

저자들은 이 작업을 모델 없는 RL 과 미분 가능한 시뮬레이션 간의 가교로 위치시키며,后者의 적용 범위를 하이브리드 행동 공간으로 확장하면서 수렴에 필요한 편향 없음을 희생하지 않도록 합니다. 추가 연구를 촉진하기 위해 코드와 자료가 공개되었습니다.