기술 요약: 확률적 탐색을 통한 미분 가능 시뮬레이터의 모델 기반 정책 최적화

1. 문제 제기

미분 가능 계획 (Differentiable planning) 은 시스템 동역학의 미분 가능 모델을 활용하여 의사결정 문제의 그래디언트 기반 최적화를 가능하게 합니다. 결정론적 환경에서는 효과적이지만, 이 접근법은 매우 비선형적이고 혼합된 이산 - 연속 영역에 적용될 때 상당한 어려움에 직면합니다.

핵심 문제는 **최적화 지형 (optimization landscape)**에 있습니다. 혼합 영역에서 그래디언트 전파를 가능하게 하기 위해 이산적이거나 논리적인 구조는 부드러운 완화 (예: t-norm) 를 통해 근사화되어야 합니다. 이는 근본적인 트레이드오프를 초래합니다:

• 높은 충실도의 완화 (High Fidelity Relaxations): 원래 문제를 밀접하게 근사하지만, 평탄한 영역, 급격한 전환, 불연속성이 특징인 **조건이 나쁜 지형 (ill-conditioned landscapes)**을 초래합니다. 이러한 영역에서는 그래디언트가 정의되지 않거나 정보가 부족하여 최적화 알고리즘이 열악한 지역 최적점에 갇히게 됩니다.
• 공격적인 평활화 (Aggressive Smoothing): 그래디언트 행동과 최적화 처리 가능성을 개선하지만, 근본적인 문제 기하학을 왜곡하여 실제 동역학 하에서 비최적이거나 실행 불가능한 해를 초래할 수 있습니다.

결과적으로, 표준 결정론적 미분 가능 계획은 근본적인 모델이 정확하더라도 수렴 속도가 느리고 초기값에 민감하며 열악한 지역 최적점에서 벗어나지 못하는 경우가 많습니다. 기존 모델 없는 강화학습 (RL) 방법은 탐색을 포함하지만, 알려진 시스템 구조를 명시적으로 활용하지 못해 모델이 사용 가능한 영역에서 샘플 효율성이 낮습니다.

2. 방법론: 모델 기반 정책 최적화 (MDPO)

저자들은 **모델 기반 정책 최적화 (MDPO)**를 제안합니다. 이는 확률적 탐색을 미분 가능 계획 과정에 직접 통합하는 프레임워크입니다. 정책 파라미터 노이즈나 환경 상호작용을 통해 탐색하는 표준 RL 과 달리, MDPO 는 정책 파라미터 최적화 중 행동 공간에 노이즈를 주입합니다.

2.1 확률적 행동 교란

행동을 결정론적으로 실행 ($a_t = \pi_\theta(s_t)$) 하는 대신, MDPO 는 확률적 정책을 정의합니다:
$$\tilde{a}_t = \pi_\theta(s_t) + \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, \Sigma_t)$$
시스템은 동역학 $s_{t+1} = f(s_t, \tilde{a}_t, \xi_t)$에 따라 진화합니다. 최적화 목적 함수는 이 교란된 정책 하에서의 기대 누적 보상이 됩니다. **재파라미터화 트릭 (reparameterization trick)**을 사용하여 노이즈 $\epsilon_t$를 정책 파라미터 $\theta$에서 분리함으로써, 확률적 계산 그래프를 통해 표준 역전파로 그래디언트를 계산할 수 있습니다. 이를 통해 최적화 알고리즘은 평탄하거나 포화 상태인 영역과 같이 결정론적 그래디언트로는 접근할 수 없는 목적 함수 지형의 영역을 탐색할 수 있습니다.

2.2 적응형 노이즈 스케일링

MDPO 의 핵심 혁신은 노이즈 크기의 적응형, 모델 기반 스케일링입니다. 계획 모델이 완전히 사용 가능하므로, 이 방법은 그래디언트에서 유도된 민감도를 활용하여 시간 의존적 탐색 프로파일 $\{\sigma_t\}_{t=0}^{H-1}$을 구성합니다.

이 과정은 반복당 두 단계 절차로 작동합니다:

1. 분석 롤아웃 (Analysis Rollout): 현재 정책을 사용하여 행동 노이즈 없이 궤적을 생성합니다. 각 시간 단계에서 행동에 대한 목적 함수의 민감도는 그래디언트 크기를 통해 추정됩니다: $g_t = \nabla_{a_t} \sum r(s_k, a_k)$. 스칼라 민감도 점수 $s_t = \|g_t\|^2$가 계산됩니다.
2. 노이즈 프로파일 구성: 민감도 점수들을 정규화하고 다음과 같은 함수를 사용하여 노이즈 스케일 $\sigma_t$로 매핑합니다:
   $$\sigma_t = \sigma_{\max} + (\sigma_{\min} - \sigma_{\max})(1 - \hat{s}_t)^\alpha$$
   이 매핑은 궤적 목적에 행동이 더 큰 영향을 미치는 민감도가 높은 시간 단계에는 더 큰 노이즈를, 민감도가 낮은 영역에는 더 낮은 노이즈를 할당합니다.
3. 업데이트 롤아웃 (Update Rollout): 유도된 노이즈 프로파일을 사용하여 두 번째 롤아웃을 수행하여 정책 파라미터를 업데이트합니다.

이 접근법은 등방성 노이즈를 맹목적으로 적용하는 대신, 시스템 동역학을 존중하고 목적 함수 민감도가 높은 영역을 표적함으로써 탐색이 **구조 인식적 (structure-aware)**이도록 보장합니다.

3. 주요 기여

1. 최적화 병리 현상의 식별: 이 논문은 미분 가능 계획에서 최적화 지형의 조건이 나쁜 특성을 공식적으로 식별하고 분석하며, 특히 혼합 영역에서 완화 충실도와 그래디언트 처리 가능성 사이의 트레이드오프를 강조합니다.
2. 확률적 탐색 메커니즘: 행동 공간에 구조화된 모델 기반 확률성을 도입하는 MDPO 제안입니다. 표준 확률적 최적화와 달리, 교란은 계획 모델 내에서 궤적 수준에서 적용됩니다.
3. 적응형 노이즈 스케일링: 국소 궤적 민감도에 기반하여 노이즈 크기를 동적으로 조정하는 메커니즘을 개발하여, 최적화 지형과 호라이즌 내 특정 시간 단계 모두에 적응하는 시간 의존적 탐색 프로파일을 가능하게 합니다.
4. 실증적 검증: 결정론적 변형 및 최첨단 베이스라인과 비교하여 벤치마크 문제 전반에서 해의 품질과 수렴 속도가 크게 향상됨을 입증했습니다.

4. 실험 결과

이 방법은 2023 국제 계획 대회 (IPC) 의 세 가지 벤치마크 영역에서 평가되었습니다: PowerGen(단위 정합), HVAC(비선형 제어), Reservoir Control(저수지 제어). 이러한 영역은 비선형적이고 혼합된 이산 - 연속 동역학을 특징으로 합니다.

베이스라인:

• 결정론적 미분 가능 계획: 노이즈가 없는 MDPO 변형.
• JaxPlan: 완화된 혼합 동역학을 사용하는 미분 가능 계획의 최첨단 구현.
• 상수 노이즈 MDPO: 고정 가우시안 노이즈 ($\sigma \in \{1, 3\}$) 를 가진 변형.
• PPO (근접 정책 최적화): 모델 없는 RL 베이스라인.

결과:

• 성능: 적응형 노이즈를 사용한 MDPO 는 모든 인스턴스에서 모든 베이스라인을 일관되게 능가했습니다. 결정론적 계획, JaxPlan, 상수 노이즈 변형에 비해 훨씬 더 높은 해의 품질 (더 낮은 비용/더 높은 보상) 을 달성했습니다.
• 수렴: 결정론적 방법과 JaxPlan 은 열악한 지역 최적점에서 빠르게 정체되는 반면, 모델이 부재하여 PPO 는 최소한의 개선만 보인 반면, 적응형 MDPO 는 지속적인 개선과 더 빠른 수렴을 보여주었습니다.
• 분산: MDPO 는 무작위 시드 전반에 걸쳐 낮은 분산을 보이며 높은 해의 품질을 유지했습니다.
• 적응 행동: 노이즈 프로파일 분석은 적응 메커니즘이 동적으로 탐색을 할당함을 보여주었습니다. 예를 들어, Reservoir 영역에서는 노이즈가 초기 시간 단계에 집중된 반면, HVAC 에서는 비단조적으로 변하여 각 문제의 특정 민감도 구조를 반영했습니다.

5. 중요성과 주장

이 논문은 복잡한 영역에서 미분 가능 계획의 주요 한계가 단순히 모델링이나 완화 기법이 아니라, 결과적인 문제를 해결하는 데 사용되는 최적화 동역학에 있다고 주장합니다.

• 최적화 동역학: 저자들은 결정론적 그래디언트 업데이트가 혼합 영역의 조건이 나쁜 지형을 탐색하는 데는 불충분하다고 주장합니다. 확률적 탐색을 도입함으로써 MDPO 는 최적화 알고리즘이 열악한 지역 최적점에서 벗어나 급격한 전환을 통과할 수 있게 합니다.
• 모델 기반 vs 모델 없는: 이 연구는 모델이 사용 가능할 때, 이를 시뮬레이션에뿐만 아니라 탐색 과정을 안내하는 데에도 사용해야 함을 강조합니다. MDPO 는 모델을 사용하여 정보 있는 탐색 신호를 도출함으로써 모델 기반 그래디언트 최적화와 탐색 주도 학습 간의 간극을 메웁니다.
• 일반적 접근: 이 논문은 MDPO 가 근본적인 모델이나 그 완화의 수정 없이 모델 기반 계획의 최적화 병리 현상을 해결하는 간단하고 일반적인 접근법을 제공한다고 주장합니다. 최적화 지형의 국소 구조에 맞게 탐색을 조정하는 것이 비선형 및 혼합 환경에서 견고한 의사결정에 필수적임을 시사합니다.