Analytic Planning under Uncertainty with Moment Closure

기술 요약: 모멘트 클로저를 이용한 불확inc성 하의 분석적 계획 (Analytic Planning under Uncertainty with Moment Closure)

문제 정의

확률적 환경에서의 효과적인 모델 기반 강화 학습(MBRL)은 예측 불확실성을 고려하는 계획이 필요합니다. 기존의 접근 방식들은 다음과 같은 트레이드오프에 직면합니다:

1. 확률적 샘플링 (Stochastic Sampling): 현대의 딥 MBRL은 불확실성을 전파하기 위해 상상된 롤아웃(Monte Carlo)을 샘플링하는 데 의존하는 경우가 많습니다. 이는 확장성은 좋지만, 상당한 타겟 분산을 유발하여 가치 추정을 샘플링 예산에 민감하게 만들고 불안정하게 할 수 있습니다.
2. 결정론적 근사 (Deterministic Approximations): 확률적 모델을 평균으로 붕괴시키거나 결정론적 역학을 학습하는 방식은 예측 공분산을 버리게 됩니다. 이는 가치 함수가 비선형일 때 체계적인 편향(bias)을 초래합니다.
3. 분석적 전파 (Analytic Propagation): 상태 분포 전체를 분석적으로 전파하는 것은 원칙적으로는 타당하지만, 역사적으로는 제약적인 정책이나 보상 구조(예: 선형-이차 설정)를 요구하여 트랙터빌리티(tractability, 계산 용이성)를 유지하기 어려웠습니다.

본 논문이 다루는 핵심 질문은, 이러한 제한적인 제약 없이도 **분포 인식 계획(distribution-aware planning)**이 가능한가 하는 점입니다. 구체적으로는 학습된 확률적 역학 하에서 벨만 기대값(Bellman expectation)을 계산할 수 있는지에 대한 문제입니다.

방법론: 모멘트 호환적 분석적 계획 (MoCA)

저자들은 탐욕적 행동 선택(greedy action selection)의 트랙터빌리티와 예측 기대값의 트랙터빌리티를 분리하는 프레임워크를 제안합니다. 이 방법은 두 가지 핵심 구조적 구성 요소에 의존합니다.

1. 이차 행동-가치 파라미터화 (Quadratic Action-Value Parameterization, 최댓값 선택의 분리)

최대화 연산자($\max_{a'} Q(s', a')$)를 확률 분포에 대해 적분하는 것의 난해함을 피하기 위해, 저자들은 이차 행동-가치 파라미터화(NAF 및 BNAF에서 영감을 얻음)를 활용합니다.

• 구조: Q-함수는 다음과 같이 분해됩니다:
  $$Q(s, a) = V(s) - \frac{1}{2}(a - \tilde{\mu}(s))^\top P(s) (a - \tilde{\mu}(s))$$
  여기서 $V(s)$는 상태 가치, $\tilde{\mu}(s)$는 제약 없는 탐욕적 행동, $P(s)$는 양의 정부호 곡률 행렬입니다.
• 효과: 이 구조를 통해 탐욕적 행동 선택을 폐쇄형(closed form)으로 해결할 수 있으며($\arg\max_a Q(s,a) = \tilde{\mu}(s)$), 최대 가치는 정확히 $V(s)$가 됩니다. 결과적으로 벨만 백업은 최대화된 Q-함수에 대한 기대값에서 상태-가치 함수 단독에 대한 단순한 기대값으로 축소됩니다:
  $$y(s, a) = r(s, a) + \gamma \mathbb{E}_{s' \sim p(\cdot|s,a)}[V(s')]$$
  이는 기대값 내부의 최댓값 연산을 제거하여, 오직 $\mathbb{E}[V(s')]$를 계산하는 요구사항만을 남깁니다.

2. 모멘트 호환성 원리 (Moment-Compatibility Principle)

남겨진 기대값 $\mathbb{E}[V(s')]$의 트랙터빌리티는 예측 전이 분포와 가치 함수 클래스 사이의 호환성에 달려 있습니다.

• 역학 모델: 환경 역학은 이질적 가우시안 혼합물(Gaussian mixture, 앙상블 $K$개 모델)로 학습됩니다. 계획 단계에서 샘플링을 피하기 위해, 앙상블은 혼합물의 첫 두 모멘트(aleatoric 및 epistemic 불확실성을 모두 포착)와 일치하는 단일 가우시안 분포로 근사됩니다.
• 가치 표현: 상태-가치 함수 $V(s)$는 가우시안 방사 기저 함수(RBF)의 혼합물으로 파라미터화됩니다.
• 분석적 폐쇄 (Analytic Closure): 예측 분포가 가우시안이고 가치 함수가 가우시안 혼합물이기 때문에, 기대값 $\mathbb{E}[V(s')]$는 분포의 모멘트(평균 및 공분산)를 이용한 **폐쇄형 해(closed-form solution)**를 갖습니다. 이를 통해 몬테카를로 샘플링 없이 벨만 타겟을 정확하게 계산할 수 있습니다.

학습 절차

알고리즘(MoCA)은 이러한 구성 요소들을 오프-폴리시(off-policy) 학습 루프에 통합합니다:

1. 역학 학습: 부트스트랩 리샘플링된 리플레이 버퍼를 통해 최대 가능도(maximum likelihood) 방식으로 앙상블 가우시안 역학 모델을 학습합니다.
2. 타겟 구축: 각 전이에 대해, 앙상블 예측을 모멘트 매칭을 통해 집계하여 예측 가우시안 $\mathcal{N}(\bar{\mu}, \bar{\Sigma})$를 형성합니다. 벨만 타겟은 이 가우시안 하에서의 RBF 가치 함수의 폐쇄형 기대값을 사용하여 분석적으로 계산됩니다.
3. 크리틱 업데이트: 과대평가 편향을 완화하기 위해 클립된 더블 에스티메이션(clipped double estimation)을 사용하여 트윈 크리틱을 업데이트합니다.

주요 기여

1. 분석적 벨만 백업 (Analytic Bellman Backup): 학습된 확률적 역학 하에서도 (이차 Q-파라미터화를 통해) 최대화 연산과 기대값을 분리함으로써 폐쇄형 벨만 기대값을 구할 수 있음을 입증했습니다.
2. 모멘트 호환성 프레임워크: 정책 클래스를 제한하지 않고도 분석적 불확실성 전파를 가능하게 하기 위해, 가치 표현이 예측 분포의 모멘트와 호환되도록 설계하는 원칙을 도입했습니다.
3. 불확실성 인식 계획 (Uncertainty-Aware Planning): 예측 평균과 공분산을 모두 결정론적으로 전파함으로써, 타겟 구축 시 몬테카를로 분산을 제거하는 동시에 확률적 모델링의 이점을 유지합니다.

실험 결과

연속 제어 작업(Cartpole Balance 및 Pendulum Swingup)에서 통제된 가우시안 관측 노이즈(동일 분산 및 이질적 분산 모두) 하에 실험이 수행되었습니다.

• 노이즈에 대한 강건성: MoCA는 관측 노이즈가 증가함에 따라 SAC, BNAF, 그리고 공분산을 무시하는 MoCA의 결정론적 버전(certainty-equivalent)과 같은 베이스라인보다 일관되게 우수한 성능을 보였습니다. 더 높은 점진적 수익(asymptotic returns)과 더 안정적인 학습 역학을 유지했습니다.
• 분석적 vs. 몬테카를로: 동일한 아키텍처의 몬테카를로 변형(MoCA-MC, 샘플 수 $K=4, 16$)과 비교했을 때, 분석적 방법(MoCA)은 더 빠른 수렴 속도와 우수한 점진적 성능을 달s했습니다. 몬테카를로 방법은 특히 샘플이 제한적일 때 높은 분산을 겪었으며, 이는 하위 최적(suboptimal)의 행동 선택으로 이어졌습니다.
• 교정 (Calibration): 분석적 접근 방식은 잘 교정된 예측 불확실성을 보여주었습니다(경험적 $1\sigma$ 커버리지가 명목 수준인 68% 근처를 유지함)와 안정적인 에피스테믹 표준 편차를 나타냈습니다.

의의 및 주장

본 논문은 샘플링의 분산을 피하고 평균 치환(mean-substitution)의 편향을 피하면서, 학습된 분포 모델로 계획을 세우기 위한 원칙적인 프레임워크를 제공한다고 주장합니다.

• 안정성: 타겟 구축에서 몬테카를로 노이즈를 제거함으로써, 관측 노이즈가 증가하더라도 안정적인 계획을 제공합니다.
• 일반성: 모멘트 호환성 원칙은 단일 함수 형태에 국한되지 않습니다. 가우시안-RBF 쌍은 트랙터빌리티와 표현력 사이의 균형을 맞추는 구체적인 구현 사례로 제시됩니다.
• 실용성: 이 접근 방식은 연속 제어에서 샘플링 기반 계획의 효율적인 대안을 제공하며, 분석적 모멘트 전파가 확률적 롤아웃의 실질적인 대체제가 될 수 있음을 보여줍니다.

저자들은 RBF 구현이 고차원 상태 공간에서 필요한 기저(basis)의 수와 관련된 "차원의 저주"에 직면한다는 점과, 현재 구현이 계산 효율성을 위해 대각 공분산 가정을 사용한다는 점을 언급하며 한계를 인정했습니다. 향-후 연구로는 이 방법을 확장하기 위한 잠재 공간(latent space) 표현 탐구를 제안했습니다.