기술 요약: KL 발산을 이용한 궤적 정규화 확률적 최적 제어 (Trajectory-Regularized Stochastic Optimal Control via KL Divergence)

1. 문제 정의

본 논문은 불확실성 하에서 기대 누적 비용을 최소화하는 데에만 집중하고, 결과적인 시스템 동역학이 원하는 참조 동작(reference behavior)으로부터 얼마나 벗어나는지에 대한 제약을 고려하지 않는 표준 확률적 최적 제어(Stochastic Optimal Control, SOC)의 한계를 다룹니다. 많은 응용 분야에서 참조 동작(예: 수동적 동역학, 베이스라인 컨트롤러, 또는 오프라인 데이터로부터 유도된 분포)은 가치 있는 구조적 사전 지식(structural priors)을 인코딩합니다. 이러한 참조 모델로부터 크게 벗어나는 것은 정책을 취약하게 만들 수 있습니다.

저자들은 **궤적 정규화 확률적 최적 제어(Trajectory-Regularized Stochastic Optimal Control, TRSOC)**를 제안합니다. 이 목적 함수는 작업 성능(task performance)과 제어된 궤적 분포와 참조 궤적 분포 사이의 근접성을 균형 있게 조절하는 것을 목표로 합니다. 이 근접성은 제어된 프로세스($P_u$)와 참조 프로세스($P_0$) 사이의 확률 법칙에 대한 쿨백-라이블러(Kullback–Leibler, KL) 발산을 사용하여 측정됩니다.

시스템은 다음과 같은 제어된 확산 프로세스(controlled diffusion process)로 모델링됩니다:
$$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$$
여기서 제어 $u_t$는 드리프트(drift) 항을 통해 시스템에 영향을 미칩니다. 참조 동역학은 동일한 확산 행렬 $\sigma$를 공유하지만, 서로 다른 드리프트 $f_0$를 가집니다.

2. 방법론

A. 궤적 KL 발산의 국소 비용으로의 환원

본 논문의 핵심적인 이론적 기여는 궤적 수준의 KL 발산을 다루기 쉬운 국소적 실행 비용(local, tractable running cost)으로 환원하는 것입니다.

• 기르사노프 정리 (Girsanov's Theorem): 확산 행렬 $\sigma(x)$가 가역적이고 드리프트 불일치(drift mismatch)가 노비코프 조건(Novikov's condition)을 만족한다는 가정하에, 제어된 측도와 참조 측도 사이의 라돈-니코딤 도함수(Radon–Nikodym derivative)가 존재합니다.
• 보조정리 1 (Lemma 1): 유한 구간 $[0, T]$ 동안의 KL 발산 $KL(P_u \| P_0)$은 다음과 같이 이차 드리프트 불일치 페널티의 기대 적분과 같음을 보여줍니다:
  $$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$$
  여기서 $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$ 입니다.
• 증강된 실행 비용 (Augmented Running Cost): 이 결과는 궤적 정규화를 표준 SOC 프레임워크 내에서 실행 비용에 더해지는 가산 항으로 직접 통합할 수 있게 해줍니다:
  $$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$$
  여기서 $\lambda \geq 0$는 정규화 파라미터입니다.

B. 동적 계획법 및 HJB 구조

KL 페널티가 실행 비용의 적분으로 환원되기 때문에, TRSOC 문제는 **마르코프 성질(Markov property)**과 동적 계획법(Dynamic Programming, DP) 원리를 유지합니다.

• 가치 함수 $V(t, x)$는 표준 해밀턴-자코비-벨만(Hamilton–Jacobi–Bellman, HJB) 방정식을 만족합니다:
  $$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$$
  여기서 $\mathcal{L}_u$는 확산의 무한 소 생성자(infinitesimal generator)입니다.
• 궤적 측도를 직접 최적화하는 "KL 제어" 접근 방식(종종 리스크 민감형 목적 함수나 지수적 기울기 변형을 초래함)과 달리, TRSOC는 증강된 비용을 가진 표준 SOC 문제로 남아 선형 기대값과 표준 HJB 특성을 유지합니다.

C. 최적 제어 구조 (제어-아핀 케이스)

제어-아핀 드리프트 $f(x, u) = f_0(x) + B(x)u$와 이차 제어 비용을 갖는 시스템에 대해, 저자들은 명시적인 최적 피드백 법칙을 도출합니다.

• KL 항은 추가적인 제어 페널티 역할을 하여, 유효 제어 가중치 행렬을 수정합니다:
  $$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$$
• 최적 제어는 다음과 같이 주어집니다:
  $$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$$
• 이 공식은 노이즈가 적은 방향에서 큰 드리프트 변화를 유도하는 제어를 더 강하게 처벌함을 의미합니다.

D. 선형-이차(Linear-Quadratic, LQ) 특수화

선형-이차 설정에서, 이 문제는 수정된 제어 가중치 $\bar{R}$을 갖는 할인된 선형 이차 조절기(LQR)로 축소됩니다. 솔루션은 수정된 대수적 리카티 방정식(Algebraic Riccati Equation, ARE)을 푸는 과정을 포함하며, 여기서 정규화 파라미터 $\lambda$는 피드백 게인에 직접적으로 영향을 미쳐 $\lambda$가 증가함에 따라 더 보수적인 제어로 이어지게 합니다.

3. 주요 기여

1. TRSOC 공식화: 궤적 수준의 KL 발산을 통해 (명목 컨트롤러 또는 데이터 기반 베이스라인과 같은) 사전 행동을 통합하는 행동 정규화 SOC 프레임워크를 도입했습니다.
2. 국소 비용 환원: 드리프트 전용 제어 및 비퇴화 확산(non-degenerate diffusion) 하에서 궤적 KL 발산이 이차 드리프트 불일치 페널티로 환원됨을 입증했습니다. 이는 DP 구조를 보존하며 표준 HJB 특성화를 가능하게 합니다.
3. 최적 정책 특성화: 제어-아핀 시스템에 대한 명시적인 최적 피드백 법칙을 도출하고 LQ 케이스를 분석하여, 정규화가 제어 비용과 안정성 특성에 어떻게 영향을 미치는지 보여주었습니다.
4. 안정성 분석: 궤적 정규화가 폐루프 드리프트의 소산성(dissipativity)을 개선하여 리아푸노프 부등식(Lyapunov inequalities)을 용이하게 하고 상태의 평균 제곱 유계성(mean-square boundedness)을 보장할 수 있음을 증명했습니다.

4. 결과 및 실험

논문은 확률적 더블 인테그레이터(double-integrator) 시스템이 피겨 에이트(figure-eight) 궤적을 추적하는 수치 실험을 통해 이론적 발견을 검증합니다.

• 성능-편차 트레이드오프 (Performance–Deviation Trade-off): 실험은 정규화 파라미터 $\lambda$가 연속적인 트레이드오프를 유도함을 보여줍니다.
  • $\lambda \to 0$일 때, 컨트롤러는 표준 성능 중심의 SOC처럼 동작하여 낮은 작업 비용을 달 Achieve 하지만 참조 모델로부터 크게 벗어날 수 있습니다.
  • $\lambda \to \infty$일 때, 컨트롤러는 유도된 드리프트가 참조 동역학과 일치하도록 강제하여, 작업 성능을 희생하는 대신 편차를 최소화합니다.
• 데이터 기반 참조: 본 프레임워크는 참조 동역학을 오프라인 데이터로부터 학습된 경우(신경망을 사용하여 참조 가속도를 근사함)에도 성공적으로 적용되었습니다. 결과는 TRSOC가 작업 최적화와 학습된 참조 행동에 대한 준수 사이의 균형을 효과적으로 맞춘다는 것을 보여줍니다.
• 궤적 기하학: 궤적 시각화는 정규화가 유도된 동역학의 기하학적 구조에 작용함을 보여줍니다. 정규화된 컨트롤러는 비정규화된 최적 컨트롤러의 공격적인 수정과 명목 참조 행동 사이의 중간 형태의 궤적을 생성하며, 특히 곡률이 높은 영역에서 그러합니다.

5. 의의 및 주장

저자들은 TRSOC가 표준 DP/HJB 프레임워크를 포기하지 않고도 사전 지식이나 오프라인 데이터를 통합할 수 있는 원칙적인 방법을 제공한다고 주장합니다.

• 구조적 보존: 궤적 정규화를 사용하는 다른 방법들이 측도(measures)에 대한 최적화를 요구하거나 비표준적인 리스크 민감형 목적 함수를 초래하는 것과 달리, TRSOC는 표준 SOC 구조를 유지하므로 일반적인 비선형 동역학에도 적용 가능합니다.
• 보간 (Interpolation): 이 프레임워크는 다목적 최적화 문제(작업 성능 vs 참조 준수)의 스칼라화를 제공하여, 실무자가 단일 파라미터 $\lambda$를 통해 컨트롤러의 동작을 조정할 수 있게 합니다.
• 강건성: 본 방법은 참조 동역학이 데이터로부터 학습될 때 발생하는 근사 오차에 대해 강건함을 보여주며, 이는 오프라인-투-온라인 강화 학습 및 모방 학습 문맥에서의 잠재적 유용성을 시사합니다.

결론적으로, 궤적 정규화는 제어 에너지의 "노이즈 인지적(noise-aware)" 수정을 수행하며, 시스템이 덜 확률적인 방향에서 드리프트 변화를 더 강하게 처벌함으로써, 성능과 안전성/일관성 사이의 균형을 맞추는 기하학적으로 직관적인 메커니즘을 제공합니다.