Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

기술적 요약: 최적 제어에서의 엔트로피 정규화 통합

문제 제기
로보틱스에서 금융에 이르기까지 최적 제어 문제는 일반적으로 동적 프로그래밍을 사용하여 유한 시간 구간 내에서 비용을 최소화하는 것을 포함합니다. 그러나 벨만 연산자의 비선형성으로 인해 정확한 해를 구하는 것은 종종 계산적으로 불가능합니다. "추론으로서의 제어 (Control as Inference, CaI)"와 쿨백 - 라이블러 (KL) 정규화와 같은 확률적 접근법은 계산 가능한 대리 모델을 제공해 왔으나, 고전적 확률적 최적 제어 (SOC), 위험 민감성 확률적 최적 제어 (RSOC), 그리고 이들의 KL-정규화된 "소프트 정책 (soft-policy)" 대응물을 연결하는 통합된 수학적 프레임워크는 부재했습니다. 또한, 이러한 알고리즘의 각 반복 단계에서 해결되는 대리 목적 함수와 원래의 고전적 목적 함수 간의 관계는 부분적으로 불명확한 채 남아 있었으며, 이러한 공식화들과 분포 강건 제어 (Distributionally Robust Control, DRC) 간의 연결고리도 마찬가지였습니다.

방법론
저자들은 **중앙 KL-정규화 최적 제어 (Central KL-Regularized Optimal Control, C-KLR-OC)**라고 명명된 중심적인 통합 문제를 제안합니다. 이 공식화는 정책과 시스템 전이에 적용되는 KL 패널티를 분리함으로써 기존 접근법들을 일반화합니다.

1. 통합 공식화: 핵심 문제 (식 7) 는 정책 시퀀스 $\pi$와 인공 전이 커널 시퀀스 $\tau$를 공동으로 최적화하며, 기준 분포 ($\rho$는 정책에 대해, $\iota$는 전이에 대해) 로부터의 편차를 독립적인 가중치 $\lambda_P$와 $\lambda_S$로 패널티화합니다.

   • $\lambda_P$는 기준 행동으로부터의 정책 편차를 조절합니다.
   • $\lambda_S$는 실제 시스템 역학으로부터의 전이 편차를 조절하며, 그 부호는 위험 태도를 결정합니다 (양수는 위험 추구/낙관적, 음수는 위험 회피/비관적).

2. 이론적 도구:

   • 위험 측정치: 논문은 위험 민감성과 KL 정규화를 연결하기 위해 엔트로피 위험 측정치 (Entropic Risk Measure) 의 이중 표현을 활용합니다.
   • 주도 - 최소화 (Majorization-Minimization, MM): 저자들은 MM 프레임워크를 사용하여 소프트 정책 공식화가 원래 고전적 목적 함수를 상한 (주도) 하는 계산 가능한 대리 함수임을 입증합니다.

3. 특수 사례 유도: $\rho$ (최적화 정책 $\pi$와 동일한지 여부) 와 $\tau$ (실제 역학 $\iota$로 고정되었는지 아니면 자유로운지) 에 대한 제약을 전환함으로써, 저자들은 C-KLR-OC 가 다음을 회복함을 보여줍니다:

   • SOC: $\rho = \pi$, $\tau = \iota$.
   • RSOC: $\rho = \pi$, $\tau$ 자유.
   • 소프트 정책 SOC (SP-SOC): $\rho \neq \pi$, $\tau = \iota$ (I-투영에 해당).
   • 소프트 정책 RSOC (SP-RSOC): $\rho \neq \pi$, $\tau$ 자유 (M-투영에 해당).

주요 기여 및 결과

• 목적 함수의 통합: 논문은 고전적 SOC, RSOC 및 이들의 소프트 정책 변형들이 별개의 패러다임이 아니라 정책과 전이 정규화가 분리된 단일 수학적 구조의 특수 사례임을 확립합니다.
• 고전적 목적 함수의 반복적 회복: 저자들은 소프트 정책 공식화 (SP-SOC 및 SP-RSOC) 가 고전적 대응물 (SOC 및 RSOC) 을 **주도 (majorize)**함을 증명합니다. 결과적으로, 소프트 정책 문제의 해를 반복하는 것 (다음 단계의 기준 $\rho$로 현재 정책을 사용함) 은 원래의 정규화되지 않은 목적 함수에 대한 하강을 보장합니다. 이는 계산 가능한 KL-정규화 부분 문제를 해결하여 고전적 해에 수렴하는 반복 알고리즘에 대한 원칙적인 기초를 제공합니다.
• 동기화 사례 (S-SP-RSOC): 중요한 발견은 정책과 전이 가중치가 일치하는 ($\lambda_P = \lambda_S = \lambda > 0$) "동기화" 사례를 식별한 것입니다. 이 특정 구성에서 문제는 경로 적분 제어 (Path Integral Control) 와 같은 특정 설정에서 이전에 관찰되었던 일련의 유리한 속성을 보이지만, 이제 더 넓은 클래스로 확장됨이 입증되었습니다:
  1. 선형 벨만 연산자: 비선형 벨만 재귀는 지수적 변수 변환 (기대도, desirability) 을 통해 선형 방정식으로 변환됩니다.
  2. 경로 적분 해: 가치 함수는 역방향 동적 프로그래밍을 우회하고 모델 없는 병렬 몬테카를로 추정을 가능하게 하는 기준 역학에 대한 경로 적분 (궤적에 대한 기대값) 으로 계산될 수 있습니다.
  3. 구성성: 복잡한 말단 비용에 대한 해는 더 간단한 하위 문제들에 대한 해의 가중 혼합으로 구성될 수 있습니다.
• 추론과의 연결: 동기화 사례는 최적성이 조건부로 주어지는 확률적 그래픽 모델 (PGM) 에 대한 최대 가능도 추정 (MLE) 과 동등함이 입증되었습니다. 최적 정책은 베이지안 평활화를 통해 계산 가능한 최적성이 주어졌을 때의 행동에 대한 사후 분포와 정확히 일치합니다.

의의 및 주장
이 논문은 CaI 기반 방법의 해석 가능성에 관한 근본적인 질문을 해결하는 "통합된 관점"을 제공한다고 주장합니다. 구체적으로:

• 밀도 일치 알고리즘의 각 반복 단계에서 해결되는 "소프트" 정책이 임의적인 것이 아님을 명확히 합니다. 이들은 고전적 SOC 또는 RSOC 목적 함수를 체계적으로 근사하는 KL-정규화 대리 모델입니다.
• 정책과 전이 정규화 간의 구조적 조화 (즉, $\lambda_P = \lambda_S$로 설정) 는 우연이 아니라 선형 벨만 연산자, 경로 적분 해 가능성, 그리고 구성성을 동시에 달성하기 위해 수학적으로 필수적임을 입증합니다.
• 위험 민감성 제어와 분포 강건 제어 간의 간극을 연결하여, 위험 민감성을 사전 정의된 라그랑주 승수를 가진 소프트 DRC 문제로 해석할 수 있음을 보여줍니다.

저자들은 동기화 사례가 강력한 계산적 속성을 산출하지만, 일반적인 통합 프레임워크는 정책과 전이 정규화를 독립적으로 조정할 수 있게 하여 선형성을 위한 특정 제약을 넘어 제어 문제에 대한 더 넓은 설계 공간을 제공한다고 결론지었습니다.