Risk-Constrained Belief-Space Optimization for Safe Control under Latent Uncertainty

1. 문제 정의 (Problem Statement)

이 논문은 센서가 결정 시점에 직접적으로 해결할 수 없는 잠재적 불확실성 (Latent Uncertainty) 하에서 작동하는 안전-중요 (Safety-Critical) 제어 시스템을 다룹니다.

• 잠재적 불확실성의 본질: 미지의 물리적 특성, 외부 교란, 또는 관측되지 않은 환경 기하학 (예: 로봇이 잡은 물체를 넣어야 하는 선반의 정확한 위치나 너비) 와 같은 요인들입니다. 이러한 불확실성은 시스템의 동역학, 작업 수행 가능성, 그리고 안전 마진에 직접적인 영향을 미칩니다.
• 기존 방법의 한계:
  • 기대 성능 최적화 (Risk-Neutral): 드물지만 치명적인 결과를 보호하지 못함.
  • 강건 제어 (Robust Control): 불확실성의 확률적 구조를 활용하지 않고 지나치게 보수적으로 대처함.
  • 기회 제약 (Chance Constraints): 위반 확률만 제한할 뿐, 위반의 심각도 (Tail risk) 를 고려하지 않음.
• 목표: 부분 관측 가능 동역학 시스템에서, 동역학/비용/안전 제약이 **잠재적 매개변수 (Latent Parameter)**에 의존하고 이를 **신념 분포 (Belief Distribution)**로 유지할 때, 안전 위반의 꼬리 위험 (Tail Risk) 을 명시적으로 제어하면서 성능을 최적화하는 제어 프레임워크를 제안하는 것입니다.

2. 방법론 (Methodology)

저자들은 위험 민감 신념 공간 모델 예측 경로 적분 (Risk-Sensitive Belief-Space MPPI) 제어 프레임워크를 제안합니다.

A. 문제 공식화

• 시스템 모델: 상태 $x_t$, 제어 $u_t$, 잠재 매개변수 $\theta$, 관측 $z_t$로 구성된 부분 관측 확률 시스템.
• 신념 (Belief): $\theta$는 직접 관측되지 않으므로, 파티클 필터를 사용하여 사후 확률 분포 $b_t(\theta)$로 추정합니다.
• 최적화 문제 (Problem 1):
  • 목적 함수: 기대 비용 $E[J_H]$와 성능의 꼬리 위험 (CVaR) 을 결합하여 최소화.
    $$\min E_{b_t}[J_H] + \lambda_r \text{CVaR}_{\beta_c}(J_H)$$
  • 제약 조건: 궤적 안전 마진 $M_H$의 **조건부 위험 가치 (CVaR)**를 0 이하로 제한.
    $$\text{CVaR}_{\beta_s}(-M_H) \le 0$$
  • 여기서 $M_H$는 경로 상의 최소 안전 마진 (예: 장애물과의 거리, 접촉 힘) 입니다.

B. 알고리즘: Risk-Sensitive Belief-Space MPPI

기존 MPPI (Model Predictive Path Integral) 알고리즘을 신념 공간에 적용하여 확장했습니다.

1. 샘플링: 현재 신념 $b_t(\theta)$에서 $N_p$개의 잠재 매개변수 $\theta^{(i)}$를 샘플링합니다.
2. 롤아웃 (Rollout): $K$개의 후보 제어 시퀀스에 대해, 각 파티클 $\theta^{(i)}$와 프로세스 노이즈를 고려하여 시뮬레이션합니다.
3. 점수 산정: 각 후보 시퀀스에 대해 다음을 계산합니다.
   • 기대 비용 ($E[J_H]$)
   • 성능 위험 ($\text{CVaR}_{\beta_c}(J_H)$): 비용 분포의 상위 $\beta_c$ 퍼센타일 평균.
   • 안전 위험 ($\text{CVaR}_{\beta_s}(-M_H)$): 안전 마진 위반 ($-M_H$) 의 상위 $\beta_s$ 퍼센타일 평균.
4. 가중치 업데이트: 계산된 점수를 기반으로 MPPI 가중치를 계산하고, 최적 제어 입력을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 신념 공간 불확실성 표현: 동역학, 비용, 안전 제약에 영향을 미치는 잠재 매개변수를 파티클 필터 기반의 신념 분포로 모델링했습니다.
2. 위험 제약 신념 공간 최적화: 기대 성능과 꼬리 위험을 절충하면서, 궤적 안전 마진에 CVaR 제약을 부과하는 새로운 프레임워크를 제시했습니다. 이는 안전 위반의 **심각도 (Magnitude)**까지 고려한다는 점에서 기존 기회 제약과 차별화됩니다.
3. 알고리즘 개발: 위 문제를 해결하기 위한 신념 공간 MPPI 알고리즘을 설계했습니다.
4. 이론적 보장 (Theoretical Guarantees):
   • Theorem 1 (확률적 안전 보장): CVaR 제약 $\text{CVaR}_{\beta_s}(-M_H) \le 0$은 안전 마진이 0 이상일 확률이 $\beta_s$ 이상임을 보장합니다 ($Pr(M_H \ge 0) \ge \beta_s$).
   • Theorem 2 (위험 중립 극한): 위험 가중치 $\lambda_r \to 0$일 때, 제안된 제어기는 위험 중립 (Risk-Neutral) 최적해로 수렴합니다.
   • Theorem 3 (누적 안전 보장): 재귀적 (Receding-Horizon) 적용 시, 유니온 바운드 (Union Bound) 를 통해 전체 시간 구간에서의 누적 안전성을 보장합니다.

4. 실험 결과 (Experimental Results)

시나리오: 비전 기반의 정교한 물체 수납 작업 (Vision-guided Dexterous Stowing). 로봇이 잡은 물체를 관측 불확실성이 큰 (8.75mm 측면 여유 공간보다 12mm 의 오차가 있는) 선반 슬롯에 삽입하는 작업.

• 비교 대상:

  • 제안된 방법 (CVaR-MPPI): 다양한 위험 회피 수준 ($\beta_s = 0.50, 0.90, 0.95$).
  • 기준 방법 (CCMPPI): 기회 제약 (Chance Constraint) 기반.
  • 위험 중립 설정: $\beta_s = 0.50$.

• 주요 성과 (Table II & III 참조):

  • 성공률: 위험 회피 수준이 높을수록 성공률이 증가했습니다.
    • $\beta_s = 0.50$ (위험 중립): 55% 성공, 27% 접촉 발생.
    • $\beta_s = 0.90$: 73% 성공, 0% 접촉.
    • $\beta_s = 0.95$: 82% 성공, 0% 접촉.
  • 안전성:
    • 위험 중립 ($\beta_s=0.50$) 및 기회 제약 (CCMPPI) 은 최대 1118 N 의 치명적인 접촉 힘을 발생시켰습니다.
    • 제안된 CVaR 기반 방법 ($\beta_s \ge 0.90$) 은 모든 시도에서 외부 접촉을 완전히 제거했습니다.
  • 성능 vs 안전 트레이드오프: 높은 위험 회피 ($\beta_s=0.95$) 는 목표 도달 시간을 약간 증가시키고 최종 오차를 늘리지만, 안전성을 극대화하여 전체 작업 성공률을 높였습니다.
  • CVaR vs 기회 제약: 동일한 0% 접촉률을 달성하더라도, CVaR 기반 방법은 기회 제약 기반보다 성공률이 훨씬 높았습니다 (82% vs 50%). 이는 CVaR이 위반의 '심각도'를 최적화하여 더 안전한 마진을 유지하게 하기 때문입니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 잠재적 불확실성 하에서 안전-중요 제어 시스템을 위한 새로운 패러다임을 제시합니다.

• 꼬리 위험 (Tail Risk) 의 중요성: 단순한 위반 확률 제한을 넘어, 위반이 발생했을 때의 **심각한 결과 (치명적인 충돌 등)**를 확률적으로 제어하는 CVaR 접근법의 우수성을 입증했습니다.
• 실용적 검증: 물리 기반 시뮬레이션 (MuJoCo) 을 통해 복잡한 접촉 환경에서 제안된 방법이 기존 방법보다 훨씬 높은 성공률과 제로 접촉 (Zero Contact) 을 달성함을 보였습니다.
• 이론적 엄밀성: CVaR 제약이 단순한 휴리스틱이 아니라, 수학적으로 엄밀한 확률적 안전 보장을 제공함을 증명했습니다.

결론적으로, 이 연구는 불확실성이 내재된 복잡한 환경에서 로봇이 안전과 성능을 동시에 확보할 수 있는 강력한 제어 프레임워크를 제공하며, 자율 주행, 다중 로봇 항법, 정밀 조립 등 다양한 분야에 적용 가능한 통찰을 줍니다.