Joint Chance Constrained Safe-Optimal Control

기술 요약: 결합 확률 제약 안전-최적 제어 (Joint Chance Constrained Safe-Optimal Control)

문제 정의
본 논문은 확률적 시스템에 대한 표준 결합 확률 제약(Joint Chance Constrained, JCC) 최적 제어의 한계를 다룬다. 전통적인 JCC 정식화에서는 안전한 궤적과 안전하지 않은 궤적을 모두 포함한 모든 궤적의 기대 비용을 최소화하는 것을 목표로 하며, 동시에 안전 집합 내에 머무를 확률이 임계값 $\alpha$를 초과해야 한다는 제약을 부과한다. 저자들은 이러한 표준 방식이 역효과를 낳는 유인(perverse incentive)을 생성한다고 주장한다. 즉, 제어기가 전체 안전 확률을 $\alpha$ 이상으로 유지하기만 하면, 저비용의 안전하지 않은 궤적을 이용하기 위해 의도적으로 안전 제약을 위반할 수 있다는 것이다. 이러한 동작은 제약 위반이 치명적이고 되돌릴 수 없는 경우(예: 항공기 추락, 의료 기기 오작동)에는 바람직하지 않다. 왜냐 контакта 실패한 궤적의 비용이 최적화 목적 함수에 기여해서는 안 되기 때문이다.

이를 해결하기 위해, 본 논문은 결합 확률 제약 안전-최적 제어 문제를 제안한다. 목적 함수는 안전한 궤적들의 기대 비용만을 최소화하도록 수정되었으며, 동시에 안전 확률이 최소 $\alpha$ 이상이어야 한다는 결합 확률 제약을 여전히 준수한다. 안전하지 않은 궤적은 목적 함수에서 사실상 비용이 0으로 할당되어, 비용 절감을 위해 안전을 '희생'하려는 유인을 제거한다.

방법론
핵심적인 방법론적 기여는 이 비마르코프적(non-Markovian) 문제를 해결 가능한 프레임워크로 재구성하는 것이다:

1. 확장된 상태 공간 MDP: 저자들은 안전-최적 제어 문제가 확장된 상태 공간 $Z = X \times C$ 상의 제약 마르코프 결정 과정(Constrained MDP, CMDP)으로 구성될 수 있음을 입증한다. 여기서 $X$는 원래의 상태 공간이고 $C$는 누적된 비용을 나타낸다.

   • 상태 진화에는 결정론적인 비용 누산기가 포함된다.
   • 궤적의 가중치 함수 $a(\cdot)$(궤적이 안전성과 총 비용에 따라 비용/제약에 기여할지 여부를 선택함)를 처리하기 위해 추가적인 가상 타임스텝과 이진 입력이 도입된다.
   • 이러한 변환을 통해, 전체 궤적 이력에 의존하기 때문에 직접 적용이 불가능했던 원래의 정식화에 대해 표준 동적 계획법(Dynamic Programming, DP) 기술을 사용할 수 있게 된다.

2. 근사 및 오차 범위: 연속 상태 공간을 가진 시스템의 경우, 저자들은 상태, 비용, 행동 공간을 이산화하기 위해 그리딩 추상화(gridding abstraction)를 사용한다. 그들은 이 이산화로 인해 발생하는 안전 오차에 대한 이론적 경계치를 도출한다. 구체적으로, 만약 어떤 정책이 이산화된 MDP에서 안전도 $\alpha$를 달성한다면, 원래의 연속 시스템에서의 안전도는 $\alpha - N h_x M_x \mu \Delta x$보다 크다는 것을 보여준다. 여기서 파라미터들은 격자 크기, 전이 커널의 리프시츠 상수(Lipschitz constants), 그리고 타임스텝 수와 관련된다. 이를 통해 연속 시스템에서의 안전을 보장하기 위해 이산화된 문제의 제약을 강화할 수 있다.

3. 해법 접근 방식: 논문은 두 가지 솔루션 방법을 평가한다:

   • 동적 계획법 (DP): 듀얼 승수 $\lambda$에 대한 가치 반복(value iteration)과 이분법(bisection)을 사용하여 CMDP의 라그랑주 쌍(Lagrange dual)을 해결한다.
   • 강화 학습 (RL): Soft-Actor-Critic (SAC) 알고리즘을 사용하는 사전적(lexicographic) 학습 프레임워크를 구현한다. 이는 도달-회피(reach-avoid) 확률을 먼저 최대화한 후, 특정 안전 임계값 $\alpha$를 충족하도록 라그랑주 승수를 조정하는 2단계 훈련 과정을 포함한다.

주요 기여

• 새로운 문제 정의: 안전한 궤적의 비용만을 최소화하여, 안전하지 않은 궤적의 비용을 최적화 목적 함수로부터 분리하는 제어 문제를 도입하였다.
• 이론적 재구성: 안전-최적 제어 문제가 확장된 상태 공간에서의 CMDP와 동등함을 증명하여 DP 사용을 가능하게 하였다.
• 안전 보장: 연속 상태 공간에서 그리딩 근사를 통해 문제를 해결할 때 정책 안전성에 대한 명시적인 경계치를 도출하였다.
• 실험적 검증: 제안된 접근 방식과 표준 JCC 제어 및 RL 솔루션을 비교하는 종합적인 수치 실험을 수행하였다.

실험 결과
저자들은 복잡한 도달-회피 환경 내의 시뮬레이션된 2D 유니사이클(unicycle) 시스템을 통해 접근 방식을 검증한다.

• 행동 차이: 표준 JCC 정책(모든 궤적의 비용을 최소화)은 고비용의 안전한 경로를 피하기 위해 목표 도달을 "포기"하는 모습이 관찰되었다. 이는 종종 초기 상태 근처에 머물거나 안전하지 않은 지름길을 택하는 저비용 궤적으로 이어진다. 반면, 제안된 안전-최적 정책은 성공적이고 안전한 궤적만을 독점적으로 최적화한다.
• 성능 지표: 몬테카를로 시뮬레이션에서, 안전-최적 방식은 요구되는 안전 확률을 유지하면서 표준 JCC보다 안전한 궤적에 대해 더 낮은 구동 비용을 달로 달성했다. 표준 JCC는 많은 저비용의 안전하지 않은(또는 도달하지 못한) 궤적들을 포함했기 때문에 전체 기대 비용은 더 낮게 나타났다.
• DP vs. RL: DP는 특히 복잡한 환경(예: "Simple-Slit")에서 RL이 국소 최적의 보수적인 솔루션으로 수렴하는 것과 달리, 최적 정책을 찾는 데 있어 일반적으로 RL보다 우수한 성능을 보였다. 그러나 RL은 문제 구조를 처리할 수 있는 능력을 보여주었으나, DP(< 2분)에 비해 훨씬 긴 계산 시간(90~130분)이 소요되었다. 저자들은 DP가 상태 차원에 따라 지수적으로 확장되는 반면, RL은 DP가 불가능한 고차원의 실제 문제에서 선호될 수 있다고 언급한다.

의의 및 주장
본 논문은 표준 JCC 정식화가 비용을 줄이기 위해 제약 위반을 유도한다는 점에서, 되돌릴 수 없는 제약이 있는 시스템에 대해 근본적으로 결함이 있다고 주장한다. 제안된 방법은 목적 함수를 안전한 궤적의 비용을 최소화하는 것으로 전환함으로써 실무적 직관과 일치한다: 즉, 사고 난 차량이나 실패한 의료 절차의 비용은 성공적인 임무의 운영 비용과 무관하다는 것이다. 저자들은 제안된 방식이 표준 제어기의 "포기" 행동을 방지하고, 안전한 제어를 달성하기 위한 수학적으로 엄밀한 프레임워크(CMDP 재구성 및 DP를 통해)를 제공한다고 단언한다. 결론적으로, 현재 저차원 설정에서는 DP가 더 우수한 솔버이지만, 이 프레임워크는 이러한 원칙을 더 넓은 시계열 논리(temporal logic) 제약 및 실제 시스템에 적용할 수 있는 길을 열어준다고 밝힌다.