⚡ electrical engineering

Learning-Based Stochastic Optimal Control with Infinite-Horizon Probabilistic Constraints

본 논문은 결합 확률 제약 조건(joint chance constraints)을 가진 무한 시계 스토캐스틱 최적 제어 문제를 상태 확장(state augmentation)을 통해 제약이 없는 마르코프 결정 과정으로 재구성함으로써, 연속적인 상태-입력 공간에 대해 최적이고 실행 가능한 결정론적 정책을 효율적으로 계산할 수 있게 하는 학습 기반 이중 상승(dual-ascent) 알고리즘을 제안한다.

원저자: Francesco Cordiano, Kanghui He, Bart De Schutter

게시일 2026-08-04

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Francesco Cordiano, Kanghui He, Bart De Schutter

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 밀집된 소행성 지대를 항해하는 우주선의 선장이라고 상상해 보십시오. 당신의 임무는 연료를 최대한 적게 사용하면서 먼 별에 도달하는 것입니다. 하지만 한 가지 제약 조건이 있습니다. 단순히 지금 눈에 보이는 소행성을 피하는 것이 아니라, 발사부터 착륙까지의 전체 여정이 매우 높은 확률로 안전하다는 것을 보장해야 합니다. 이것이 바로 **확률적 최적 제어(stochastic optimal control)**라고 불리는 분야의 핵심입니다. 이는 미래가 불확실하고 놀라운 일들로 가득할 때 최선의 결정을 내리는 과학입니다.

이 과제를 이해하기 위해, 위험을 다루는 두 가지 방법을 생각해 보십시오. 첫 번째는 매 초마다 백미러를 확인하며 "좋아, 지금은 안전해"라고 말하는 것과 같습니다. 이것을 "단계별(stagewise)" 점검이라고 합니다. 두 번째는 훨씬 더 어려운 접근 방식으로, 전체 비행 경로를 지도 위에서 바라보며 "이 선 위의 모든 지점이 소행성으로부터 깨끗할 것임을 약속합니다"라고 말하는 것입니다. 이것이 **결합 제약 조건(joint chance constraint)**입니다. 이는 "미션 전체"에 대한 약속입니다. 문제는 이 약속을 지키는 것이 컴퓨터에게 매우 어렵다는 점입니다. 왜냐하면 미래의 경로는 그 이전에 일어난 모든 굴곡과 회전에 의존하기 때문에 수학적 복잡성이 폭발적으로 증가하기 때문입니다. 보통 엔지니어들은 수학을 다루기 쉽게 만들기 위해, 연료를 낭비하면서 지나치게 넓고 느린 우회로를 택하거나, 특정 시간이 지나면 위험이 사라진다고 가정하곤 합니다.

Francesco Cordiano, Kanghui He, Bart De Schutter가 작성한 이 논문은 어떻게 하면 지나치게 조심스럽거나 위험이 사라진다고 가정하지 않고도, 저 무한하고 위험한 경로를 항해할 수 있는지에 대한 문제를 다룹니다. 그들은 전력망이나 고속도로 위의 자율주행 자동차처럼 영원히 작동하는 시스템을 위해, 컴퓨터가 완벽하고 안전하며 연료 효율적인 결정을 내리도록 가르치는 영리하고 새로운 방법을 제안합니다.

마법의 기술: 기억 문제를 상태 문제로 바꾸기

"미션 전체"의 안전 약속과 관련된 가장 큰 골칫거리는 그것이 **비마르코프적(non-Markovian)**이라는 점입니다. 쉬운 말로 설명하자면, 컴퓨터가 안전한지 알기 위해 태초부터 지금까지 일어난 모 모든 일을 기억해야 한다는 뜻입니다. 만약 지금까지 소행성에 부딪힌 적이 없다면 안전한 것입니다. 만약 어제 소행성에 부딪혔다면, 이미 "실패"한 것입니다. 일반적인 컴퓨터 두뇌(마르코프 정책)는 보통 다음에 무엇을 할지 결정하기 위해 지금 현재 어디에 있는지만을 봅니다. 그것은 장기적인 기억을 가지고 있지 않습니다.

저자들의 첫 번째 돌파구는 **상태 확장(state augmentation)**이라는 "마법의 기술"입니다. 그들은 우주선에 부착할 새로운 세대의 "가상 센서"를 발명했습니다.

"전부 통과" 표시등 (상태 $\xi$ ): 이 이진 스위치는 배가 소행성에 부딪힌 적이 없는 동안에는 계속 "ON"(1) 상태를 유지합니다. 소행성에 부딪히는 순간 스위치는 "OFF"(0)로 바뀌며 그 상태로 유지됩니다.
"첫 충돌" 알람 (상태 $\psi$ ): 이것은 배가 처음으로 소로행성에 부딪히는 정확한 순간에만 울리는 특수 알람입니다. 만약 이 알람이 울리면, 시스템은 "아, 바로 이 순간 우리가 실패했구나"라고 알게 됩니다.
"시간 다이얼" (상태 $\phi$ ): 배가 무한한 미래에 걸쳐 연료 사용을 최소화하려고 노력하기 때문에, 미래의 연료 사용에 대한 중요도는 시간에 따라 변합니다. 이 다이얼은 변화하는 중요도를 추적합니다.

이 세 가지 가상 센서를 실제 우주선의 위치에 추가함으로써, 컴퓨터는 더 이상 전체 이력을 기억할 필요가 없습니다. 그저 현재 이 센서들의 상태를 보기만 하면 됩니다. 만약 "전부 통과" 표시등이 ON이라면, 지금까지는 안전하다는 것을 압니다. 만약 OFF라면, 이미 실패했다는 것을 압니다. 이를 통해 복잡하고 기억 집약적인 문제를 표준적이고 관리 가능한 문제로 바꿀 수 있습니다.

균형 잡기: 안전의 대가

이제 문제가 관리 가능한 수준이 되었으니, 다음 과제는 "무한한 지평(infinite horizon)" 부분입니다. 배는 단지 향후 10분 동안만 안전한 것이 아니라, 영원히 안전해야 합니다. 저자들은 이 문제를 해결하기 위해 **라그랑주 쌍대성(Lagrange duality)**이라는 수학적 개념을 사용합니다.

당신이 자동차를 운전하는 로봇을 고용한다고 상상해 보십시오. 당신은 로봇에게 "최대한 빨리 운전하되, 사고는 내지 마"라고 말합니다. 로봇은 속도와 안전 사이에서 어떻게 균형을 잡아야 할지 모릅니다. 그래서 당신은 "안전의 대가"를 도입합니다. "사고가 날 뻔할 때마다 벌금을 내야 한다"라고 말하는 것입니다.

벌금이 너무 낮으면, 로봇은 무모하게 운전하다가 사고를 냅니다.
벌금이 너무 높으면, 로봇은 너무 느리게 운전하여 목적지에 도달하지 못합니다.

이 논문은 스마트한 협상가처럼 작동하는 알고리즘을 제안합니다. 알고리즘은 낮은 벌금으로 시작하여 로봇을 운전하게 합니다. 만약 로봇이 너무 자주 사고를 내면, 알고리즘은 벌금을 올립니다. 만약 로로봇이 너무 느리고 안전하게만 운전한다면, 벌금을 낮춥니다. 목표는 로봇이 안전 요구 사항을 정확히 충족하면서도 최대한 빠르게 달릴 수 있는 "골디락스(Goldilocks)" 벌금(이를 쌍대 변수, $\lambda$ 라고 부름)을 찾는 것입니다.

저자들은 이 협상이 완벽하게 작동한다는 것을 증명합니다. 그들은 로봇의 "최고 속도" 전략이 곧 "가장 안전한" 전략이 되는 특정 가격이 존재함을 보여줍니다. 이를 통해 그들은 까다로운 "안전 제약" 문제를 더 단순한 "비용 + 벌금 최소화" 문제로 전환할 수 있습니다.

신경망으로 로봇 가르치기

마지막 퍼즐 조각은 실제 세계의 시스템(로봇이나 전력망 등)은 그들이 있을 수 있는 곳과 할 수 있는 행동의 가능성이 무한하다는 것입니다. 모든 가능성에 대해 규칙을 일일이 적어 내려갈 수는 없습니다. 이를 처리하기 위해 저자들은 머신 러러닝을 사용합니다.

그들은 어떤 상황에 처해 있는지에 대한 "가치"를 학습하도록 신경망(인간의 뇌에서 영감을 받은 컴퓨터 두뇌의 일종)을 훈련시킵니다.

먼저, 안전 규칙이 이미 깨진 경우에 어떤 일이 발생하는지 네트워크에 가르칩니다. 이 경우 로봇은 안전을 무시하고 목표에 최대한 빨리 도달하려고 노력합니다.
그다음, "전부 통과" 상황을 가르칩니다. 여기서 네트워크는 속도와 "안전의 대가" 벌금 사이의 균형을 잡는 법을 배웁니다.

이 훈련은 오프라인에서 이루어집니다. 즉, 로봇이 실제로 움직이기 전에 컴퓨터가 모든 어려운 생각을 마치는 것입니다. 일단 훈련이 끝나면, 로봇은 현재 상태를 보고 신경망의 조언을 따름으로써 0.01초라는 찰나의 순간에 결정을 내릴 수 있습니다.

결과: 더 빠르고, 더 안전하며, 더 똑똑하게

저자들은 장애물이 중앙에 있는 미로를 통과하려는 "유니사이클(unicycle)" 로봇(한 바퀴로 균형을 잡는 로봇) 시뮬레이션을 통해 그들의 방법을 테스트했습니다. 그들은 자신들의 방법과 인기 있는 기술인 **모델 예측 제어(MPC)**를 비교했습니다. MPC는 로봇이 다음 몇 단계를 계획하고, 안전한지 확인한 다음, 다시 계획을 세우는 방식입니다.

결과는 인상적이었습니다:

안전성: 새로운 방법은 위반율 약 **4.5%**를 유지하며, 허용 한도인 **10%**보다 훨씬 낮았습니다. 기존의 MPC 방식은 대폭적인 조정에도 불구하고 위반율이 **17%**에 달해 안전 테스트에 실패했습니다.
성능: 새로운 방법은 목표에 도달하기 위해 훨씬 적은 "연료(비용)"를 사용했습니다. 새로운 방법의 비용은 528.3이었던 반면, MPC 방법의 비용은 672.0이었습니다. 새로운 방법은 위험을 감수하는 데 더 똑똑했습니다. 만약 드물게 장애물에 부딪히더라도, 즉시 목표를 향한 가장 빠른 경로로 전환한 반면, MPC 방법은 보수적인 루프에 갇혀 버렸습니다.
속도: 이것이 가장 큰 승리입니다. 기존의 MPC 방식은 각 단계에서 무엇을 할지 결정하는 데 평균 2.94초가 걸렸고, 때로는 10초 제한에 걸려 지연이 발생했습니다. 새로운 방법은 단 0.01초밖에 걸리지 않았습니다. 거의 300배 더 빨랐습니다.

이것이 왜 중요한가

이 논문은 단순히 "우리가 해냈다"라고 말하는 것이 아니라, 그들의 방법이 최선의 솔루션으로 수렴하고 작동한다는 엄격한 수학적 증명을 제공합니다. 이는 안전함과 효율성 사이에서 하나를 선택할 필요가 없음을 보여줍니다. 영리한 상태 확장과 스마트한 학습 알고리즘을 사용함으로써, 우리는 매우 빠르면서도 엄격하게 안전한 시스템을 구축할 수 있습니다.

저자들은 자신들의 방법이 시뮬레이션에 의존하며, 특히 위험 구역의 경계 근처에서 정확도를 높이기 위해서는 학습 과정에 충분한 데이터가 필요하다는 점을 인정합니다. 그러나 그들은 복잡한 연속 시스템에 대해 이 접근 방식이 거대한 도약임을 입증했습니다. 이는 이전에 풀기 너무 어려웠던 문제를 컴퓨터가 눈 깜짝할 사이에 해결할 수 있는 문제로 바꾸어 놓았으며, 현실 세계의 더 안전하고 효율적인 자율 시스템을 위한 문을 열어주었습니다.

기술 요약: 무한 시계 제약 확률적 최적 제어를 위한 학습 기반 방법론

문제 정의
본 논문은 **결합 확률 제약(joint chance constraints)**이 부과된 무한 시계 확률적 최적 제어 문제를 해결하는 과제를 다룹니다. 각 단계에서 독립적으로 안전성을 요구하는 개별(단계별) 확률 제약과 달리, 결합 확률 제약은 전체 궤적이 최소 $1-\varepsilon$ 의 확률로 안전 집합 $X$ 내에 머물러야 함을 요구합니다. 이러한 정식화는 안전이 필수적인 시스템에서 매우 중요하지만, 다음과 같은 두 가지 주요 어려움을 야기합니다:

비마르코프적 특성(Non-Markovian Nature): 제약 조건이 궤적의 전체 이력에 의존하므로, 표준 마르코프 결정 과정(MDP) 정식화를 적용할 수 없습니다.
계산적 불가능성(Computational Intractability): 전통적인 방법들은 대개 보수적인 근사치(예: 부울의 부등식)나 유한 시계 가정을 사용하며, 이는 성능을 저하시키거나 제한적인 노이즈 지원(disturbance support) 가정 없이는 무한 시계 설정을 처리하지 못합니다.

방법론
저자들은 원래의 비마르코프적 제약 문제를 학습 기반 동적 계획법(dynamic programming)으로 해결 가능한 등가의 무제약 마르코프 문제를 만드는 프레임워크를 제안합니다. 방법론은 다음과 같이 세 가지 주요 단계로 진행됩니다:

상태 확장 및 재정식화:
저자들은 확장된 상태 공간 $S = \mathbb{R}^n \times \{0, 1\}^2 \times [0, 1]$ 를 도입합니다. 원래의 상태 $x_t$ 는 세 가지 보조 변수로 확장됩니다:
- $\xi_t$ : 궤적이 시간 $t$ 까지 제약을 만족했으면 1, 그렇지 않으면 0인 이진 지표.
- $\psi_t$ : 현재 상태 $x_t$ 가 최초로 제약을 위반한 상태이면 1, 그렇지 않으면 0인 이진 지표.
- $\phi_t$ : 할인 계수(discount factor)를 고려하여 $\phi_{t+1} = \gamma \phi_t$ 로 업데이트되는 스칼라 변수로, 할인된 비용과 비할인 제약 사이의 시간적 불일치를 제거합니다.
이러한 확장을 통해 결합 확률 제약은 무한 시계 동안 $\psi_t$ 의 기대 합계에 대한 가산 제약 $\mathbb{E}[\sum \psi_t] \leq \varepsilon$ 으로 재정식화될 수 있습니다.
라그랑주 쌍대 프레임워크 및 강한 쌍대성:
제약된 문제는 라그랑주 쌍대 프레임워크로 구성됩니다. 저자들은 이 정식화가 슬레이터 조건(Slater's condition) 하에서 **강한 쌍대성(strong duality)**을 만족함을 증명합니다. 이를 통해 제약된 문제는 확률 제약이 목적 함수의 페널티 항으로 취급되는 등가의 무제약 문제로 재구성될 수 있습니다. 결과적인 목적 함수는 다음과 같습니다:
$\inf_{\pi} \mathbb{E} \left[ \sum_{t=0}^{\infty} (\phi_t \ell(x_t, u_t) + \lambda \psi_t) \right] - \lambda \varepsilon$
여기서 $\lambda \geq 0$ 는 쌍대 변수입니다.
쌍대 상승 알고리즘 및 학습:
연속 상태-행동 공간에서 무제약 문제를 해결하기 위해 저자들은 **쌍대 상승 알고리즘(dual-ascent algorithm)**을 제안합니다:
- 원형 단계(Primal Step): 고정된 $\lambda$ 에 대해, 내부 최소화 문제는 동적 계획법(DP)을 통해 해결되는 무제약 최적 제어 문제입니다.
- 쌍대 단계(Dual Step): 쌍대 변수 $\lambda$ 는 리스크 제약 위반에 기초하여 투영 경사 상승법(projected gradient ascent)을 통해 업데이트됩니다.
연속 공간을 처리하기 위해, 저자들은 신경망(NN)을 사용하여 가치 함수를 근사하는 학습 기반 프레임워크를 개발합니다. 이들은 확장된 상태의 구조적 특성을 활용합니다:
- 만약 위반이 발생했다면( $\xi=0$ ), 문제는 비용을 최적화하는 무제약 최적화 문제로 축소되며, 이는 네트워크 $\hat{W}$ 에 의해 근사됩니다.
- 만약 위반이 발생하지 않았다면( $\xi=1$ ), 가치 함수 $\hat{J}$ 는 위반 상태로 전이될 확률을 포함하여 학습됩니다.
  이론적 분석은 가치 함수가 연속적임을 확인하며, 이는 신경망과 같은 보편 근사기(universal approximator)의 사용을 정당화합니다.

핵심 기여

등가의 마르코프 정식화: 본 논문은 상태 확장 기법을 유한 시계에서 무한 시계로 확장하여, 보수적인 근사(부울의 부등식 등)를 사용하지 않고도 문제를 제약된 MDP로 구성했습니다.
강한 쌍대성 및 결정론적 정책: 저자들은 무한 시계 경우에 대한 강한 쌍대성을 증명합니다. 결정적으로, 제안된 쌍대 상승 알고리즘이 최적이며 실행 가능한 **결정론적 마르코프 정책(deterministic Markov policy)**으로 수렴함을 보여줍니다. 이는 혼합 정책이나 학습 반복 과정에서의 평균적 실행 가능성에 의존하는 기존 연구들과 대조됩니다.
완화된 실행 가능성 조건: 본 논문은 (무한 시계 문헌에서 흔히 나타나는) 유계 불확실성 지원(bounded uncertainty support) 가정이 엄격하게 필요하지 않음을 보여줍니다. 최초의 제약 위반 확률이 충분히 빠르게 감소한다면(예: 평균 제곱 안정성을 통해) 실행 가능성을 보장할 수 있습니다.
학습 기반 솔루션: 가치 함수와 쌍대 함수를 근사하기 위한 전용 오프라인 훈련 체계가 제안되었으며, 이는 모델 예측 제어(MPC)에 비해 온라인 제어 단계의 계산 복잡도를 크게 줄여줍니다.

결과
제안된 방법은 결합 확률 제약( $\varepsilon = 0.1$ )이 있는 장애물 영역을 통과하는 유니사이클(unicycle)을 포함하는 수치 예제로 검증되었습니다.

성능: 학습 기반 접근 방식은 무작위 MPC 방식( $L_{cl} = 672.0$ )보다 낮은 폐루프 비용( $L_{cl} = 528.3$ )을 달old했습니다.
안전성: 제안된 방법의 경험적 제약 위반율은 $0.045 $로,$ \varepsilon = 0.1$ 요구 사항을 충족했습니다. 반면, 25개의 샘플을 사용한 MPC 방식은 위반율이 $0.17$로 나타나 안전 사양을 충족하지 못했습니다.
효율성: 제안된 방법의 온라인 계산 시간은 단계당 약 0.01초(단일 단계 문제 해결)였던 반데, MPC 방식은 평균 2.94초(10초 제한)가 소요되었으며, 장애물 근처에서 실행 가능한 해를 찾는 데 종종 어려움을 겪었습니다.
동작: 학습된 정책은 특정 궤적에 대해 일단 제약 위반이 발생하면, 최적의 전략은 안전 제약을 무시하고 비용을 최소화하는 것임을 정확히 식별해 냈으며, 이는 MPC 방식이 효율적으로 재현하지 못한 동작입니다.

의의
본 논문은 무한 시계 확률적 제어가 결합 확률 제약을 갖는 문제라는, 오랫동안 미해결 과제로 남아있던 클래스에 대해 계산적으로 효율적이고 이론적으로 엄밀한 솔루션을 제공한다고 주장합니다. 보수적인 근사를 피하고 강한 쌍대성을 활용함으로써, 이 방법은 최신 MPC 접근 방식보다 더 나은 성능과 안전 보장을 달면서도 낮은 온라인 계산 복잡성을 유지합니다. 이 연구는 제약된 MDP 이론과 연속 시스템을 위한 실용적인 학습 기반 제어 사이의 간극을 메웁니다.

마법의 기술: 기억 문제를 상태 문제로 바꾸기

균형 잡기: 안전의 대가

신경망으로 로봇 가르치기

결과: 더 빠르고, 더 안전하며, 더 똑똑하게

이것이 왜 중요한가

유사한 논문