⚡ electrical engineering

Hierarchical Decision-Making under Uncertainty: A Hybrid MDP and Chance-Constrained MPC Approach

이 논문은 자율 주행과 같은 불확실성 하의 자율 시스템 의사결정을 위해 환경 예측을 위한 하이브리드 MDP 와 안전성 보장을 위한 확률 제약 MPC 를 계층적으로 통합한 프레임워크를 제안하고, 이론적 안정성 보장과 함께 고속도로 및 도시 환경에서의 안전성과 효율성을 입증합니다.

원저자: Siyuan Li, Chengyuan Liu, Wen-Hua Chen

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siyuan Li, Chengyuan Liu, Wen-Hua Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚗 핵심 아이디어: "예측 가능한 미래"와 "안전한 선택"

자율주행차 (이 논문에서는 '내 차'라고 부름) 가 길을 가다 보면, 옆 차들이 갑자기 차선을 바꿀지, 속도를 줄일지, 아니면 그대로 갈지 알 수 없습니다. 마치 안개 낀 날에 운전하는 것과 비슷하죠.

이 논문은 이 불확실성을 해결하기 위해 두 가지 강력한 도구를 결합했습니다.

1. 주변 차들을 "미래의 시나리오"로 상상하기 (HMDP)

기존 방법들은 주변 차의 움직임을 단순히 "앞으로 1 초 뒤에 여기 있을 것이다"라고 딱 잘라 예측했습니다. 하지만 실제로는 "차선을 바꿀 수도 있고, 안 바꿀 수도 있고, 속도를 줄일 수도 있다"는 여러 가지 가능성이 공존합니다.

이 논문은 주변 차들을 확률적인 마리오 게임 캐릭터처럼 모델링합니다.

비유: 주변 차가 "오른쪽으로 갈지, 왼쪽으로 갈지, 직진할지"를 주사위 굴리듯 여러 가지 시나리오로 예측합니다.
핵심: 모든 가능성을 다 고려하는 대신, 가장 그럴듯한 시나리오들만 골라내서 (예: 차선 변경 확률이 1% 인 경우는 제외) 복잡한 계산 없이 핵심적인 미래만 예측합니다. 이를 통해 "만약 옆 차가 갑자기 끼어들면?"이라는 상황을 미리 대비합니다.

2. 내 차의 결정은 "안전한 게임"으로 만들기 (MPC + Chance Constraints)

예측된 여러 가지 미래 시나리오를 바탕으로, 내 차는 어떻게 움직여야 할지 결정합니다. 이때 중요한 것은 **"어떤 상황에서도 안전해야 한다"**는 것입니다.

비유: 내 차는 안전 규칙이 엄격한 체스 게임을 하고 있습니다.
- 기존 방식 (규칙 기반): "앞차가 50m 이내면 멈춰라"처럼 딱딱한 규칙을 따릅니다. 만약 옆 차가 갑자기 끼어들면, 규칙을 따르느라 급하게 브레이크를 밟거나 사고가 날 수도 있습니다.
- 이 논문의 방식 (확률적 제약): "99% 의 확률로 옆 차와 부딪히지 않을 경로만 선택하라"는 목표를 세웁니다.
- 작동 원리: 컴퓨터는 "만약 옆 차가 A 를 선택하면 내 차는 B 로 가고, 만약 C 를 선택하면 D 로 가자"라고 수많은 시뮬레이션을 한 번에 실행합니다. 그중에서 어떤 상황에서도 안전을 지키면서 가장 효율적으로 가는 길을 찾아냅니다.

🎮 실제 시뮬레이션 결과 (세 가지 상황)

논문의 연구자들은 이 방법을 실제 도로 상황에 적용해 보았습니다.

옆 차가 차선을 바꿀지 모를 때 (Case 1):
- 옆 차가 차선 변경을 고민하는 것처럼 보이면, 내 차는 "아, 저 차가 끼어들면 위험하구나"라고 미리 판단합니다.
- 결과: 내 차는 미리 차선을 피하거나 속도를 조절해서, 옆 차가 끼어들어도 충돌 없이 자연스럽게 지나갑니다. 마치 춤을 추듯 상대방의 움직임에 맞춰 유연하게 움직입니다.
앞차가 속도를 갑자기 바꿀 때 (Case 2):
- 앞차가 갑자기 가속하거나 감속할 때, 기존 규칙 기반 시스템은 뒤따라오는 차가 급하게 브레이크를 밟게 만들거나, 차선 변경을 잘못 판단하게 합니다.
- 결과: 이 시스템은 "앞차가 가속할 확률이 높다"고 예측하면, 미리 차선을 비켜주거나 속도를 조절합니다. 사고가 나기 전에 미리 피하는 능동적인 운전이 가능합니다.
위험을 얼마나 감수할 것인가? (Case 3):
- 운전자는 "매우 안전하고 싶을 때"와 "조금 더 빠르게 가고 싶을 때"가 다릅니다.
- 결과: 연구자들은 "위험 허용도" (Risk Threshold) 를 조절했습니다.
  - 안전 모드 (위험 허용도 낮음): 아주 일찍 차선을 바꾸고, 아주 멀리서 미리 멈춥니다. (초조한 운전자가 아님)
  - 효율 모드 (위험 허용도 높음): 조금 더 가까이서, 더 늦게 차선을 바꿉니다. (빠른 운전자가 아님)
- 이 시스템은 운전자의 성향에 따라 안전과 효율의 균형을 스스로 조절할 수 있습니다.

💡 결론: 왜 이 기술이 중요한가요?

기존의 자율주행 기술은 "규칙을 따르는 로봇" 같았다면, 이 논문의 기술은 **"상황을 읽고 미리 대비하는 똑똑한 인간 운전사"**에 가깝습니다.

예측력: "저 차가 끼어들면 어떡하지?"라는 걱정을 미리 시뮬레이션으로 해결합니다.
유연성: 어떤 상황에서도 안전을 지키면서, 가장 효율적인 길을 찾습니다.
안전 보장: 수학적으로 "이 경로를 가면 99% 이상 안전하다"는 것을 증명합니다.

결국 이 기술은 자율주행차가 불확실한 세상에서도 인간처럼 유연하게, 하지만 기계처럼 확실하게 운전할 수 있게 해주는 핵심 열쇠입니다.

1. 문제 정의 (Problem Statement)

자율 주행 시스템은 인간, 로봇 및 기타 지능형 에이전트와 공유하는 불확실하고 역동적으로 변화하는 환경에서 작동합니다. 이러한 환경에서 신뢰할 수 있는 의사결정을 내리기 위해서는 다음과 같은 두 가지 주요 과제를 해결해야 합니다.

이중 불확실성 (Dual Uncertainty): 주변 에이전트 (Surrounding Agents, SAs) 의 행동은 기동 수준 (Maneuver-level) (예: 차선 변경 의도, 경로 선택) 과 동역학 수준 (Dynamic-level) (예: 속도, heading, 포지션) 의 불확실성이 결합되어 발생합니다. 기존 연구들은 대부분 이 두 가지를 분리하여 모델링하거나, 기기 예측과 동역학 예측을 단절된 하위 문제로 취급하여 통합된 위험 추론이 어렵습니다.
의사결정 프레임워크의 한계: 기존 모델 예측 제어 (MPC) 기반 프레임워크들은 고수준 기기 선택과 저수준 동역학 계획을 분리하거나, 환경 예측을 명시적으로 최적화 과정에 통합하지 못해, 동역학적 실현 가능성과 안전성을 동시에 보장하는 일관된 의사결정을 내리기 어렵습니다.

2. 제안된 방법론 (Methodology)

이 논문은 하이브리드 마르코프 의사결정 과정 (HMDP) 과 확률적 제약 조건이 포함된 모델 예측 제어 (Chance-Constrained MPC) 를 결합한 계층적 의사결정 프레임워크를 제안합니다.

A. 주변 에이전트 (SAs) 모델링: HMDP

하이브리드 구조: 각 주변 차량을 HMDP 로 모델링하여 기기 수준의 불확실성 (확률적 행동 선택 분포) 과 동역학 수준의 불확실성 (상태 진화에 추가된 가우시안 잡음) 을 동시에 포착합니다.
확률적 필터링: 낮은 확률의 기기 분기를 제거하여 계산 복잡도를 줄이고, 가장 그럴듯한 다중 모드 (Multi-modal) 예측만 유지합니다.
Reachability Set: 필터링된 기기 시나리오들을 기반으로 미래 상태의 도달 가능 영역 (Reachability Set) 을 구성합니다.

B. 자차 (Ego Agent, EA) 의사결정: 통합 HMDP-MPC

통합 최적화: 자차의 HMDP 는 기기 선택을 의사결정 변수로 정의하며, 이를 MPC 프레임워크에 직접 통합합니다. 이를 통해 고수준 기기 선택과 저수준 동역학 실현 가능성을 단일 최적화 문제에서 동시에 평가합니다.
연립 확률적 제약 (Joint Chance Constraints): 주변 차량의 다중 모드 예측을 MPC 의 제약 조건으로 통합합니다. 모든 가능한 상호작용 시나리오에서 안전성을 보장하기 위해 연립 확률적 제약을 적용합니다.
- 수식적으로 $P(\text{안전 조건} \ge 0) \ge 1 - \epsilon$ 형태로 표현되며, 아핀 - 가우시안 가정 하에 결정론적 대수적 형태로 재구성되어 실시간 계산이 가능하도록 합니다.

C. 이론적 보장

재귀적 실현 가능성 (Recursive Feasibility): 초기 상태에서 최적화가 가능하면, 모든 미래 시간 단계에서도 제약 조건을 만족하는 해를 찾을 수 있음을 증명합니다.
점근적 안정성 (Asymptotic Stability): 제안된 MPC 정책이 목표 모드 (Goal Mode) 로 시스템이 수렴하도록 보장합니다.

3. 주요 기여 (Key Contributions)

구조화된 예측 프레임워크: 주변 차량의 기기 및 동역학 불확실성을 통합적으로 모델링하는 HMDP 기반 환경 모델링 프레임워크를 개발하여 구조화된 다중 모드 예측을 생성합니다.
통일된 의사결정 아키텍처: 자차의 기기 선택과 동역학 실현 가능성을 통합하고, 환경 예측을 확률적 제약 (Joint Chance Constraints) 을 통해 MPC 에 명시적으로 통합한 HMDP-MPC 프레임워크를 제안했습니다.
이론적 안정성 증명: 제안된 프레임워크에 대해 재귀적 실현 가능성과 점근적 안정성에 대한 이론적 보장을 확립했습니다.
종합적 검증: 고속도로 및 도시 환경 시뮬레이션을 통해 제안된 방법의 안전성과 효율성을 검증하고, 기존 규칙 기반 (Rule-based) 방법과의 비교를 통해 그 우수성을 입증했습니다.

4. 실험 결과 (Results)

고속도로 및 도시 주행 시나리오를 포함한 세 가지 사례 연구 (Case Study) 를 통해 검증되었습니다.

Case 1 (측면 기기 불확실성): 주변 차량의 차선 변경 의도 불확실성 하에서 자차가 주변 차량의 행동을 예측하고, 충돌 위험을 피하면서 효율적으로 차선을 변경하거나 추월하는 적응형 행동을 보였습니다.
Case 2 (종방향 불확실성 및 비교): 주변 차량의 속도 변화 (가속/감속) 불확실성 하에서 자차가 동적으로 전략을 조정했습니다.
- 규칙 기반 (IDM-MOBIL) 대비 우위: 규칙 기반 방법은 예측하지 못한 후방 차량의 급격한 가속 시 차선 변경을 중단하지 못해 급제동을 유발하거나, 추월 후 원래 차선으로 복귀하지 못하는 비효율적인 행동을 보였습니다. 반면, 제안된 프레임워크는 확률적 제약 하에서 사전에 위험을 감지하여 능동적으로 대응하고, 더 높은 효율성 (거리 이동량 증가) 과 안전성을 달성했습니다.
Case 3 (위험 임계값 분석): 위험 허용치 ( $\epsilon$ ) 를 변화시켜 분석한 결과, $\epsilon$ 이 작을수록 (더 보수적) 더 일찍 차선 변경을 수행하고, $\epsilon$ 이 클수록 (더 공격적) 행동을 지연시키는 등 위험 감수 수준에 따라 의사결정 시기와 위치가 명확하게 조절됨을 확인했습니다.

5. 의의 및 중요성 (Significance)

이 연구는 자율 주행 시스템의 의사결정 분야에서 다음과 같은 중요한 의의를 가집니다.

통합적 접근: 기기 (Maneuver) 와 동역학 (Dynamics) 의 불확실성을 분리하지 않고 통합하여 모델링함으로써, 더 정교하고 일관된 위험 추론이 가능해졌습니다.
안전성과 효율성의 균형: 확률적 제약 (Chance Constraints) 을 통해 "절대 안전"이 아닌 "허용 가능한 위험 수준" 내에서 최적의 의사결정을 내릴 수 있게 하여, 지나치게 보수적인 주행 (Over-conservative driving) 을 방지하면서도 안전성을 보장합니다.
예측적 자율성: 단순한 반응형 (Reactive) 규칙을 넘어, 미래의 불확실한 상호작용을 예측하고 최적화 과정을 통해 능동적으로 (Proactively) 대응하는 자율 주행 시스템의 핵심 기술적 토대를 제공합니다.

결론적으로, 이 논문은 불확실성이 내재된 복잡한 교통 환경에서 안전하고 효율적이며 이론적으로 보장된 자율 주행 의사결정을 위한 강력한 프레임워크를 제시합니다.