Uncertainty-Aware Vision-based Risk Object Identification via Conformal Risk Tube Prediction

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 지능형 주행 시스템 (IDS) 의 핵심 기능인 '시각 기반 위험 객체 식별 (Vision-ROI)'은 잠재적 위험을 국소화하고 위험 수준을 추정하는 것을 목표로 합니다. 기존 연구들은 충돌 예측, 궤적 예측, 인간 시선 기반 예측 등 다양한 접근법을 시도해 왔습니다.
• 핵심 문제: 기존 Vision-ROI 방법론들은 대부분 **결정론적 (deterministic)**이며, 불확실성을 고려하지 않습니다.
  • 불확실성 무시: 가림 (occlusion), 센서 노이즈, 불완전한 관측 등 실제 교통 환경의 불확실성을 반영하지 못합니다.
  • 고정 임계값의 한계: 고정된 결정 임계값을 사용할 경우, 모호한 상황에서 위험 탐지가 너무 일찍 또는 너무 늦게 발생하거나 (시간적 경계 불일치), 위험/비위험 상태가 끊임없이 전환되는 (flickering) 불안정한 예측이 발생합니다.
  • 현행 방법의 부족: 기존 불확실성 정량화 방법 (베이지안, 앙상블, 칼만 필터 등) 은 예측 정확도와 불확실성 추정 간의 일관된 상관관계를 보장하지 못해 (보정 불량, miscalibration), 안전에 치명적인 오류를 초래할 수 있습니다.
• 목표: 공간적 범위와 시간적 지평을 동시에 모델링하여, 위험의 불확실성을 정량화하고 보정된 위험 점수를 제공하는 새로운 프레임워크 개발.

2. 제안 방법론 (Methodology)

저자들은 **Conformal Risk Tube Prediction (CRTP)**이라는 새로운 프레임워크를 제안합니다. 이는 잠재적 위험을 시공간적 '튜브 (Tube)'로 표현하여 불확실성을 관리합니다.

A. Risk Tube Prediction (위험 튜브 예측)

• 단일 프레임의 객체 위험이 아닌, 시공간적 튜브로 위험을 표현합니다.
• 각 객체에 대해 미래 시간 구간 (예: $t_{start}$부터 $t_{end}$까지) 동안 위험이 발생할 수 있는 구간을 예측합니다.
• 불확실성 시각화: 불확실성이 높을수록 튜브의 시간적/공간적 범위가 넓어지고, 관측이 명확해지면 튜브가 좁아지며 불투명해집니다.

B. Conformal Risk Tube Prediction Framework

1. Base Model (기저 모델):
   • I3D 백본을 사용하여 전방 RGB 클립에서 전역 차량 (Ego) 특징을 추출합니다.
   • RoIAlign 과 GCN(그래프 신경망) 을 통해 객체 간 상호작용과 시간적 관계 (LSTM 기반) 를 모델링합니다.
   • 8 단계 미래 시간 구간에 대한 결정론적 위험 점수를 출력합니다.
2. Category-Aware Conformal Calibrator (카테고리 인식 컨포멀 보정기):
   • 문제: 기존 컨포멀 예측 (Conformal Prediction, CP) 은 모든 위험 카테고리 (가림, 충돌, 상호작용 등) 를 동일하게 취급하여 보정 신뢰도를 떨어뜨립니다.
   • 해결: 위험 카테고리 (가림, 장애물, 상호작용, 충돌) 를 분류하고, 각 카테고리별로 전용 컨포멀 보정기를 유지합니다.
   • 동작: 검증 세트에서 비동일성 점수 (nonconformity score) 를 계산하여 임계값 ($\hat{q}$) 을 구합니다. 예측 점수가 임계값 범위 내에 있으면 '모호한 영역 (Buffer Zone)'으로 처리하여 결정 경계 근처의 진동을 방지합니다.
3. Spatiotemporal Feature Alignment (시공간 특징 정렬):
   • 동일한 위험 카테고리를 가진 객체들은 외관과 운동 패턴이 유사하다는 가정을 기반으로 합니다.
   • Loss Function: 시간적 흐름에 따른 특징의 변화와 공간적 유사성 간의 불일치를 최소화하는 손실 함수를 도입하여, 카테고리 내 객체들의 특징 표현을 정렬시킵니다. 이는 카테고리 일관성을 높여 보정 신뢰도를 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. Conformal Risk Tube Prediction 프레임워크:
   • 기존 방법보다 신뢰성 있게 시공간적 위험 불확실성을 모델링하는 새로운 정형화 (Formulation) 를 제시했습니다.
   • 컨포멀 예측을 도입하여 실제 위험에 대한 **커버리지 보장 (Coverage Guarantee)**과 보정된 위험 점수를 제공합니다.
2. Multiple Coexisting Risks (MCR) 데이터셋 구축:
   • 기존 데이터셋은 단일 위험 카테고리만 다루거나 동시 발생을 고려하지 않았습니다.
   • CARLA 시뮬레이터 기반의 MCR 데이터셋을 구축하여, 단일 시나리오 내에서 여러 위험 카테고리 (가림, 충돌, 상호작용, 장애물) 가 공존하거나 순차적으로 발생하는 복잡한 상황을 평가할 수 있게 했습니다.
3. 강건한 성능 및 하류 작업 개선:
   • 다양한 시나리오, 카테고리별 행동, 지각 오류 전파 (perception error propagation) 에 대한 체계적인 분석을 통해 방법론의 강건성을 입증했습니다.
   • 불필요한 제동 경고 (nuisance braking) 를 줄이는 등 하류 작업 (Downstream tasks) 에서의 성능을 크게 향상시켰습니다.

4. 실험 결과 (Results)

• 데이터셋 및 비교 대상: MCR 데이터셋을 사용하여 기존 방법 (Rule-based, HD, BNN, KF, OCP, UE 등) 과 비교 평가했습니다.
• 주요 지표:
  • Coverage (커버리지): 실제 위험 구간이 예측 튜브에 포함되는 비율.
  • Tube Volume (튜브 부피): 예측 불확실성의 크기 (작을수록 좋음).
  • Temporal Consistency (시간적 일관성): 예측의 깜빡임 (flickering) 정도.
  • Boundary Alignment (경계 정렬): 위험 시작/종료 시점의 정확도.
• 성능 요약:
  • 단일/복합 위험 시나리오: 제안된 방법은 높은 커버리지를 유지하면서도 튜브 부피를 최적화하여, 기존 방법들보다 Risk-IoU와 Boundary Alignment에서 최상의 성능을 보였습니다. 특히 복합 위험 (Multi-Risks) 환경에서도 강건성을 유지했습니다.
  • 지각 오류 전파 (Perception Errors): 실제 검출기 (Detection) 의 바운딩 박스를 사용할 때, 다른 방법들은 성능이 급격히 떨어지는 반면, 제안 방법은 불확실성 튜브를 유연하게 확장하여 노이즈를 흡수함으로써 가장 적은 성능 저하를 보였습니다.
  • 하류 작업 (제동 경고): Vision-ROI 와 거리 기반 제동 조건을 결합했을 때, 제안 방법은 평균 제동 횟수와 **오정렬 제동 횟수 (Misaligned Brake Counts)**를 가장 크게 줄여 불필요한 제동 (Nuisance Braking) 을 효과적으로 억제하면서도 안전성을 유지했습니다.

5. 의의 및 결론 (Significance)

• 안전성 강화: 결정론적 접근법의 한계를 극복하고, 불확실성을 정량화하여 위험 탐지의 신뢰성을 높였습니다. 이는 자율주행 시스템이 모호한 상황에서 과도하게 반응하거나 위험을 놓치는 것을 방지합니다.
• 실용적 가치: 불필요한 제동 경고를 줄여 승차감을 향상시키고, 실제 운전자의 개입 빈도를 최적화합니다.
• 미래 전망: 현재 가림 (Occlusion) 상황에서의 성능은 여전히 개선의 여지가 있으며, 실제 도로 환경에서의 검증과 더 복잡한 안전 임무 (차선 변경, 교차로 양보 등) 로의 확장을 계획하고 있습니다.

이 논문은 **컨포멀 예측 (Conformal Prediction)**을 자율주행의 위험 식별 문제에 적용한 최초의 사례 중 하나로, 불확실성 인식형 AI 시스템 설계에 중요한 이정표가 됩니다.