UniUncer: Unified Dynamic Static Uncertainty for End to End Driving

이 논문은 정적 및 동적 환경 요소에 대한 불확실성을 통합적으로 추정하고 이를 계획 과정에 반영하여 종단간 자율주행의 신뢰성과 성능을 향상시키는 경량화된 프레임워크 'UniUncer'를 제안합니다.

핵심

UniUncer: 자율주행차의 '직관'과 '경계심'을 키우는 새로운 기술

이 논문은 자율주행 기술의 핵심인 '엔드 투 엔드 (End-to-End)' 방식의 신뢰성을 높이는 획기적인 방법, UniUncer를 소개합니다.

쉽게 말해, 기존 자율주행차는 "눈에 보이는 것"을 믿고 운전했지만, UniUncer 는 **"이게 정말 확실한가? 아니면 착각일 수도 있는가?"**를 스스로 판단하여 더 안전하고 인간 같은 운전을 하게 만든다는 이야기입니다.

---

1. 문제점: "모든 것을 100% 믿는" 운전자의 위험

기존의 엔드 투 엔드 자율주행 모델은 카메라와 센서 데이터를 받아 바로 핸들과 페달을 조작합니다. 마치 운전 면허를 갓 딴 초보 운전자가 모든 사물을 100% 확실한 사실로 믿고 운전하는 상황과 비슷합니다.

• 정적인 것 (도로, 차선): 비가 오거나 카메라가 흐릿하면 차선이 어디인지 모를 수 있습니다.
• 동적인 것 (다른 차, 보행자): 안개 낀 날이나 가려진 곳에서는 다른 차가 얼마나 빨리 오는지, 어디로 갈지 정확히 알 수 없습니다.

기존 모델은 이런 **'불확실성 (Uncertainty)'**을 무시하고 무작정 믿고 운전하기 때문에, 센서 오류가 발생하면 위험한 결정을 내리기 쉽습니다.

2. 해결책: UniUncer (유니언서) 의 등장

UniUncer 는 자율주행차에 **'직관'**과 **'경계심'**을 심어줍니다. 이 기술은 세 가지 핵심 아이디어로 작동합니다.

① "확실하지 않다면, '불확실함'까지 표시하라" (확률적 예측)

기존 모델은 "저 차는 저기 있다"라고 딱 잘라 말했지만, UniUncer 는 **"저 차는 저기 있을 확률이 높지만, 약간의 오차 범위 (불확실성) 가 있다"**라고 생각합니다.

• 비유: 비가 오는 날 창문을 보면, "저기 사람이 있다"라고 단정 짓기보다, "저기 사람 같은 형체가 보이는데, 안개 때문에 위치가 조금 흐릿할 수도 있겠다"라고 생각하는 것과 같습니다.
• 기술적으로는 도로와 차량의 위치를 단순한 점 (점) 이 아니라, **불확실성을 나타내는 타원 (확률 분포)**으로 표현합니다.

② "불확실한 정보를 통합하라" (불확실성 융합)

도로의 불확실성과 다른 차량의 불확실성을 따로따로 계산하지 않고, 하나의 시스템으로 합쳐서 전체 상황을 파악합니다.

• 비유: 운전자가 차선 (도로) 이 흐릿하고, 앞차 (동적 객체) 의 위치도 불확실할 때, 두 가지 정보를 합쳐서 "지금 상황은 매우 위험하니 천천히 가자"라고 종합 판단하는 것입니다.

③ "과거 정보를 상황에 따라 조절하라" (불확실성 인지 게이트)

가장 멋진 부분입니다. UniUncer 는 현재 상황이 불확실할 때 과거의 기억 (이전 차량 상태, 과거 센서 데이터) 을 얼마나 믿을지 스스로 조절합니다.

• 비유:
  • 날씨가 맑고 길이 확실할 때: "과거에 내가 잘 운전했던 방식을 그대로 따라가자!" (과거 정보를 많이 신뢰)
  • 안개가 끼고 앞이 안 보일 때: "과거의 기억은 믿을 수 없어. 지금 눈앞에 보이는 것만 조심스럽게 믿자!" (과거 정보를 줄이고 현재 불확실성에 맞춰 방어 운전)
  • 이 장치는 마치 **현명한 운전자의 '경계심'**처럼, 상황이 나쁘면 과거의 습관을 멈추고 더 신중하게 행동하게 만듭니다.

---

3. 실제 효과: 더 안전하고, 더 인간 같은 운전

이 기술을 적용한 결과, 다음과 같은 놀라운 변화가 일어났습니다.

• 정확도 향상: 차가 길을 잃거나 궤적에서 벗어나는 오류가 약 7% 줄어듭니다.
• 안전성 강화: 특히 복잡한 상황 (다른 차와 얽히는 상황) 에서 사고 위험을 줄여주어, 전체 점수가 10% 이상 향상되었습니다.
• 인간 같은 결정: 센서 데이터가 불확실할 때, 무작정 급하게 반응하기보다 "잠깐 멈추고 확인하는" 인간다운 방어 운전 전략을 취합니다.
• 경량화: 이런 똑똑한 기능이 추가되었음에도, 컴퓨터의 계산 속도는 거의 떨어지지 않아 (초당 0.5 프레임만 감소) 실차 적용이 가능합니다.

4. 결론: 왜 이 기술이 중요한가?

UniUncer 는 자율주행차가 "모든 것을 알고 있다"는 착각을 버리고, "모르는 것이 있을 수 있다"는 겸손함을 가지게 해줍니다.

마치 숙련된 운전자가 비가 오는 날에는 속도를 줄이고, 앞차가 보이지 않으면 과감히 차선을 변경하지 않는 것처럼, 불확실성을 인정하고 그에 맞춰 유연하게 대응하는 기술입니다. 이는 자율주행차가 단순히 '코딩된 기계'를 넘어, 복잡한 현실 세계에서도 안전하게 운전할 수 있는 **'현명한 파트너'**로 성장하는 중요한 디딤돌이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

종단간 (End-to-End, E2E) 자율주행은 센서 입력을 직접 주행 행동으로 매핑하여 모듈식 파이프라인의 복잡성을 줄이고 정보 손실을 최소화하는 혁신적인 접근법입니다. 그러나 이러한 시스템의 신뢰성은 **불확실성 (Uncertainty)**을 얼마나 잘 처리하느냐에 크게 의존합니다.

• 현재의 한계: 기존 E2E 모델들은 대부분 센서 노이즈, 시야 가림, 모호한 의미론, 그리고 다른 도로 사용자의 예측 불가능한 행동으로 인해 발생하는 정적 (Static, 지도 요소) 및 동적 (Dynamic, 다른 차량/보행자) 요소의 불확실성을 명시적으로 고려하지 않습니다.
• 기존 연구의 부족: 기존 연구들은 주로 정적 지도 (Static Map) 의 불확실성만 모델링하거나, 동적 요소와 정적 요소를 분리하여 다루었습니다. 이는 계획 (Planning) 단계에서 신뢰할 수 없는 입력에 과도하게 의존하게 만들어, 복잡한 환경에서 시스템의 견고성과 안전성을 저해합니다.
• 핵심 과제: 정적 및 동적 요소의 불확실성을 **통합 (Unified)**하여 추정하고, 이를 계획 모듈에 효과적으로 반영하여 주행 신뢰성을 높이는 경량화된 프레임워크의 부재.

2. 방법론 (Methodology)

논문은 UniUncer라는 새로운 경량 통합 불확실성 프레임워크를 제안합니다. 이 프레임워크는 기존 E2E 백본에 최소한의 변경으로 적용 가능하며, 다음 세 가지 핵심 모듈로 구성됩니다.

가. 통합 불확실성 추정 (Unified Uncertainty Estimation)

• 확률론적 회귀 (Probabilistic Regression): 기존 결정론적 (Deterministic) 헤드를 **라플라스 분포 (Laplace Distribution)**를 사용하는 확률론적 헤드로 변환합니다.
• 벡터화 표현: 정적 지도 요소와 동적 에이전트 모두를 BEV(Bird's Eye View) 공간의 벡터화된 꼭짓점 (Vertices) 으로 표현합니다.
• 파라미터 예측: 각 꼭짓점에 대해 위치 ($\mu$) 와 스케일 ($b$) 파라미터를 예측하여 공간적 불확실성을 정량화합니다. 이는 $\ell_1$ 손실 함수와 자연스럽게 호환되며, 노이즈에 강건한 측정을 가능하게 합니다.

나. 불확실성 융합 모듈 (Uncertainty Fusion Module)

• 추정된 라플라스 파라미터를 MLP 인코더를 통해 **불확실성 특징 (Uncertainty Features)**으로 인코딩합니다.
• 크로스 어텐션 (Cross-Attention): 원본 쿼리 (Query) 와 불확실성 특징 간의 어텐션을 수행하여 **불확실성 인지 쿼리 (Uncertainty-aware Queries)**를 생성합니다. 이는 계획 모듈에 입력되는 특징에 불확실성 정보를 명시적으로 주입합니다.

다. 불확실성 인지 게이트 (Uncertainty-aware Gate)

• 적응형 게이트 메커니즘: 현재 장면의 불확실성 수준에 따라 과거 정보 (자차 상태, 시간적 쿼리 등) 에 대한 의존도를 동적으로 조절합니다.
  • 동작 원리: 현재 불확실성 인지 쿼리를 집계하여 전역 컨텍스트를 생성한 후, 이를 시계열 데이터 (Temporal Queries) 또는 자차 상태 (Ego Status) 에 적용할 가중치 (Gate Signal) 로 변환합니다.
  • 효과: 불확실성이 높은 상황 (예: 센서 노이즈가 심하거나 가림이 있는 경우) 에는 과거 정보의 신뢰도를 낮추고, 불확실성이 낮은 상황에서는 과거 정보를 적극 활용하여 계획의 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 통합 불확실성 추정: 정적 및 동적 요소 모두에 대해 라플라스 분포 기반의 확률론적 헤드를 도입하여, 기존 아키텍처를 거의 변경하지 않으면서 불확실성 인지 특징 표현을 가능하게 함.
2. 불확실성 융합: 추정된 불확실성 파라미터를 객체 특징에 체계적으로 통합하여, 난이도가 높은 시나리오에서의 계획 결정 품질을 향상시킴.
3. 불확실성 인지 게이트: 현재 불확실성 수준에 따라 과거 입력 (자차 상태, 시간적 쿼리) 을 적응적으로 조절하는 메커니즘을 설계하여, 신뢰할 수 없는 입력에 대한 과신 (Over-reliance) 을 방지함.
4. 경량화 및 플러그 앤 플레이: 계산 오버헤드가 거의 없으며 (약 0.5 FPS 감소), 일반적인 E2E 백본에 쉽게 적용 가능함.

4. 실험 결과 (Results)

논문은 nuScenes (Open-loop) 및 NavsimV2 (Pseudo Closed-loop) 벤치마크에서 광범위한 실험을 수행했습니다.

• nuScenes (Open-loop):
  • 평균 L2 궤적 오차를 7% 감소시켰습니다 (SparseDrive 대비).
  • 충돌률 (Collision Rate) 이 0.08% 에서 0.07% 로 감소하여 안전성이 향상됨을 입증했습니다.
• NavsimV2 (Pseudo Closed-loop):
  • 전체 EPDMS (Extended Predictive Driver Model Score) 가 10.8% 향상되었습니다 (25.9 $\rightarrow$ 28.7).
  • 특히 난이도가 높고 상호작용이 복잡한 2 단계 (Stage 2) 시나리오에서 큰 성능 개선을 보였습니다. 이는 3DGS 렌더링으로 인한 합성 아티팩트 (Synthetic Artifacts) 가 있는 환경에서 불확실성 추정이 계획의 견고성을 높여주기 때문입니다.
• 효율성:
  • 모델 파라미터는 약 5.6M 만 증가했고, 처리 속도는 약 0.5 FPS 만 감소하여 매우 효율적인 설계임을 확인했습니다.
• Ablation Study:
  • 정적 불확실성, 동적 불확실성, 게이트 메커니즘이 모두 성능 향상에 필수적임을 입증했습니다. 특히 동적 에이전트의 불확실성 모델링이 충돌 회피에 결정적인 역할을 함을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성 및 견고성 향상: UniUncer 는 불확실성이 높은 환경 (센서 노이즈, 가림, 합성 아티팩트 등) 에서 계획 모듈이 신뢰할 수 없는 입력에 의존하는 것을 방지하여, 인간과 유사한 보수적이고 안전한 주행 결정을 내리도록 돕습니다.
• 실용성: 복잡한 아키텍처 변경 없이 기존 E2E 모델에 '플러그 앤 플레이' 방식으로 적용 가능하여 산업계 배포에 높은 잠재력을 가집니다.
• 미래 연구 방향: 본 연구는 상호작용 불확실성 (Interactive Uncertainty) 과 분포 외 (Out-of-Distribution) 상황에 대한 인식적 불확실성 (Epistemic Uncertainty) 연구의 중요성을 강조하며, 자율주행의 신뢰성 확보를 위한 새로운 패러다임을 제시합니다.

요약하자면, UniUncer는 정적 및 동적 요소의 불확실성을 통합적으로 추정하고 이를 계획 단계에 적응적으로 반영함으로써, 종단간 자율주행 시스템의 정확성과 안전성을 동시에 획기적으로 개선한 획기적인 연구입니다.