[기술 요약] WaymoQA: 자율주행의 안전 필수 추론을 위한 다중 뷰 VQA 데이터셋

1. 문제 정의 (Problem Statement)

최근 멀티모달 거대 언어 모델(MLLM)이 자율주행 분야에 도입되고 있으나, 다음과 같은 세 가지 핵심적인 한계점이 존재합니다.

• 안전 필수 시나리오(Safety-Critical Scenarios)의 부재: 기존 데이터셋은 대부분 일반적인 주행 상황에 집중되어 있으며, 보행자의 갑작스러운 출현이나 돌발 장애물과 같이 사고로 이어질 수 있는 희귀하고 위험한 상황에 대한 데이터와 추론 능력이 부족합니다.
• 단일 시점(Single-view)의 한계: 기존의 Driving QA 데이터셋은 주로 전방 카메라 하나에 의존합니다. 이는 사각지대나 가려진 객체를 파악하지 못하게 하여, 복잡한 위험 상황에서 잘못된 의사결정(예: 후방 차량을 보지 못한 채 차선 변경)을 내리는 원인이 됩니다.
• 고차원 추론(High-level Reasoning)의 결여: 단순히 객체를 인식하는 것을 넘어, '현재의 위험을 해결하기 위한 행동이 또 다른 위험을 초래하지는 않는가?'와 같은 행동-결과 간의 인과 관계 및 단계적 추론을 지원하는 데이터셋이 부족합니다.

2. 방법론 (Methodology)

본 논문은 위 문제들을 해결하기 위해 WaymoQA 데이터셋을 제안하며, 다음과 같은 설계 원칙을 따릅니다.

A. 데이터 구축 프로세스

• 데이터 소스: Waymo End-to-End 데이터셋을 기반으로 하며, 미국 NHTSA의 사고 전 시나리오(Pre-crash scenarios) 기준을 적용하여 안전 필수 상황을 필터링했습니다.
• 다중 뷰(Multi-view) 구성: 단일 시점의 한계를 극복하기 위해 8개의 동기화된 카메라 뷰(전/후/좌/우)를 통합하여 입력으로 사용합니다. 이를 통해 공간적 이해도를 높이고 사각지대를 최소화합니다.
• 데이터 구성: 총 35,000개의 인간 주석(Human-annotated) QA 쌍으로 구성되었습니다. (학습용 28,585개, 테스트용 6,415개)

B. 핵심 개념: 2단계 안전 필수 추론 (Two-Stage Safety-Critical Reasoning)

단순한 인식을 넘어 복합적인 위험을 관리하기 위해 추론 과정을 두 단계로 구조화했습니다.

1. 1단계 (Immediate Risk Resolution): 현재의 안전 필수 객체를 인식하고, 그 움직임을 예측하며, 당면한 위험을 해결하기 위한 최선의 행동을 결정합니다.
2. 2단계 (Downstream Risk Mitigation): 1단계에서 선택한 행동으로 인해 발생할 수 있는 **2차적 위험(Secondary risks)**을 고려합니다. (예: 장애물을 피하기 위해 차선을 넘었을 때, 반대편에서 오는 차량과의 충돌 가능성을 고려하는 것)

C. 모달리티의 상호보완 (Video vs. Image QA)

• Video QA: 시간적 흐름에 따른 객체의 움직임과 에고 차량(Ego-vehicle)의 실제 대응을 평가합니다.
• Image QA: 특정 시점의 키 프레임을 통해 '만약 ~했다면?'과 같은 반사실적(Counterfactual) 질문과 가능한 대안적 행동을 탐색하여 의사결정 공간을 확장합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 정의: 다중 뷰 입력을 활용한 '안전 필수 추론(Safety-Critical Reasoning)'이라는 새로운 과업을 정의했습니다.
2. 최초의 학습 가능 데이터셋: 평가 전용이 아닌, 모델을 직접 학습(Fine-tuning)시킬 수 있는 대규모 안전 필수 주행 QA 데이터셋을 공개했습니다.
3. 체계적인 질문 뱅크: 캡션, 장면 이해, 인식, 예측, 계획, 불확실성, 반사실적 추론 등 12가지 카테고리의 질문 체계를 구축했습니다.

4. 실험 결과 (Results)

• 기존 모델의 한계 확인: 사전 학습된 최신 MLLM들은 일반적인 주행 장면에서는 준수한 성능을 보였으나, 안전 필수 시나리오에서는 성능이 약 20% 하락하는 모습을 보였습니다.
• Fine-tuning 효과: WaymoQA로 학습시킨 결과, Image QA에서 약 +16.8%, Video QA에서 약 +16.3%의 정확도 향상을 보였으며, 일반 장면과 안전 필수 장면 간의 성능 격차를 크게 줄였습니다.
• 계획 성능(Planning) 전이: QA 학습만으로도 실제 자율주행 경로 계획(Motion Planning) 지표인 ADE(평균 오차 거리)를 낮추고 RFS(실행 가능성 점수)를 높이는 등, 고차원 추론 능력이 실제 주행 제어 성능 향상으로 이어짐을 증명했습니다.

5. 의의 및 결론 (Significance)

WaymoQA는 자율주행 AI가 단순한 '시각적 묘사'를 넘어 **'위험을 인지하고 인과 관계를 고려하여 안전하게 판단'**하는 능력을 갖추도록 만드는 중요한 토대를 제공합니다. 특히 2단계 추론 구조와 다중 뷰 통합은 향후 더욱 안전하고 신뢰할 수 있는 엔드투엔드(End-to-End) 자율주행 시스템을 개발하는 데 핵심적인 역할을 할 것으로 기대됩니다.