DriveXQA: Cross-modal Visual Question Answering for Adverse Driving Scene Understanding

이 논문은 자율주행의 악천후 및 센서 고장 상황을 이해하기 위해 4 가지 시각 모달리티와 다양한 시나리오를 포함한 대규모 데이터셋 'DriveXQA'와 모달리티 간 중복을 줄여 성능을 향상시킨 'MVX-LLM' 아키텍처를 제안합니다.

핵심

이 논문은 자율주행차가 비, 안개, 센서 고장 같은 '나쁜 날'에도 안전하게 운전할 수 있도록 돕는 새로운 기술을 소개합니다.

기존의 자율주행 AI 는 맑은 날에는 잘 작동하지만, 안개가 끼거나 카메라가 눈부셔서 시야가 가려지면 당황해서 길을 잃거나 위험한 결정을 내릴 때가 많았습니다. 이 연구는 그 문제를 해결하기 위해 **새로운 데이터셋 (DRIVEXQA)**과 **새로운 AI 모델 (MVX-LLM)**을 만들었습니다.

이 내용을 쉽게 이해할 수 있도록 비유를 섞어 설명해 드릴게요.

---

1. 문제 상황: "눈이 보이지 않는 운전사"

자율주행차는 보통 카메라 (눈), 라이다 (손으로 만져보는 감각), 깊이 센서 (거리 감각) 등 여러 개의 '감각 기관'을 가지고 있습니다.
하지만 비가 오거나 안개가 끼면 카메라는 잘 보이지 않고, 라이다는 신호가 흔들립니다.
기존의 AI 는 마치 **"카메라가 안 보이면 그냥 멈추거나 엉뚱한 길을 가는 운전사"**처럼 행동했습니다. 한 가지 감각 (카메라) 에만 의존하기 때문에, 그 감각이 고장 나면 전체 시스템이 무너졌습니다.

2. 해결책 1: "DRIVEXQA" - 가혹한 상황 훈련 교재

연구팀은 AI 를 훈련시키기 위해 가장 worst-case 시나리오를 담은 거대한 교재를 만들었습니다.

• 내용: 안개, 비, 밤, 눈, 그리고 센서 고장 (카메라가 너무 밝거나 어둡게 찍힘, 라이다가 떨림 등) 상황을 모두 포함했습니다.
• 질문 방식: 단순히 "차량이 있니?"라고 묻는 게 아니라, 세 가지 레벨로 질문합니다.
  1. 전체 상황 (Global): "오늘 날씨가 어떤가요? 도로가 얼마나 위험한가요?" (날씨와 전체 교통 상황 파악)
  2. 주변 관계 (Allocentric): "왼쪽에 있는 자전거와 내 차의 거리는 얼마나 되나요?" (다른 물체와의 위치 관계 파악)
  3. 내 차 중심 (Ego-vehicle): "내가 지금 몇 차선에 있나요? 내 센서는 정상인가요?" (자신의 위치와 상태 파악)

이 교재는 AI 가 "안개 낀 밤에 카메라가 고장 나더라도 라이다 신호로 차를 찾아내야 한다"는 것을 배우게 합니다.

3. 해결책 2: "MVX-LLM" - 감각을 하나로 묶는 '마법사'

기존 AI 는 여러 감각을 단순히 '합쳐서' (Concatenation) 사용했습니다. 하지만 이 연구팀은 **DCA(이중 교차 주의력)**라는 새로운 기술을 도입했습니다.

• 비유: "팀워크가 완벽한 요리사"
  • 기존 방식: 여러 재료를 한 냄비에 그냥 다 넣고 섞는 것. (카메라가 망가져도 그 망가진 정보를 그대로 섞어냄)
  • 새로운 방식 (MVX-LLM): 요리사가 재료를 보고 **"오늘은 카메라 (시각) 가 망가졌으니, 라이다 (촉각) 와 깊이 센서 (거리감) 에 더 집중해서 요리를 하겠다"**고 판단하는 것입니다.
  • DCA 의 역할: 카메라가 안 보일 때는 라이다 신호를, 라이다가 흔들릴 때는 카메라 신호를 스스로 골라서 가장 확실한 정보만 AI 의 두뇌 (LLM) 에 전달합니다. 마치 안개가 끼면 눈보다 귀 (청각) 에 더 집중하는 사람처럼요.

4. 결과: "어둠 속에서도 길을 찾는 눈"

이 기술을 테스트한 결과, 기존 방식은 안개 낀 날에 점수가 25 점 정도였지만, 이 새로운 모델은 53 점 이상을 받았습니다.

• 실제 예시: 밤에 카메라가 너무 밝게 빛나서 (과노출) 앞차의 모양이 잘 안 보일 때, 기존 AI 는 "앞에 차가 없다"고 잘못 판단했습니다. 하지만 이 모델은 **라이다 (점군 데이터)**를 통해 "아, 저기에 빨간 차가 있군!"이라고 정확히 찾아냈습니다.

5. 요약: 왜 이것이 중요한가?

이 연구는 **"센서가 고장 나거나 날씨가 나빠져도, 자율주행차가 다른 센서의 도움을 받아 스스로 상황을 판단하고 설명할 수 있다"**는 것을 증명했습니다.

• 핵심 메시지: 자율주행은 맑은 날의 운전이 아니라, 비와 안개, 센서 고장 같은 '악천후'에서도 어떻게 살아남을 것인가가 진짜 기술입니다.
• 미래: 이제 AI 는 운전자가 "왜 그 차를 멈추게 했나요?"라고 물으면, "카메라는 안 보였지만 라이다가 차를 감지했기 때문입니다"라고 논리적으로 설명할 수 있게 되었습니다.

이 기술은 앞으로 우리가 더 안전하고 신뢰할 수 있는 자율주행차를 타는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

자율주행 차량은 안전하고 안정적인 주행을 위해 다양한 센서 모달리티를 융합하여 복잡한 주행 환경을 이해해야 합니다. 특히 안개, 비, 야간과 같은 악천후 조건이나 센서 고장 (Motion Blur, 과노출, LiDAR jitter 등) 이 발생하는 상황에서는 기존 시스템의 인식이 크게 저하됩니다.

기존의 Multimodal Large Language Models (MLLMs) 과 자율주행 VQA (Visual Question Answering) 연구는 다음과 같은 한계를 가집니다:

• 단일 모달리티 의존: 대부분의 시스템이 RGB 카메라 입력에 의존하거나, 단순한 융합 방식을 사용하여 센서 간 상호 보완적 특성을 충분히 활용하지 못함.
• 악조건 및 센서 고장 대응 부재: 기존 데이터셋 (NuScenes-QA, DriveLM 등) 은 정상적인 주행 조건에 집중되어 있으며, 다양한 센서 고장 시나리오와 악천후를 체계적으로 다루지 못함.
• 효율성 및 강인성 부족: 여러 보완적 센서 입력을 동시에 처리하면서도 효율적이고 강인한 융합을 수행하는 MLLM 프레임워크가 부재함.

2. 제안 방법 (Methodology)

저자들은 이 문제를 해결하기 위해 DRIVEXQA 데이터셋과 MVX-LLM 프레임워크를 제안했습니다.

A. DRIVEXQA 데이터셋

• 규모 및 구성: 7,885 개의 주행 프레임과 102,505 개의 질문 - 답변 (QA) 쌍으로 구성됨.
• 모달리티: 4 가지 시각 모달리티 (RGB, Depth, Event Camera, LiDAR) 를 포함하며, 5 가지 센서 고장 유형 (Motion Blur, Overexposure, Underexposure, LiDAR Jitter, Event Low-resolution) 과 5 가지 기상 조건 (비, 밤, 안개, 흐림, 맑음) 을 체계적으로 커버합니다.
• 계층적 QA 구조 (Hierarchical XQA):
  1. Global Scene Level: 전체 환경 조건 (기상, 가시성) 및 교통 흐름 평가.
  2. Allocentric Level: 객체 간의 공간적 관계, 거리, 도로 상태 분석 (멀티뷰 카메라 활용).
  3. Ego-vehicle Centric Level: 자차의 위치, 센서 상태, 주변 차량 행동 예측 등 안전 관련 핵심 정보.
• 데이터 분포: 훈련/검증/테스트를 80/10/10 으로 분할하며, 전체 샘플의 약 35.5% 를 코너 케이스 (센서 고장 포함) 로 구성하여 시스템의 강인성을 평가합니다.

B. MVX-LLM 프레임워크

기존 MLLM 이 여러 보완적 모달리티를 입력으로 받지 못하는 한계를 극복하기 위해 설계된 토큰 효율적 아키텍처입니다.

• 인코더: RGB, Depth, Event 카메라 데이터는 공유 CLIP 기반 Vision Transformer 로, LiDAR 포인트 클라우드는 PointNet++ 로 인코딩합니다.
• Dual Cross-Attention (DCA) 프로젝터: 핵심 기술로, 개별 센서가 열화되었을 때 적응적으로 특징을 융합합니다.
  • 공간 교차 주의 (Spatial Cross-Attention): 모달리티 간의 공간적 대응 관계를 설정하여 특정 위치에서 정보 교환을 수행.
  • 채널 교차 주의 (Channel Cross-Attention): 전치된 특징을 통해 채널 간의 의미론적 정보 교환을 강화.
  • 이 두 경로를 결합하여 센서 고장 시에도 신뢰할 수 있는 신호로 보완되는 적응적 융합을 가능하게 합니다.
• 토큰 집계 (Token Aggregation): 융합된 특징을 언어 모델에 적합한 컴팩트한 토큰으로 압축합니다. 실험 결과, Query Attention (QAttn) 메커니즘이 가장 높은 성능을 보였습니다.

3. 주요 기여 (Key Contributions)

1. DRIVEXQA 데이터셋: 악천후와 다양한 센서 고장 시나리오를 포함한 포괄적인 크로스-모달 자율주행 VQA 데이터셋을 최초로 구축했습니다.
2. MVX-LLM 아키텍처: DCA 메커니즘을 통해 RGB, Depth, Event, LiDAR 데이터를 효율적으로 융합하여 악조건에서도 강인한 성능을 내는 새로운 프레임워크를 제안했습니다.
3. 체계적인 평가: 다양한 기상 조건과 센서 저하 시나리오에 대한 광범위한 평가를 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 성능: DRIVEXQA 데이터셋에서 제안된 MVX-LLM (DCA + QAttn) 은 평균 GPTScore 55.5를 기록하여, 기존 베이스라인 (GAP + Honeybee: 48.2) 과 토큰 융합 방법들보다 우월한 성능을 보였습니다.
• 악조건에서의 강인성: 특히 안개 (Foggy) 조건에서 기존 베이스라인 (25.1) 대비 53.5로 압도적인 성능 향상을 보였습니다. 이는 DCA 메커니즘이 시각 센서가 손상되었을 때 LiDAR 등 다른 센서 정보를 효과적으로 보완했음을 의미합니다.
• Ablation Study:
  • 공간 주의와 채널 주의, Query Attention 을 모두 결합했을 때 최적의 성능이 나왔으며, 개별 메커니즘만으로는 부족함이 확인되었습니다.
  • RGB 가 포함된 모달리티 조합이 필수적이며, RGB+Depth+LiDAR 조합이 높은 성능을 보였습니다.
• 정성적 분석: 카메라 과노출 상황에서도 LiDAR 기하학적 정보를 통해 차량을 정확히 식별하는 등, 센서 간 상호 보완적 효과가 입증되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 자율주행 시스템이 안전에 치명적인 악천후 및 센서 고장 상황에서 어떻게 신뢰할 수 있는 인지 및 추론 능력을 유지할 수 있는지에 대한 중요한 통찰을 제공합니다.

• 실용적 가치: 기존 연구들이 간과했던 '센서 고장'과 '악천후'라는 실제 배포 환경의 핵심 문제를 해결하기 위한 데이터셋과 아키텍처를 제시했습니다.
• 기술적 혁신: 단일 모달리티에 의존하거나 단순 융합을 하던 기존 MLLM 의 한계를 넘어, Dual Cross-Attention을 통해 여러 센서의 상호 보완적 특성을 지능적으로 활용하는 새로운 패러다임을 제시했습니다.
• 향후 방향: 시뮬레이션 기반 데이터의 한계와 시간적 맥락 (Video) 부재를 보완하기 위해 실제 도로 데이터 수집 및 시계열 추론 기능 확장을 계획하고 있습니다.

요약하자면, DRIVEXQA와 MVX-LLM은 자율주행 차량이 예측 불가능한 환경에서도 다중 센서 융합을 통해 안전하고 정확한 의사결정을 내릴 수 있도록 돕는 획기적인 솔루션입니다.