Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving

기술 요약: 정답은 어디에서 오는가? 자율 주행을 위한 멀티뷰 MLLM의 뷰 수준 시각적 증거 식별 벤치마킹

문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 추론 벤치마크에서 강력한 성능을 입증해 왔다. 그러나 표준 평가 지표는 거의 전적으로 최종 정답의 정확도에만 초점을 맞추고 있어, 모델의 추론이 올바른 시각적 증거에 근거하고 있는지 검증하는 데 실패한다. 이러한 한계는 멀티뷰 입력(예: 서라운드 뷰 카메라)을 포함하는 자율 주행 시나리오에서 특히 치명적이다. 이러한 환경에서 모델은 언어적 사전 지식(language priors), 데이터셋의 지름길(shortcuts), 또는 환각된 증거에 의존하여 그럴듯하거나 심지어 정답인 답변을 생성할 수 있지만, 그 답변을 특정 카메라 뷰에 잘못 귀속시킬 수 있다. 이러한 "오답 뷰/정답 답변(wrong-view/correct-answer)" 행동은 신뢰할 수 있는 추론이 결론뿐만 아니라 이를 뒷받침하는 시각적 소스의 정확한 식별까지 요구한다는 점에서, 안전이 필수적인 시스템의 신뢰성을 저해한다.

방법론

벤치마크 설계

저자들은 멀티뷰 MLLM의 **뷰 수준 시각적 증거 식별(view-level visual evidence identification)**을 평가하기 위한 진단용 벤치마크를 도입한다. 이 벤치마크는 NuScenes 데이터셋을 기반으로 구축되었으며, 장면당 6개의 동기화된 카메라 뷰(전방, 전좌측, 전우측, 후방, 후좌측, 후우측)를 활용한다.

• 데이터셋 구축: 이 데이터셋은 73개의 장면에서 추출된 122개의 충돌 중심 질의응답(QA) 쌍으로 구성된다. 구축 파이프라인은 다음과 같다:

  1. 충돌 마이닝(Conflict Mining): 운동학적 및 기하학적 특징으로부터 후보 이벤트(보행자 횡단, 제동, 끼어들기, 차선 변경, 회전, Car-to-Car Front Turn-Across-Path)를 자동 마이닝한다.
  2. 뷰 투영(View Projection): 관련 객체의 3D 바운딩 박스를 6개의 카메라 평면에 투영하여 가시성을 식별한다.
  3. QA 생성: 세 가지 추론 유형인 인과관계(causality), 가상 추론(counterfactual reasoning), **의도 예측(intent prediction)**을 목표로 질문을 생성한다.
  4. 어노테이션(Annotation): 각 QA 쌍은 수동으로 검증된 "골든 뷰(golden view)"(가장 직접적인 증거를 제공하는 단일 카메라 채널)와 연결되거나, 적절한 증거를 제공하는 뷰가 없는 경우 NONE으로 레이블링된다. 모호한 사례는 제외된다.

• 평가 설정: 벤치마크는 서로 다른 실패 모드를 격리하기 위해 세 가지 별도의 프로토콜 하에서 모델을 평가한다:

  1. 뷰 선택(View Selection): 모델은 6개의 뷰를 모두 받고 지원하는 카메라 뷰를 예측해야 한다(또는 NONE).
  2. 오라클 QA(Oracle QA): 모델은 골든 뷰 이미지만을 받고 질문에 답해야 한다. 이는 올바른 시각적 소스가 제공되었을 때의 추론 능력을 격리하여 측정한다.
  3. 결합 예측(Joint Prediction): 모델은 6개의 뷰를 모두 받고, 단 한 번의 패스(single pass) 내에 지원하는 뷰와 정답을 동시에 예측해야 한다.

• 지표:

  • 뷰 정확도(View Accuracy): 골든 뷰 레이블과의 완전 일치 여부.
  • 정답 정확도(Answer Accuracy): 객관식(MC) 질문에 대한 완전 일치, 혹은 자유 형식 응답에 대해 LLM이 판단하는 의미론적 동등성.
  • 결합 성공(Joint Success): 뷰 선택과 정답이 모두 맞아야 하는 엄격한 정확도.

실험 설정

저자들은 다양한 독점 모델(GPT-5.4, Gemini, Claude)과 오픈 소스 모델(Qwen2.5-VL, Qwen3-VL, InternVL3)을 평가하였다. 모든 모델은 특정 작업에 대한 미세 조정 없이 통일된 프롬프팅 프로토콜을 사용하는 제로샷(zero-shot) 설정에서 테스트되었다.

주요 결과

• 뷰 선택 성능: 독점 모델들이 우수한 뷰 식별 능력을 보였으며, Claude가 **82.62%**의 가장 높은 평균 정확도를 기록했고, GPT-5.4(77.54%)와 Gemini(74.10%)가 그 뒤를 이었다. 오픈 소스 모델들은 상당한 편차를 보였다. Qwen3-VL과 InternVL3는 61.5% 부근에 모여 있었던 반면, Qwen2.5-VL은 **12.62%**로 떨어져 무작위 베이스라인에 가까운 성능을 보였다.
• 오라클-결합 간극(The Oracle-to-Joint Gap): 오라클 QA(올바른 뷰가 제공됨)에서 결합 예측(Joint Prediction)으로 이동할 때 일관된 성능 저하가 관찰되었다. 예를 들어, Claude의 객관식 정확도는 89.3%(Oracle)에서 73.2%(Joint)로 감소했다. 이는 뷰 식별이 엔드투엔드 근거 기반 답변의 주요 병목 구간임을 나타낸다. 즉, 모델은 추론을 시도하기 전에 증거를 찾는 데서 자주 실패한다.
• 오답 뷰/정답 답변 현상: 분석 결과, 잘못된 뷰를 선택했음에도 불구하고 정답을 생성한 경우가 상당수 존재함이 드러났다. 모든 모델에 걸쳐, 732회의 객관식 시험 중 192회가 잘못된 뷰를 선택했음에도 정답을 맞혔다. 이는 정답 위주의 평가 지표가 이러한 모델들의 근거 기반 추론 능력을 과대평가할 수 있음을 시사한다.
• 지역 및 추론 편향: 모델들은 인접 카메라 간의 모호성이 높은 측면 뷰보다 전방 및 후방 뷰에서 더 나은 성능을 보였다. 또한, 뷰 식별 정확도는 인과관계나 가상 추론 질문에 비해 의도 예측 질문에서 눈에 띄게 떨어졌는데, 이는 미래 행동을 예측하는 데 더 미묘한 증거 국지화(localization)가 필요함을 시사한다.

의의 및 주장

본 논문은 자신의 주요 기여가 평가 패러다임을 **정답의 타당성(answer plausibility)**에서 **증거 기반 추론(evidence-grounded reasoning)**으로 전환하는 데 있다고 주장한다. 시각적 소스 식별을 답변의 정확성과 명시적으로 분리함으로써, 이 벤치마크는 기존 벤치마크가 놓치는 근거 형성의 실패를 드러낸다.

• 진단적 유용성: 저자들은 이 벤치마크를 대규모 학습 리소스나 포화된 성능을 위한 리더보드가 아닌, "제어된 진단 프로브(controlled diagnostic probe)"로 규정한다. 122개의 QA 쌍이라는 컴팩트한 크기는 의도적인 것으로, 기존 MLLM이 현실적인 멀티뷰 프롬프팅 환경에서 증거 소스를 식별할 수 있는지 테스트하도록 설계되었다.
• 안전상의 함의: 자율 주행에서 신뢰할 수 있는 추론은 단순히 올바른 결정을 내리는 것뿐만 아니라, 왜 그 결정이 내려졌는지(즉, 어떤 센서 뷰가 이를 뒷받침하는지)에 대한 올바른 귀속(attribution)을 요구한다. 이 벤치마크는 모델이 증거 귀속을 "환각"할 수 있음을 강조하며, 이는 안전 필수 시스템에서 치명적인 실패 모드이다.
• 한계점: 저자들은 이 벤치마크가 카메라 입력에 국한되어 있고(LiDAR/레이더 제외), 일반적인 주행보다는 충돌 중심 시나리오에 집중하며, 자유 형식 평가를 위해 LLM 판정관에 의존한다는 점을 인정한다. 또한, 벤치마크가 NuScenes에서 파생되었기 때문에 모델이 사전 학습 과정에서 관련 데이터를 접했을 가능성이 있어 절대적인 성능 추정에 편향이 생길 수 있음을 경고한다.

요약하자면, 본 논문은 MLLM이 주행 관련 질문에 올답을 할 수는 있지만, 정답을 정당화하는 특정 카메라 뷰를 식별하는 데는 자주 실패하며, 표준 평가 방식은 이러한 격차를 감지하지 못한다는 점을 입증한다.