RoadBench: Benchmarking MLLMs on Fine-Grained Spatial Understanding and Reasoning under Urban Road Scenarios

기술 요약: RoadBench

문제 정의

멀티모달 거대 언어 모델(MLLM)은 일반적인 공간 이해 및 추론 능력에서 강력한 성능을 입증해 왔으나, 복잡한 도시 시나리오 내에서의 세밀한 공간 이해 및 추론(fine-grained spatial understanding and reasoning) 능력은 여전히 미개척 영역으로 남아 있습니다. 기존의 도시 환경 벤치마크(예: CityBench, UrBench, DriveBench)는 주로 이미지 전체 수준의 이해, 고립된 객체 인식(건물 또는 차량 등), 또는 상위 수준의 계획 수립에 집중하고 있습니다. 특히 도로 표식(예: 차선 구분선, 회전 화살표)과 같은 세밀한 공간 구조 요소에 대한 MLLM 평가에는 상당한 공백이 존재합니다. 이러한 요소들은 도시 교통 규제에 필수적이지만, 매우 가늘고 이미지 전체에 걸쳐 확장되어 있으며, 의미론적 인식을 위해 여러 구조를 결합하여 이해해야 하고, 시각 데이터와 도메인 특화 교통 지식을 통합해야 한다는 점에서 독특한 도전 과제를 제기합니다.

방법론: RoadBench

이러한 공백을 메우기 위해 저자들은 도시 시나리오 하에서 MLLM의 세밀한 공간 추론 능력을 평가하기 위해 설계된 체계적인 벤치마크인 RoadBench를 제안합니다.

데이터셋 구축

• 데이터 소스: 본 벤치마크는 2,137개의 고유한 조감도(Bird's-Eye View, BEV) 이미지(위성 이미지 기반)와 721개의 고유한 1인칭 시점(First-Person View, FPV) 이미지(차량 내 카메라 기반)를 활용합니다. 데이터는 일관된 교통 규범을 가진 중국의 5개 도시에서 수집되었습니다.
• 주석 및 검증: 데이터셋은 3,040개의 엄격하게 수동 검증된 테스트 케이스로 구성됩니다. 정답 데이터(차선 수, 방향, 교차로 위치)는 티어 1급 온라인 지도 서비스 제공업체와 OpenStreetMap에서 가져왔습니다. 모든 데이터는 엄격한 인간 검토, 개인정보 마스킹(얼굴/번호판 블러 처리), 익명화(UUID, 픽셀 좌표) 과정을 거쳤습니다.
• 태스크 설계: 벤치마크는 공간 범위(국소적 범위에서 전역적 범위로)와 시점(BEV, FPV, Cross-View)에 따라 조직된 8가지 태스크로 구성됩니다:
  1. BEV 차선 수 계산 (BEV Lane Counting): 위성 이미지의 기준선을 바탕으로 차선 수 계산.
  2. BEV 차선 지정 인식 (BEV Lane Designation Recognition): BEV 내 도로 표식을 통해 차선 방향(예: 좌회전, 직진) 식별.
  3. BEV 도로 네트워크 교정 (BEV Road Network Correction): 부정확한 기준선을 바탕으로 누락된 교차로를 추론하고 도로 구간을 교정.
  4. FPV 차선 수 계산 (FPV Lane Counting): 명시적인 기준선 없이 차량 내 카메라 이미지를 통해 차선 수 계산.
  5. FPV 차선 지정 인식 (FPV Lane Designation Recognition): 도로 표식과 상단 표지판을 사용하여 차선 방향 식별.
  6. FPV 도로 유형 분류 (FPV Road Type Classification): 환경적 맥락을 바탕으로 도로를 "주요 도로(main)" 또는 "서비스 도로(service)"로 분류.
  7. 교차 뷰 차선 수 계산 (Cross-View Lane Counting): 쌍을 이룬 BEV 및 FPV 이미지를 결합하여 차선 수를 결정하기 위한 공동 추론.
  8. 교차 뷰 차선 지정 인식 (Cross-View Lane Designation Recognition): BEV 토폴로지와 FPV 의미론적 단서를 융합하여 차선 방향 결정.

평가 프로토콜

• 평가 대상 모델: 오픈 소스 모델(LLaMA-3.2-Vision, Qwen2.5/3-VL, Gemma-3, GLM-4.5V)과 폐쇄형 모델(Gemini-2.5 시리즈, GPT-5 시리즈)을 포함한 20개의 주류 MLLM.
• 베이스라인: MLLM의 실질적 유용성을 측정하기 위해 규칙 기반 방법(예: 교통 상식 매핑) 및 무작위 선택 베이스라인을 설정했습니다.
• 지표: 특정 태스크 요구 사항에 맞춰 정밀도(Precision), 재현율(Recall), F1-Score, 해밍 손실(Hamming Loss), 정확도(Accuracy), RMSE, 그리고 폴리라인 유사성을 위한 프레셰 거리(Fréchet Distance)를 활용합니다.

주요 결과

RoadBench를 통한 20개 MLLM의 평가는 현재 모델들의 상당한 한계를 드러냅니다:

1. 높은 난이도: RoadBench는 매우 도전적인 벤치마크입니다. 가장 강력한 모델(예: GPT-5-Mini, Gemini-2.5-Pro)조차도 최적의 결과를 얻지 못했습니다. 예를 들어, BEV 차선 수 계산에서 최상의 모델은 F1-Score가 0.355에 불과했으며 RMSE는 1.0보다 컸습니다.
2. 단순 베이스라인을 넘어서지 못함: 특히 차선 지정 인식 태스크에서 MLLM은 단순한 교통 규칙이나 무작위 선택에 기반한 베이스라인보다 나은 성능을 보여주지 못했습니다. 이는 효과적인 도메인 지식 통합의 부재를 시사합니다.
3. 정밀도 결여: 모델들은 도로 네트워크 교정 태스크에서 정밀한 좌표 출력을 제공하는 데 어려움을 겪었으며, 오차 범위가 평가 임계값과 동일한 차수(order of magnitude) 내에 있는 경우가 많았습니다.
4. 시점 간 격차: MLLM은 BEV 이미지보다 FPV 이미지에서 훨씬 더 나은 성능을 보였습니다. 이는 모델이 위성 뷰의 세밀한 디테일보다 1인칭 뷰의 더 크고 맥락이 풍부한 공간 요소를 인식하는 능력이 더 강함을 나타냅니다.
5. 교차 뷰의 어려움: BEV와 FPV 관점을 아우르는 공동 추론은 여전히 주요 병목 구간이며, 대부분의 모델이 단일 뷰 태스크에 비해 명확한 성능 저하를 보였습니다.
6. 파라미터 규모와 성능의 관계: 파라미터 수가 많다고 해서 반드시 더 나은 성능을 보장하지는 않습니다. 예를 들어, GPT-5-Mini가 대부분의 태스크에서 GPT-5보다 우수한 성능을 보였으며, 소규모 미세 조정 모델(Q3-VL-8B 튜닝 버전)이 대규모 오픈 소스 모델에 대해 경쟁력 있는 결과를 보여주었습니다.
7. 프롬프팅 및 조건의 영향: 성능은 프롬프트 형식(텍스트 vs 시각적 단서)에 민감하며, 조명이 불량하거나 도로 표식이 가려진 경우 저하됩니다. 다만, 강력한 모델들은 표지판과 같은 대체 단서를 활용하여 이러한 문제를 부분적으로 완화할 수 있습니다.

의의 및 주장

저자들은 RoadBench가 MLLM의 공간 지능 발전을 위한 기초적인 도구 역할을 한다고 주장합니다. 그 의의는 다음과 같습니다:

• 결정적 공백 메우기: 도시 환경에서 세밀한 공간 추론(특히 도로 표식)을 체계적으로 평가하는 최초의 벤치마크로서, 국소적 인지와 전역적 추론 사이의 간극을 메웁니다.
• 한계 노출: 본 벤치마크는 현재의 MLLM이 고정밀 지도 생성 및 엔드 투 엔드 자율 주행과 같은 실제 도시 응용 분야에 필요한 세밀한 공간 이해 및 도메인 지식 통합 능력이 부족함을 드러냅니다.
• 미래 연구 견인: 엄격하게 수동 검증된 데이터셋과 평가 프레임워크를 제공함으로써, RoadBench는 복잡하고 구조화된 공간 레이아웃과 방향 관계를 다룰 수 있는 MLLM 개발을 유도하고, 궁극적으로 교통 및 도시 계획 분야에서 MLLM 기반 에이전트의 발전을 지원하는 것을 목표로 합니다.

결론적으로, MLLM은 가능성을 보여주고 있으나, 안전이 중요한 도시 시나리오에 신뢰성 있게 배치되기 위해서는 세밀한 공간 추론 능력에서 상당한 개선이 필요합니다.