RoadscapesQA: A Multitask, Multimodal Dataset for Visual Question Answering on Indian Roads

1. 문제 정의 (Problem Statement)

자율주행 시스템의 핵심인 도로 장면 이해 (Scene Understanding) 는 복잡한 환경에서 의사결정을 내리는 데 필수적입니다. 그러나 기존에 존재하는 대부분의 멀티모달 주행 데이터셋 (미국, 유럽, 싱가포르, 중국 등) 은 잘 정돈된 도로 인프라와 표준화된 교통 규칙을 가진 국가들의 환경에 맞춰져 있습니다.

반면, 인도와 같은 남아시아 개발도상국의 도로 환경은 다음과 같은 고유한 특성을 가지며, 기존 데이터셋으로는 이를 충분히 반영할 수 없습니다.

• 높은 교통 밀도와 예측 불가능한 에이전트 행동: 보행자, 자전거, 동물 등 비동력 차량과의 빈번한 상호작용.
• 이질적인 차량 유형 및 도로 상태: 표시선이 없거나 불규칙한 도로, 다양한 차량 혼합.
• 데이터의 부재: 기존 데이터셋은 주로 주간, 구조화된 도시 환경에 치중되어 있으며, 야간 주행이나 시골/비도시 환경에 대한 데이터가 부족합니다.
• 고비용 장벽: 고품질 센서 (라이다 등) 와 대규모 수동 주석을 통한 데이터 구축은 비용과 시간이 많이 들어 확장성이 떨어집니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 전처리 (Data Collection)

• 수집 지역: 인도의 코임바토르 (Coimbatore) 와 코치 (Kochi) 시 및 이를 연결하는 국도.
• 장비: 저비용 단안 (Monocular) 액션 카메라 (대시보드 마운트).
• 스펙: 1920x1080 해상도, 30 FPS. 총 5 시간의 주행 데이터 (35 개 시퀀스) 를 수집.
• 샘플링: 30 프레임마다 1 장씩 추출하여 약 17,000 장의 이미지를 생성한 후, 왜곡이 심한 이미지를 필터링하여 최종 8,983 장의 이미지를 확보.
• 환경: 도시, 시골, 고속도로, 서비스 도로 등 다양한 환경과 주간/야간/황혼 조건을 포함.

2.2 데이터 주석 및 생성 (Annotation & Generation)

• 비용 효율적 주석 전략:
  1. 자동화: Zero-shot YOLOWorld 모델을 사용하여 자동차, 트럭, 버스, 오토바이 등 주요 객체의 초기 바운딩 박스를 자동 생성.
  2. 수동 검증: 4 명의 연구원 (논문 저자 및 학부생) 이 자동 생성된 주석을 수동으로 검증 및 수정.
  3. 프라이버시 보호: YOLOv5 기반의 번호판 탐지기를 사용하여 번호판을 자동으로 블러 처리 (Anonymization) 하고, 수동 샘플링으로 검증.
• VQA (Visual Question Answering) 데이터 생성:
  • 객체 탐지 주석과 규칙 기반 휴리스틱 (Rule-based Heuristics) 을 결합하여 질문 - 답변 쌍을 자동 생성.
  • 3 가지 주요 카테고리 구성:
    1. 객체 카운팅 (Object Counting): 객체 수 세기, 존재 여부 확인.
    2. 객체 설명 (Object Description): 객체의 색상, 클래스 식별.
    3. 주변 설명 (Surrounding Description): 시간대, 교통량, 환경적 맥락 이해.
  • 각 이미지당 약 7 개의 질문을 생성하여 총 3 만 개 이상의 QA 쌍 확보.

2.3 실험 설정

• 모델: Phi-3.5, GPT-4o, Paligemma, GPT-4o-mini 등 최신 멀티모달 VLM(비전 - 언어 모델) 4 종 평가.
• 평가 방식: 파인튜닝 없이 Zero-shot 방식으로 수행.
• 평가 지표:
  • 객체 카운팅: 정답 일치율 (Exact-match accuracy).
  • 객체/주변 설명: 문장 임베딩 간 코사인 유사도 (Sentence Embeddings, all-MiniLM-L6-v2 사용).

3. 주요 기여 (Key Contributions)

1. RoadscapesQA 데이터셋 출시: 인도 남부 (코임바토르 - 코치 코리더) 의 비구조화된 도로 환경을 포괄하는 9,000 장 이상의 이미지와 멀티태스크 VQA 데이터셋. 기존 인도 데이터셋 (IDD 등) 의 공백을 메우고 야간 및 비도시 환경 데이터를 보완.
2. 확장 가능한 생성 프레임워크: 고비용 센서 없이 저비용 카메라와 오픈소스 CV 모델, 휴리스틱 규칙을 결합하여 대규모 QA 데이터를 자동 생성하는 파이프라인 제시.
3. 실제 주행 환경 기반 베이스라인: 인도 도로의 혼잡한 상황, 다양한 차량, 야간 조건 등 실제 환경에서 VLM 의 성능을 평가한 초기 베이스라인 결과 제공.

4. 실험 결과 (Results)

4.1 성능 평가

• 객체 카운팅: Phi-3.5가 0.667 의 정확도로 가장 높은 성능을 보였으며, 4o-mini(0.628) 가 그 뒤를 이음.
• 객체 설명: Paligemma가 0.501 의 유사도로 가장 우수했으나, 전체적으로 색상 오류나 클래스 오인식 등 미세한 객체 인식에서 어려움이 나타남.
• 주변 설명: GPT-4o가 0.701 의 높은 유사도를 기록하여 시간대나 교통량과 같은 맥락적 추론에 강점을 보임.

4.2 할루시네이션 (Hallucination) 분석

• 전체 경향: 모든 모델에서 객체 설명 (Object Description) 태스크에서 할루시네이션 발생률이 가장 높음 (50.8% ~ 61.6%). 이는 미세한 속성 (색상 등) 인식의 어려움을 시사.
• 모델별 차이:
  • 4o-mini: 객체 설명에서 61.6% 로 가장 높은 할루시네이션율을 보임.
  • GPT-4o 및 Phi-3.5: 주변 설명 태스크에서 각각 7.0%, 6.2% 로 상대적으로 낮은 할루시네이션율을 보여 맥락 추론 능력이 뛰어남.
• 오류 패턴: 객체 카운팅에서는 과계산 (Overcounting) 이나 존재하지 않는 객체 보고, 객체 설명에서는 잘못된 색상/클래스 할당이 빈번함.

5. 의의 및 결론 (Significance & Conclusion)

• 연구적 의의: 인도와 같은 비구조화 (Unstructured) 환경에서의 자율주행 연구에 필수적인 데이터와 평가 기준을 마련함. 기존 데이터셋이 간과했던 야간 주행, 시골 도로, 혼잡한 교통 상황 등을 포함하여 모델의 견고성 (Robustness) 테스트를 가능하게 함.
• 실용적 가치: 저비용 센서와 자동화 주석 파이프라인을 통해 고비용 데이터셋 구축의 대안을 제시하며, 개발도상국 도로 환경에 특화된 VLM 개발을 촉진.
• 한계 및 향후 과제: 현재 데이터셋은 객체 위치 특정 (Grounding) 이나 공간 관계 (좌/우) 식별 태스크가 부족하며, 지리적 범위가 인도 남부에 국한됨. 향후 더 복잡한 대화형 태스크와 광범위한 지역 데이터 확장이 필요함.

이 논문은 RoadscapesQA를 통해 비서구권, 특히 인도의 복잡한 도로 환경을 이해하는 데 필수적인 멀티모달 데이터셋을 제공함으로써, 보다 안전하고 맥락을 인지하는 자율주행 시스템 개발에 기여합니다.