기술 요약: 거리 주석 교통 지각 질문 응답 (DTPQA)

문제 제기

비전 - 언어 모델 (VLM) 이 다양한 작업에서 괄목할 만한 진전을 보였음에도 불구하고, 자동 주행 분야에서의 적용은 견고한 지각 능력의 부재로 인해 제한적입니다. 안전이 중요한 교통 상황에서는 모델이 종종 30 미터 이상의 상당한 거리에 있는 에이전트들을 포함하는 동시에 발생하는 사건들이 있는 복잡한 장면을 이해해야 합니다. 자동 주행용 VQA 를 위한 기존 벤치마크는 종종 지각을 추론이나 고급 세계 지식으로부터 분리하지 못합니다. 또한, 많은 기존 데이터셋은 특정 거리 주석이 부족하여 객체 거리가 증가함에 따라 모델 성능이 어떻게 저하되는지 평가하기 어렵습니다. 따라서 다음과 같은 벤치마크가 시급히 필요합니다:

1. 복잡한 추론이 필요하지 않은 단순한 지각 전용 시각적 질문에만 집중합니다.
2. 일반적인 질문이 아닌 주행 결정에 필수적인 질문 (예: 보행자 방향, 신호 상태) 을 보장합니다.
3. 언어 생성 지표가 도입하는 편향을 제거하기 위해 다지선다형 형식을 사용합니다.
4. 거리 함수로서의 지각을 분석하기 위해 거리 주석을 포함합니다.

방법론

저자들은 19,149 개의 샘플로 구성되며 DTP-Synthetic과 DTP-Real이라는 두 가지 명확한 부분으로 나뉜 비전 질문 응답 (VQA) 벤치마크인 DTPQA를 제안합니다.

1. DTP-Synthetic (시뮬레이터 기반)

• 출처: 여러 지도 (Town01–07, Town10HD, Town12, Town15) 에 걸쳐 **CARLA 시뮬레이터 (v0.9.15)**를 사용하여 생성되었습니다.
• 절차: 파이프라인은 지도를 로드하고, 무작위 날씨/주간 조건을 적용하며, RGB 카메라가 장착된 자차 (ego-vehicle) 를 생성하고, 특정 거리 (5m~50m) 에 타겟 에이전트를 배치하는 과정을 포함합니다. 이미지를 캡처한 후 에이전트를 새로운 거리에 재배치하여 전체 범위를 커버합니다.
• 카테고리: 주행과 관련된 단순한 시각적 개념을 테스트하기 위해 여섯 가지 카테고리가 정의되었습니다:
  1. 보행자 존재 여부: 보행자가 도로를 횡단하고 있습니까?
  2. 보행자 방향: 보행자가 왼쪽으로 이동하고 있습니까, 아니면 오른쪽으로 이동하고 있습니까?
  3. 다중 보행자: 보행자 수를 세기 (1, 2, 3, 또는 4 명).
  4. 차량 방향지시등: 앞의 트럭에서 어떤 방향지시등 (왼쪽/오른쪽/없음) 이 활성화되어 있습니까?
  5. 신호등: 신호등의 색상은 무엇입니까?
  6. 교통 표지판: 표시된 표지판은 무엇입니까?
• 데이터 균형: 데이터셋은 엄격하게 균형 잡혀 있습니다. 각 거리와 카테고리별로 샘플 수는 가능한 답변 수로 나누어 떨어지도록 하여 모델이 언어 편향을 악용하는 것을 방지합니다.
• 검증: 모든 합성 이미지는 잘못된 생성 위치, 가려짐 (예: 도로 기하학으로 인한), 또는 시뮬레이터 렌더링 오류가 있는 샘플을 제거하기 위해 수동 검토를 거쳤습니다.

2. DTP-Real (실제 세계)

• 출처: nuScenes v1.0 trainval 분할을 기반으로 구축되었습니다.
• 절차: 기존 이미지는 특정 기준 (예: 정확히 한 명의 가시 보행자, 방향을 위한 특정 속도) 과 일치하는 장면을 식별하기 위해 nuScenes 주석을 사용하여 필터링되었습니다.
• 거리 처리: 합성 세트와 달리 객체를 정확한 거리에 배치할 수 없었습니다. 대신, 샘플은 가장 가까운 빈 (bin) 을 기준으로 거리 빈 (5, 10, 20, 30, 40, 50 미터) 에 할당되었으나, 주석에는 정확한 거리를 유지했습니다. 55 미터를 초과하는 샘플은 폐기되었습니다.
• 카테고리: 실제 세계 데이터에 맞게 네 가지 카테고리가 조정되었습니다:
  1. 사람 존재 여부: 장면 안에 사람이 있습니까?
  2. 사람 방향: 걷고 있는 사람이 왼쪽으로 이동하고 있습니까, 아니면 오른쪽으로 이동하고 있습니까? (속도 > 0.5 m/s 로 필터링됨).
  3. 다중 사람: 장면 내 사람 수를 세기 (2 명 또는 3 명).
  4. 사람 위치: 사람은 도로, 보도, 또는 횡단보도에 있습니까?
• 데이터 균형: 합성 세트와 유사하게, 최종 데이터셋은 과대표된 답변 카테고리에서 샘플을 무작위로 제거하여 균등한 분포를 보장함으로써 균형이 맞추어졌습니다.

데이터셋 구조

데이터셋에는 다음이 포함됩니다:

• 이미지: .jpg 파일 (합성 이미지는 포함됨; 실제 이미지는 nuScenes 에서 다운로드해야 함).
• 주석: 이미지 경로, 질문, 정답, 거리 빈, 정확한 거리, 환경 설정 (예: 날씨, 도시) 을 포함한 모든 샘플의 메타데이터가 포함된 단일 .json 파일.

주요 기여

1. DTPQA 벤치마크: 추론 능력과 분리되어 거리 의존적 성능에 중점을 둔 교통 상황에서의 VLM 지각을 평가하도록 특별히 설계된 최초의 VQA 데이터셋.
2. 거리 주석: 객체 거리 (빈 및 정확한 거리 모두) 의 명시적 포함을 통해 거리 전반에 걸친 지각 저하에 대한 세분화된 분석을 가능하게 함.
3. 엄격한 데이터 균형: 답변 분포가 거리에 걸쳐 균일하도록 보장하여 모델이 시각적 이해가 아닌 통계적 편향을 통해 높은 점수를 얻는 것을 방지하는 방법론.
4. 이중 소스 접근법: 통제되고 완전히 주석이 달린 합성 환경 (CARLA) 과 대규모 실제 세계 데이터셋 (nuScenes) 을 결합하여 포괄적인 평가 세트를 제공.
5. 오픈 소스: 저자들은 데이터셋, 생성용 Python 스크립트, 그리고 GitHub 의 상세한 문서를 제공합니다.

결과 및 평가

이 논문은 DTPQA 를 사용한 최첨단 (SOTA) 소형 VLM 의 평가에 대해 보고합니다 (참조 [11]).

• 성능 격차: 인간 성능과 현재 VLM 사이에는 상당한 격차가 존재합니다. SOTA 모델은 인간보다 훨씬 낮은 성능을 보이며, 특히 공간 지각이 필요한 작업 (예: 보행자 방향 또는 깜빡이 상태 결정) 에서 더욱 그렇습니다.
• 거리 민감성: 벤치마크는 객체까지의 거리가 증가함에 따라 모델 성능이 저하됨을 성공적으로 입증하여 거리 주석 평가의 필요성을 검증했습니다.
• 확률 보정 정확도: 논문의 Figure 5 는 인간 기준에 비해 최상위 성능을 보이는 모델조차 이러한 "단순한" 지각 작업에 어려움을 겪음을 보여줍니다.

중요성

저자들은 DTPQA 를 자동 주행 커뮤니티를 위한 핵심 도구로 위치시킵니다. 그 중요성은 다음과 같은 능력에 있습니다:

• 지각 분리: 추론이 필요하지 않은 단순한 질문을 사용하여 DTPQA 는 언어 생성이나 세계 지식이라는 교란 변수 없이 모델의 시각적 지각 능력의 특정 약점을 진단할 수 있게 합니다.
• 안전 관련 거리 대응: 현재 모델이 안전한 자율 주행에 필수적인 장거리 지각 (30 미터 이상) 에 어려움을 겪고 있음을 강조합니다.
• 평가 표준화: 거리 주석이 포함된 균형 잡힌 다지선다형 벤치마크를 제공함으로써 교통 상황에서의 다양한 VLM 비교를 위한 표준화된 지표를 제공합니다.
• 미래 활용성: 주로 벤치마크이지만, 저자들은 이 데이터셋이 VLM 미세 조정이나 프롬프트 문구 및 환경 변수 (예: DTP-Synthetic 의 날씨) 의 효과 연구에 사용될 수 있다고 지적합니다.

이 논문은 DTPQA 가 현재 모델에 효과적으로 도전하여 자동 주행을 위한 VLM 의 지각 능력 개선을 이끌어내는 가치 있는 벤치마크 역할을 한다고 결론지었습니다.