기술 요약: Robusto-2: 리마와 뉴욕시의 자율 주행을 위한 인간 및 VLM 벤치마킹

문제 정의

자율 주행 자동차(SDC) 기술이 하드코딩된 휴리스틱에서 시각-언어-행동(VLA) 모델과 그 인지적 백본으로서의 시각-언어 모델(VLM)을 활용한 모듈형 시스템으로 진화함에 따라, 다음과 같은 중요한 개방형 질문이 제기됩니다: 이러한 시스템이 새로운 지형과 분포 외(OOD) 에지 케이스 시나리오에 얼마나 잘 일반화되는가?

현재의 멀티모달 파운데이션 모델은 주로 서구권 데이터, 특히 미국 데이터에 치중되어 학습되었습니다. 이는 학습 데이터가 부족하거나 존재하지 않는 복잡하고 혼란스러운 환경에 이러한 모델을 배치할 때 안전 문제를 야기합니다. 샌프란시스코나 선전과 같은 도시에는 활발한 SDC 배치가 이루어지고 있지만, 페루의 리마나 미국의 뉴욕시와 같은 지역은 현재 SDC 함대가 운영되지 않는 도전적인 환경으로 남아 있습니다. 본 논문은 서로 다른 지리적 특성을 가진 시나리오에 노출되었을 때, 인간 운전자와 VLM 사이의 교차 문화적 일반화 격차를 조사합니다.

방법론

저자들은 세 가지 집단을 포함하는 $2 \times 3$ 전요인 설계(full factorial design)를 채택한 벤치마킹 연구인 Robusto-2를 제시합니다:

1. 페루 리마의 인간 운전자.
2. 미국 뉴욕시의 인간 운전자.
3. 다양한 스타트업 및 조직에서 개발된 10개의 서로 다른 VLM.

데이터 수집 및 선택

• 자극물(Stimuli): 본 연구는 리마와 뉴욕에서 동일한 카메라 설정으로 녹화된 데시캠(dashcam) 영상을 사용합니다. 원본 녹화본에서 200개의 5초 길이 클립(도시당 100개)을 추출했습니다.
• OOD 선택 파이프라인: 도전적이고 분포 외(OOD)인 시나리오를 보장하기 위해, 저자들은 20개의 VQA 질문을 가진 여러 VLM에 200개의 클립을 입력했습니다. 답변의 임베딩을 계산하여 응답의 분산이 가장 높게 나타난 10개의 클립을 각 도시에서 선택했습니다. 이 고분산 클립들은 OOD 장면으로 해석되었으며, 최종 자극물로 사용되었습니다.
• 참가자: 연구를 위해 리마에서 10명, 뉴욕에서 10명의 인간 참가자를 모집했습니다. 모든 인간 참가자는 유효한 운전면허를 보유한 대학생(18~30세)임을 확인했습니다. 30개의 시스템(인간 20명 + VLM 10개) 모두에 영어로 동일한 20개의 질문을 제시했습니다.

시각적 질의응답(VQA) 프레임워크

평가는 4개의 블록 질문 구조를 활용했습니다:

1. 사실적 질문 (Q1–Q5): 날씨, 시간, 교통 신호 및 흐름에 관한 질문 (비디오마다 고유함).
2. 평가 (Q6–Q10): 혼잡도, 위험 요소, 유사 시나리오 조우 가능성, 자율 주행차 대 인간 운전자의 예상 성능에 대한 주관적 정량 평가 (1–10 척도).
3. 가상 및 가설적 질문 (Q1–Q15): 정답(ground truth) 없이 충돌 시나리오를 탐구하는 창의적 질문.
4. 추론 (Q16–Q20): 우선권 및 보행자 안전에 관한 복잡한 추론 질문으로, 사고 연쇄(Chain-of-Thought) 능력을 조사하도록 설계되었습니다.

분석 기법

• 임베딩 분석: 답변을 PCA(주성분 분석)를 사용하여 2D 공간으로 투영하고, 표현 유사성 분석(RSA)을 통해 수렴/발산 패턴을 시각화했습니다.
• 체계적 편향 분석: 평점 점수의 L1 거리에 다차원 척도법(MDS)을 적용했습니다. 분포형 바이올린 플롯을 구성하기 위해 VLM에 비디오-질문 쌍당 20번씩 프롬프트를 제공했습니다.
• 의미론적 유사성: "LLM-as-a-Judge" 프레임워크(사고 모드의 Qwen3-4B 사용)를 사용하여 답변 간의 쌍별 비교를 수행하고, 일치도를 -2(강한 불일치)에서 2(강한 일치)까지의 척도로 점수화했습니다.

주요 결과

1. 지리적 위치 vs 질문 유형

분석 결과, 응답 패턴은 지리적 데이터의 위치보다는 질문의 유형(예: 사실적 vs 추론적)에 의해 주로 조절되는 것으로 나타났습니다.

• 지리적 불변성: 비디오가 리마에서 왔는지 뉴요크에서 왔는지에 관계없이 답변(인간 및 VLM 모두)에서 뚜렷한 차이가 없었습니다. 저자들은 선택된 클립의 높은 OOD 특성이 지리적 뉘앙스를 압도했을 가능성이 크다고 설명합니다.
• 인간의 일관성: 리마와 뉴요크의 인간들은 비디오 소스와 관계없이 매우 유사한 답변 패턴을 보였습니다.

2. 인간 vs VLM 발산

• 수렴/발산: 인간과 VLM은 응답에서 차이를 보였으나, 이 발산은 질문 카테고리에 따라 달랐습니다.
• 지리적 조절에 따른 발산: 인간의 패턴은 지리적 위치에 관계없이 일관적이었던 반면, 인간과 VLM 사이의 격차는 뉴욕에 비해 리마 맥락에서 약간 더 두드러졌습니다. 구체적으로, VLM은 뉴욕보다 리마에서 인간 클러스터로부터 더 멀리 떨어져 있는 것으로 나타났습니다.
• VLM 일관성: 서로 다른 VLM들은 특정 훈련 데이터나 절차와 관계없이 유사한 답변 패턴을 공유했으며, 이는 "플라톤적 표현 가설(Platonic Representation hypothesis)"을 뒷받합니다.

3. 평점에 관한 구체적 발견

• 위험 인지 (Q8): VLM은 두 지리적 위치 모두에서 위험 수준을 평가할 때 높은 유사성을 보였습니다.
• 자기 인식 (Q9): 자율 주행차가 해당 장면을 얼마나 잘 처리할 것인지 묻는 질문에서, VLM은 지리적 맥량을 평가할 때 가장 높은 거리(비유사성)를 보였으며, 이는 자율 주행 성능을 평가할 때 지리적 맥락에 민감함을 시사합니다.

주요 기여

1. Robusto-2 데이터셋: 리마와 뉴요크의 데시캠 영상과 20명의 인간 및 10개의 VLM으로부터 얻은 VQA 응답이 주석 처리된 전요인 데이터셋을 공개합니다.
2. 교차 문화 벤치마크: "훈련" 지역(미국/뉴욕)과 "비원주민" 지역(리마)의 인간 피실험자를 모두 포함함으로써 지리적 요인을 통제한 새로운 연구 설계를 제공합니다. 이는 미국 훈련 모델과 비원주민 화자를 비교했던 이전 연구(예: Robusto-1)의 편향 문제를 해결합니다.
3. 방법론적 프레임워크: 모델 간의 응답 분산을 기반으로 OOD 비디오 클립을 선택하는 파이프라인을 제시하여, 벤치마크가 평균적인 주행 시나리오가 아닌 에지 케이스에 집중하도록 보장합니다.

의의 및 주장

본 논문은 인간과 기계 인지 사이에 격차가 존재하지만, 고도로 혼란스러운 OOD 주행 시나리오에 직면했을 때 지리적 위치 간의 유의미한 교차 문화적 일반화 격차는 존재하지 않는다고 주장합니다.

저자들은 이러한 결과가 인간과 VLM 모두가 이러한 혼란스러운 환경을 "유사하게 혼란스러운 방식으로" 헤쳐 나가고 있음을 시사한다고 강조합니다. 이는 모델 응답에서 지리적 특수성이 결여된 이유가 문화적 적응의 실패라기보다, OOD 시나리오 자체의 내재적 난이도 때문일 수 있음을 의미합니다.

한계 및 겸손:
저자들은 본 연구의 규모가 작다는 점(20개 클립, 20개 질문, 30개 대상, 총 약 12,000개 데이터 포인트)을 명시적으로 언급했습니다. 이들은 데이터 양이 집계된 크라우드 소싱 연구에 비해 적지만, 설계 자체가 "메가-휴먼(Mega-Human)" 집계 데이터셋에서는 가려지기 쉬운 시스템 간의 차이를 미세하게 분석할 수 있게 해준다고 인정했습니다. 주요 병목 현상은 VLM 응답의 계산량이 아니라 고품질의 인간 운전자 데이터를 수집하는 것이었습니다. 저자들은 향후 반복 연구를 위해 5개 대륙의 데이터와 더 큰 인구 집단을 포함하도록 확장할 계획입니다.