Operating Within the Operational Design Domain: Zero-Shot Perception with Vision-Language Models

기술 요약: 제로샷 비전-언어 모델을 활용한 운영 설계 영역 내 운용

문제 제기
자율주행 시스템 (ADS) 의 광범위한 채택은 단순히 성능 부족이 아니라, 검증 가능한 안전성과 엄격한 규제 기준 준수의 필요성에 의해 제한받고 있습니다. 이러한 규제의 핵심 개념은 운영 설계 영역 (ODD) 으로, ADS 가 안전하게 작동하도록 의도된 특정 환경 및 운영 조건을 정의합니다. ODD 준수를 보장하려면 도로 표시, 기상 조건, 표지판, 노면 상태 등 방대한 정적 및 일시적 환경 요소를 감지할 수 있는 지각 시스템이 필요합니다. 수동으로 개발된 작업별 지각 모델에 의존하는 기존 접근 방식은 다양하고 진화하는 ODD 분류 체계의 특성상 비효율적입니다. 특히 사전에 포괄적으로 매핑하기 어려운 드물거나 변화하는 조건을 위해, 광범위한 재학습 없이 복잡한 ODD 요소를 인식할 수 있는 유연하고 적응력 있는 지각 시스템에 대한 시급한 필요성이 존재합니다.

방법론
저자들은 비전-언어 모델 (VLM) 이 '제로샷 ODD 센서'로 기능할 수 있는 가능성을 조사했습니다. 본 연구는 다단계 실험 설계를 활용했습니다:

1. 데이터셋 구축: 저자들은 232 개의 고유한 ODD 개념을 나타내는 2,320 장의 이미지로 구성된 커스텀 데이터셋인 ODD-TAX-232를 제작했습니다. 이러한 개념은 교통 표지판, 도로 표시, 경관 요소, 기상 조건, 그리고 트리거 조건이라는 다섯 가지 그룹으로 분류됩니다. 이 데이터셋은 유럽, 영국, 미국의 인프라와 관련된 세밀한 환경 특징에 초점을 맞추었으며, 정적 지각 능력을 격리하기 위해 움직이는 객체는 제외되었습니다.
2. 제로샷 최적화: 모델 간 비교에 앞서, 저자들은 GPT-4o 모델을 대상으로 최적의 프롬프트 전략을 식별하기 위해 제거 실험 (ablation study) 을 수행했습니다. 다양한 접근 방식을 테스트했는데, 그 내용은 다음과 같습니다:
   • 기준선 (Baseline): 평면적 분류 체계 목록 및 레이블 별칭.
   • 프로세스 지향: 자기 정제, 2 단계 파이프라인 (예: 도로 의존적 분류), 그리고 페르소나 분해(“기상 전문가”또는“표지판 전문가”와 같은 전문 역할 부여).
   • 추론 강화: 중간 추론 단계를 강제하는 체인 오브 씽킹 (CoT) 프롬프팅.
   • 검색 증강 생성 (RAG): 토큰 사용량을 줄이기 위해 외부 지식 베이스 통합.
   • 체인킹: 한 단계의 출력이 다음 단계에 정보를 제공하는 다단계 파이프라인.
3. 모델 평가: 가장 성능이 우수한 프롬프트 전략 (페르소나 + CoT) 을 사용하여 네 가지 VLM 을 평가했습니다:
   • 클로즈드 소스 일반: GPT-4o 및 Gemini 2.5 Pro.
   • 오픈 소스 일반: Llama 4 Maverick.
   • 오픈 소스 전문: Molmo-72B.
4. 작업: 평가는 두 가지 작업을 포함했습니다:
   • 분류: 이미지에 특정 실제 ODD 요소가 포함되어 있는지 판단 (재현율로 측정).
   • 탐지: 바운딩 박스 좌표를 사용하여 이미지 내 요소를 국소화 (정밀도, F1 점수, 평균 L2 오차를 통한 공간 정확도로 측정). 이는 커스텀 ODD-TAX-232 와 바운딩 박스 주석이 포함된 Mapillary Vistas데이터셋 모두에서 테스트되었습니다.

주요 기여
본 논문은 해당 분야에 세 가지 주요 산출물을 기여합니다:

1. 실증 연구: 네 가지 VLM 에 대한 제로샷 ODD 분류 및 탐지에 대한 포괄적 분석과 일반적인 오류 패턴에 대한 상세한 실패 분석.
2. 최적화 분석: 제로샷 최적화 전략에 대한 제거 실험으로, 비용 - 성능 개요 (토큰 예산 대 재현율) 를 제공하며 정의 기반 체인 오브 씽킹 프롬프팅과 페르소나 분해가 최상의 결과를 산출함을 규명.
3. 오픈 리소스: 향후 연구 및 확장을 촉진하기 위해 공개된 재사용 가능한 프롬프트 템플릿, 적응 가이드라인, 그리고 ODD-TAX-232 데이터셋.

결과

• 프롬프팅 전략: 페르소나 + CoT전략은 ODD-TAX-232 에서 가장 높은 재현율 (0.73) 을 달성하여 기준선 (0.40) 과 RAG 또는 캐스케이드 파이프라인과 같은 다른 전략들 (오류 전파로 인해 성능이 저하되는 경우가 많음) 을 크게 능가했습니다. 그러나 이러한 높은 성능은 상당한 토큰 비용 (샘플당 약 25,000 토큰) 을 수반했습니다.
• 모델 성능 (분류): 클로즈드 소스 모델 (GPT-4o 및 Gemini 2.5 Pro) 은 오픈 소스 대안 (Llama 4 Maverick 0.67, Molmo-72B 0.45) 에 비해 우수한 성능 (재현율 약 0.72–0.73) 을 보였습니다. 전반적으로 GPT-4o 와 Gemini 2.5 Pro 는 비슷했으나, GPT-4o 는 표지판 및 기상 인식에서 우위를 보인 반면 Gemini 는 표시 및 경관에서 뛰어났습니다.
• 모델 성능 (탐지): Mapillary Vistas 데이터셋에서 GPT-4o 는 정밀도 (0.82) 와 재현율 (0.922) 의 가장 좋은 균형을 이루어 가장 높은 F1 점수 (0.87) 를 기록했습니다. Gemini 2.5 Pro 는 가장 높은 재현율 (0.977) 을 보였으나 정밀도는 낮았습니다. Llama 4 Maverick 은 가장 높은 공간 정확도 (최저 L2 오차) 를 보였으나 전체 F1 점수에서는 뒤처졌습니다. Molmo-72B 는 정밀도와 F1 점수에서 부진했습니다.
• 데이터셋 불일치: 모든 모델은 ODD-TAX-232 보다 Mapillary Vistas 에서 훨씬 더 좋은 성능을 발휘했습니다. 저자들은 이를 Mapillary 의 더 거칠고 일반적인 범주에 비해 ODD-TAX-232 에 있는 세밀하고 드물며 안전에 치명적인 개념들이 사전 학습 데이터에서 덜 빈번하기 때문이라고 귀결했습니다.

의의 및 주장
저자들은 VLM 이 ODD 인식에 유망한 잠재력을 보이지만, 안전에 치명적인 응용 분야에서 미탐지된 ODD 위반이 위험한 시스템 작동을 초래할 수 있는 경우, 약 0.73 의 제로샷 재현율은 스탠드얼론 온보드 생산 배포에는 불충분하다고 결론지었습니다.

대신, 본 논문은 VLM 을 다음과 같은 오프라인 응용 분야를 위한 매우 실효성 있는 도구로 위치시킵니다:

• 사전 경로 ODD 감사.
• 규제 준수 보고서 작성.
• 시뮬레이션 시딩.

이러한 맥락에서 미탐지의 비용은 낮으며, 인간의 감독이 잔류 오류를 보완할 수 있습니다. 본 연구는 프롬프트 설계 (특히 페르소나 분해가 포함된 CoT) 가 모델 선택만큼이나 중요함을 강조합니다. 또한 저자들은 Mapillary Vistas 와 같은 일반 데이터셋의 집계 지표가 ODD 지각 준비 상태를 과대평가할 수 있다고 주장하며, 세밀하고 안전에 치명적인 요소에 초점을 맞춘 분류 체계 인식 평가가 정확한 평가를 위해 필수적이라고 역설합니다. 이 작업은 적절한 안전 범위 내에서 사용될 경우 투명하고 효과적이며 적응력 있는 ODD 기반 지각 시스템의 길을 열어줍니다.