기술 요약: DriveJudge: 시각-언어 모델을 통한 자율주행 평가의 재고

1. 문제 정의

자율주행 분야는 엔드 투 엔드(end-to-end) 정책 학습으로 급격히 이동하고 있으며, 이는 일반적인 시나리오에서는 우수한 성능을 보이지만 롱테일(long-tail) 및 비정상적(non-nominal) 이벤트에는 취약하다는 문제를 안고 있습니다. 이러한 정책을 발전시키는 데 있어 핵심적인 병목 현상은 신뢰할 수 있고, 해석 가능하며, 문맥을 인식하는 평가 지표의 부재입니다. 기존의 평가 패러다임은 다음과 같은 중대한 한계를 가집니다:

• 규칙 기반 지표 (예: EPDMS): 해석 가능하고 물리적 근거를 갖추고 있지만, 본질적으로 문맥을 인식하지 못합니다(context-agnostic). 이들은 고정된 규칙을 일률적으로 적용하며, 이로 인해 복잡한 시나리오(예: 장애물을 피하기 위해 일시적으로 차선 유지 제약을 완화하는 경우)에서 합리적인 행동을 과도하게 처벌하는 경사를 보입니다.
• 시각-언어 모델(VLM) 기반 평가: 문맥을 인식할 수는 있으나, 모호한 선호도 비교나 직접적인 점수 예측에 의존하는 경우가 많습니다. 이러한 접근 방식은 명시적인 물리적 근거와 공간적 정밀도가 부족하여, 미세한 안전성 평가에 신뢰하기 어렵고 안전성, 편안함, 진행성 등의 구체적인 주행 측면으로 분해하기 어렵습니다.

핵심 과제는 VLM의 문맥 이해 능력과 결정론적 규칙 기반 지표의 공간적 정밀도 및 물리적 근거를 결합하는 평가 프레임워크를 개발하는 것입니다.

2. 방법론: DriveJudge

저자들은 DriveJudge를 제안합니다. 이는 VLM이 가이드하고 규칙에 근거한(rule-grounded) 평가 에이전트입니다. 오직 VLM의 판단에만 의존하는 기존 연구들과 달리, DriveJudge는 주행 평가를 에이전트 기반의 의사결정 과정으로 공식화합니다.

2.1 핵심 아키텍처

DriveJudge는 환경 장면의 문맥을 해석하고 결정론적인 규칙 함수를 선택적으로 호출함으로써 작동합니다.

• 입입력: 에이전트는 전방 카메라 이미지와 객체 박스, 차선 맵, 예측 궤적이 포함된 버드 아이 뷰(Bird's-Eye View, BEV) 시각화를 포함한 다중 모달 입력을 받습니다.
• 문맥 추론: VLM(구체적으로 Qwen-3)은 장면을 분석하여 어떤 평가 규칙이 관련 있는지 결정합니다. 모델은 각 요소가 특정 규칙(예: 차선 유지, 충돌 시간 등)의 관련성을 나타내는 게이팅 벡터 $\hat{g}_i$를 출력합니다.
• 규칙 호출: 게이팅 벡터에 따라 시스템은 사전 정의된 규칙 집합(예: 안전, 차선 준수, 진행, 편안함을 다루는 EPDMS 규칙)으로부터 결정론적 규칙 함수($f^m$)를 선택적으로 실행합니다.
• 점수 집계: 최종 주행 점수는 선택된 규칙들의 출력을 관련도에 따라 가중치를 두어 합산하여 계산됩니다. 이를 통해 시스템은 불필요한 제약 조건(예: 장애물 회피를 위한 조향이 필요한 상황에서 차선 유지 페널티를 무시하는 것)을 무시할 수 있습니다.

2.2 학습 파이프라인

DriveJudge를 학습시키고 검증하기 위해 저자들은 대규모 데이터셋을 구축하고 2단계 포스트 트레이닝 파이프라인을 채택했습니다:

1. 데이터셋 구축: PhysicalAI-Autonomous-Vehicles 데이터셋으로부터 33,577개의 도전적인 주행 샘플로 구성된 데이터셋을 생성했습니다. 이는 인간의 주행이 특정 규칙을 위반하더라도 문맥상 "합리적"인 롱테일 시나리오에 초점을 맞춥니다. 인간 작업자들은 해당 행동이 합리적인지 여부를 라벨링하고 그 근거를 제공했습니다.
2. 지도 미세 조정 (SFT): 모델은 인간의 주석을 바탕으로 올바른 게이팅 벡터(어떤 규칙을 호출할지)를 예측하도록 학습됩니다. 규칙 호출의 정답(ground truth)은 "합리적"이라고 라벨링된 인간의 궤적에 대해 잘못된 페널티를 부여할 수 있는 규칙들을 식별함으로써 도출됩니다.
3. 강화 학습 (RL): SFT 이후, 모델은 다운스트림 태스크, 특히 궤적 선호도 선택 성능을 높이기 위해 RL 최적화(Group Relative Policy Optimization, GRPO 사용)를 거칩니다. 보상은 모델의 궤적 순위가 인간의 선호도와 일치하는지 여부에 따라 결정됩니다.

3. 평가 벤치마크

본 논문은 주행 지표 자체의 품질을 평가하기 위해 두 가지 인간 정렬(human-aligned) 벤치마크 태스크를 도입합니다:

1. 주행 품질 분류: 지표는 합리적인 주행과 비합리적인 주행을 구분해야 합니다(이진 분류). 성능은 정확도(Accuracy), AUC, 평균 정밀도(AP)를 통해 측정됩니다.
2. 궤적 선호도 선택: 두 개의 후보 궤적이 주어졌을 때, 지표는 인간이 선호하는 궤적에 더 높은 점수를 부여해야 합니다. 성능은 선택 정확도로 측정됩니다.

4. 주요 결과

실험 결과, DriveJudge는 두 가지 벤치마크 태스크 모두에서 기존 베이스라인을 크게 상회하는 성능을 보여주었습니다:

• 주행 품질 분류: DriveJudge (8B 모델)는 78.90 AUC를 달성하여, 표준 규칙 기반 지표인 EPDMS보다 +21.23 AUC 높은 성능을 보였습니다. 또한 실패 탐지(AP-) 성능에서도 EPDMS의 26.34에서 59.04로 대폭 향상되었습니다.
• 궤적 선호도 선택: DriveJudge는 82.83%의 정확도를 달성하여, 최근의 VLM 기반 크리틱인 DriveCritic(76.33%)과 GPT-5, Gemini와 같은 다른 베이스라인들을 능가했습니다.
• 절제 연구 (Ablation Studies):
  • VLM + 도구: VLM 추론과 규칙 기반 도구 호출을 결합하는 것이 필수적입니다. 직접적인 VLM 점수 산출(도구 없이)이나 비 VLM 에이전트는 성능이 현저히 떨어졌습니다.
  • SFT + RL: 강화 학습은 지도 미세 조정(SFT)된 모델에서 초기화되었을 때만 상당한 이득을 제공합니다. 제로샷(zero-shot) 모델에서 RL을 시작하면 개선이 미미하며, 이는 모델을 태스크 구조에 적응시키기 위한 SFT의 필요성을 강조합니다.
  • 스케일링: SFT 성능은 데이터 크기에 따라 선형적으로 증가하는 반면, RL은 특정 지점 이후 수익 체감(diminishing returns)을 보여, 단순한 양보다는 고품질의 선호도 데이터가 중요함을 시사합니다.

5. 의의 및 주장

본 논문은 DriveJudge가 의미론적 추론과 물리적 근거 사이의 간극을 메움으로써 해석 가능하고 정밀한 주행 평가의 새로운 기준을 세운다고 주장합니다.

• 문맥 인식: 규칙의 일시적 완화가 필요한 기동을 평가할 수 있게 함으로써, 기존의 경직된 규칙이 실패하는 "롱테일" 문제를 성공적으로 해결했습니다.
• 해석 가능성: 규칙을 명시적으로 호출함으로써, 블랙박스 형태의 VLM 점수 산출과 달리 평가 과정이 투명하고 분해 가능합니다.
• 정책 벤치마킹: 최첨단 플래닝 모델(예: Hydra-MDP, DriveSuprim)에 적용했을 때, DriveJudge는 EPDMS보다 높은 점수를 부여했습니다. 이는 현재의 정책들이 기존 지표가 나타내는 것보다 더 유능할 수 있음을 시사합니다. 또한, 현재의 벤치마크(예: NAVSIM)가 포화 상태에 도달하고 있을 수 있으며, 더 미세한 평가 방법이 필요함을 암시합니다.

저자들은 DriveJudge가 전통적인 지표가 불충분한 복잡한 롱테일 시나리오에서 정책을 학습시키기 위한 강력한 토대를 제공한다고 결론짓습니다.