Is Your Trajectory Displacement Safe in Long-tail?

기술 요약: 당신의 궤적 변위는 롱테일(Long-tail) 상황에서 안전한가?

문제 정의
자율주행 데이터셋의 상당한 성장에도 불구하고, 롱테일 시나리오는 여전히 평가를 위한 핵심적인 병목 구간으로 남아 있습니다. 기존의 평가 파이프라인은 세 가지 주요 한계점을 가집니다:

1. 인간의 선호도와의 불일치: 폐쇄 루프(Closed-loop) 지표(예: PDMS, RFS)는 강력한 플래너들 사이에서 포화 상태에 도달하며, 공격적인 양보나 시뮬레이션상의 충돌은 피하지만 실제 세계의 안전 규범을 위반하는 위험한 가속과 같은 상호작용 수준의 미묘한 차이를 포착하지 못합니다.
2. 검증 가능성 및 설명 가능성의 부족: 현재의 벤치마크는 집계된 스칼라 점수나 규칙 기반의 이벤트 체크(예: 충돌 횟수)에 의존하고 있는데, 이는 거칠고 보상 해킹(Reward hacking)에 취약하며 실패에 대한 진단적 설명을 제공하지 못합니다.
3. 변별력 부족: WOD-E2E와 같은 기존 벤치마크에서 보여지듯, 높은 Rater Feedback Score(RFS)와 낮은 평균 변위 오차(ADE)가 롱테일 시나리오에서의 안전성과 반드시 상관관관계를 갖는 것은 아닙니다. 최첨단 플래너들은 최고 수준의 집계 점수를 달성하면서도 실질적인 안전 관련 실패를 보일 수 있습니다.

핵심 문제는 복잡한 롱테일 환경에서 계획된 궤적을 평가하기 위해 인간과 정렬되어 있고, 안전을 인지하며, 검증 가능하고 설명 가능한 벤치마크가 부재하다는 것입니다.

방법론: FluidTest
저자들은 FluidTest를 제안하며, 이는 계획 평가를 **추가적인 위협 탐지(Additional-threat detection)**로 재정의합니다. 궤적을 독립적으로 점수 매기는 대신, FluidTest는 다음과 같이 질문합니다: 전문가 참조 궤적이 주어졌을 때, 플래너의 변위가 새로운 위험한 주행 동작을 유발하는가?

이 파이프라인은 세 가지 핵심 구성 요소로 이루어집니다:

1. 쌍체 인간 주석 프로토콜 (Pairwise Human Annotation Protocol):

   • 주석가들은 동일한 시각적 맥락 내에서 플래너의 궤적을 전문가 참조 궤적과 비교합니다.
   • 이들은 세 가지 레이블 중 하나를 할당합니다: Y (추가적인 위협 유발), N (기하학적 편차에도 불구하고 추가 위협 없음), 또는 Not Sure (미래의 불확실성이나 증거 부족으로 인한 기권).
   • 이러한 쌍체 접근 방식은 스칼라 평점 척도보다 주석가들에게 더 신뢰할 수 있는 방식이 되도록 설계되었습니다.

2. 의미론적 위협 분류 체계 (Semantic Threat Taxonomy):

   • 시스템은 캘리포니아 DMV 운전자 핸드북에서 유래한 32가지 의미론적 위협 카테고리를 활용합니다.
   • 카테고리에는 결정론적 실패(예: 충돌), 상호작용 리스크(예: 양보 실패), 도로 위반(예: 도로 이탈), 정책 품질 문제(예: 교통 흐름 방해) 등이 포함됩니다.
   • 주요 지표는 위협 집합 $A$에 대한 위반율 $r(A)$를 사용하여 정의되는 추가 위협 없음 비율 (No Additional Threat Rate, NATR), 즉 $1 - r(A)$입니다.

3. 3-에이전트 검증 시스템 (Three-Agent Verification System):

   • 정밀도와 감사 가능성을 보장하기 위해, FluidTest는 신경-기호적(Neuro-symbolic) 검증 루프를 채택합니다:
     • 검사관 (Prosecutor): 시각적 장면 이해를 바탕으로 후보 위협 클래스를 제안하는 시각-언어 모델(VLM)입니다.
     • 탐지기 (Detector): **증거 기반 결정 그래프(Evidence-grounded decision graphs)**를 사용하여 제안을 검증합니다. 이 그래프는 구조화된 추론을 강제하며, 위협을 확정하기 전 명시적인 시각적 증거(예: 궤적 기하학, 신호등 상태, 차선 점유)를 요구합니다.
     • 판사 (Judge): 성찰 및 일관성 체크를 수행합니다. 루프가 모호함을 해결할 수 없는 경우, 사건은 최종 판결을 위해 인간 검토자에게 전달됩니다.
   • 이 하이브리드 설계는 의미론적 번역을 위한 LLM의 유연성과 검증을 위한 기호 모듈의 엄격함을 결과적으로 결합합니다.

주요 기여

1. 지표 포화 현상의 식별: 본 논문은 PDMS 및 스칼라 RFS와 같이 포화된 지표들이 롱테일 시나리오에서의 복잡한 계획 위협을 포착하지 못함을 입증합니다.
2. NATR 제안: 저자들은 전문가 행동 대비 추가적인 리스크를 직접 측정하는 인간 정렬 안전 지표로서 **NATR (No Additional Threat Rate)**을 도입합니다.
3. FluidTest 파이프라인: 32가지 위협 분류 체계, 쌍체 방식의 WebUI 주석 도구, 그리고 성찰 루프를 갖춘 멀티 에이전트 검증 시스템을 특징으로 하는 종합적이고 설명 가능한 벤치마킹 프로토콜을 제공합니다.
4. 오픈 리소스: WebUI, 레이블링 코드, 학습 코드, 위협 탐지 검사관 모델의 체크포인트, 그리고 새로운 플래너를 벤치마킹하기 위한 리더보드(FluidTest Safety Arena)를 공개합니다.

실험 결과
실험은 WOD-E2E 검증 세트(151개의 고품질 시나리오로 필터링됨)를 대상으로 세 가지 플래너인 Poutine(VLM 기반), RAP(고전적 엔드투엔드), VMA(내부 고성능 플래너)에 대해 수행되었습니다.

• 인간 일관성: 연구자 주석가들은 **79.31%**의 높은 중복률과 0.7145의 Fleiss' $\kappa$를 달성하였으며, 이는 주석가들이 특정 안전 선호도에 대해 훈련되었을 때 레이블링 프로토콜이 견고함을 나타냅니다.
• 지표 불일치:
  • Poutine은 가장 낮은 5s ADE (2.44)를 기록했으나 가장 낮은 NATR (0.35)를 기록했습니다. 이는 **65%**의 궤적이 추가적인 위협을 유발했음을 의미합니다.
  • RAP는 가장 나쁜 5s ADE (2.62)를 기록했으나 가장 좋은 NATR (0.49)를 기록했습니다.
  • 이는 변위 오차와 스칼라 피드백 점수가 인간의 안전 선호도와 일치하지 않음을 확인시켜 줍니다.
• 위협 탐지: FluidTest는 Poutine 궤적의 65%, RAP 궤적의 **51%**에서 추가적인 위협을 식별하였으며, 이는 높은 RFS 점수에 의해 숨겨진 상당한 안전 실패를 드러냅니다.
• 어려운 사례의 안정성: PDMS 및 RFS가 플래너에 따라 달라지는 "어려운 사례"(낮은 교차 플래너 중복)를 선택하는 것과 달리, NATR은 안정적인 롱테일 실패를 식별합니다. NATR 하에서 Poutine과 RAP 간의 실패 사례 중복도는 **73%**였으며, 이는 RFS의 25%나 5s ADE의 56%보다 현저히 높습니다.

의의 및 주장
본 논문은 FluidTest가 롱테일 계획 안전성에 대해 더 안정적이고, 해석 가능하며, 플래너에 독립적인 벤치마크를 제공한다고 주장합니다. 평가의 초점을 "궤적이 전문가와 얼마나 가까운가?"에서 "궤적이 새로운 위험을 유도하는가?"로 전환함으로써, 저자들은 현재의 최첨단 플래너들이 집계 지표가 가리는 안전 관련 실패에 여전히 취약할 수 있다고 주장합니다.

저자들은 다양한 주석가를 훈련시키는 확장성, 신뢰할 수 있는 궤적 투영 및 시각적 근거에 대한 의존성, 그리고 현재의 32가지 위협 분류 체계가 아직 완전하지 않다는 점 등 한계점을 겸허히 언급하였습니다. 그러나 이들은 NATR이 기존 지표가 제공할 수 없는, 의미론적으로 유의미한 안전 관점을 제공한다고 단언합니다.