기술 요약: WM-Cov: 인터랙티브 월드 모델 스타일 자율주행 시뮬레이션을 위한 테스트 적절성(Test Adequacy)

1. 문제 정의

전통적인 자율주행(AD) 테스트는 시나리오 라이브러리와 고정된 재생 궤적에 의존하며, 커버리지는 사전에 정의된 일련의 케이스들을 기준으로 측정됩니다. 그러나 인터랙티브 월드 모델(WM) 및 생성형 시뮬레이터의 등장은 테스트의 기질(substrate)을 근본적으로 변화시켰습니다. 이러한 시스템에서 테스트 대상인 에고 플래너(ego planner)는 세계의 미래 상태에 능동적으로 영향을 미칩니다. 즉, 배경 에이전트, 센서 관측값, 리스크 프로필이 플래너의 행동에 따라 동적으로 반응합니다.

결과적으로, "시나리오"는 더 이상 고정된 궤적이 아니라 맵, 경로, 초기 상태, 환경 조건, 배경 에이전트 정책, 프롬프트 및 시드 분포에 의해 정의되는 **인터랙티브 시나리오 패밀리(interactive scenario family)**가 됩니다. 시나리오의 실제 구현은 테스트 중인 특정 플래너에 따라 달라집니다.

본 논문이 다루는 핵심 문제는 이러한 인터랙티브 환경에서의 **테스트 적절성(testing adequacy)**입니다. 해결되지 않은 질문은 단순히 위험한 롤아웃(rollout)을 얼마나 생성할 수 있느냐가 아니라, 무엇이 테스트 캠페인을 중단하기에 충분한 **유효한 폐쇄 루프 증거(valid closed-loop evidence)**를 구성하느냐는 것입니다. 생성된 비디오, 프롬프트, 또는 충돌 횟수와 같은 단순 수치는 다음과 같은 이유로 불충분합니다:

• 생성된 "실패(failures)"가 실제 ADS(자율주행 시스템)의 실패가 아닌 아티팩트(artifacts)(시뮬레이터 오류, 맵 불일치 등)일 수 있습니다.
• 생성된 이벤트가 **중복(duplicates)**이거나 컨디셔닝 실패(conditioning failures)(요청된 프롬프트가 실현되지 않음)일 수 있습니다.
• 높은 실패 횟수가 좁은 모드(modes)에 집중되어 다양성이 결여될 수 있습니다.

본 논문은 적절성이 단순한 생성 메트릭이 아니라, 고정된 예산 내에서 유효하고 인터랙티브한 증거의 수렴에 의해 정의되어야 한다고 주장합니다.

2. 방법론: WM-Cov

저자들은 인터랙티브 월드 모델 스타일 시뮬레이터에 의해 생성된 증거를 감사하고 계측하기 위해 설계된, 제공자 불가지론적(provider-agnostic) 평가 레이어인 WM-Cov를 소개합니다. WM-Cov는 생성기를 수정하는 대신, 제공자 상위에 위치하여 테스트 프로세스를 표준화, 감사 및 보고합니다.

A. 핵심 개념

WM-Cov는 세 가지 수준의 커버리지를 구분합니다:

1. 요청된 커버리지 ($C_{req}$): 제공자에게 명시적으로 요청한 테스트 조건 (예: "비 오는 밤", "비보호 좌회전").
2. 실현된 인터랙션 커버리지 ($C_{real}$): 폐쇄 루프 실행 중에 실제로 관찰된 조건.
3. 유효하게 실현된 커버리지 ($C_{valid}$): 관찰된 인터랙션 중 타당하고, 중복되지 않으며, 아티팩트가 없는 부분집합.

이 프레임워크는 요청-대-실현(requested-to-realized) 추적(프롬프트가 작동했는가?)과 유효성 계측(validity accounting)(결과가 진정한 테스트 케이스인가?)을 분리합니다.

B. 평가 파이프라인

1. 트레이스 인제스션 및 어댑터 (Trace Ingestion & Adapter): 표준화된 어댑터 스키마를 통해 모든 제공자(신경망 월드 모델, 폐쇄 루프 시뮬레이터, 또는 로그 재생)로부터 트레이스를 인제스션합니다. 이는 시나리오 패밀리 ID, 에고 플래너, 요청된 조건, 실현된 인터랙션, 결과 점수를 포함한 메타데이터를 추출합니다.
2. 특징 분류 체계 (Feature Taxonomy): 트레이스는 ODD(운행 설계 영역), 인터랙션 유형, 리스크 빈(bin), 행동 클래스, 실패 모드 및 유효성 레이블을 포함하는 특징 벡터로 매핑됩니다.
3. 유효성 감사 (Validity Audit): 레저는 트레이스를 다음과 같이 분류합니다:
   • 유효한 ADS 실패 (Valid ADS Failures): 플래너와 관련이 있고 재현 가능한 타당한 실패.
   • 유효한 안전 임계 이벤트 (Valid Safety-Critical Events): 플래너의 실패가 확정되지는 않았으나 위험도가 높은 이벤트.
   • 유효한 안전 케이스 (Valid Safe Cases): 타당한 비임계 케이스.
   • 컨디셔닝 실패 (Conditioning Failures): 요청된 조건이 실현되지 않음 (예: 비를 요청했으나 맑은 날씨가 나타남).
   • 아티팩트/무효 실패 (Artifact/Invalid Failures): 생성기 오류, 끊어진 맵 엣지, 또는 시뮬레이터 글리치로 인해 발생한 이벤트.
   • 중복 (Duplicates): 반복되는 실패 패턴.
4. 예산 기반 선택 (Budgeted Selection): 다목적 선택 정책은 예산 $B$ 내에서 유효한 증거를 최대화하도록 트레이스를 선택합니다. 선택 점수 $s(\tau|T)$는 다음을 균형 있게 고려합니다:
   • 유효 커버리지의 한계 이득 ($\Delta C_{valid}$).
   • 리스크 노출도 ($R$) 및 현실성/유효성 신뢰도 ($Q$).
   • 중복 페널티 ($M$) 및 아티팩트 리스크 ($A$).
5. 중단 지향적 적절성 (Stopping-Oriented Adequacy): 슬라이딩 윈도우 내에서 커버리지 성장, 새로운 유효 실패 모드의 발견, 그리고 추정된 실패 확률의 불확실성이 수렴할 때 캠페인을 중단하며, 이때 아티팩트 비율은 낮게 유지되어야 합니다.

C. 적절성 보고서 (Adequacy Report)

출력값은 단일 스칼라가 아니라 다음을 포함하는 보고서($A_B$)입니다:

• 커버리지 성장 메트릭 ($C_{req \to real}$, $C_{valid}$).
• 유효 실패($VF$), 고유 실패 모드($FM$), 아티팩트($AI$)의 개수.
• 유효 증거 정밀도 (Valid-Evidence Precision): $\Pi_v = VF / (VF + AI)$.
• 평균 리스크 및 현실성 점수.

3. 주요 기여

1. 문제 공식화: 인터랙티브 월드 모델 스타일의 테스트를 고정된 궤적 재생이 아닌 시나리오 패밀리에 대한 적절성 및 중단 문제로 재정의했습니다.
2. WM-Cov 프레임워크: 요청된 내용과 실현된 내용, 그리고 유효하게 실현된 커버리지를 추적하여 테스트 의도와 생성된 증거를 분리하는 제공자 불가지론적 레이어를 도입했습니다.
3. 적절성 메트릭: 커버리지 성장, 유효 실패 발견, 실패 모드 다양성, 아티팩트 억제 및 정밀도를 결합한 포괄적인 보고서를 정의했습니다.
4. 실증적 검증: 실행된 로그(TeraSim/SUMO), 혼합 트레이스 풀, 그리고 두 개의 플래너(UniAD, VAD), 두 개의 호라이즌, 여섯 개의 프롬프트 조건을 포함하는 두 개의 호라이즌을 가진 실시간 closed-loop DriveArena 매트릭스를 통해 프레임워크를 평가했습니다.

4. 실험 결과

평가는 세 단계로 수행되었습니다:

A. 실행된 TeraSim/SUMO 풀

• 데이터셋: 230개의 유효한 ADS 실패, 299개의 유효한 안전 임계 이벤트, 690개의 아티팩트 실패를 포함하는 1,219개의 이벤트 레벨 트레이스.
• 발견: "위험해 보이는" 대량의 이벤트가 아티팩트였습니다.
• 성능: 100의 예산에서, WM-Cov는 99개의 유효한 실패를 아티팩트 없이 선택하여 유효 증거 정밀도 1.00을 달성했습니다. 반면, "Risk-only" 선택은 100개의 유효한 실패를 아티팩트 없이 찾았으나(정밀도 1.00), "Coverage-only" 선택은 17개의 유효한 실패를 얻는 동안 58개의 아티팩트를 허용했습니다(정밀도 0.23).

B. WM 유사 혼합 트레이스 풀

• 데이터셋: 유효한 실패, 중복, 아티팩트를 포함하여 월드 모델의 출력을 모사한 합성 풀.
• 발견: Risk-only 선택은 아티팩트에 예산을 낭비했습니다.
• 성능: WM-Cov는 76개의 유효한 실패를 아티팩트 없이 선택하여 관찰된 6개의 모든 실패 모드를 커버했습니다. 또한 높은 평균 리스크(0.9686)와 현실성(0.8932)을 유지했습니다. 반면, "Risk-only" 선택은 61개의 유효한 실패를 찾았지만 25개의 아티팩트를 허용하여 유효 증거 정밀도가 0.71 ($61/(61+25)$)에 그쳤습니다.
• 민감도: 16개의 가중치 설정에 걸쳐, WM-Cov는 아티팩트 선택 0개와 안정적인 커버리지(0.4874)를 유지하여 견고함을 입증했습니다.
• 스트레스 테스트: 아티팩트 오염이 55%로 증가함에 따라, Risk-only 선택은 예산의 67%를 아티팩트에 사용한 반면, WM-Cov는 아티팩트 선택 0%를 유지했습니다.

C. 실제 DriveArena 제공자 매트릭스

• 설정: 360개의 요청된 클로즈 루프 시도 (2개 플래너 $\times$ 2개 호라이즌 $\times$ 6개 프롬프트 $\times$ 15개 경로).
• 실현율 (Realization Rates):
  • VAD: 5.0s 호라이즌에서 100% 실현; 7.5s에서 80% 실현.
  • UniAD: 5.0s에서 93% 실현; 7.5s에서 64% 실현.
  • 총계: 304개의 완전한 실현 트레이스, 56개의 부분 실현, 0개의 완전 미실현.
• 통찰: 실현은 플래너, 호라이즌, 프롬프트에 조건부입니다. 예를 들어, UniAD는 7.5s 호라이즌에서 "default cloudy" 프롬프트를 실현하지 못했습니다. WM-Cov는 이를 플래너의 안전 증거가 아닌 부분적인 제공자 증거로 정확히 식별했습니다.
• 분리된 슬라이스 체크: 분리된 경로 슬라이스에 대한 80개 요청 체크를 통해, 요청-대-실현 계측 동작이 특정 경로 슬라이스에 국한되지 않고 지속됨을 확인했습니다.

D. 중단 기준 (Stopping Criteria)

WM 유사 풀에 대한 중단 지향 연구에서, WM-Cov는 아티팩트 0개와 정밀도 1.00을 기록하며 66개의 트레이스에서 중단 지점에 도달했습니다. 경쟁 방법들은 너무 일찍 중단되어 커버리지가 좁거나(Risk-only), 훨씬 더 많은 트레이스(109개)를 필요로 하면서도 아티팩트를 허용했습니다(Coverage-only).

5. 의의 및 주장

본 논문은 WM-Cov가 큐레이션된 시나리오 라이브러리에서 인터랙티브 생성형 테스트로의 전환에 필요한 필수적인 평가 레이어를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 생성과 증거의 분리: 현실적인 생성기라도 낮은 특징 커버리지나 유효하지 않은 증거를 생성할 수 있습니다. 따라서 테스트 적절성은 생성기의 출력만으로 가정될 수 없습니다.
2. 유효 증거 계측: 감사 레이어가 없다면, 테스트 캠페인이 아티팩트와 중복을 실패로 카운트함으로써 안전성을 과대평가할 수 있음을 보여줍니다.
3. 운영적 중단 규칙: 임의의 실행 횟수가 아닌, 예산 내에서 유효한 인터랙티브 증거의 수렴에 기반한 실용적인 중단 기준을 제안합니다.
4. 제공자 불가지론: 프레임워크는 출력을 트레이스 어댑터 스키마에 매핑할 수 있다면 어떤 제공자(신경망 또는 규칙 기반)와도 작동하도록 설계되었습니다.

저자들은 본 연구가 새로운 월드 모델이나 보편적인 안전 충분성 주장을 제안하는 것이 아님을 명시합니다. 대신, "요청"에서 "실현"을 거쳐 "유효" 증거로 이어지는 과정을 감사를 통해 정의함으로써, 인터랙티브 테스트가 언제 적절해지는지를 정의합니다. 실험 결과는 위험해 보이는 생성된 이벤트에 비증거적 아티팩트가 포함되는 경우가 많으며, 테스트 캠페인이 충분하다고 간주되기 전에 유효한 폐쇄 루프 증거를 축적하고 검증해야 한다는 결론을 뒷받침합니다.