💻 computer science

Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive

본 연구는 최첨단 방법론들을 대상으로 NAVSIM 오픈-루프 지표와 Bench2Drive 클로즈드-루프 성능 간의 상관관계를 분석하여, 전체 NAVSIM 점수는 실제 주행 성공과 강력하지만 비단조적인 상관관계를 보이지만, Ego Progress 가 가장 예측력이 높은 단일 지표이며 순위 매기용으로는 간소화된 3 개 지표 공식을 전체 5 개 지표 점수를 효과적으로 대체할 수 있음을 밝혀냈다.

원저자: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 자동차 운전법을 가르치려 한다고 상상해 보세요. 로봇이 잘하는지 확인하기 위해 두 가지 테스트 방법이 있습니다:

"종이 시험" (오픈루프): 로봇에게 지도와 일련의 지시를 주고, 종이에 로봇이 어디로 갈지 나타내는 선을 그리게 합니다. 그런 다음 그 선을 완벽한 경로와 비교합니다. 이는 빠르고 저렴하며, 1 초에 천 번 이상 반복할 수 있습니다.
"실제 주행" (클로즈드루프): 로봇을 실제 자동차 (또는 매우 사실적인 비디오 게임) 에 태워 직접 운전하게 합니다. 자동차는 신호등, 다른 차량, 보행자에 반응합니다. 로봇이 멈추거나 너무 느리게 운전하면 실패합니다. 이는 "황금 표준"이지만, 시간이 많이 걸리고 비용이 많이 들며 정확히 같은 방식으로 반복하기 어렵습니다.

핵심 질문: "종이 시험"이 로봇의 "실제 주행" 성적을 얼마나 신뢰할 수 있게 예측할 수 있을까요?

오랫동안 답은 아니오였습니다. 기존 테스트는 로봇이 그린 선이 완벽한 선에서 얼마나 벗어났는지 (두 점 사이의 거리를 측정하는 것처럼) 만 측정했습니다. 이 논문은 로봇이 거의 완벽한 선을 그려도 실제 생활에서는 여전히 충돌하거나 멈출 수 있음을 보여줍니다.

이 논문이 한 일

저자들은 8 가지 최상위 로봇 운전자를 살펴보았습니다. 그들은 이러한 로봇들이 "종이 시험" (NAVSIM 이라는 새로운 더 지능적인 테스트 사용) 에서 어떻게 수행했는지 확인하고, "실제 주행" (Bench2Drive 라는 테스트 사용) 에서 실제로 어떻게 수행했는지 비교했습니다.

그들이 발견한 바를 간단히 설명하면 다음과 같습니다:

1. "안전 대 속도" 함정

새로운 "종이 시험" (NAVSIM) 은 기존 테스트보다 훨씬 낫습니다. 안전성 (무엇에 부딪혔는지) 과 진행 상황 (앞으로 이동했는지) 을 모두 확인합니다.

문제: 일부 로봇은 너무 안전합니다. 그들은 거북이처럼 운전하며, 무엇에 부딪히지 않도록 하기 위해 작은 그림자 하나하나마다 멈춥니다.
결과: "종이 시험"에서는 이러한 거북이 로봇이 절대 부딪히지 않기 때문에 높은 점수를 받습니다. 하지만 "실제 주행"에서는 너무 느리게 운전하거나 교통에 갇힌다는 이유로 감점을 받습니다. 너무 조심스러워 실제 테스트에서 실패합니다.
비유: 시험에서 한 점도 틀리지 않기 위해 모든 질문에 "모르겠습니다"라고 답하는 학생을 상상해 보세요. 틀린 답만 채점하는 시험에서는 A 를 받지만, 실제로 시험을 끝내야 하는 시험에서는 끝내지 않았기 때문에 F 를 받습니다.

2. 비밀 재료: "자차 진행" (Ego Progress)

연구자들은 실제 성공을 예측하는 요소가 무엇인지 알아보기 위해 "종이 시험"을 구성 요소로 분해했습니다.

그들은 가장 중요한 숫자가 "충돌했는가?" (안전) 가 아니라 **"앞으로 이동했는가?" (진행)**임을 발견했습니다.
비유: 마라톤을 생각해 보세요. 넘어지지 않고 완벽하게 달린다 해도 (안전) 10 초마다 신발 끈을 묶기 위해 멈춘다면 경기를 이길 수 없습니다. 로봇은 계속 앞으로 나아가야 합니다. "진행" 점수가 로봇이 실제로 운전을 성공적으로 끝낼지 여부를 예측하는 가장 단일한 지표였습니다.

3. "눈덩이 효과"

왜 "종이 시험"의 작은 실수가 "실제 주행"에서는 거대한 실패로 변할까요?

비유: 복도를 걷고 있다고 상상해 보세요. 한 발짝 왼쪽으로 살짝 움직이는 것은 문제가 되지 않습니다. 하지만 10 분 동안 계속 작은 발걸음을 왼쪽으로 내디디면 결국 벽에 부딪히게 됩니다.
"종이 시험"에서 로봇은 4 초만 ahead 를 계획합니다. 미세한 주저함은 작은 실수로 보일 수 있습니다. 하지만 "실제 주행"에서는 그 미세한 주저함이 로봇이 녹색 신호를 놓치고, 적색 신호를 기다리게 하며, 일정을 늦추고 결국 시간 제한을 초과하게 만듭니다. 작은 실수들이 "눈덩이"처럼 커져 완전한 실패로 이어집니다.

4. 더 간단한 공식

"종이 시험"은 최종 점수를 계산하기 위해 5 가지 다른 숫자를 사용하는 복잡한 공식을 사용합니다. 저자들은 그 숫자 중 두 가지 (승차감의 편안함과 충돌 위험에 얼마나 가까운지) 는 모든 최상위 로봇에게 기본적으로 동일하다는 것을 깨달았습니다. 즉, 모든 로봇이 그 부분에서는 완벽했습니다.

발견: 복잡한 공식을 버리고 3 가지 간단한 숫자만 사용하면 됩니다: "충돌했는가?", "차선을 유지했는가?", "앞으로 이동했는가?"
결과: 이 매우 간단한 공식은 복잡한 공식만큼 실제 결과를 잘 예측했습니다. 자동차가 좋은지 알기 위해 50 페이지 분량의 보고서가 필요하지 않다는 것을 깨닫는 것과 같습니다. 그저 움직이고 충돌하지 않는지 알면 됩니다.

결론

이 논문은 그림만 보고 실제 운전을 완벽하게 예측할 수는 없지만, 훨씬 더 가까워졌다고 결론 내립니다.

안전만 보지 마세요: 안전하지만 움직이지 않는 로봇은 나쁜 운전자입니다.
"진행"을 주시하세요: 계속 앞으로 나아가는 능력이 좋은 운전자의 가장 좋은 징후입니다.
단순화하세요: 좋은 운전자와 나쁜 운전자를 구별하기 위해 지나치게 복잡한 채점 시스템이 필요하지 않습니다. 현재는 안전과 이동에 초점을 맞춘 간단한 접근이 가장 효과적입니다.

저자들은 로봇이 발전함에 따라 이러한 규칙을 다시 조정해야 할 수도 있다고 경고하지만, 당분간은 이 "진행" 지표가 실제로 도로에서 성공할 로봇을 알아내는 열쇠입니다.

"NAVSIM 과 Bench2Drive 의 교차 벤치마크 상관관계 연구: 오픈루프 메트릭이 클로즈드루프 주행 예측이 가능한가?"에 대한 상세한 기술 요약입니다.

1. 문제 제기

자율 주행 (AD) 플래너 평가는 오픈루프와 클로즈드루프 평가 간의 절충을 수반합니다:

클로즈드루프 평가(예: CARLA 상의 Bench2Drive) 는 실제 세계 역량을 평가하는 "골드 스탠다드"이지만, 계산 비용이 많이 들고 높은 분산을 보이며 복잡한 인프라가 필요합니다.
오픈루프 평가(예: NAVSIM) 는 빠르고 재현 가능하지만, 전통적으로 평균 이동 오차 (ADE) 와 최종 이동 오차 (FDE) 와 같은 기하학적 메트릭에 의존합니다.
핵심 질문: 현대적이고 안전을 고려한 오픈루프 메트릭 (특히 NAVSIM v2 의 메트릭) 이 클로즈드루프 주행 성능을 신뢰할 수 있게 예측할 수 있을까요? 기존 연구는 전통적인 메트릭이 이를 실패한다고 시사하지만, NAVSIM 의 새로운 패러다임이 그 격차를 해소하는지는 명확하지 않습니다.

2. 방법론

저자들은 최첨단 (SOTA) 방법들의 페어 데이터셋을 사용하여 체계적인 교차 벤치마크 상관관계 연구를 수행했습니다.

데이터 수집:
- 팀은 NAVSIM(오픈루프) 과 Bench2Drive(클로즈드루프) 모두에 대해 보고된 15 개 방법의 공개된 결과를 교차 참조했습니다.
- 교란 변수 (예: 다른 백본 또는 훈련 데이터) 를 피하기 위해 두 벤치마크 전반에 걸쳐 일관된 모델 구성을 사용한 방법들을 필터링했습니다.
- 최종 데이터셋: 완전한 페어 데이터 포인트 (NAVSIM 서브메트릭 대 Bench2Drive 주행 점수) 를 가진 8 개의 방법.
분석된 메트릭:
- 오픈루프 (NAVSIM): PDM 점수 (PDMS) 및 그 서브메트릭: 과실 충돌 없음 (NC), 주행 가능 영역 준수 (DAC), 충돌까지 시간 (TTC), 자차 진행 (EP), 편안함 (C).
- 클로즈드루프 (Bench2Drive): 경로 완료와 위반 (충돌, 저속 주행, 시간 초과) 에 대한 패널티를 결합한 주행 점수 (DS).
통계 분석:
- 오픈루프 점수와 클로즈드루프 성능 간의 관계를 측정하기 위해 스피어만 순위 상관관계 ( $\rho$ ) 와 켄달의 $\tau$ 를 계산했습니다.
- 방법의 오픈루프 순위가 클로즈드루프 순위와 현저히 다른 특정 "순위 반전"을 조사했습니다.
- 더 적은 수의 서브메트릭이 동일한 예측 능력을 달성할 수 있는지 확인하기 위해 단순화된 프록시 메트릭 (CL-Proxy) 을 제안하고 테스트했습니다.

3. 주요 발견 및 결과

A. 전통적 메트릭의 실패

발견: 전통적인 이동 오차 메트릭 (L2 오차, ADE, FDE) 은 클로즈드루프 주행 점수와 유의미한 상관관계가 없음을 보임 ( $\rho = -0.36, p = 0.43$ ).
시사점: 기하학적 궤적 오차를 최소화하는 것이 상호작용 환경에서 안전하거나 성공적인 주행을 보장하지는 않습니다.

B. NAVSIM PDMS 의 강력하지만 비단조적인 상관관계

발견: 집계된 NAVSIM PDM 점수 (PDMS) 는 Bench2Drive DS 와 강한 양의 상관관계를 보임 ( $\rho = 0.90, p = 0.002$ ).
미묘한 차이: 상관관계는 완전히 단조롭지 않습니다. 주목할 만한 순위 반전이 존재합니다.
- 예시: SafeDrive는 PDMS 에서 3 위 (91.6) 를 차지하지만, DS 에서는 5 위 (66.77) 로 떨어집니다.
- 원인: SafeDrive 는 안전 (NC, DAC, TTC) 을 위해 강력하게 최적화되어 거의 완벽한 점수를 얻지만, 자차 진행 (EP) 을 희생합니다. 클로즈드루프에서는 이러한 보수주의가 "너무 느림" 및 "시간 초과" 패널티를 유발하여 주행 점수를 급격히 감소시킵니다.

C. 자차 진행 (EP) 이 가장 강력한 예측자

발견: 개별 NAVSIM 서브메트릭 중 자차 진행 (EP) 이 클로즈드루프 성공의 단일 최상위 예측자입니다 ( $\rho = 0.83$ ).
놀라운 사실: 가장 안전에 중요한 메트릭인 과실 충돌 없음 (NC) 은 약한~중간 정도의 상관관계만 보입니다 ( $\rho = 0.45$ ).
이유: 현재 SOTA 방법들은 이미 매우 높은 NC 점수 (천장 효과, 예: >98%) 를 달성합니다. 따라서 NC 의 미미한 개선은 더 나은 클로즈드루프 성능으로 이어지지 않는 반면, 진행을 이루는 능력 (EP) 이 주요 차별화 요소입니다.

D. "눈덩이 효과"

이 논문은 오픈루프와 클로즈드루프 간의 잔여 격차에 대한 메커니즘을 식별합니다: 눈덩이 효과.
4 초 오픈루프 궤적에서의 작은 편차 (예: 약간 느리게 주행) 는 NAVSIM 에서 사소한 패널티를 받을 수 있습니다. 그러나 수 분 단위의 클로즈드루프 경로에서는 이러한 작은 지연이 누적됩니다: 녹색 신호를 놓침 $\rightarrow$ 전체 적색 신호 주기 대기 $\rightarrow$ 일정 지연 $\rightarrow$ 심각한 "너무 느림" 또는 시간 초과 패널티 유발. 이것이 즉각적인 안전 메트릭보다 진행 경향성을 측정하는 EP 가 더 예측력이 높은 이유를 설명합니다.

E. 더 단순한 프록시: CL-Proxy

저자들은 단순화된 공식을 제안합니다: $CL\text{-}Proxy = NC \times DAC \times EP$ .
결과: 이 3 메트릭 공식은 데이터셋에서 전체 5 메트릭 PDMS 와 정확히 동일한 순위 상관관계 ( $\rho = 0.90$ ) 를 달성합니다.
시사점: 현재 최상위 방법들의 경우, TTC와 편안함은 순위 결정에 있어 거의 추가적인 정보를 제공하지 않습니다. 이는 이러한 메트릭들이 좁게 분포되어 있거나 포화 상태 (거의 100%) 이기 때문입니다.

4. 주요 기여

교차 벤치마크 데이터셋: NAVSIM 과 Bench2Drive 모두에서 평가된 8 개 SOTA 방법의 첫 번째 페어 데이터셋을 구성했습니다.
정량적 격차 분석: NAVSIM PDMS 가 클로즈드루프 성능과 강력하게 상관관계가 있지만, 안전 - 진행 절충으로 인해 순위 반전을 겪음을 입증했습니다.
메트릭 계층 구조: 현재 SOTA 모델들의 예측력 측면에서 충돌 메트릭을 능가하는 클로즈드루프 성공의 핵심 예측자로 자차 진행 (EP) 을 식별했습니다.
단순화된 프록시: 복잡한 5 메트릭 PDMS 와 동일한 예측력을 가진 경량 3 메트릭 공식인 CL-Proxy를 제안하여 현재 벤치마크를 간소화할 수 있음을 시사했습니다.
메커니즘 식별: 작은 오픈루프 편차가 클로즈드루프 실패로 이어지는 주된 이유로 눈덩이 효과를 제안했습니다.

5. 중요성 및 권장 사항

벤치마크 설계에 대해:
- 서브메트릭 보고: 집계치는 안전 - 진행 절충을 숨깁니다. 리더보드는 개별 서브메트릭 (특히 EP) 을 표시해야 합니다.
- 저속 주행 패널티 도입: NAVSIM 은 오픈루프 평가를 클로즈드루프 결과와 더 잘 정렬시키기 위해 Bench2Drive 와 유사한 "너무 느림" 패널티를 채택해야 합니다.
- 집계 단순화: 현재 최상위 방법들은 편안함과 TTC 에서 포화 상태에 도달했습니다. 이러한 메트릭은 EP, NC, DAC 를 우선시하여 순위 결정에서 우선순위가 낮아질 수 있습니다.
연구에 대해:
- 연구자들은 집계된 오픈루프 점수에만 의존해서는 안 됩니다. 안전 (NC) 을 최적화하면서 진행 (EP) 을 희생하는 것은 실제 세계 성능을 저하시킵니다.
- 향후 연구는 단일 집계 점수에 의존하기보다 아키텍처 전반에 걸친 서브메트릭 회귀에 초점을 맞춰야 합니다.

결론

이 논문은 NAVSIM 과 함께 오픈루프 메트릭이 크게 개선되었지만 완벽한 프록시는 아니라고 결론지었습니다. 안전 - 진행 절충과 눈덩이 효과는 지나치게 보수적인 플래너가 클로즈드루프에서 실패하는 격차를 만듭니다. 자차 진행에 초점을 맞추고 단순화된 CL-Proxy 메트릭을 사용함으로써, 커뮤니티는 클로즈드루프 주행 역량에 대한 더 신뢰할 수 있는 오픈루프 예측을 달성할 수 있습니다.