💻 computer science

Do Open-Loop Metrics Predict Closed-Loop Driving? A Cross-Benchmark Correlation Study of NAVSIM and Bench2Drive

Este estudo analisa a correlação entre as métricas de malha aberta do NAVSIM e o desempenho de malha fechada do Bench2Drive em métodos de última geração, revelando que, embora as pontuações agregadas do NAVSIM mostrem uma correlação forte, porém não monotônica, com o sucesso na condução no mundo real, o Progresso do Ego é a métrica única mais preditiva e uma fórmula simplificada de três métricas pode substituir efetivamente a pontuação completa de cinco métricas para fins de classificação.

Autores originais: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

Publicado 2026-05-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiru Wang, Anqing Jiang, Shuo Wang, Yuwen Heng, Hai Yang, Yang Chen, Hao Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a dirigir um carro. Para verificar se o robô é bom, você tem duas maneiras de testá-lo:

O "Teste de Papel" (Malha Aberta): Você dá ao robô um mapa e um conjunto de instruções e pede que ele desenhe uma linha em um papel mostrando para onde ele iria. Em seguida, você compara essa linha com o caminho perfeito. Isso é rápido, barato e você pode fazê-lo mil vezes em um segundo.
A "Dirigida Real" (Malha Fechada): Você realmente coloca o robô em um carro (ou em um videogame superrealista) e deixa-o dirigir. O carro reage aos semáforos, a outros carros e a pedestres. Se o robô ficar preso ou dirigir muito devagar, ele falha. Este é o "padrão ouro", mas leva horas, custa muito dinheiro e é difícil de repetir exatamente da mesma maneira.

A Grande Pergunta: O "Teste de Papel" pode prever de forma confiável como o robô se sairá na "Dirigida Real"?

Por muito tempo, a resposta foi não. Os testes antigos apenas mediam o quão distante o desenho do robô estava da linha perfeita (como medir a distância entre dois pontos). O artigo mostra que, mesmo que um robô desenhe uma linha quase perfeita, ele ainda pode bater ou ficar preso na vida real.

O Que Este Artigo Fez

Os autores analisaram 8 dos melhores robôs motoristas de ponta. Eles verificaram como esses robôs se saíram no "Teste de Papel" (usando um novo e mais inteligente teste chamado NAVSIM) e compararam com como eles realmente se saíram na "Dirigida Real" (usando um teste chamado Bench2Drive).

Aqui está o que eles descobriram, explicado de forma simples:

1. A Armadilha "Segurança vs. Velocidade"

O novo "Teste de Papel" (NAVSIM) é muito melhor que os antigos. Ele verifica segurança (você bateu em algo?) e progresso (você avançou?).

O Problema: Alguns robôs são demasiadamente seguros. Eles dirigem como uma tartaruga, parando a cada pequena sombra para garantir que não vão bater em nada.
O Resultado: No "Teste de Papel", esses robôs-tartaruga obtêm pontuações altas porque nunca batem em nada. Mas na "Dirigida Real", eles são penalizados por dirigir muito devagar ou ficar presos no trânsito. Eles falham no teste real porque são excessivamente cautelosos.
A Analogia: Imagine um aluno que responde a todas as perguntas de uma prova dizendo "Não sei" para evitar errar um único ponto. Em uma prova que só conta erros, ele tira A. Mas em uma prova que exige que você realmente termine o exame, ele tira F porque não terminou.

2. O Ingrediente Secreto: "Progresso do Ego"

Os pesquisadores decomporam o "Teste de Papel" em suas partes para ver qual delas realmente previa o sucesso no mundo real.

Eles descobriram que o número mais importante não era "Você bateu?" (Segurança). Era "Você avançou?" (Progresso).
A Analogia: Pense em uma maratona. Se você correr perfeitamente sem tropeçar (Segurança) mas parar para amarrar o tênis a cada 10 segundos, você não ganhará a corrida. O robô precisa continuar avançando. A pontuação de "Progresso" foi o melhor preditor único de se o robô realmente completaria a dirigida com sucesso.

3. O "Efeito Bola de Neve"

Por que pequenos erros no "Teste de Papel" se tornam falhas enormes na "Dirigida Real"?

A Analogia: Imagine que você está caminhando por um corredor. Se você der um passo minúsculo para a esquerda, não importa. Mas se você continuar dando passos minúsculos para a esquerda por 10 minutos, eventualmente você baterá em uma parede.
No "Teste de Papel", o robô planeja apenas 4 segundos à frente. Uma pequena hesitação pode parecer um erro pequeno. Mas na "Dirigida Real", essa pequena hesitação faz com que o robô perca um semáforo verde, espere por um vermelho, fique atrasado no cronograma e, eventualmente, seja desclassificado por tempo. Pequenos erros "rolam como bola de neve" até se tornarem uma falha total.

4. Uma Fórmula Mais Simples

O "Teste de Papel" usa uma fórmula complexa com 5 números diferentes para calcular uma pontuação final. Os autores perceberam que dois desses números (o quão confortável é a viagem e o quão perto você está de uma colisão) eram basicamente os mesmos para todos os robôs de ponta — todos eram perfeitos nessas coisas.

A Descoberta: Você pode descartar a fórmula complexa e usar apenas 3 números simples: "Você bateu?", "Você manteve-se na sua faixa?" e "Você avançou?".
O Resultado: Essa fórmula super-simples previu os resultados do mundo real tão bem quanto a complexa. É como perceber que você não precisa de um relatório de 50 páginas para saber se um carro é bom; você só precisa saber se ele se move e não bate.

A Conclusão

O artigo conclui que, embora não possamos prever perfeitamente a dirigida real apenas olhando para um desenho, estamos ficando muito mais próximos.

Não olhe apenas para a segurança: Um robô que é seguro, mas não se move, é um mau motorista.
Observe o "Progresso": A capacidade de continuar avançando é o melhor sinal de um bom motorista.
Simplifique: Não precisamos de sistemas de pontuação excessivamente complexos para distinguir bons motoristas de maus; um foco simples em segurança e movimento funciona melhor agora.

Os autores alertam que, à medida que os robôs ficarem melhores, podemos precisar ajustar essas regras novamente, mas por enquanto, essa métrica de "Progresso" é a chave para saber quem realmente terá sucesso na estrada.

1. Declaração do Problema

A avaliação de planejadores de direção autônoma (AD) envolve um compromisso entre avaliação open-loop e closed-loop:

A avaliação closed-loop (por exemplo, Bench2Drive no CARLA) é o "padrão-ouro" para avaliar competência no mundo real, mas é computacionalmente cara, sofre de alta variância e requer infraestrutura complexa.
A avaliação open-loop (por exemplo, NAVSIM) é rápida e reproduzível, mas tradicionalmente depende de métricas geométricas como Erro de Deslocamento Médio (ADE) e Erro de Deslocamento Final (FDE).
A Questão Central: Métricas open-loop modernas e conscientes de segurança (especificamente as do NAVSIM v2) podem prever de forma confiável o desempenho de direção em closed-loop? Trabalhos anteriores sugerem que métricas tradicionais falham nisso, mas não está claro se o novo paradigma do NAVSIM preenche essa lacuna.

2. Metodologia

Os autores conduziram um estudo sistemático de correlação entre benchmarks usando um conjunto de dados emparelhado de métodos de última geração (SOTA).

Coleta de Dados:
- A equipe cruzou resultados publicados de 15 métodos que relataram dados tanto no NAVSIM (open-loop) quanto no Bench2Drive (closed-loop).
- Eles filtraram métodos que usavam configurações de modelo consistentes em ambos os benchmarks para evitar variáveis de confusão (por exemplo, backbones diferentes ou dados de treinamento distintos).
- Conjunto de Dados Final: 8 métodos com pontos de dados emparelhados completos (submétricas do NAVSIM vs. Pontuação de Direção do Bench2Drive).
Métricas Analisadas:
- Open-Loop (NAVSIM): Pontuação PDM (PDMS) e suas submétricas: Sem Colisão com Culpa (NC), Conformidade com Área Transitável (DAC), Tempo até Colisão (TTC), Progresso do Ego (EP) e Conforto (C).
- Closed-Loop (Bench2Drive): Pontuação de Direção (DS), que combina conclusão da rota com penalidades por infrações (colisões, condução lenta, tempos esgotados).
Análise Estatística:
- Calcularam a correlação de posto de Spearman ( $\rho$ ) e o $\tau$ de Kendall para medir a relação entre as pontuações open-loop e o desempenho closed-loop.
- Investigaram "inversões de classificação" específicas onde a classificação open-loop de um método diferia significativamente de sua classificação closed-loop.
- Propuseram e testaram uma métrica proxy simplificada (CL-Proxy) para determinar se menos submétricas poderiam alcançar o mesmo poder preditivo.

3. Principais Descobertas e Resultados

A. Métricas Tradicionais Falham

Descoberta: Métricas de deslocamento tradicionais (erro L2, ADE, FDE) mostram nenhuma correlação significativa com a Pontuação de Direção closed-loop ( $\rho = -0,36, p = 0,43$ ).
Implicação: Minimizar o erro geométrico da trajetória não garante direção segura ou bem-sucedida em ambientes interativos.

B. PDMS do NAVSIM Mostra Correlação Forte, mas Não Monótona

Descoberta: A Pontuação PDM agregada do NAVSIM (PDMS) exibe uma correlação positiva forte com a DS do Bench2Drive ( $\rho = 0,90, p = 0,002$ ).
Nuance: A correlação não é perfeitamente monótona. Existem inversões de classificação notáveis.
- Exemplo: O SafeDrive classifica-se em 3º lugar no PDMS (91,6), mas cai para 5º lugar na DS (66,77).
- Causa: O SafeDrive otimiza pesadamente para segurança (NC, DAC, TTC), alcançando pontuações quase perfeitas, mas sacrifica o Progresso do Ego (EP). Em closed-loop, esse conservadorismo aciona penalidades de "Muito Lento" e "Tempo Esgotado", reduzindo drasticamente a Pontuação de Direção.

C. Progresso do Ego (EP) é o Melhor Preditivo

Descoberta: Entre as submétricas individuais do NAVSIM, o Progresso do Ego (EP) é o melhor preditor único de sucesso em closed-loop ( $\rho = 0,83$ ).
Surpresa: A métrica mais crítica para segurança, Sem Colisão com Culpa (NC), mostra apenas correlação fraca a moderada ( $\rho = 0,45$ ).
Raciocínio: Os métodos SOTA atuais já alcançam pontuações de NC muito altas (efeito teto, por exemplo, >98%). Portanto, melhorias marginais no NC não se traduzem em melhor desempenho em closed-loop, enquanto a capacidade de fazer progresso (EP) é o principal diferenciador.

D. O "Efeito Bola de Neve"

O artigo identifica um mecanismo para a lacuna residual entre open e closed-loop: O Efeito Bola de Neve.
Pequenos desvios em uma trajetória open-loop de 4 segundos (por exemplo, dirigir ligeiramente devagar) podem incorrer em penalidades menores no NAVSIM. No entanto, em uma rota closed-loop de vários minutos, esses pequenos atrasos se acumulam: perder um sinal verde $\rightarrow$ esperar por um ciclo vermelho completo $\rightarrow$ ficar atrasado no cronograma $\rightarrow$ acionar penalidades severas de "Muito Lento" ou tempo esgotado. Isso explica por que o EP (uma medida da tendência de progresso) é mais preditivo do que métricas de segurança instantâneas.

E. Um Proxy Mais Simples: CL-Proxy

Os autores propõem uma fórmula simplificada: $CL\text{-}Proxy = NC \times DAC \times EP$ .
Resultado: Esta fórmula de 3 métricas alcança exatamente a mesma correlação de classificação ( $\rho = 0,90$ ) que o PDMS completo de 5 métricas no conjunto de dados.
Implicação: Para os métodos de ponta atuais, TTC e Conforto adicionam informação marginal negligenciável para fins de classificação, pois estão ou estreitamente distribuídos ou saturados (perto de 100%).

4. Principais Contribuições

Conjunto de Dados Cross-Benchmark: Compilou o primeiro conjunto de dados emparelhado de 8 métodos SOTA avaliados tanto no NAVSIM quanto no Bench2Drive.
Análise Quantitativa da Lacuna: Demonstrou que, embora o PDMS do NAVSIM corra fortemente com o desempenho closed-loop, ele sofre de inversões de classificação devido ao compromisso segurança-progresso.
Hierarquia de Métricas: Identificou o Progresso do Ego (EP) como o preditor crítico de sucesso em closed-loop, superando métricas de colisão em poder preditivo para modelos SOTA atuais.
Proxy Simplificado: Propôs o CL-Proxy, uma fórmula leve de 3 métricas que iguala o poder preditivo do complexo PDMS de 5 métricas, sugerindo que os benchmarks atuais podem ser simplificados.
Identificação de Mecanismo: Propôs o Efeito Bola de Neve como a principal razão pela qual pequenos desvios open-loop levam a falhas em closed-loop.

5. Significado e Recomendações

Para o Design de Benchmarks:
- Relatar Submétricas: Agregados escondem o compromisso segurança-progresso. As tabelas de classificação devem exibir submétricas individuais (especialmente EP).
- Introduzir Penalidades por Condução Lenta: O NAVSIM deve adotar uma penalidade de "Muito Lento" semelhante à do Bench2Drive para alinhar melhor a avaliação open-loop com os resultados closed-loop.
- Simplificar Agregação: Os métodos de topo atuais saturaram em Conforto e TTC; essas métricas podem ser desprivilegiadas para classificação em favor de EP, NC e DAC.
Para Pesquisa:
- Os pesquisadores não devem confiar apenas em pontuações agregadas open-loop. Otimizar para segurança (NC) às custas do progresso (EP) leva a um desempenho ruim no mundo real.
- Trabalhos futuros devem focar em regressão de submétricas entre arquiteturas, em vez de depender de pontuações agregadas únicas.

Conclusão

O artigo conclui que, embora as métricas open-loop tenham melhorado significativamente com o NAVSIM, elas não são proxies perfeitos. O compromisso segurança-progresso e o efeito bola de neve criam uma lacuna onde planejadores excessivamente conservadores falham em closed-loop. Ao focar no Progresso do Ego e usar uma métrica simplificada de CL-Proxy, a comunidade pode alcançar previsões open-loop mais confiáveis da competência de direção em closed-loop.