Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

O sonho de um carro que dirige sozinho tem sido uma constante na ficção científica há décadas, prometendo um futuro onde o fardo de dirigir, frear e navegar no tráfego seja retirado dos ombros humanos. Nos últimos vinte anos, engenheiros têm trabalhado para transformar essa promessa em realidade, construindo sistemas que possam ver a estrada, prever o que outros motoristas farão e decidir como se mover com segurança. Esses sistemas dependem de três pilares principais: a capacidade de perceber o mundo através de câmeras e sensores, a capacidade de adivinhar para onde outras pessoas e veículos irão a seguir, e a capacidade de planejar um caminho seguro à frente. Embora tenhamos visto frotas de teste operando em cidades específicas, a tecnologia ainda não está pronta para a estrada aberta em todos os lugares. Um grande obstáculo permanece: como sabemos se um programa de computador é verdadeiramente melhor do que outro? Diferentes equipes de pesquisa frequentemente testam seus softwares em mundos virtuais diferentes ou com regras diferentes, tornando impossível compará-los de forma justa. Sem um terreno comum, é difícil dizer se um novo método é um salto genuíno à frente ou apenas um método que funciona apenas em um teste específico.

Uma equipe de pesquisadores da Universidade do Sul da Califórnia decidiu resolver esse problema trazendo oito dos planejadores autônomos mais avançados para uma arena virtual única e compartilhada. Eles escolheram uma plataforma de simulação popular chamada CARLA, que recria a física da condução e a complexidade das ruas da cidade, e a utilizaram como um juiz neutro. Os pesquisadores pegaram modelos de software que haviam conquistado os primeiros lugares em três grandes competições diferentes — uma baseada em dados do mundo real da Waymo, outra do conjunto de dados nuPlan e várias da própria comunidade CARLA — e os forçaram a rodar nas mesmas pistas, enfrentando os mesmos congestionamentos, pedestres e zonas de construção. O objetivo não era criar um novo padrão de referência, mas ver como essas diferentes abordagens, que haviam sido desenvolvidas isoladamente, se sairiam quando julgadas pelos mesmos padrões exatos. O estudo incluiu uma grande variedade de métodos: alguns que dependem de regras estritas escritas por humanos, outros que aprendem observando motoristas humanos, alguns que aprendem através de tentativa e erro como um personagem de videogame, e outros que usam modelos matemáticos complexos para prever o futuro.

Os resultados dessa comparação direta revelaram que não existe uma única "melhor" maneira de construir um motorista autônomo. Em vez disso, o estudo mostrou que os pontos fortes e fracos de um sistema dependem fortemente de quanta informação ele tem permissão para ver e de como ele é treinado. Os pesquisadores descobriram que os planejadores que recebiam informações "privilegiadas" — significando que podiam ver a localização exata e a velocidade de cada outro carro e pedestre, como se tivessem um mapa perfeito de todo o mundo — tiveram um desempenho significativamente melhor em rotas longas e contínuas. Esses sistemas, que incluíam um planejador baseado em regras e um modelo treinado para imitar a condução humana, conseguiram completar quase 97 por cento de suas rotas atribuídas sem colidir. Em contraste, o sistema de maior sucesso que dependia apenas de sensores padrão, como câmeras e scanners a laser, completou cerca de 70 por cento das rotas. Isso sugere que, embora os sensores sejam bons para lidar com interações rápidas e locais, ter uma visão perfeita, de cima, da situação do tráfego é crucial para manter o progresso em longas distâncias.

No entanto, ter uma visão perfeita ou uma alta taxa de conclusão não garante uma condução segura ou legal. O estudo revelou uma troca surpreendente entre chegar ao destino e seguir as regras. Um dos modelos de melhor desempenho, que combinava um poderoso mecanismo de previsão com um sistema de controle projetado para seguir um caminho definido, foi excelente em permanecer na estrada e alcançar seu destino. No entanto, ele frequentemente violava leis de trânsito, como passar em sinais vermelhos ou ignorar placas de pare, porque suas instruções focavam em permanecer no caminho em vez de obedecer às regras. Por outro lado, um modelo treinado usando aprendizagem por reforço, que aprende ao receber recompensas por bom comportamento e penalidades por mau comportamento, foi muito bom em evitar infrações, mas teve dificuldades para completar rotas longas de forma eficiente. Isso destaca um desafio crítico: um carro autônomo pode ser muito bom em seguir em frente ou muito bom em ser educado, mas combinar ambos os traços em um único sistema continua sendo difícil.

Talvez a descoberta mais reveladora tenha sido que nenhum método único conseguia lidar consistentemente com as situações mais caóticas. Quando os pesquisadores testaram os modelos contra cenários específicos envolvendo obstáculos, como uma porta de carro abrindo na faixa, uma zona de construção ou um pedestre atravessando inesperadamente, todos os métodos tiveram dificuldades. Quer o sistema fosse baseado em regras, aprendizado a partir de dados ou previsões matemáticas complexas, nenhum deles conseguiu navegar de forma confiável nesses ambientes complicados e repletos de obstáculos sem cometer erros. Isso sugere que a capacidade de tomar decisões detalhadas em torno de objetos incomuns é um gargalo compartilhado por todo o campo. O estudo também demonstrou que olhar apenas para uma pontuação final pode ser enganoso. Dois sistemas podem terminar com a mesma classificação geral, mas um pode ter falhado porque colidiu, enquanto o outro falhou porque quebrou as regras. Ao decompor os resultados em tipos específicos de situações de condução, os pesquisadores mostraram que uma pontuação alta pode esconder falhas de tipos muito diferentes.

Os pesquisadores também introduziram uma nova abordagem híbrida ao teste, pegando um modelo famoso por prever para onde outros carros irão e adicionando um módulo de planejamento a ele. Este novo sistema teve um bom desempenho em manter o carro em seu caminho, mas, como os outros de alto desempenho, ainda teve dificuldades com as regras de trânsito. O estudo concluiu que, embora tenhamos feito progressos tremendos na simulação e no teste de tecnologia autônoma, ainda não estamos no ponto em que esses sistemas estejam prontos para implantação em massa. A lacuna entre um carro que pode dirigir em uma pista de teste tranquila e um que pode lidar com o caos imprevisível de uma cidade real ainda é significativa. O trabalho serve como um roteiro claro para o futuro, mostrando que os próximos avanços não virão simplesmente de tornar uma parte do sistema mais rápida ou mais inteligente, mas de resolver o difícil equilíbrio entre seguir um caminho, obedecer à lei e reagir com segurança ao inesperado. Até que esse equilíbrio seja encontrado, a promessa de veículos totalmente autônomos permanece apenas fora de alcance.