Resumo Técnico: DriveJudge: Repensando a Avaliação de Direção Autônoma com Modelos de Visão-Linguagem

1. Declaração do Problema

O campo da direção autônoma está migrando cada vez mais para o aprendizado de políticas end-to-end, que apresenta bom desempenho em cenários nominais, mas tem dificuldade com eventos de cauda longa (long-tail) e não nominais. Um gargalo crítico para o avanço dessas políticas é a falta de métricas de avaliação confiáveis, interpretáveis e conscientes do contexto. Os paradigmas de avaliação existentes sofrem de limitações significativas:

• Métricas baseadas em regras (ex: EPDMS): Embora interpretáveis e fundamentadas fisicamente, são inerentemente agnósticas ao contexto. Elas aplicam regras fixas uniformemente, muitas vezes penalizando excessivamente comportamentos razoáveis em cenários complexos (ex: relaxar temporariamente as restrições de manutenção de faixa para desviar de um obstáculo).
• Avaliações baseadas em Modelos de Visão-Linguagem (VLM): Embora conscientes do contexto, frequentemente dependem de comparações de preferência ambíguas ou previsões de pontuação direta. Essas abordagens carecem de fundamentação física explícita e precisão espacial, tornando-as pouco confiáveis para avaliações de segurança detalhadas e difíceis de decompor em aspectos específicos da condução (segurança, conforto, progresso).

O desafio central é desenvolver um framework de avaliação que combine a compreensão contextual dos VLMs com a precisão espacial e fundamentação física das métricas determinísticas baseadas em regras.

2. Metodologia: DriveJudge

Os autores propõem o DriveJudge, um agente de avaliação guiado por VLM e fundamentado em regras. Diferente de trabalhos anteriores que dependem apenas de julgamentos de VLM, o DriveJudge formula a avaliação de direção como um processo de tomada de decisão agêntico.

2.1 Arquitetura Central

O DriveJudge opera interpretando o contexto da cena ambiental e invocando seletivamente funções de regras determinísticas.

• Entrada: O agente recebe entradas multimodais, incluindo imagens de câmera frontal e visualizações de Bird's-Eye View (BEV) contendo caixas de objetos, mapas de faixas e trajetórias previstas.
• Raciocínio Contextual: Um VLM (especificamente o Qwen-3) analisa a cena para determinar quais regras de avaliação são relevantes. Ele gera um vetor de portão (gating vector) $\hat{g}_i$, onde cada elemento indica a relevância de uma regra específica (ex: Manutenção de Faixa, Tempo para Colisão) para o estado de condução atual.
• Invocação de Regras: Com base no vetor de portão, o sistema executa seletivamente funções de regras determinísticas ($f^m$) de um conjunto predefinido (ex: regras EPDMS que cobrem segurança, conformidade de faixa, progresso e conforto).
• Agregação de Pontuação: A pontuação final de condução é computada agregando as saídas das regras selecionadas, ponderadas por sua relevância. Isso permite que o sistema ignore restrições irrelevantes (ex: ignorar penalidades de manutenção de faixa quando um desvio é necessário para evitar um obstáculo).

2.2 Pipeline de Treinamento

Para treinar e validar o DriveJudge, os autores curaram um dataset de larga escala e empregaram um pipeline de pós-treinamento em duas etapas:

1. Curadoria de Dataset: Um dataset de 33.577 amostras de condução desafiadoras foi criado a partir do dataset PhysicalAI-Autonomous-Vehicles. Ele foca em cenários de cauda longa onde a condução humana pode violar regras específicas, mas permanece "razoável" no contexto. Anotadores humanos rotularam se o comportamento era razoável e forneceram justificativas.
2. Ajuste Fino Supervisionado (SFT): O modelo é treinado para prever o vetor de portão correto (quais regras invocar) com base nas anotações humanas. O ground truth para a invocação de regras é derivado ao identificar regras que penalizariam incorretamente uma trajetória humana rotulada como "razoável".
3. Aprendizado por Reforço (RL): Após o SFT, o modelo passa por otimização de RL (usando Group Relative Policy Optimization, GRPO) para melhorar o desempenho em tarefas downstream, especificamente na seleção de preferência de trajetória. A recompensa é baseada em se o ranking de trajetórias do modelo está alinhado com as preferências humanas.

3. Benchmarks de Avaliação

O artigo introduz duas tarefas de benchmark alinhadas com humanos para avaliar a qualidade das próprias métricas de condução:

1. Classificação de Qualidade de Condução: A métrica deve distinguir entre comportamentos de condução razoáveis e não razoáveis (classificação binária). O desempenho é medido via Acurácia, AUC e Precisão Média (AP).
2. Seleção de Preferência de Trajetória: Dada duas trajetórias candidatas, a métrica deve atribuir uma pontuação maior àquela preferida pelos humanos. O desempenho é medido via acurácia de seleção.

4. Resultados Principais

Experimentos demonstram que o DriveJudge supera significativamente os baselines existentes em ambas as tarefas de benchmark:

• Classificação de Qualidade de Condução: O DriveJudge (modelo 8B) atinge 78,90 AUC, superando a métrica baseada em regras padrão EPDMS em +21,23 AUC. Ele também mostra uma melhoria massiva na detecção de falhas (AP-), subindo de 26,34 (EPDMS) para 59,04.
• Seleção de Preferência de Trajetória: O DriveJudge atinge 82,83% de acurácia, superando o recente crítico baseado em VLM, DriveCritic (76,33%), e outros baselines como GPT-5 e Gemini.
• Estudos de Ablação:
  • VLM + Ferramentas: Combinar o raciocínio de VLM com a invocação de ferramentas baseadas em regras é essencial. A pontuação direta de VLM (sem ferramentas) ou agentes não-VLM apresentam desempenho significativamente inferior.
  • SFT + RL: O aprendizado por reforço produz ganhos substanciais apenas quando inicializado a partir de um modelo de Ajuste Fino Supervisionado. Iniciar o RL a partir de um modelo zero-shot resulta em melhoria negligenciável, destacando a necessidade de SFT para fundamentar o modelo na estrutura da tarefa.
  • Escalabilidade: O desempenho do SFT escala linearmente com o tamanho dos dados, enquanto o RL mostra retornos decrescentes após um certo ponto, sugerindo a necessidade de dados de preferência de alta qualidade em vez de apenas volume.

5. Significância e Alegações

O artigo afirma que o DriveJudge estabelece um novo padrão para avaliação de condução interpretável e precisa ao unir o raciocínio semântico e a fundamentação física.

• Consciência de Contexto: Ele aborda com sucesso o problema da "cauda longa" onde regras rígidas falham, permitindo a avaliação de manobras que exigem o relaxamento temporário de regras.
• Interpretabilidade: Ao invocar regras explicitamente, o processo de avaliação é transparente e decomponível, ao contrário da pontuação de caixa-preta de VLMs.
• Benchmarking de Políticas: Ao ser aplicado a modelos de planejamento de última geração (ex: Hydra-MDP, DriveSuprim), o DriveJudge atribui pontuações mais altas que o EPDMS, sugerindo que as políticas atuais podem ser mais capazes do que as métricas convencionais indicam. Também sugere que os benchmarks atuais (como o NAVSIM) podem estar próximos da saturação, necessitando de métodos de avaliação mais sutis.

Os autores concluem que o DriveJudge fornece uma base mais forte para a pesquisa futura de direção autônoma, particularmente para o treinamento de políticas em cenários complexos de cauda longa onde as métricas tradicionais são insuficientes.