Resumo Técnico: DrivoR – Driving on Registers

Declaração do Problema

A direção autônoma de ponta a ponta (E2E) visa mapear dados brutos de sensores diretamente para decisões de direção, reduzindo custos de rotulagem e evitando anotações modulares intermediárias. Embora os métodos de proposta de trajetória tenham mostrado um forte desempenho ao gerar múltiplos caminhos candidatos e selecionar o melhor, eles enfrentam um gargalo computacional significativo. As abordências de estado da arte atuais frequentemente dependem de backbones pesados (por exemplo, grandes Vision Transformers ou CNNs) que geram milhares de tokens por quadro. O processamento desses tokens para centenas de candidatos de trajetória cria uma carga computacional que escala mal com a resolução e a contagem de sensores. Além disso, as soluções existentes frequentemente dependem de pooling uniforme, que trata todas as entradas de câmera como igualmente informativas e impõe requisitos rígidos de resolução, potencialmente descartando contextos críticos de planejamento.

Metodologia: Arquitetura DrivoR

Os autores propõem o DrivoR, uma arquitetura puramente baseada em transformer, simples e eficiente, projetada para planejamento E2E. O sistema evita representações intermediárias complexas (como projeções de Bird's Eye View) e grandes dicionários de trajetórias pré-computados. Em vez disso, utiliza um pipeline de três estágios de transformer:

1. Codificador de Percepção com Registros Cientes de Câmera (Camera-Aware Registers)

A inovação central reside no codificador de percepção, que substitui o pooling uniforme por tokens de registro cientes de câmera.

• Mecanismo: Para cada um dos $N$ inputs de câmera, o modelo introduz um conjunto fixo de $R$ tokens de registro aprendíveis. Estes são concatenados com os tokens de patch padrão e alimentados em um backbone de Vision Transformer (especificamente DINOv2 ViT-S) pré-treinado.
• Compressão: O ViT comprime as características visuais de alta dimensão nestes $R$ registros por câmera. O resultado é um conjunto compacto de $N \times R$ "tokens de cena".
• Vantagem: Esta abordagem reduz drasticamente o comprimento da sequência para processamento downstream (de milhares de tokens para algumas dezenas) enquanto preserva o contexto relevante para o planejamento. Os registros são específicos de cada câmera, permitindo que o modelo diferencie entre as visões frontal, lateral e traseira.
• Treinamento: O backbone é ajustado utilizando Low-Rank Adaptation (LoRA) para aprender a compressão visão-registro de forma eficiente, mantendo a contagem de parâmetros baixa.

2. Decodificador de Trajetória

O decodificador de trajetória gera caminhos candidatos usando uma arquitetura de decodificador transformer padrão.

• Entrada: Ele recebe um conjunto de queries de trajetória aprendíveis, aumentadas com informações de estado do ego (pose, velocidade, aceleração, comandos).
• Atenção: As queries realizam atenção (cross-attention) aos "tokens de cena" comprimidos.
• Saída: O decodificador produz um conjunto de trajetórias candidatas, cada uma representada como uma sequência de poses $(x, y, \theta)$ no referencial local do agente ego.
• Perda (Loss): O treinamento utiliza uma perda Winner-Takes-All (WTA) ou minimum-over-$N$ (MoN), supervisionando apenas a trajetória prevista mais próxima da verdade fundamental (ground truth), incentivando a diversidade no conjunto de propostas.

3. Decodificador de Pontuação (Desvinculado)

Um módulo de pontuação distinto avalia a qualidade das trajetórias geradas.

• Desvinculação (Disentanglement): Crucialmente, as trajetórias decodificadas são re-incorporadas (re-embedded) em um novo espaço de características e desvinculadas do grafo de gradiente antes de entrarem no decodificador de pontuação. Isso evita que o processo de geração de trajetória seja influenciado pela qualidade imediata do pontuador durante o treinamento, impondo uma separação entre geração e avaliação.
• Sub-pontuações: Em vez de um único escalar, o modelo prevê seis sub-pontuações interpretáveis correspondentes aos componentes do Predictive Driver Model Score (PDMS) (ex: segurança, conforto, eficiência, progresso).
• Condicionamento de Comportamento: Na inferência, estas sub-pontuações podem ser ponderadas de forma diferente (via um conjunto de pesos $\lambda$) para modular o comportamento de direção (ex: priorizar segurança sobre progresso) sem retreinar o modelo.

Principais Contribuições

1. Arquitetura Transformer Simples: Um planejador E2E puramente transformer que elimina a necessidade de representações BEV intermediárias ou grandes vocabulários de trajetória.
2. Compressão de Tokens Baseada em Registros: O primeiro trabalho a reaproveitar tokens de registro de ViT especificamente para comprimir características visuais no planejamento E2E. Isso alcança uma representação de cena compacta que retém o contexto crítico enquanto reduz a carga computacional em ordens de magnitude comparado a mapas de características completos.
3. Pontuação Desvinculada: Um design modular que separa a geração de trajetórias da pontuação, permitindo o aprendizado de sub-pontuações interpretáveis e possibilitando políticas de direção condicionadas por comportamento no tempo de inferência.

Resultados Experimentais

O DrivoR foi avaliado em três benchmarks principais: NAVSIM-v1, NAVSIM-v2 e o benchmark de loop fechado fotorrealista HUGSIM.

• NAVSIM-v1: O DrivoR supera todos os métodos existentes baseados apenas em câmeras, alcançando um PDMS de 93,7 (usando dados de trainval) e 94,0 com dados sintéticos adicionais, aproximando-se do desempenho humano (94,8). Ele supera significativamente baselines fortes como RAP e UniAD.
• NAVSIM-v2: No split desafiador navhard-two-stage, o DrivoR atinge um novo estado da arte em EPDMS de 54,6, superando modelos como GTRS e ZTRS. Notavelmente, ele alcança isso com um backbone muito menor (ViT-S) e menos parâmetros (~40M) comparado aos concorrentes.
• HUGSIM: Em uma avaliação zero-shot no benchmark de loop fechado HUGSIM, o DrivoR (treinado apenas no NAVSIM-v1) alcançou o maior Road Completion (49,8%) e HD-Score (35,7) entre os baselines reportados, demonstrando forte generalização para ambientes 3D fotorrealistas.
• Eficiência: A compressão baseada em registros gera uma melhoria de 3x no throughput (110ms vs 400ms por forward pass em uma GPU A100) e uma redução de 3x em GFLOPS e uso de memória de pico comparado a um baseline ViT-L, tornando a implantação em tempo real mais viável.

Significância e Alegações

O artigo postula que uma arquitetura puramente transformer, quando combinada com compressão de tokens direcionada via registros, é suficiente para uma direção end-to-end precisa, eficiente e adaptável. Os autores destacam que:

• O pooling uniforme é suboptimal; registros cientes de câmera permitem que o modelo aprenda quais visões são mais informativas (ex: câmeras frontais para planejamento, câmeras traseiras para verificações de segurança específicas).
• Desvincular a pontuação da geração melhora o desempenho e permite comportamentos de direção controláveis.
• Alto desempenho não requer dicionários de trajetória massivos ou representações 3D intermediárias complexas; um pipeline transformer simples e bem estruturado pode igualar ou exceder o desempenho de sistemas mais complexos sendo significativamente mais eficiente.

O trabalho sugere uma mudança para estratégias de compressão leves baseadas em registros para sistemas de direção autônoma em tempo real, demonstrando que "menos é mais" quando a compressão é aprendida e consciente do contexto.