OmniV2X: A Generative Foundation Planner for Efficient End-to-End Cooperative Driving

Resumo Técnico: OmniV2X

Declaração do Problema

Sistemas de direção autônoma de ponta a ponta (E2E) são fundamentalmente limitados pela percepção egocêntrica, particularmente em ambientes urbanos complexos onde oclusões físicas limitam a visibilidade. Embora a direção cooperativa Vehicle-to-Everything (V2X) ofereça uma solução ao estender a percepção através do compartilhamento de infraestrutura, os métodos cooperativos E2E existentes enfrentam três gargalos sistêmicos:

1. Alta Sobrecarga de Comunicação: Transmitir características densas de Bird's-Eye View (BEV) ou representações intermediárias específicas de modelos requer largura de banda substancial e dificulta a padronização entre diferentes Veículos Conectados e Automatizados (CAVs).
2. Escassez de Dados: Conjuntos de dados cooperativos do mundo real são limitados devido ao alto custo de sincronização de infraestrutura, tornando difícil treinar modelos multiagentes robustos do zero.
3. Rigidez Computacional e de Alinhamento: As abordagens atuais dependem de uma fusão espacial-temporal rígida, exigindo supervisão exaustiva de caixas delimitadoras (bounding boxes) 3D e calibração precisa. Isso cria um acoplamento estreito entre os pipelines do ego e da infraestrutura, levando a altos custos computacionais e baixa escalabilidade.

Metodologia

O OmniV2X propõe uma mudança de paradigma da fusão de características espaciais rígidas para a modelagem de sequência generativa condicional. Em vez de fundir características de múltiplos agentes em uma grade espacial compartilhada, o framework trata entradas heterogêneas como sequências de contexto independentes para um planejador generativo.

Arquitetura

O sistema consiste em três componentes primários:

1. Tokenização de Contexto Independente:

   • Contexto Visual: Utiliza um backbone DINOv3-ViT congelado para extrair características visuais de visão frontal. Estas são projetadas em um espaço latente unificado sem projeção 3D explícita (BEV), aprendendo a mapear sequências latentes 2D diretamente para deslocamentos cinemáticos.
   • Contexto de Navegação: Codifica comandos de alto nível (ex: "Virar à Esquerda") via embeddings aprendidos, excluindo o status do ego (velocidade/direção) para evitar que o modelo aprenda políticas triviais de extrapolação de velocidade.
   • Contexto de Infraestrutura V2X: Processa Mensagens de Compartilhamento de Dados de Sensores (SDSM) em conformidade com a norma SAE-J3224. Objetos detectados são representados como vetores de estado de 13 dimensões (posição, dimensões, orientação, velocidade, classe) e codificados via um Transformer leve.
   • Construção de Sequência: Todas as modalidades são independentemente normalizadas e concatenadas com embeddings de segmento aprendíveis para formar uma sequência de condicionamento unificada $C$.

2. Planejador de Fundação Generativo:

   • O motor central é um Rectified Flow Transformer otimizado para geração de deslocamento contínuo.
   • Alvo: O modelo prevê deslocamentos posicionais passo a passo em vez de coordenadas absolutas para evitar correlações espaciais espúrias e memorização de rotas.
   • Mecanismo de Condicionamento: Para abordar o gargalo computacional onde o comprimento do contexto ($L$) excede vastamente o horizonte da trajetória ($H$), o OmniV2X emprega Injeção de Atenção Cruzada (Cross-Attention Injection). Os waypoints gerados realizam autoatenção ($O(H^2)$) enquanto consultam a sequência de contexto via atenção cruzada ($O(LH)$). Isso elimina a complexidade quadrática $O(L^2)$ do condicionamento de prefixo padrão, permitindo inferência em tempo real em hardware de borda.

3. Pipeline de Treinamento em Dois Estágios:

   • Estágio 1 (Pré-treinamento): O modelo é pré-treinado em grandes conjuntos de dados de agente único (nuPlan) para aprender a cinemática geral de direção e um prior de direção fundamental.
   • Estágio 2 (Adaptação): O modelo é ajustado (fine-tuning) em conjuntos de dados cooperativos (DAIR-V2X-Seq). Como a entrada é uma sequência unificada, os tokens V2X são simplesmente anexados ao contexto pré-treinado, permitindo uma transferência de conhecimento altamente eficiente em termos de dados sem mudanças arquiteturais.

Principais Contribuições

1. Framework V2X Escalável: O OmniV2X evita a fusão espacial-temporal rígida, tratando entradas heterogêneas como sequências de contexto independentes. Este design permite a integração perfeita de mensagens V2X em conformidade com os padrões SAE sem exigir espaços de características compartilhados.
2. Transferência de Conhecimento Eficiente em Dados: Ao alavancar um espaço de características estável de domínio, o modelo transfere conhecimento da direção de agente único para cenários cooperativos. Ele alcança ganhos significativos de desempenho usando menos de 10% do conjunto de dados V2X alvo em comparação ao treinamento do zero.
3. Eficiência de Inferência: O framework remove a codificação densa de características BEV dispendiosa. Ele consome menos de 1,4 kBPS de largura de banda de comunicação (usando SDSM padrão) e requer apenas 550 MB de memória GPU durante a inferência, atingindo até 29 FPS em dispositivos de borda.
4. Avaliação Abrangente: O artigo fornece validação extensiva no benchmark DAIR-V2X-Seq, estudos de ablação sobre tipos de modelos generativos e testes de robustez contra ruído de localização e latência, juntamente com testes de campo no mundo real.

Resultados Experimentais

Avaliado no benchmark DAIR-V2X-Seq, o OmniV2X demonstra desempenho de estado da arte:

• Precisão de Planejamento: Alcança um erro L2 médio de 0,86m (comparado a 1,49m do melhor anterior, UniMM-V2X) e reduz a taxa média de colisão para 0,06%.
• Eficiência de Comunicação: Reduz os requisitos de largura de banda de comunicação para 1.408 BPS, uma redução de mais de 574× em comparação com métodos baseados em características (que transmitem ~8,09 × 10⁵ BPS).
• Eficiência de Recursos: Requer 550 MB de memória GPU para inferência, o que é menos de 8,5% da memória exigida pelo UniMM-V2X (6.483 MB).
• Eficiência de Dados: Quando ajustado com apenas 1% do conjunto de dados V2X, o modelo pré-treinado atinge um erro L2 de 0,89m, superando um modelo treinado do zero com 100% dos dados (1,56m).
• Robustez: O sistema mantém alta robustez sob ruído de localização (até 1,0m/0,1rad) e latência de V2X (500ms), e lida com sucesso com eventos de oclusão em testes de campo reais.

Significância e Alegações

Os autores alegam que o OmniV2X estabelece um novo paradigma para a direção cooperativa de ponta a ponta ao desacoplar a percepção multiagente do alinhamento espacial rígido. A significância reside em sua capacidade de:

• Superar o gargalo de "escassez de dados" da direção cooperativa ao alavancar efetivamente os abundantes dados de agente único.
• Permitir a implantação prática em tempo real ao reduzir drasticamente a largura de banda de comunicação e a pegada de memória computacional.
• Fornecer um framework padronizado e escalável que adere aos padrões de comunicação SAE, facilitando a interoperabilidade entre diferentes modelos de veículos e infraestrutura.

O artigo conclui que, embora o desempenho atual seja limitado pelo gargalo do aprendizado por imitação (dependendo de dados de motoristas humanos), o planejador de fundação generativo proposto consegue preencher a lacça entre a direção de agente único e a cooperativa, ofereção um caminho viável para a autonomia V2X segura e em tempo real.