OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models

Resumo Técnico: OneDrive

1. O Problema

Os modelos de Visão-Linguagem (VLMs) pré-treinados demonstraram capacidades excepcionais de raciocínio multimodal e geração de texto. No entanto, integrá-los em sistemas de direção autônoma end-to-end (E2E) apresenta desafios fundamentais:

• Discrepância Arquitetural: A direção autônoma exige a execução simultânea de tarefas heterogêneas: percepção (detecção 3D, estimativa de faixas) e planejamento (regressão de trajetória), que geralmente utilizam decodificadores paralelos e não autoregressivos. Em contraste, os VLMs operam através de geração autoregressiva de texto.
• Fragmentação de Sistemas: As abordagens atuais tendem a usar arquiteturas separadas (sistemas de dois corpos) ou em cascata, onde decodificadores distintos lidam com percepção e linguagem. Isso impede a reutilização eficiente de pesos pré-treinados, fragmenta o fluxo de informação e limita a escalabilidade do modelo.
• Dilema de Adaptação: Tentar adaptar VLMs nativos sem grandes modificações resulta em desempenho inferior em tarefas de direção, enquanto modificações estruturais severas (como modelagem BEV personalizada) impedem o treinamento conjunto com dados de domínio geral massivos.

Pergunta Central: É possível que um único modelo multimodal pré-treinado lidere simultaneamente tarefas E2E diversas (com saídas estruturadas e textuais) mantendo a geração coerente e generalizando para paradigmas generativos?

2. Metodologia: OneDrive

O OneDrive propõe uma arquitetura unificada que reconcilia comportamentos de decodificação heterogêneos dentro de um único decodificador Transformer, baseado em um VLM pré-treinado.

• Representação Unificada de Tokens:

  • O modelo organiza tokens visuais, tokens de consulta estruturada (para detecção, faixas e planejamento) e tokens de texto em uma única sequência compartilhada.
  • Isso permite que os tokens de consulta condicionem-se naturalmente ao contexto visual através do mecanismo de atenção causal original do modelo de linguagem, sem a necessidade de módulos de atenção cruzada explícitos.

• Camadas de Decodificador Misto (Mixed Decoder Layers):

  • Atenção Causal Compartilhada: O núcleo do decodificador mantém a atenção causal pré-treinada do LLM, servindo como uma interface unificada para todas as modalidades.
  • Adaptações Específicas:
    • Para suportar a previsão estruturada paralela, adiciona-se um bloco de auto-atenção dedicado apenas entre os tokens de consulta de percepção (detecção e faixas) nas camadas rasas.
    • Os Feed-Forward Networks (FFNs) pré-treinados para geração de texto são substituídos por FFNs específicos para cada tarefa (detecção, faixa, planejamento) nas camadas de saída, enquanto a atenção de fundo permanece intacta.
  • Posicionamento: Os tokens de planejamento são posicionados após os tokens de percepção, permitindo que o planejamento se condicione implicitamente aos recursos de percepção através do mesmo mecanismo de atenção.

• Estratégia de Treinamento em Três Estágios:

  1. Pré-treinamento Percepção-Linguagem: Congela o codificador visual (ViT) e ajusta o decodificador misto com objetivos de percepção e geração de texto.
  2. Adaptação de Planejamento: Introduz tokens de planejamento e otimiza as camadas específicas de planejamento, mantendo os módulos de percepção fixos.
  3. Ajuste Fino Conjunto (Joint Finetuning): Ajusta todo o sistema (incluindo o ViT) com uma perda combinada de percepção, planejamento e texto.

3. Contribuições Principais

1. Descoberta de Transferibilidade: O trabalho demonstra que os pesos de atenção de VLMs pré-treinados transferem-se eficazmente para modelar relações entre consultas e visuais, enquanto os pesos das camadas FFN (otimizados apenas para texto) não transferem bem e podem degradar o desempenho se reutilizados diretamente.
2. Arquitetura Unificada OneDrive: Propõe o primeiro framework que permite a um único decodificador Transformer realizar simultaneamente geração de texto autoregressiva e previsão estruturada paralela (percepção e planejamento), eliminando a necessidade de ramificações isoladas.
3. Desempenho de Estado da Arte (SOTA): Alcança resultados líderes em benchmarks de direção autônoma end-to-end, provando que a unificação não sacrifica a precisão, mas melhora a eficiência.

4. Resultados Experimentais

O modelo foi avaliado nos benchmarks nuScenes (avaliação open-loop) e NAVSIM (avaliação closed-loop).

• nuScenes (Open-Loop):

  • Erro L2: 0,28 m (o melhor entre modelos baseados em ação).
  • Taxa de Colisão: 0,18% (significativamente menor que baselines fortes como SOLVE-E2E e ColaVLA).
  • O modelo supera métodos baseados em texto e ação, mantendo alta precisão e segurança.

• NAVSIM (Closed-Loop):

  • Pontuação PDMS: 86,8 (superando o baseline de decodificador de consulta do ReCogDrive, que obteve 85,0).
  • O design de decodificação causal unificada melhora a estabilidade do planejamento e a consciência de interação em cenários críticos.

• Eficiência de Inferência:

  • O OneDrive reduz a latência em aproximadamente 40% em comparação com modelos que exigem o encaminhamento completo do LLM ou máscaras de atenção personalizadas (ex: 156 ms vs. 263 ms no NAVSIM).
  • Preserva a capacidade de geração multimodal completa, permitindo modos de inferência truncados para aplicações focadas apenas em planejamento.

• Estudos Ablativos:

  • A supervisão de texto atua como um regularizador, melhorando a segurança (reduzindo colisões) mesmo em tarefas puramente estruturadas.
  • A ordem dos tokens é crucial: a sequência Detecção → Faixa → Planejamento em treinamento conjunto oferece os melhores resultados.

5. Significado e Impacto

O OneDrive representa um avanço significativo na interseção entre Modelos de Visão-Linguagem-Ação (VLA) e Direção Autônoma.

• Unificação de Paradigmas: Resolve o conflito estrutural entre a geração sequencial de linguagem e a previsão paralela de direção, permitindo que modelos fundacionais sejam aplicados diretamente a tarefas de controle sem arquiteturas complexas e fragmentadas.
• Escalabilidade: Ao preservar a estrutura nativa do VLM (especialmente a atenção causal), o framework facilita o uso de dados de domínio geral massivos para treinamento conjunto, superando o gargalo de escalabilidade de modelos anteriores.
• Eficiência: A redução de latência e a eliminação de módulos personalizados tornam a abordagem mais viável para implantação em tempo real em veículos autônomos.

Em suma, o OneDrive demonstra que é possível construir um sistema de direção autônoma unificado, seguro e eficiente, aproveitando o poder de generalização dos grandes modelos de linguagem pré-treinados.