Senna-2: Aligning VLM and End-to-End Driving Policy for Consistent Decision Making and Planning

Título: Senna-2: Alinhando Modelos Visão-Linguagem (VLM) e Políticas de Direção End-to-End para Tomada de Decisão e Planejamento Consistentes

1. O Problema

Os sistemas de direção autônoma baseados em End-to-End (E2E) demonstraram forte capacidade de mapear entradas sensoriais diretamente para planos de trajetória. No entanto, eles frequentemente carecem de raciocínio de alto nível, essencial para segurança e eficiência em cenários complexos. Para mitigar isso, Modelos Visão-Linguagem (VLMs) têm sido integrados para fornecer decisões de alto nível (como "acelerar" ou "virar à direita") que guiam o planejador E2E.

O problema central identificado pelos autores é a inconsistência entre sistemas (Dual-System Consistency Gap):

• Existe uma desconexão entre a decisão de alto nível do VLM e o planejamento de baixo nível do E2E.
• Sem um alinhamento explícito, as trajetórias geradas podem não corresponder às intenções de direção (ex.: o VLM decide "desacelerar", mas o planejador E2E mantém a velocidade ou acelera).
• Isso enfraquece a capacidade de orientação "top-down" do VLM, reduz a interpretabilidade e pode levar a comportamentos de direção inseguros ou subótimos.

2. Metodologia: Senna-2

Os autores propõem o Senna-2, uma política unificada VLM-E2E que alinha explicitamente os dois sistemas através de um paradigma de treinamento de três estágios focado na consistência.

Arquitetura do Modelo

O sistema é composto por três módulos principais (Figura 2 do artigo):

1. Módulo VLM: Utiliza o Qwen2.5-VL-3B para processar imagens frontais e comandos de texto, gerando decisões estruturadas de alto nível (controle de velocidade: acelerar, manter, desacelerar, parar; e controle de direção: seguir, virar, trocar de faixa).
2. Adaptador de Decisão (Decision Adapter): Um componente crucial que transforma as decisões do VLM em características compatíveis com o modelo E2E. Ele gera dois tipos de tokens:
   • Tokens VLM: Estados ocultos finais projetados via MLP para preservar o contexto de raciocínio.
   • Tokens de Decisão: Embeddings aprendíveis específicos para velocidade e direção, baseados nas ações meta decodificadas.
   • Esses tokens são fundidos para criar uma "condição VLM" que é injetada no planejador.
3. Política de Direção E2E: Utiliza uma arquitetura backbone E2E para extrair características espaço-temporais e um planejador baseado em Diffusion (DiT) que gera a trajetória final. A condição do VLM é injetada via AdaLN (Adaptive Layer Normalization) para modular globalmente o processo de planejamento.

Paradigma de Treinamento de Três Estágios

O treinamento segue uma abordagem progressiva para garantir consistência:

• Estágio 1: Pré-treinamento de Direção

  • O VLM é treinado para prever ações meta (velocidade/direção) a partir de trajetórias reais (tarefa de QA).
  • O planejador E2E é treinado para gerar trajetórias residuais via diffusion.
  • O Adaptador de Decisão é otimizado para conectar os módulos sem alterar as capacidades de decisão do VLM.

• Estágio 2: Alinhamento em Malha Aberta (Open-Loop)

  • O objetivo é corrigir inconsistências entre a decisão do VLM e a trajetória planejada.
  • Utiliza-se uma função de mapeamento cinemático ($f_K$) para projetar a trajetória planejada de volta em uma categoria de decisão.
  • Mecanismo de Perda Adaptativa: Se a decisão do VLM e a trajetória forem consistentes, o modelo recebe reforço interno (sem supervisão externa). Se forem inconsistentes, aplica-se supervisão explícita com trajetórias de especialistas para corrigir o erro.

• Estágio 3: Alinhamento em Malha Fechada com Aprendizado por Reforço Hierárquico (HRL)

  • Realizado em ambientes simulados de alta fidelidade construídos com 3D Gaussian Splatting (3DGS).
  • Utiliza-se HRL bottom-up:
    1. Otimização de Baixo Nível: O planejador E2E é otimizado com recompensas de segurança (baseadas em Time-to-Collision - TTC) e eficiência (velocidade).
    2. Alinhamento de Alto Nível: As trajetórias refinadas são mapeadas de volta para decisões. Se a decisão do VLM não corresponder à trajetória otimizada, a distribuição de probabilidade do VLM é penalizada para forçar a consistência.

3. Principais Contribuições

1. Senna-2: Uma política unificada que integra o raciocínio semântico do VLM com a capacidade de planejamento granular do E2E, garantindo consistência entre decisão e ação.
2. Paradigma de Treinamento Orientado à Consistência: Uma abordagem inovadora de três estágios que combina pré-treinamento, alinhamento em malha aberta e refinamento em malha fechada via HRL para resolver o problema de desalinhamento.
3. Validação Empírica: Demonstração de que o alinhamento explícito melhora significativamente a segurança e a robustez em cenários de cauda longa (long-tail scenarios).

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de direção em grande escala e ambientes 3DGS.

• Consistência Decisão-Planejamento:

  • O Senna-2 obteve uma melhoria de 19,3% no escore F1 médio de consistência em comparação com o método anterior (Senna [19]).
  • As distribuições de velocidade tornaram-se mais distintas e alinhadas com as decisões de alto nível (ex.: a decisão de "desacelerar" resulta claramente em redução de velocidade).

• Desempenho em Malha Aberta (Open-Loop):

  • Redução de 5,7% no Erro de Deslocamento Final (FDE).
  • Redução na taxa de colisão (CR) em comparação com métodos state-of-the-art como VAD e GenAD.

• Desempenho em Malha Fechada (Closed-Loop) e Segurança:

  • Redução de 30,6% na Taxa de Colisão com Culpa (AF-CR) em comparação com o Senna original.
  • Supera baselines baseadas em RL (como RAD) mesmo usando treinamento de reforço em malha fechada, indicando que o ganho vem da estratégia de alinhamento e não apenas do RL.
  • Melhorias significativas nos métricos de segurança (Safety@1 e Safety@2).

• Benchmark NAVSIM v2:

  • O Senna-2 alcançou uma pontuação EPDMS de 86,6, superando o modelo anterior mais bem-sucedido em 1,1 pontos, demonstrando robustez em cenários complexos.

5. Significado e Conclusão

O trabalho Senna-2 destaca a importância crítica de alinhar explicitamente o raciocínio de alto nível (semântico) com a execução de baixo nível (geométrica) em sistemas autônomos.

• Segurança e Interpretabilidade: Ao garantir que a trajetória siga fielmente a decisão lógica, o sistema torna-se mais seguro e explicável (o VLM atua como uma interface humano-máquina interpretável).
• Robustez: A combinação da generalização do VLM com a adaptabilidade do E2E melhora o desempenho em cenários raros e complexos.
• Limitação Atual: O VLM ainda não atinge a inferência em tempo real (10 Hz) em dispositivos de borda, operando de forma assíncrona com um banco de memória. A sincronização total exigirá otimizações de hardware futuras.

Em resumo, o Senna-2 representa um avanço significativo rumo a sistemas de direção autônoma mais confiáveis, explicáveis e alinhados com a intenção humana, superando a lacuna de consistência que limitava abordagens anteriores.