Resumo Técnico: FLARE – Aprendizado de Representações Latentes Conscientes do Futuro a partir de Modelos Visão-Linguagem para Condução Autônoma

1. Declaração do Problema

Os sistemas atuais de condução autônoma (CA) de ponta a ponta enfrentam duas limitações primárias ao integrar Modelos Visão-Linguagem (VLMs):

1. Gargalo de Anotação e Viés Semântico: As abordagens existentes dependem fortemente de anotações linguísticas intensivas em mão de obra (por exemplo, Resposta a Perguntas Visuais, descrições de cena) para alinhar VLMs com tarefas de condução. Esse paradigma gera retornos decrescentes, introduz viés semântico desalinhado com comportamentos reais de condução e falha em utilizar plenamente a capacidade paramétrica de grandes VLMs.
2. Incompatibilidade Discreto-Contínuo: Há uma incompatibilidade fundamental entre os tokens linguísticos discretos usados por VLMs e a natureza contínua das trajetórias de condução. A tokenização de ações leva a erros de discretização, sinais de supervisão esparsos e políticas de controle instáveis que lutam contra o planejamento de movimento de alta granularidade.

O artigo argumenta que confiar na geração explícita de texto ou na tokenização de ações impede que os VLMs aprendam efetivamente as nuances tácitas e não verbalizáveis da dinâmica de condução.

2. Metodologia: O Framework FLARE

O FLARE (Representação Latente Consciente do Futuro) é um novo framework de ponta a ponta projetado para ativar as capacidades visuais-semânticas de VLMs pré-treinados sem exigir supervisão linguística. Ele preenche a lacuna entre raciocínio de alto nível e controle de baixo nível através de três componentes principais:

A. Predição Auto-supervisionada de Características Futuras

Em vez de alinhar com texto, o FLARE introduz um objetivo auto-supervisionado para prever a dinâmica futura da cena diretamente no espaço latente.

• Mecanismo: O modelo é treinado para reconstruir patches de características DINOv2 de alta granularidade de quadros futuros, em vez de gerar texto ou imagens em nível de pixel.
• Racional: A predição de patches semânticos força a rede base a capturar dinâmicas da cena espacialmente explícitas e permanência de objetos. Isso fornece gradientes densos e contínuos que aproveitam a capacidade do VLM de forma mais eficaz do que tokens de ação esparsos.
• Simulação Mental: Ao condicionar o preditor na intenção da ação planejada, o modelo realiza uma "simulação futura condicional à ação", antecipando como decisões específicas influenciam o ambiente.

B. Módulo de Fusão Hierárquico Baseado em Consultas

Para utilizar efetivamente a saída do VLM para planejamento, o FLARE emprega um mecanismo de Pooling de Atenção Multimodal (MAP) em dois estágios:

1. Compressão Visual: Tokens visuais são comprimidos em um conjunto compacto de latentes visuais, destilando conteúdo semântico em nível de cena.
2. Agregação Condicionada ao Estado: Um bloco MAP de ação condensa esses latentes visuais em um único vetor de decisão. Crucialmente, esse processo usa o embedding do estado do ego (velocidade, aceleração, trajetória histórica) do veículo como a consulta de inicialização. Isso garante que a agregação visual seja condicionada ao status dinâmico do veículo e à intenção de navegação.

C. Predição de Dupla Cabeça e Refinamento GRPO

O framework utiliza uma arquitetura de dupla cabeça:

1. Planejador DiT: Um Transformer Difusivo Condicional (DiT) gera trajetórias futuras multimodais, fundamentadas pela consulta de ação fundida e restrições físicas.
2. Preditor de Características Futuras (FFP): A cabeça auxiliar prediz as características DINOv2 do quadro alvo.

Estratégia de Treinamento:

• Estágio 1 (Ajuste Fino Supervisionado - SFT): O modelo é otimizado conjuntamente usando uma perda composta que equilibra a geração de trajetória (correspondência de pontuação de remoção de ruído) e a predição de características futuras (regressão de magnitude e alinhamento direcional).
• Estágio 2 (Ajuste Fino por Reforço - RFT): Para abordar as limitações do aprendizado por imitação no tratamento de violações de segurança raras, o FLARE emprega Otimização de Política Relativa de Grupo (GRPO). Isso refina a política usando uma função de recompensa não diferenciável (Pontuação PDM) baseada em segurança, progresso e conforto, sem exigir uma rede de valor separada. Uma perda de regularização de Clonagem de Comportamento (BC) é introduzida para prevenir o colapso da política.

3. Contribuições Principais

1. Objetivo de Predição de Características Futuras: Uma nova tarefa auto-supervisionada que reconstrói patches espaciais DINOv2, permitindo que VLMs aprendam representações de movimento robustas a partir de dados de vídeo não rotulados e mitigando a esparsidade da supervisão pura por tokens de ação.
2. Fusão Baseada em Consultas e Integração GRPO: Um mecanismo de fusão em dois estágios que alinha modalidades visuais e de estado, acoplado ao GRPO para ajustar finamente a política de trajetória para resultados críticos de segurança em vez de simples imitação.
3. Desempenho de Estado da Arte: Alcançando novos resultados de estado da arte no benchmark NAVSIM entre métodos baseados em VLMs sob configurações de SFT e RFT usando apenas entradas de câmera única.

4. Resultados Experimentais

Os autores avaliaram o FLARE no benchmark NAVSIM (v1 e v2) usando a Pontuação PDM (PDMS) e a Pontuação PDM Estendida (EPDMS).

• Desempenho SFT: O FLARE-4B alcançou uma PDMS de 86,9, superando o ReCogDrive-8B (86,8) enquanto usava metade dos parâmetros (4B vs. 8B). Superou significativamente a linha de base QwenVL3-4B (+6,1 PDMS) e estreitou a lacuna com modelos de ponta a ponta multissensoriais como DiffusionDrive (88,1) e WoTE (88,3), apesar de usar apenas uma câmera.
• Desempenho RFT: Com ajuste fino por reforço, o FLARE-4B alcançou uma PDMS de 91,4, superando o ReCogDrive-2B (90,8) e o ReCogDrive-8B (90,5). Embora outros métodos (por exemplo, DriveVLA-W0) tenham relatado pontuações mais altas, esses dependeram de uma estratégia de amostragem "melhor de N"; sob avaliação justa de amostra única, o FLARE alcançou o melhor desempenho entre abordagens baseadas em VLM.
• NAVSIM v2: O FLARE alcançou a maior EPDMS de 86,3, demonstrando equilíbrio superior em segurança (NC, TTC) e conforto comparado a bases que frequentemente sacrificavam um pelo outro.
• Estudos de Ablação:
  • Alvo de Predição: A predição DINO espacial (Nossa) produziu o desempenho mais alto (86,9), superando a predição de características globais (85,9) e a predição em nível de pixel (84,7), confirmando a importância de preservar a granularidade espacial.
  • Módulo de Fusão: Remover a fusão MAP em dois estágios ou a injeção do estado do ego resultou em quedas significativas de desempenho (-1,9 e -2,1 PDMS, respectivamente), validando a necessidade de agregação visual condicionada ao estado.

5. Significado e Alegações

O artigo alega que o FLARE valida um paradigma altamente eficiente para condução autônoma: aproveitar o conhecimento de mundo dos VLMs através de auto-supervisão preditiva em vez de geração explícita de linguagem.

• Mudança de Paradigma: Demonstra que VLMs podem ser efetivamente adaptados à condução sem o custo e o viés de grandes conjuntos de dados de anotação linguística.
• Robustez: Ao prever características latentes futuras, o modelo aprende a antecipar dinâmicas da cena e movimento do ego diretamente, preenchendo a incompatibilidade entre tokens discretos e controle contínuo.
• Escalabilidade: A abordagem oferece um caminho escalável para utilizar dados de trajetória não rotulados em grande escala, potencialmente superando as limitações de cobertura de dados dos sistemas modulares atuais ou de ponta a ponta puramente supervisionados.

Os autores concluem que o FLARE desbloqueia com sucesso o raciocínio visual-semântico dos VLMs para controle contínuo, alcançando segurança e qualidade de planejamento de estado da arte com uma configuração de câmera única.