Resumo Técnico: CLAP – Otimização de Prompt no Espaço Latente Contrastivo para Condução Autônoma de Ponta a Ponta

1. Declaração do Problema

Sistemas de condução autônoma (CA) de ponta a ponta, impulsionados por modelos Visão-Linguagem-Ação (VLA), demonstraram forte desempenho em cenários de condução comuns ao aproveitar o pré-treinamento e o ajuste fino em grande escala. No entanto, esses sistemas permanecem frágeis em cenários de cauda longa—situações raras mas críticas para a segurança, como zonas de construção ativas, geometrias complexas de cedência e combinações de condições adversas de tempo.

A abordagem dominante para lidar com essas falhas envolve escalar a coleta de dados e ajustar os modelos. O artigo argumenta que essa abordagem enfrenta retornos decrescentes devido a:

• A escassez de eventos raros.
• A complexidade combinatória das variações dentro da categoria (disposições, tempo, hora do dia).
• O risco de esquecimento catastrófico ao ajustar frequentemente em dados de nicho.

Além disso, o artigo identifica uma limitação específica nas estratégias atuais de adaptação: as falhas de cauda longa estão frequentemente ligadas a regiões específicas da estrada (bloqueios de estrada) em vez de serem puramente questões de generalização em nível de categoria. Adicionalmente, dentro de um único bloqueio de estrada, quadros desafiadores (de cauda longa) e quadros normais estão fortemente misturados no espaço latente do modelo. Consequentemente, otimizar um prompt para corrigir quadros desafiadores frequentemente degrada inadvertidamente o desempenho em quadros normais devido a essa mistura latente.

2. Metodologia: Framework CLAP

Os autores propõem o CLAP (Otimização de Prompt no Espaço Latente Contrastivo), um framework que amplia um modelo de condução VLA congelado com prompts suaves por bloqueio de estrada. Esses prompts são otimizados offline em dados de crowdsourcing e recuperados sob demanda por meio de comunicação Veículo-para-Tudo (V2X).

Observações Principais

A metodologia baseia-se em duas observações derivadas da análise do espaço latente de VLAs de última geração:

1. Localidade: Cenários do mesmo bloqueio de estrada (uma região espacial contígua com identidade visual/geométrica estável) agrupam-se firmemente no espaço latente, distintos de outros bloqueios de estrada.
2. Mistura: Dentro de um único bloqueio de estrada, quadros desafiadores e normais não são separáveis em clusters distintos; eles estão fortemente misturados.

O Pipeline de Duas Etapas

O CLAP opera por meio de um processo de otimização de prompt em duas etapas para cada bloqueio de estrada $R$:

Etapa 1: Descoberta de Direção via Aprendizado Contrastivo Supervisionado

• Objetivo: Descobrir uma "direção de cena difícil" ($d^\star$) que separe quadros desafiadores de quadros normais no espaço latente.
• Mecanismo: Um prompt suave auxiliar $P_A$ é otimizado usando uma perda Contrastiva Supervisionada (SupCon). Essa perda empurra os estados ocultos dos quadros desafiadores para longe dos quadros normais.
• Saída: A direção principal da representação separada é extraída como $d^\star$, um descritor compacto da direção de cena desafiadora específica daquele bloqueio de estrada.

Etapa 2: Otimização de Prompt Regularizada Direcionalmente

• Objetivo: Otimizar um prompt de desempenho implantável $P_B$ que melhore os quadros desafiadores enquanto preserva estritamente o desempenho dos quadros normais.
• Mecanismo: $P_B$ é treinado sob uma função de perda conjunta:
  $$L_{total} = L_{plan} + \lambda_1 L_{dir} + \lambda_2 L_{reg}$$
  • $L_{plan}$: Perda padrão de regressão de trajetória (ADE) calculada apenas em quadros desafiadores.
  • $L_{dir}$ (Regularizador Direcional): Incentiva $P_B$ a deslocar as representações de quadros desafiadores ao longo do eixo pré-descoberto $d^\star$. Isso restringe a otimização ao subespaço específico onde a separação é possível.
  • $L_{reg}$ (Regularizador de Quadro Normal): Penaliza explicitamente qualquer deslocamento das representações de quadros normais em relação à linha de base da Etapa 1. Isso impede que o prompt "vaze" para o subespaço que afeta a condução comum.

Particionamento de Dados

Para aplicar isso, o sistema deve particionar as trajetórias de bloqueio de estrada em subconjuntos "desafiadores" e "normais". O artigo propõe um pipeline baseado em VLM que usa identificação semântica (via um VLM forte) e validação empírica (erro de planejamento excedendo uma margem $\delta$) para rotular quadros.

3. Contribuições Principais

1. Formulação por Bloqueio de Estrada: O artigo demonstra, por meio de análise do espaço latente, que problemas de cauda longa podem ser abordados localmente por bloqueio de estrada em vez de globalmente, pois os bloqueios formam variedades distintas no espaço latente.
2. Framework CLAP: Um método inovador de otimização de prompt em duas etapas que usa aprendizado contrastivo para identificar uma direção de separação e regularização direcional para melhorar seletivamente o desempenho de cauda longa sem reverter o desempenho normal.
3. Validação Empírica: Demonstração de que o CLAP reduz erros de planejamento em cenários desafiadores em múltiplos backbones VLA de última geração sem exigir ajuste fino do backbone.

4. Resultados Experimentais

Os autores avaliaram o CLAP no benchmark NAVSIM usando três backbones VLA de última geração: ReCogDrive, Alpamayo-R1.5 e DriveVLA-W0.

• Desempenho em Quadros Desafiadores: O CLAP reduziu o Erro de Deslocamento Médio (ADE) em cenários desafiadores em uma média de 24% entre os três modelos.
• Desempenho em Quadros Normais: Diferentemente da otimização de prompt suave sem restrições (que causou regressão em alguns modelos) ou avisos de texto explícitos (que frequentemente falharam ou degradaram o desempenho), o CLAP manteve ou melhorou ligeiramente o desempenho em quadros normais.
• Melhoria Geral: A combinação de erros de cauda longa reduzidos e desempenho normal preservado levou a uma melhoria média de 14% no ADE geral.
• Estudos de Ablação:
  • Remover a Etapa 1 (descoberta de direção contrastiva) resultou em quedas significativas de desempenho, confirmando que a direção específica $d^\star$ é crítica.
  • Substituir $d^\star$ por uma direção aleatória performou pior do que omitir a Etapa 1 inteiramente, destacando a necessidade da direção contrastiva aprendida.
• Generalização: Quando testado sob condições deslocadas (chuva e crepúsculo) sem aumento de dados, o desempenho degradou. No entanto, usar edição de imagem generativa para aumentar os dados de treinamento com essas condições permitiu que o CLAP generalizasse efetivamente, reduzindo significativamente a lacuna de ADE sob condições deslocadas.

5. Significado e Alegações

O artigo posiciona o CLAP como uma alternativa praticamente eficiente à escalabilidade de dados e ao ajuste fino de modelos para melhorar o desempenho de VLA na condução autônoma.

• Modalidade de Melhoria: Os autores afirmam que as falhas de cauda longa podem ser "corrigidas localmente" via prompts suaves, em vez de exigir retreinamento global do modelo.
• Seletividade: O significado central reside na capacidade de melhorar seletivamente cenários difíceis enquanto previne estruturalmente danos colaterais ao desempenho de condução comum, um desafio que a otimização de prompt sem restrições falha em resolver devido à mistura latente.
• Viabilidade de Implantação: O framework é projetado para implantação V2X, onde um servidor central otimiza prompts com base em dados de crowdsourcing e os envia para veículos que entram em bloqueios de estrada específicos, mantendo o custo de inferência no lado do veículo mínimo (modelo congelado + injeção de prompt).

Os autores reconhecem limitações, observando que a generalização entre climas além das condições testadas permanece uma questão em aberto e que o objetivo contrastivo atual assume um único tipo de desafio dominante por bloqueio de estrada, o que pode precisar de refinamento para cenários heterogêneos.