Causal Scene Narration with Runtime Safety Supervision for Vision-Language-Action Driving

Título: Narração Causal de Cena com Supervisão de Segurança em Tempo de Execução para Dirigir com Modelos Visão-Linguagem-Ação (VLA)

1. O Problema

Os modelos Visão-Linguagem-Ação (VLA) para direção autônoma combinam percepção visual com previsão de ações condicionadas à linguagem. No entanto, os sistemas atuais apresentam três fraquezas críticas:

1. Fragmentação Causal: As instruções de navegação (ex: "vire à esquerda") e os avisos de perigo (ex: "pedestre à frente") são apresentados como fragmentos textuais desconectados. O modelo é forçado a descobrir implicitamente, através de atenção cruzada, quais restrições ambientais são relevantes para a manobra atual. Isso cria um gargalo de raciocínio.
2. Falta de Garantias de Segurança em Tempo de Execução: Os modelos VLA operam como preditores em malha aberta. Uma vez que uma ação insegura é prevista, não há mecanismo para interceptá-la antes da execução. O alinhamento apenas no tempo de treinamento não garante segurança em cenários raros ou adversos.
3. Deslocamento de Distribuição em Modelos Alinhados: Métodos de otimização de preferências (como DPO) podem melhorar o desempenho dentro da distribuição de treinamento, mas frequentemente sofrem com overfitting, prejudicando a generalização para novos ambientes (ex: outras cidades).

2. Metodologia

Os autores propõem um framework de três estágios que atua no pipeline VLA sem custo adicional de GPU:

A. Narração Causal de Cena (CSN) - Estágio 2 (Inferência)
O CSN reestrutura as entradas de texto do VLA para alinhar explicitamente a intenção com as restrições causais. O pipeline segue três princípios:

• Fundamentação Quantitativa: Substitui qualificadores vagos (ex: "à frente", "cuidado") por valores métricos exatos (distância em metros, velocidade em km/h).
• Separação Estruturada: Organiza o estado do ambiente em quatro componentes: estado do veículo, topologia da estrada, sinais de tráfego e, crucialmente, o bloco causal.
• Alinhamento Causal Intenção-Restrição: Conecta a intenção de navegação às restrições relevantes usando conectivos causais explícitos (ex: "Vire à esquerda, MAS ceda ao pedestre a 12m", "Reduza a velocidade PORQUE a pista está molhada"). Isso transforma a entrada de "fragmentos isolados" para uma "narrativa causal estruturada".
  • Vantagem: Todo o processamento ocorre na CPU em <1ms, sem alterar os pesos do modelo.

B. Supervisor de Segurança em Tempo de Execução - Estágio 3 (Inferência)
Baseado na arquitetura Simplex (usada em sistemas críticos como o Boeing 777), este módulo monitora as saídas do VLA e intervém se forem detectadas violações de segurança semântica:

• Monitoramento Semântico: Em vez de apenas medir distâncias físicas, o supervisor verifica a consistência entre a direção prevista pelo VLA e o comando de navegação (ex: se o comando é "virar à esquerda", mas os waypoints indicam movimento reto ou para a direita, há um conflito).
• Detecção de Travamento: Monitora se o veículo está parado indevidamente quando o acelerador é aplicado.
• Fallback: Se uma violação for detectada, o controle é transferido para um controlador de segurança conservador (Baseado em regras/HD Map) até que o estado seja seguro novamente.

C. Alinhamento no Tempo de Treinamento (Condicional Experimental)
Os autores utilizam PL-DPO-NLL (Plackett-Luce Direct Preference Optimization com Regularização de NLL) para criar uma variante do modelo com pesos ajustados, servindo como uma configuração de controle para ablação.

3. Principais Contribuições

1. Framework CSN: Uma pipeline de enriquecimento de texto que opera em tempo de inferência (zero VRAM) baseada em alinhamento causal, fundamentação física e separação estruturada.
2. Taxonomia de Estrutura de Texto: Classificação de abordagens VLA de L0 (comandos isolados) a L3 (modelagem causal explícita), posicionando o CSN como a primeira abordagem L3 que não requer re-treinamento.
3. Supervisão de Segurança Semântica: Implementação de um supervisor baseado em Simplex focado em consistência de direção e vivacidade, superando métodos reativos baseados apenas em proximidade (TTC).
4. Avaliação Multi-Cidade: Um estudo abrangente em 8 cidades do CARLA com 16 rotas, testando robustez sob diferentes condições climáticas e de tráfego.

4. Resultados Experimentais

A avaliação foi realizada no simulador CARLA 0.9.10, comparando o modelo base LMDrive (com LLaMA-7B) e sua variante alinhada (PL-DPO-NLL).

• Desempenho de Direção (Driving Score - DS):

  • O CSN aumentou o DS em +31,1% no LMDrive original.
  • No modelo alinhado por preferências, o ganho foi de +24,5%.
  • A melhoria foi robusta em todas as configurações de pesos e condições climáticas (chuva, neblina, noite).

• Decomposição do Ganho (Estrutura vs. Informação):

  • Os autores realizaram uma ablação comparando: Texto Original vs. Texto "Flat" (mesmas informações, sem conectivos causais) vs. CSN (com conectivos).
  • No LMDrive original, 39,1% do ganho total veio puramente da estrutura causal (conectivos), enquanto 60,9% veio do conteúdo informativo adicional.
  • No modelo alinhado (PL-DPO-NLL), a contribuição da estrutura caiu para 13,5%, sugerindo que o aprendizado de preferências internalizou parcialmente o raciocínio causal, reduzindo a dependência de conectivos explícitos no texto.

• Segurança:

  • O supervisor semântico melhorou a pontuação de infrações (Infraction Score) em ambas as configurações.
  • O monitoramento reativo baseado em Tempo de Colisão (TTC) degradou o desempenho, causando frenagens excessivas e falsos positivos. Isso demonstra que para sistemas VLA, a monitorização deve ser consciente da intenção, não apenas física.

• Robustez a Ruído:

  • Testes com ruído de percepção (erros de distância de até ±5m, ruído de velocidade de ±30% e perda de detecção de 20%) mostraram que o benefício do CSN permanece estável, indicando que a melhoria vem da organização da informação, não da precisão absoluta dos dados.

• Interação CSN + Segurança:

  • Curiosamente, combinar CSN com o supervisor de segurança reduziu o desempenho em comparação ao CSN isolado. A análise revelou que isso não foi devido a intervenções ativas, mas a um "clamping" (limitação) passivo de controle que truncava manobras evasivas antecipadas geradas pelo CSN.

5. Significado e Conclusão

O trabalho demonstra que a qualidade da estrutura textual é tão crítica quanto a quantidade de informações para modelos VLA de direção. Ao explicitar as relações causais entre a intenção do agente e as restrições do ambiente, o CSN permite que modelos de linguagem existentes (como LLaMA) raciocinem de forma mais eficaz sem necessidade de re-treinamento ou custo computacional adicional de GPU.

A pesquisa destaca que:

1. A estrutura causal explícita atua como um "andaime de raciocínio" que alivia a carga de inferência do modelo.
2. A segurança em tempo de execução para IA generativa deve ser semântica e consciente da intenção, não apenas baseada em regras físicas reativas.
3. O CSN oferece uma solução prática e escalável para melhorar a segurança e o desempenho de sistemas de direção autônoma baseados em VLA, sendo robusto a erros de percepção e generalizável para novos ambientes.