Collision-Aware Vision-Language Learning for End-to-End Driving with Multimodal Infraction Datasets

Título: Aprendizado Visão-Linguagem Consciente de Colisão para Direção de Ponta a Ponta com Conjuntos de Dados Multimodais de Infrações

1. O Problema

A direção autônoma de ponta a ponta (End-to-End ou E2E) enfrenta um gargalo crítico: altas taxas de infrações em avaliações em loop fechado, especialmente colisões.

• Falha Dominante: Análise de dados do CARLA Leaderboard revela que colisões (veículo, pedestre e layout) representam a vasta maioria das infrações, superando violações de regras de trânsito simples. Muitos outros erros, como "tempo esgotado" ou "bloqueio de agente", são consequências diretas de colisões anteriores.
• Limitação Atual: Embora existam modelos E2E robustos, a representação de aprendizado "consciente de colisão" (capacidade de detectar e prever riscos de colisão de forma precisa) recebeu pouca atenção.
• Deficiência de Dados: Conjuntos de dados existentes para simulação (como DeepAccident e DiffScene) focam apenas em colisões em cruzamentos e carecem de descrições linguísticas detalhadas, tornando-os inadequados para modelos modernos de Visão-Linguagem (VLMs). Além disso, não há benchmarks robustos de dados reais para avaliação de detecção de colisão multimodal.

2. Metodologia

Os autores propõem uma abordagem integrada composta por três pilares principais:

A. VLAAD (Video-Language-Augmented Anomaly Detector)

Um detector de anomalias leve baseado em modelos de Visão-Linguagem (VLMs) projetado para identificar e localizar temporalmente eventos de colisão.

• Arquitetura: Utiliza o backbone XCLIP (frozen) como base, adaptado ao domínio de direção através de componentes leves treináveis (um Adapter MLP e um detector de colisão).
• Aprendizado Multimodal: O modelo alinha representações de vídeo (clips de direção) com descrições textuais (legendas geradas automaticamente) que descrevem o contexto da cena e os agentes.
• Aprendizado de Múltiplas Instâncias (MIL): Para resolver o problema da localização temporal (onde a colisão ocorre dentro de um clip longo), o vídeo é dividido em snippets (segmentos curtos). O MIL força o modelo a concentrar a evidência positiva apenas nos poucos snippets que contêm risco de colisão, gerando sinais temporais estáveis e agudos, em vez de logits difusos.
• Integração: O VLAAD atua como um módulo plug-in que injeta uma pontuação de risco de colisão diretamente no estado global de um agente de direção E2E (como o TransFuser++), permitindo que o agente tome decisões conscientes do risco.

B. CARLA-Collide (Dataset de Simulação)

Um novo conjunto de dados multimodal de grande escala gerado no simulador CARLA.

• Geração: Captura falhas naturais ocorridas por agentes de ponta a ponta (como TransFuser++) em diversas rotas e cenários (não apenas cruzamentos), incluindo colisões laterais, traseiras e com objetos ocultos.
• Anotação: Utiliza Grandes Modelos de Linguagem (LLMs) para gerar legendas semânticas ricas a partir de logs de infrações e dados de percepção, descrevendo agentes e dinâmicas do evento.

C. Real-Collide (Dataset do Mundo Real)

Um benchmark de avaliação para generalização em cenários reais.

• Composição: 1.000 clipes de câmeras de bordo (dashcam) de diversas fontes (Nexar, RetroTrucks, COOOL, YouTube), balanceados entre direção normal e colisões.
• Anotação: Legendas textuais semânticas geradas para descrever o contexto e a dinâmica do evento, permitindo a avaliação de modelos de visão-linguagem em dados reais.

3. Principais Contribuições

1. VLAAD: Um modelo leve que aprende representações conscientes de colisão usando alinhamento visão-linguagem e MIL para produzir sinais de risco localizados no tempo.
2. CARLA-Collide: O primeiro dataset multimodal de grande escala focado em falhas naturais de agentes E2E em CARLA, com descrições textuais detalhadas.
3. Integração em Loop Fechado: Demonstração de que injetar sinais de risco de colisão em agentes E2E pré-treinados melhora significativamente a segurança com fine-tuning mínimo.
4. Real-Collide Benchmark: Um novo padrão de avaliação para detecção de colisão em dados reais, superando modelos massivos com modelos leves.

4. Resultados

Desempenho em Simulação (CARLA Leaderboard - Town 13)

Ao integrar o VLAAD (com MIL) no agente TransFuser++ (TF++):

• Pontuação de Direção (Driving Score): Aumento de 14,12% em relação ao TF++ original.
• Conclusão de Rota (Route Completion): Aumento de 6,62%.
• Pontuação de Infrações (Infraction Score): Aumento de 19,23%.
• Estabilidade: O agente com VLAAD-MIL percorreu mais quilômetros e sofreu menos bloqueios, demonstrando maior resiliência.
• Ablação: O uso de MIL foi crucial; sem ele, o desempenho degradou devido a sinais de risco ruidosos e não localizados.

Desempenho em Dados Reais (Real-Collide)

• Comparação com VLMs Grandes: O VLAAD (0,6B parâmetros) superou o modelo LLaVA-Next (bilhões de parâmetros, fine-tuned com LoRA) em 23,3% na métrica AUC (0,766 vs 0,533).
• Importância do Texto: A remoção da modalidade de texto reduziu o AUC de 0,766 para 0,721, confirmando que o alinhamento linguístico é vital para entender o contexto de segurança.
• Generalização: O modelo demonstrou capacidade de generalização robusta de dados simulados para reais, algo que modelos genéricos grandes falharam em fazer sem adaptação específica.

Análise Qualitativa

• O MIL produz picos de risco agudos e alinhados temporalmente com o momento da colisão, enquanto modelos sem MIL geram respostas difusas e falsos positivos em manobras normais (como curvas bruscas).

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica na direção autônoma ao demonstrar que:

1. Colisões são o principal gargalo: A segurança em loop fechado depende diretamente da capacidade de detectar e evitar colisões, não apenas de seguir regras de trânsito.
2. Multimodalidade é essencial: A combinação de vídeo e linguagem permite uma compreensão semântica superior de cenários de risco, superando abordagens puramente visuais.
3. Eficiência vs. Desempenho: É possível obter ganhos significativos de segurança e desempenho usando modelos leves e adaptados (VLAAD) em vez de depender de modelos massivos e computacionalmente caros.
4. Reprodutibilidade: A liberação dos datasets CARLA-Collide e Real-Collide fornece à comunidade ferramentas padronizadas para treinar e avaliar sistemas de detecção de risco, acelerando o desenvolvimento de veículos autônomos mais seguros.

Em resumo, o VLAAD oferece um caminho prático e eficiente para integrar a consciência de risco de colisão em sistemas de direção autônoma de ponta a ponta, melhorando drasticamente a segurança em cenários complexos e dinâmicos.