Resumo Técnico: UniDrive

Declaração do Problema

Sistemas de condução autónoma que operam em ambientes complexos e dinâmicos requerem mais do que comandos de controlo de baixo nível ou processos de decisão opacos; eles necessitam de uma compreensão de risco interpretável. Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) aplicados à condução enfrentam um compromisso fundamental entre raciocínio temporal e precisão espacial:

• Limitações Temporais: Modelos que dependem de fotogramas únicos ou de baixa resolução falham frequentemente em detetar perigos pequenos, distantes ou parcialmente ocluídos, e perdem a evolução do risco ao longo do tempo.
• Limitações Espaciais: Modelos baseados em vídeo capturam a dinâmica, mas muitas vezes carecem do detalhe espacial refinado necessário para localizar precisamente objetos de risco, especialmente quando estes ocupam regiões pequenas da imagem.
• Lacuna de Fundamentação (Grounding Gap): Os MLLMs orientados para a condução frequentemente fornecem explicações linguísticas sem evidência visual precisa, ou localizam objetos sem explicar adequadamente a sua relevância de risco dinâmica. Esta falta de raciocínio e fundamentação conjunta prejudica a validação de segurança, a auditoria pós-facto e a confiança humana.

Metodologia: O Framework UniDrive

Os autores propõem o UniDrive, um framework unificado de linguagem visual e fundamentação desenhado para alinhar explicitamente a semântica temporal com evidência espacial de alta resolução. A arquitetura consiste em três componentes principais:

1. Arquitetura de Duplo Ramo

O UniDrive processa o input visual através de duas vias sinérgicas:

• Ramo de Raciocínio Temporal (T-RB): Processa uma sequência de fotogramas de baixa resolução ($L$ fotogramas) para modelar a dinâmica da cena. Utiliza um codificador ViT-L/14 pré-treinado no CLIP (congelado), seguido de um agregador de características leve para criar uma representação temporal compacta. Este ramo foca-se na compreensão do movimento, interações e na evolução dos perigos.
• Ramo de Perceção de Alta Resolução (P-B): Processa um único fotograma de alta resolução (tipicamente o último fotograma) para capturar detalhes espaciais finos. Emprega um codificador Vision Transformer (ViT) dedicado para extrair mapas de características de alta fidelidade, garantindo que objetos pequenos ou distantes não se percam devido às restrições de resolução.

2. Módulo de Fusão de Atenção Cruzada com Portão (Gated Cross-Attention)

Para integrar estes fluxos de informação distintos, o UniDrive utiliza um mecanismo de Fusão Espaço-Temporal em vez de uma concatenação ingénua.

• Mecanismo: As características temporais agregadas ($F_{aggr}$) do T-RB atuam como Queries (Q), enquanto as características espaciais de alta resolução ($F_{HR}$) do P-B servem como Keys (K) e Values (V).
• Portão (Gating): Um parâmetro de portão aprendido ($\alpha$) equilibra dinamicamente as características de alta resolução atendidas com as características temporais originais. Isto permite que o modelo utilize o contexto temporal como um guia para recuperar seletivamente os detalhes finos mais relevantes para a segurança a partir do mapa espacial.
• Resultado: A representação fundida ($F_{fused}$) enriquece o input do LLM com contexto dinâmico e fundamentação espacial precisa.

3. Geração Unificada de Raciocínio e Fundamentação

A representação fundida é enviada para um Modelo de Linguagem de Grande Escala (LLM), especificamente uma arquitetura do tipo Flamingo com Llama2-7B como backbone.

• Output: O modelo gera conjuntamente descrições de risco em linguagem natural (identificando riscos, causas e intenções do veículo ego) e outputs de caixas delimitadoras (bounding-box) fundamentados.
• Técnica de Fundamentação: As coordenadas das caixas delimitadoras são formatadas como tokens de texto simples (ex: <box>x1, y1, x2, y2</box>) anexados à legenda. Isto permite que todo o sistema seja treinado de ponta a ponta utilizando objetivos padrão de modelação de linguagem, sem cabeças de regressão auxiliares.

Treino

O modelo passa por um Ajuste Fino Supervisionado (SFT) num conjunto de dados estendido DRAMA-Reasoning. Este conjunto de dados enriquece as anotações originais do DRAMA com descrições explicativas de objetos de risco, intenções do veículo ego e sugestões de condução segura. O treino utiliza taxas de aprendizagem distintas para o ramo temporal ($1\times10^{-4}$) e para o ramo de perceção ($4\times10^{-4}$) para acomodar os seus diferentes estados de inicialização.

Principais Contribuições

1. Framework Unificado: Introdução do UniDrive, que produz conjuntamente descrições de risco em linguagem natural e evidência de caixa delimitadora, abordando a lacuna entre o raciocínio de alto nível e a perceção de baixo nível.
2. Arquitetura de Duplo Ramo: Um design inovador que combina o raciocínio temporal de múltiplos fotogramas com a perceção espacial de alta resolução do último fotograma, integrados através de um módulo de fusão de atenção cruzada com portão.
3. Benchmark Estendido: Desenvolvimento do cenário DRAMA-Reasoning, que enriquece as anotações de objetos de risco com texto explicativo e sugestões de ações seguras para permitir a avaliação conjunta de explicação de risco e fundamentação visual.
4. Avaliação Abrangente: Experiências extensas demonstrando melhorias em legendagem, localização de objetos, generalização zero-shot, robustez e confiança avaliada por humanos.

Resultados Experimentais

Avaliado no benchmark DRAMA-Reasoning e em datasets não vistos (NuScenes, BDD100K), o UniDrive demonstra um desempenho de estado da arte:

• Desempenho no Benchmark: Supera baselines representativos baseados em imagem (ex: InstructBLIP, Shikra) e em vídeo (ex: Video-LLAMA, eP-ALM) tanto em legendagem (CIDEr: 277.5) como em deteção (mIoU: 61.2).
• Localização de Objetos Pequenos: Alcança ganhos significativos na deteção de objetos pequenos (IoU$_S$: 31.0), destacando a eficácia do ramo de alta resolução.
• Generalização Zero-Shot: Mostra uma generalização superior no NuScenes e BDD100K sem ajuste fino, particularmente em tarefas de "Raciocínio de Situação" (+9.1% sobre o Video-LLAMA).
• Robustez: Exibe uma degradação de desempenho mais suave sob condições adversas (noite, chuva) em comparação com os baselines, atribuída à natureza complementar dos ramos temporal e espacial.
• Avaliação Centrada no Humano: Num estudo com 25 condutores licenciados, as explicações do UniDrive foram preferidas em relação aos baselines em 82.0% dos casos para "Confiabilidade" (Trustworthiness) e 74.7% para "Utilidade" (Usefulness).

Significância e Alegações

O artigo afirma que a combinação explícita de semântica temporal e perceção de alta resolução fornece uma base mais forte para uma condução autónoma interpretável e orientada para a segurança.

• Além de Tarefas Separadas: Os resultados sugerem que a compreensão relevante para a segurança não pode ser tratada apenas como um problema de legendagem ou um problema de deteção isoladamente. Uma explicação só é relevante para a segurança quando ligada à fonte de risco correta, e um objeto localizado só é interpretável quando a sua relevância de risco dinâmica é explicada.
• Alinhamento Arquitetural: O sucesso da fusão de atenção cruzada com portão indica que expor simplesmente um LLM a múltiplas modalidades é insuficiente; o modelo deve aprender a alinhar o contexto dinâmico com regiões espaciais finas.
• Confiança e Segurança: Ao gerar explicações que são simultaneamente semanticamente significativas e espacialmente fundamentadas, o UniDrive avança na construção da confiança humano-IA, fornecendo uma camada transparente para monitorização de segurança e auditoria pós-facto.

Limitações

Os autores reconhecem algumas limitações:

• Priorização de Risco: O modelo pode ainda selecionar um objeto de risco plausível mas não primário quando múltiplos perigos ocorrem simultaneamente (ex: priorizar um peão em movimento sobre um obstáculo estático que bloqueia o caminho).
• Simplificação do Dataset: A avaliação atual baseia-se em anotações de um único objeto de risco primário, o que simplifica a complexidade dos cenários de múltiplos perigos do mundo real.
• Escopo de Input: O modelo depende atualmente de raciocínio visual-linguístico e não incorpora explicitamente os dados completos da stack de condução autónoma (ex: LiDAR, mapas HD, dinâmica do veículo ou viabilidade de planeamento).
• Implementação: Embora a velocidade de inferência seja competitiva (9.8 FPS em A100), a implementação em tempo real no veículo requer investigações adicionais sobre latência, fiabilidade e validação de malha fechada (closed-loop).