Resumo Técnico: De onde vem a resposta? Avaliação da Identificação de Evidência Visual em Nível de Visão em MLLMs Multiview para Condução Autônoma

Definição do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) têm demonstrado um forte desempenho em benchmarks de raciocínio visual. No entanto, as métricas de avaliação padrão focam quase exclusivamente na correção da resposta final, falhando em verificar se o raciocínio do modelo está fundamentado na evidência visual correta. Esta limitação é particularmente crítica em cenários de condução autônoma que envolvem entradas de múltiplas visões (ex: câmeras de visão periférica). Nestes contextos, um modelo pode gerar uma resposta plausível ou até correta baseando-se em vieses linguísticos, atalhos do conjunto de dados ou evidências alucinadas, enquanto atribui incorretamente essa resposta a uma câmera específica. Tais comportamentos de "visão errada/resposta correta" comprometem a confiança em sistemas de segurança crítica, pois o raciocínio confiável requer não apenas uma conclusão correta, mas também a identificação correta da fonte visual de suporte.

Metodologia

Design do Benchmark

Os autores introduzem um benchmark de diagnóstico para avaliar a identificação de evidência visual em nível de visão em MLLMs de múltiplas visões. O benchmark é construído sobre o conjunto de dados NuScenes, utilizando seis visões de câmera sincronizadas (Frente, Frente Esquerda, Frente Direita, Traseira, Traseira Esquerda, Traseira Direita) por cena.

• Construção do Conjunto de Dados: O conjunto de dados compreende 122 pares de pergunta-resposta (QA) centrados em conflitos derivados de 73 cenas. O pipeline de construção envolve:

  1. Mineração de Conflitos: Mineração automática de eventos candidatos (pedestre atravessando, frenagem, corte de trajetória, mudança de faixa, conversão e Car-to-Car Front Turn-Across-Path) a partir de características cinemáticas e geométricas.
  2. Projeção de Visão: Projeção das caixas delimitadoras (bounding boxes) 3D dos atores envolvidos nos seis planos de câmera para identificar a visibilidade.
  3. Geração de QA: Criação de perguntas direcionadas a três tipos de raciocínio: causalidade, raciocínio contrafactual e predição de intenção.
  4. Anotação: Cada par de QA é associado a uma "visão de ouro" (golden view) verificada manualmente (o canal de câmera único que fornece a evidência mais direta) ou rotulada como NONE se nenhuma visão fornecer evidência suficiente. Casos ambíguos são excluídos.

• Configurações de Avaliação: O benchmark avalia modelos sob três protocolos distintos para isolar diferentes modos de falha:

  1. Seleção de Visão: O modelo recebe as seis visões e deve prever a câmera de suporte (ou NONE).
  2. Oracle QA: O modelo recebe apenas a imagem da visão de ouro e deve responder à pergunta. Isso isola a capacidade de raciocínio quando a fonte visual correta é fornecida.
  3. Predição Conjunta: O modelo recebe todas as seis visões e deve simultaneamente prever a visão de suporte e a resposta em uma única passagem.

• Métricas:

  • Acurácia de Visão: Correspondência exata com o rótulo da visão de ouro.
  • Acurácia de Resposta: Correspondência exata para perguntas de múltipla escolha (MC); equivalência semântica julgada por um LLM para respostas de texto livre.
  • Sucesso Conjunto: Acurácia estrita exigindo que tanto a seleção da visão quanto a resposta estejam corretas.

Configuração Experimental

Os autores avaliaram uma gama de MLLMs proprietários (GPT-5.4, Gemini, Claude) e de código aberto (Qwen2.5-VL, Qwen3-VL, InternVL3). Todos os modelos foram testados em um cenário zero-shot usando um protocolo de prompting unificado sem ajuste fino específico para a tarefa.

Principais Resultados

• Desempenho de Seleção de Visão: Modelos proprietários demonstraram capacidades superiores de identificação de visão, com o Claude alcançando a maior média de acurácia (82,62%), seguido pelo GPT-5.4 (77,54%) e Gemini (74,10%). Modelos de código aberto mostraram variação significativa; Qwen3-VL e InternVL3 agruparam-se em torno de 61,5%, enquanto o Qwen2.5-VL caiu para 12,62%, performando próximo a um baseline aleatório.
• O Gap Oracle-para-Conjunto: Uma queda consistente de desempenho foi observada ao passar de Oracle QA (onde a visão correta é fornecida) para a Predição Conjunta. Por exemplo, a acurácia de MC do Claude caiu de 89,3% (Oracle) para 73,2% (Conjunto). Isso indica que a identificação de visão é um gargalo primário para o raciocínio fundamentado de ponta a ponta; os modelos frequentemente falham em localizar a evidência antes de tentar raciocinar.
• Fenômeno de Visão Errada/Resposta Correta: A análise revelou que uma parte significativa das respostas corretas foi gerada com seleções de visão incorretas. Em todos os modelos, 192 de 732 tentativas de múltipla escolha resultaram em uma resposta correta apesar de selecionar a visão errada. Isso sugere que métricas de avaliação baseadas apenas na resposta superestimam substancialmente as capacidades de raciocínio fundamentado destes modelos.
• Vieses Regionais e de Raciocínio: Os modelos performaram melhor nas visões frontal e traseira do que nas visões laterais, onde a ambiguidade entre câmeras adjacentes é maior. Além disso, a acurácia de identificação de visão caiu notavelmente para perguntas de predição de intenção em comparação com perguntas de causalidade ou contrafactuais, sugerindo que a previsão de comportamento futuro requer uma localização de evidência mais sutil.

Significância e Alegações

O artigo afirma que sua principal contribuição é mudar o paradigma de avaliação de plausibilidade da resposta para raciocínio fundamentado em evidências. Ao separar explicitamente a identificação da fonte visual da correção da resposta, o benchmark expõe falhas de fundamentação que os benchmarks tradicionais não detectam.

• Utilidade Diagnóstica: Os autores posicionam o benchmark como uma "sonda diagnóstica controlada" em vez de um recurso de treinamento de larga escala ou um leaderboard de performance saturada. Seu tamanho compacto (122 pares de QA) é intencional, projetado para testar se os MLLMs existentes conseguem identificar fontes de evidência sob prompts de múltiplas visões realistas.
• Implicações de Segurança: Na condução autônoma, o raciocínio confiável requer não apenas uma decisão correta, mas uma atribuição correta de por que essa decisão foi tomada (ou seja, qual visão do sensor suporta isso). O benchmark destaca que os modelos podem "alucinar" a atribuição de evidência, um modo de falha crítico para sistemas de segurança crítica.
• Limitações: Os autores reconhecem que o benchmark é limitado a entradas de câmera (excluindo LiDAR/radar), foca em cenários centrados em conflitos em vez de condução geral, e depende de um juiz LLM para avaliação de texto livre. Eles alertam que, como o benchmark é derivado do NuScenes, os modelos podem ter encontrado dados relacionados durante o pré-treinamento, potencialmente enviesando as estimativas absolutas de desempenho.

Em resumo, o artigo demonstra que, embora os MLLMs possam frequentemente responder corretamente a perguntas relacionadas à condução, eles frequentemente falham em identificar a visão de câmera específica que justifica suas respostas, uma lacuna que os métodos de avaliação padrão não conseguem detectar.