Resumo Técnico: Da Acurácia à Dependência Visual: Auditoria e Filtragem de Colapso de Modalidade em VideoQA de Tráfego

1. Declaração do Problema

A alta acurácia em benchmarks de Video Question Answering (VideoQA) não garante que os modelos estejam utilizando evidências visuais. No domínio da análise de acidentes de trânsito, as respostas corretas deveriam, teoricamente, depender de pistas visuais específicas da cena (ex: interações entre veículos, dinâmica temporal, estruturas causais). No entanto, os modelos frequentemente exibem colapso de modalidade, onde dependem de atalhos textuais, priors de linguagem ou artefatos específicos do conjunto de dados para responder corretamente, ignorando efetivamente a entrada de vídeo.

Este modo de falha é particularmente crítico em aplicações de segurança crítica, como a análise de acidentes de trânsito, onde os sistemas devem ter sucesso porque compreendem a cena visual, e não porque exploram artefatos de anotação. O artigo argumenta que os benchmarks atuais frequentemente falham em distinguir o raciocínio visual genuíno da exploração de atalhos, uma vez que uma alta acurácia pode ser alcançada mesmo quando a entrada de vídeo é removida ou quando a adição de mais quadros degrada o desempenho.

2. Metodologia

Os autores propõem uma estrutura de diagnóstico para auditar e filtrar o colapso de modalidade tanto no nível do conjunto de dados quanto no nível da instância.

2.1 Diagnósticos ao Nível do Conjunto de Dados

Os autores introduzem duas métricas para quantificar a dependência visual através de um benchmark:

• Blind Gap (BG - Lacuna Cega): Mede o quanto a acurácia apenas com texto excede o acaso aleatório.
  $$\text{BlindGap}(D) = \text{Acc}_{\text{blind}} - \text{Acc}_{\text{random}}$$
  Um BG alto indica que o benchmark é solucionável usando apenas texto.
• Visual Gain (VG - Ganho Visual): Mede o benefício marginal da adição de entrada de vídeo.
  $$\text{VisualGain}(D) = \text{Acc}_{\text{video}} - \text{Acc}_{\text{blind}}$$
  Um VG positivo indica evidência visual útil, enquanto um VG negativo sugere que a entrada de vídeo degrada ativamente o desempenho ou é ignorada.

2.2 Diagnóstico de Atalho ao Nível da Instância

Para identificar perguntas específicas que impulsionam o comportamento de atalho, os autores definem um Score de Atalho ($S(q)$) contínuo para cada pergunta $q$:

• Score de Evidência Textual ($T(q)$): Mede a confiança e a correção de Grandes Modelos de Linguagem (LLMs) apenas de texto. É calculado como a média das predições corretas ponderadas pela confiança através de um painel de modelos apenas de texto.
  $$T(q) = \frac{1}{|\mathcal{M}_{\text{LLM}}|} \sum_{m \in \mathcal{M}_{\text{LLM}}} [\text{Correct}_m(q)] \cdot (1 - H_{\text{norm}, m}(q))$$
• Score de Necessidade Visual ($V(q)$): Mede se a adição de vídeo aumenta a probabilidade atribuída à resposta correta.
  $$V(q) = \frac{1}{|\mathcal{M}_{\text{VLM}}|} \sum_{m \in \mathcal{M}_{\text{VLM}}} \frac{\Delta_m(q)}{1 - 1/K}$$
  onde $\Delta_m(q)$ é o ganho de probabilidade para a resposta correta quando o vídeo é adicionado.
• Score de Atalho ($S(q)$): Combina estes sinais:
  $$S(q) = T(q) - V(q)$$
  Um $S(q)$ alto indica uma pergunta propensa a atalhos (alta solucionabilidade textual, baixa necessidade visual), enquanto um $S(q)$ baixo ou negativo indica uma pergunta visualmente útil.

2.3 Filtragem Consciente de Atalhos

Os autores propõem a construção de um subconjunto "fundamentado" (grounded) do conjunto de dados, retendo apenas perguntas onde $S(q) \leq \tau$. Esta filtragem é livre de treinamento e contínua, permitindo um equilíbrio entre a cobertura de dados e a remoção de amostras propensas a atalhos.

3. Principais Contribuições

1. Auditoria de Benchmarks de Traffic VideoQA: O artigo audita quatro benchmarks públicos (MM-AU, VRU-Accident, SUTD-TrafficQA e AccidentBench) utilizando Modelos de Linguagem-Visão (VLMs) de pesos abertos e LLMs apenas de texto.
2. Métricas de Diagnóstico: Introdução de Blind Gap e Visual Gain para quantificar o colapso de modalidade ao nível do conjunto de dados.
3. Score de Atalho: Uma métrica contínua e inovadora ao nível da instância que combina confiança apenas de texto com sinais de necessidade visual para identificar e filtrar perguntas propensas a atalhos sem treinamento auxiliar.
4. Estrutura de Filtragem: Um método para gerar subconjuntos de avaliação "fundamentados" que reduzem o viés de atalho e melhoram as métricas de fundamentação visual.

4. Resultados Experimentais

Os autores avaliaram múltiplos VLMs (ex: InternVL, Qwen-VL, LLaVA-OneVision) e LLMs apenas de texto através dos quatro benchmarks.

• Disparidades de Benchmark:
  • MM-AU: Exibe colapso de modalidade extremo. Remover o vídeo consistentemente melhorou a acurácia, e adicionar mais quadros (até 256) degradou ainda mais o desempenho. O Blind Gap foi alto (até 40,33%), e o Visual Gain foi negativo para todos os VLMs. LLMs apenas de texto igualaram ou excederam o desempenho dos VLMs.
  • VRU-Accident: Mostrou um Visual Gain positivo, mas ainda sofreu com um Blind Gap alto (até 25%), indicando solucionabilidade textual parcial.
  • SUTD-TrafficQA: Demonstrou a dependência visual mais forte, com baixo Blind Gap (<9%) e um Visual Gain consistentemente positivo (~11-12%).
  • AccidentBench: Ficou entre esses extremos, com baixo Blind Gap e um Visual Gain modesto.
• Eficácia da Filtragem:
  • Aplicar o filtro de Score de Atalho (com $\tau = 0.1$) ao MM-AU e VRU-Accident reduziu significativamente o Blind Gap e transformou o Visual Gain negativo em valores positivos.
  • No MM-AU, a filtragem reduziu o BG de 25,70% para 10,38% e mudou o VG de -0,24% para 7,42%.
  • Baselines de filtragem binária (LLM-Inspector, B-Clean) foram menos eficazes; o B-Clean, por exemplo, removeu perguntas visualmente úteis junto com os atalhos, resultando em um Visual Gain fortemente negativo.
• Análise de Causa Raiz: O artigo identifica padrões de texto repetitivos e formulações de resposta (ex: estruturas de frases específicas aparecendo centenas de vezes) como o principal motor de atalhos no MM-AU.
• Impacto do Treinamento: O ajuste fino (fine-tuning) de modelos em dados de tráfego melhorou a acurácia de vídeo, mas não melhorou necessariamente a fundamentação visual (BG e VG permaneceram estáveis ou negativos nos subconjuntos padrão), sugerindo que ganhos de acurácia não equivalem a um raciocínio visual genuíno.

5. Significância e Alegações

O artigo afirma que a acurácia do benchmark sozinha é insuficiente para avaliar o progresso em VideoQA de segurança crítica. As descobertas revelam que:

• Vários benchmarks de acidentes de trânsito amplamente utilizados permitem que os modelos tenham sucesso explorando atalhos textuais em vez de evidências visuais.
• A avaliação visualmente fundamentada, medida por métricas como Blind Gap e Visual Gain, é essencial para distinguir o raciocínio genuíno da exploração de atalhos.
• O Score de Atalho proposto fornece um mecanismo prático e livre de treinamento para curar subconjuntos de avaliação que refletem melhor a capacidade de um modelo de usar evidência visual.
• A construção de futuros conjuntos de dados deve evitar formatos de perguntas repetitivos e formulações de respostas idênticas para evitar que os modelos explorem padrões de alta frequência.

Os autores concluem que, para que sistemas multimodais sejam confiáveis em domínios de segurança crítica, eles devem ser avaliados por sua capacidade de depender de evidências visuais, e não apenas por seus escores de acurácia final.