What's Missing in Vision-Language Models? Probing Their Struggles with Causal Order Reasoning

Resumo Técnico: O que falta nos Modelos de Visão-Linguagem? Investigando suas dificuldades com o raciocínio de ordem causal

Declaração do Problema
Apesar do desempenho impressionante dos Modelos de Visão-Linguagem (VLMs) em tarefas de jusante, como o questionamento visual (VQA) e detecção de objetos, sua capacidade de compreender e raciocinar sobre relações causais em entradas visuais permanece incerta. Os benchmarks existentes frequentemente confundem o raciocínio causal com outros tipos de raciocínio ou permitem que os modelos explorem "atalhos" baseados no reconhecimento de objetos e identificação de atividades para chegar a respostas corretas sem uma compreensão causal genuína. Consequentemente, as avaliações atuais falham em isolar e avaliar rigorosamente a capacidade específica de um modelo para o raciocínio causal. Além disso, não se sabe se os VLMs conseguem distinguir entre direções causais válidas e inválidas (por exemplo, distinguir "A chuva faz com que a mulher segure um guarda-chuva" de "Segurar um guarda-chuva faz com que chova").

Metodologia
Para abordar essas lacunas, os autores propõem um framework abrangente envolvendo novos benchmarks, tarefas de avaliação controladas, análise de nível de dados e estratégias de ajuste fino direcionadas.

1. Novos Benchmarks (VQA-Causal e VCR-Causal):
   Os autores introduzem dois novos conjuntos de dados especificamente projetados para isolar o raciocínio causal.

• Construção: Derivados dos conjuntos de validação de VQA e VCR, os conjuntos de dados consistem em 1.947 e 3.511 instâncias, respectivamente.
• Formato: Cada imagem é emparelhada com 12 pares de legendas. Dentro de cada par, as legendas são idênticas, exceto pela ordem causal (por exemplo, "O Evento A é causado pelo Evento B" vs. "O Evento B é causado pelo Evento A").
• Conjunções Causais: Os conjuntos de dados utilizam 12 conjunções causais distintas (por exemplo, é causado por, porque, resulta em, leva a) para testar a sensibilidade às variações de ordenação sintática.
• Avaliação: Os modelos são avaliados em um cenário zero-shot. A métrica mede a proporção de imagens onde o modelo atribui uma pontuação de correspondência mais alta à legenda causal correta do que à incorreta.

2. Avaliação Controlada (Teste de Compreensão de Objeto e Atividade):
   Para determinar se o baixo desempenho causal decorre de uma falta de compreensão visual básica, os autores construíram um conjunto de teste modificado. Este conjunto inclui as mesmas imagens do VQA-Causal, mas as emparelha com legendas que descrevem objetos e atividades diretamente, em vez de relações causais. Isso isola o reconhecimento de características de baixo nível do raciocínio de alto nível.

3. Análise de Nível de Dados:
   Os autores investigaram a prevalência de expressões causais em corpora de treinamento de larga escala (LAION-400M, MSCOCO) e em conjuntos de dados de benchmark (VQA, VCR). Eles quantificaram a frequência de termos causais explícitos para explicar potenciais deficiências de treinamento.

4. Estratégia de Ajuste Fino (CausalCLIP):
   Para mitigar as limitações identificadas, os autores desenvolveram uma abordagem de ajuste fino usando casos de "negativos difíceis" (hard negatives).

• Dados: Eles extraíram 4.891 perguntas do tipo "Por que" do conjunto de treinamento do VQA e geraram pares de legendas que diferem apenas na direção causal.
• Treinamento: Usando uma arquitetura baseada em CLIP (NegCLIP), eles estenderam o objetivo de aprendizado contrastivo. Para cada imagem, o modelo é treinado para distinguir a legenda causal correta da legenda de ordem causal incorreta (negativo difícil) e de outras legendas negativas aleatórias.

Resultos Principais

• Lacuna de Desempenho: Em 12 VLMs avaliados (incluindo variantes do CLIP, BLIP, LLaVA e Qwen), o desempenho no VQA-Causal e VCR-Causal foi pobre. Dez de doze modelos alcançaram uma precisão não superior a 52%, o que é apenas marginalmente acima do acaso (50%) e significativamente abaixo do desempenho humano (~98%).
• Baixo Nível vs. Alto Nível: No Teste de Compreensão de Objeto e Atividade, os modelos demonstraram um forte desempenho (70–95% de precisão), confirmando que a falha no raciocínio causal não se deve à incapacidade de reconhecer objetos ou atividades, mas sim a uma falha em capturar as relações de alto nível entre eles.
• Escassez de Dados: A análise revelou que expressões causais explícitas são extremamente raras nos dados de treinamento: apenas ~0,08% no LAION-400M e ~0,01% no MSCOCO. Da mesma forma, apenas 0,92% das perguntas de VQA e 35,43% de VCR envolvem raciocínio causal, com quase metade das perguntas causais de VCR sendo solucionáveis via atalhos de objeto/atividade.
• Eficácia do Ajuste Fino: O modelo ajustado, CausalCLIP, mostrou melhorias significativas. Ele alcançou 61,46% de precisão no benchmark in-domain VQA-Causal e 57,37% no out-of-domain VCR-Causal. Crucialmente, esse aumento foi alcançado sem degradar o desempenho de recuperação de jusante no MSCOCO e Flickr30K.
• Sensibilidade Sintática: Os modelos exibiram sensibilidades variadas às conjunções causais. Por exemplo, variantes do CLIP tiveram melhor desempenho quando o efeito precedia a causa (ex: é causado por) mas tiveram dificuldade quando a causa precedia o efeito (ex: resulta em).

Significância e Alegações
O artigo afirma fornecer os primeiros benchmarks rigorosos e independentes para avaliar o raciocínio causal em VLMs, indo além das vulnerabilidades de "atalho" dos conjuntos de dados existentes. Os autores argumentam que a principal limitação dos atuais VLMs no raciocínio causal é uma questão de nível de dados: a escassez de expressões causais explícitas nos corpora de pré-treinamento impede que os modelos aprendam essas relações naturalmente.

O estudo demonstra que, embora os VLMs se destaquem no reconhecimento de características visuais de baixo nível, eles carecem de capacidades robustas de raciocínio causal. No entanto, os autores mostram que o ajuste fino direcionado com exemplos de negativos difíceis pode efetivamente preencher essa lacuna, aumentando as habilidades de raciocínio causal enquanto mantém a generalização e o desempenho de jusante. O trabalho destaca uma área crítica para pesquisas futuras, sugerindo que abordar a compreensão causal requer não apenas mudanças arquitetônicas, mas também uma reavaliação da composição dos dados de treinamento.