Resumo Técnico: Atribuição de Crédito Visual para Raciocínio Espacial Multimodal

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são cada vez mais avaliados em benchmarks de raciocínio espacial (ex: VSR, GSR-COCO) usando perguntas fechadas de sim/não. No entanto, as métricas de acurácia padrão confundem dois fenômenos distintos: um modelo respondendo corretamente devido a evidência visual genuína versus responder corretamente devido a fortes priors textuais, vieses de conjunto de dados ou hábitos de seguimento de instrução. Um modelo pode responder "sim" à pergunta "A TV está acima do gato?" corretamente, embora a imagem possa não fornecer mais suporte para essa decisão do que um prompt apenas de texto ou uma imagem em branco. Métodos de debias e contrafactuais existentes frequentemente focam em reduzir priors de linguagem ou melhorar a acurácia geral, mas não auditam explicitamente se uma decisão espacial específica e fixa recebe suporte incremental da imagem em comparação com controles sem imagem, enquanto simultaneamente mantém a consistência de relação.

Metodologia: Auditoria de Crédito Visual (VCA)

O artigo propõe a Auditoria de Crédito Visual (VCA), um framework de auditoria de nível de decisão, livre de treinamento, que separa o sucesso do benchmark em três componentes: corretude, suporte de imagem adicional e resposta consistente de relação. A VCA opera em uma interface binária fixa (ex: Sim/Não) e congela o MLLM, analisando margens de log-verossimilhança sob contextos correspondentes.

Framework de Auditoria de Dois Eixos

A VCA identifica dois estimandos distintos:

1. Dependência de Imagem Relativa (Eixo de Suporte):

   • Objetivo: Determinar se a imagem original fornece mais suporte para a decisão declarada pelo modelo do que os controles apenas de texto ($t$) ou em branco ($b$).
   • Métrica: O gap de dependência VCA ($G^{\text{img}}_i$) é definido como a diferença entre o suporte alinhado à predição da imagem original ($r_{i,o}$) e o máximo suporte dos controles sem imagem ($\max(r_{i,t}, r_{i,b})$).
   • Definição: Uma decisão é "creditada" ($D_i=1$) se $G^{\text{img}}_i > 0$. Crucialmente, isso não exige que os controles sem imagem favoreçam a resposta oposta, apenas que a imagem ofereça mais suporte do que os controles.
   • Decomposição: Isso leva a uma decomposição de quatro células da acurácia:
     • D-CC (Correto com Dependência de Crédito): Decisões corretas com vantagem de suporte de imagem.
     • C-U (Correto, mas Não Creditado): Decisões corretas onde a imagem não oferece vantagem sobre os controles de texto/branco.
     • Erros com Vantagem de Suporte: Decisões incorretas onde a imagem realmente forneceu um suporte mais forte do que os controles (uma categoria frequentemente oculta em métricas baseadas apenas em ground-truth).
     • Erros Não Creditados: Decisões incorretas sem vantagem de suporte de imagem.

2. Consistência de Relação (Eixo de Interação):

   • Objetivo: Determinar se o modelo distingue a relação espacial verdadeira de alternativas falsas em pixels fixos.
   • Métrica: O Contraste de Relação Semântica (SRC) compara a margem da consulta de relação verdadeira ($q_{r+}$) contra a margem máxima das alternativas falsas ($q_{r-}$).
   • PairCredit: Mede se a separação específica da imagem ($G_{\text{int}}$) excede a separação encontrada nos controles sem imagem.
   • Joint (Conjunto): Uma conjunção que requer tanto a consistência de relação absoluta quanto a dependência pareada.

Intervenções Diagnósticas

Para validar esses estimandos e abordar as limitações dos controles nulos (que não podem identificar a responsividade de relação), os autores empregam:

• Permutação de Imagem Correspondente: Substituir a imagem original por uma imagem não relacionada, de mesma divisão, mas determinística, para calibrar a métrica D-CC.
• Fatorial de Fonte de Evidência Controlada: Um design $3 \times 3$ variando a evidência visual (suporte à relação, oposta à relação, neutra) e a evidência textual (suportando, opondo-se, neutra) para isolar se decisões não creditadas ainda respondem a mudanças na relação visual.
• Edições Auditadas por Humanos: Um conjunto de 108 edições de imagens naturais compatíveis com geometria para verificar a correspondência entre intervenções controladas e mudanças em imagens naturais.

Principais Contribuições

1. Auditoria de Nível de Decisão Livre de Rótulos: Introduziu um método que atribui crédito a decisões declaradas sem depender de rótulos de verdade fundamental (ground-truth) para a própria auditoria. Isso recupera o ganho alinhado ao gold em itens corretos, mas de forma única, retém "erros com vantagem de suporte", fornecendo uma decomposição completa da acurácia.
2. Separação de Suporte Marginal e Resposta de Relação: Estabeleceu que controles nulos (texto/branco) não podem identificar se um modelo responde a reversões de relação. O artigo demonstra que uma decisão pode ser "não creditada" (sem vantagem marginal de imagem) mas ainda ser "responsiva à relação" (mudando corretamente quando a relação visual é revertida).
3. Análise Empírica Abrangente: Aplicou a VCA em quatro MLLMs abertos (Qwen, InternVL, LLaVA, Ministral) e dois benchmarks (VSR, GSR-COCO), utilizando 1.800 entradas fatoriais por modelo e 108 auditorias de edição independentes.

Resultados

• Prevalência de Corretude Não Creditada: Entre modelos e conjuntos de dados, 12,73% a 26,25% das decisões corretas são "não creditadas" (C-U), significando que a imagem não forneceu suporte adicional sobre os controles apenas de texto ou em branco.
• Especificidade da Imagem: A permutação de imagem correspondente reduz o D-CC em 21,25 a 47,80 pontos em todas as execuções, com intervalos de confiança de 95% estritamente acima de zero. Isso confirma que a vantagem da imagem original é específica ao seu conteúdo, não apenas à presença de qualquer imagem.
• Responsividade de Relação em Casos Não Creditados: Entre as decisões corretas-mas-não-creditadas, de 81,57% a 100,00% dos modelos ainda respondem corretamente a reversões de relação no setup fatorial. Além disso, 32,11% dessas decisões não creditadas de fato invertem sua resposta binária quando a relação é revertida, provando que não são puramente impulsionadas por texto.
• Correspondência Natural: Nas edições de imagens naturais auditadas por humanos, 25,00% das decisões corretas-na-origem, mas não creditadas, invertem-se com sucesso com a visibilidade, confirmando que casos responsivos não creditados existem em imagens naturais, não apenas em renderizações procedurais.
• Decomposição: O framework revela que a acurácia agregada mascara uma variação significativa em como os modelos utilizam a evidência visual. Por exemplo, no GSR-COCO, o Qwen atinge 90,91% de acurácia, mas apenas 78,18% dos exemplos são simultaneamente corretos e suportados pela imagem.

Significância e Alegações

O artigo alega que a VCA fornece uma decomposição necessária do sucesso do benchmark que a acurácia sozinha não pode oferecer.

• Além da Acurácia: Argumenta que "corretude" e "suporte visual" são dimensões distintas. Um modelo pode ser acurado, mas depender de priors (C-U), ou ser impreciso, mas utilizar corretamente a evidência visual (erros com vantagem de suporte).
• Rigor Metodológico: Ao separar o estimando de "suporte marginal" do estimando de "resposta de relação", a VCA evita a confusão encontrada em métodos de controle nulo existentes. Demonstra que controles nulos são insuficientes para identificar respostas visuais específicas de relação.
• Utilidade Prática: A VCA serve como um companheiro post-hoc para a acurácia, oferecendo um "relatório em camadas" que ajuda a diagnosticar se melhorias no raciocínio espacial derivam de evidência visual genuína ou de priors de resposta mais fortes. Não pretende substituir a acurácia, mas sim refinar a interpretação do sucesso do benchmark.
• Limitações: Os autores observam modestamente que a VCA mede o suporte relativo sob controles pré-especificados, não caminhos causais internos ou atribuição ao nível de pixel. É projetada para interfaces de escolha forçada fixa e não aborda diretamente a geração aberta e não restrita.