Resumo Técnico: Mal Posto por Design: Sondando o Uso de Evidências em VLMs

Declaração do Proble Problema

A análise contrafactual é uma ferramenta padrão para estudar o uso de evidências em Modelos de Visão-Linguagem (VLMs), mas seu valor diagnóstico é limitado em tarefas bem postas. Em tarefas como o reconhecimento de objetos, múltiplas pistas visuais frequentemente sustentam a mesma resposta de forma independente; mascarar uma pista pode deixar a previsão inalterada, tornando impossível distinguir entre uma pista que não foi usada versus uma que é meramente redundante.

Este artigo propõe a estimativa de tamanho de objeto por métrica monocular como um cenário de diagnóstico mal posto. Como a escala física não pode ser determinada a partir de uma única imagem não calibrada sem pistas estéreo ou referências conhecidas, a tarefa é fundamentalmente subdeterminada. Os modelos devem confiar em pistas imperfeitas e potencialmente conflitantes, como priors de categoria, aparência do alvo, contexto local, tamanho aparente da imagem e geometria da cena. As métricas de acurácia padrão colapsam essas estratégias em um único escore, obscurecendo qual canal de evidência específico o modelo utiliza ou deixa de utilizar.

Metodologia

Benchmark: Metric VQA

Os autores introduzem o Metric VQA, um benchmark composto por 10.813 consultas de dimensões emparelhadas com medições de verdade fundamental (ground-truth), dividido em dois conjuntos de dados complementares:

1. Divisão derivada do Objectron (10.482 consultas): Quadros curados do conjunto de dados Objectron com verdade fundamental de caixa delimitadora 3D, cobrindo nove categorias de objetos cotidianos.
2. Divisão In-the-Wild (ITW) (331 consultas): Cenas do mundo real desordenadas com verdade fundamental medida com fita métrica, contendo múltiplos objetos com oclusão arbitrária e iluminação.

Intervenções Contrafactuais

A metodologia central envolve a aplicação de seis intervenções ao nível da imagem enquanto se mantém fixa a consulta de linguagem natural. Essas intervenções sondam seis canais de evidência distintos:

1. Apenas texto (Text-only): Removendo a modalidade de imagem inteiramente (ou substituindo-a por uma imagem cinza) para medir a dependência de priors de linguagem.
2. Pixels do Alvo (Target Pixels): Mascarando toda a cena exceto pelo objeto alvo (object_only).
3. Identidade do Alvo (Target Identity): Trocando o objeto alvo por um objeto diferente na mesma cena (wrong_object), preservando a localização e as estatísticas da cena.
4. Contexto Local (Local Context): Mantendo o alvo e um anel fino de contexto circundante (object_ring).
5. Tamanho Aparente (Apparent Size): Redimensionando o objeto alvo dentro da imagem (zoom-in 1.4× e zoom-out 0.6×) para testar a sensibilidade à pegada de pixels.
6. Geometria da Cena Global (Global Scene Geometry): Aplicando distorção de lente radial (barril e almofada) para perturbar as estruturas de ponto de fuga enquanto preserva a identidade do objeto.

Configuração de Avaliação

O estudo avalia 12 VLMs de pesos abertos variando de 3B a 397B de parâmetros (incluindo as famílias Qwen, InternVL, LLaVA e Molmo). O desempenho é medido contra:

• Um LLM de fronteira apenas de texto (ChatGPT 5.5) consultado sem imagens.
• Uma linha de base humana no conjunto ITW.
• Acc@10% (fração de previsões dentro de 10% da verdade fundamental) é a métrica primária.

Os autores também analisam o ajuste fino via LoRA como uma intervenção acionável, treinando adaptadores no conjunto Objectron para observar como o aprendizado supervisionado altera os padrões de seleção de evidências.

Resultados Principais

1. Priors de Linguagem Dominam no Mundo Real

Mesmo os maiores VLMs abertos testados (Qwen3.5-397B, InternVL3.5-241B) ficam atrás de um LLM de fronteira apenas de texto no conjunto in-the-wild do Metric VQA. Isso indica que, para estimativa métrica, priors de linguagem de nível de categoria fortes frequentemente explicam mais a variância do desempenho do que a evidência visual em ambientes não estruturados.

2. Uso de Evidência Estratificado

As assinaturas contrafactuais revelam um padrão hierárquico de dependência de evidência:

• Identidade do Alvo é o Elemento de Carga (Load-Bearing): Substituir o objeto alvo causa as quedas de acurácia mais consistentes e significativas em todos os modelos, indicando que os modelos condicionam as estimativas fortemente no que objeto está visível.
• Pixels do Alvo e Contexto Local são Seletivos: Apenas um subconjunto de modelos maiores utiliza os pixels brutos do alvo para estimativa métrica. O contexto local fornece um benefício menor e dependente do modelo, e para alguns modelos, a desordem da cena atua como um distrator em vez de uma pista.
• Tamanho Aparente é Não Direcional: Embora as previsões mudem quando o tamanho do objeto muda, as mudanças não são direcionalmente consistentes (ex: o zoom-in não aumenta sistematicamente o tamanho previsto). O tamanho aparente atua como um sinal desestabilizador para muitos modelos em vez de uma pista métrica confiável.
• Geometria da Cena é Amplamente Não Utilizada: A geometria da cena global (perspectiva/pontos de fuga) é o canal mais fraco; apenas um modelo mostrou uma queda de acurácia confiável sob distorção de lente, e nenhum modelo exibiu comportamento direcionalmente consistente.

3. Limitações do Ajuste Fino LoRA

O ajuste fino supervisionado via LoRA melhora a acurácia geral na tarefa de estimativa métrica. No entanto, a análise mostra que os modelos não aprendem a utilizar a geometria da cena ou a desenvolver um novo entendimento de geometria visual. Em vez disso, o ajuste fino melhora os canais específicos que o modelo base já utiliza parcialmente (ex: estabilizando priors de linguagem, aprofundando a sensibilidade à identidade do alvo ou utilizando o contexto local). A tarefa é aprendível, mas o mecanismo é o reparo de canais fracos existentes em vez da aquisição de novas capacidades geométricas.

Significância e Alegações

O artigo argumenta que tarefas mal postas servem como uma ferramenta de diagnóstico superior para sistemas multimodais em comparação com benchmarks bem postos. Ao forçar os modelos a escolher entre fontes de evidência imperfeitas e não redundantes, as intervenções contrafactuais isolam padrões específicos de uso de pistas que as métricas de acurácia agregadas escondem.

Principais Conclusões:

• Diagnóstico sobre Ranking: O estudo prioriza entender como os modelos raciocinam (seleção de evidência) em vez de simplesmente ranquear modelos por acurácia.
• A Ilusão da Medição Visual: A estimativa de centímetros de um VLM não deve ser tratada como uma medição confiável. Ela é melhor compreendida como um prior de nível de categoria com modulação visual seletiva e dependente do modelo.
• Limitações do Treinamento Atual: O ajuste fino padrão de perda de próximo token (next-token-loss) via LoRA falha em induzir um entendimento genuíno de geometria de cena, sugerindo que os paradigmas de treinamento atuais podem não ser suficientes para preencher a lacuna entre priors de linguagem e raciocínio físico.

Os autores disponibilizam o Metric VQA (dados, variantes de intervenção, previsões e código) para apoiar a análise diagnóstica reprodutível do uso de evidências em futuros sistemas multimodais.