CounterCount: A Diagnostic Framework for Counting Bias in Vision Language Models

Resumo Técnico: CounterCount: Uma Estrutura Diagnóstica para Viés de Contagem em Modelos de Linguagem Visual

Declaração do Problema
Os Modelos de Linguagem Visual (VLMs) demonstraram capacidades robustas no raciocínio multimodal, principalmente ao aproveitar Modelos de Linguagem de Grande Escala (LLMs) como bases textuais. No entanto, permanece uma ambiguidade crítica: quando um VLM responde a uma pergunta visual, a previsão é fundamentada na evidência visual específica ou é impulsionada por regularidades estatísticas e "priors canônicos" aprendidos de corpora textuais? Essa questão é particularmente aguda em tarefas de contagem. Embora a contagem pareça simples, ela exige que os modelos identifiquem entidades, as distingam de distratores e agreguem evidências visuais. Os VLMs atuais frequentemente têm dificuldade com a contagem, e análises anteriores sugerem que, mesmo quando objetos relevantes recebem atenção, os modelos podem falhar em utilizar corretamente essa evidência, recorrendo, em vez disso, a conhecimento prototípico (por exemplo, assumir que um coelho tem duas orelhas, independentemente do conteúdo da imagem). Benchmarks existentes frequentemente confundem erros de contagem com outros fatores, como viés de prompt ou ambiguidade semântica, tornando difícil isolar falhas impulsionadas especificamente pelo conflito entre evidência visual e priors linguísticos.

Metodologia
Para abordar isso, os autores introduzem o CounterCount, uma estrutura diagnóstica projetada para isolar conflitos entre evidência visual e priors de contagem em nível de objeto.

1. Construção do Conjunto de Dados:

   • Pares Contrafactuais: O conjunto de dados consiste em 168 pares de imagens (336 no total) abrangendo 10 categorias semânticas (por exemplo, mamíferos, transporte, moeda). Cada par inclui uma imagem "factual" com atributos de objeto canônicos e uma imagem "contrafactual" (CF) onde um atributo relevante para a contagem (por exemplo, número de orelhas, rodas ou lâminas) é alterado sistematicamente usando modelos de edição de imagem (Nano-Banana Pro).
   • Localização: Diferentemente de benchmarks padrão, o CounterCount fornece anotações em nível de região. Para cada imagem CF, os autores geram máscaras de segmentação e caixas delimitadoras (BBs) para os atributos modificados. Estes são mapeados para a grade de tokens visuais do codificador visual para criar regiões "Máscara-BB", isolando os tokens visuais específicos necessários para a contagem.
   • Formatos de Avaliação: Cada instância é avaliada usando prompts de Resposta Aberta (OE) e Perguntas de Múltipla Escolha (MCQ) com distratores equilibrados para distinguir entre contagem genérica incorreta e erros impulsionados por priors.

2. Análise Diagnóstica:

   • Os autores avaliam VLMs recentes de pesos abertos (Qwen3-VL, Gemma3) e um modelo de código fechado (Claude-haiku-4.5).
   • Eles analisam mecanismos de atenção para determinar se as falhas decorrem de uma falta de localização ou de uma falha em ponderar evidências localizadas. Os resultados indicam que, embora os modelos frequentemente atendam às regiões relevantes, eles subponderam esses tokens em relação ao fundo ou contexto irrelevante durante o raciocínio.

3. Estratégia de Intervenção:

   • O artigo propõe uma estratégia de Modulação Unificada de Atenção no Tempo de Inferência. Este método opera sobre os logits de atenção brutos da base do LLM antes da camada softmax.
   • Permite a amplificação ($\alpha > 1$), supressão ($0 < \beta < 1$) ou mascaramento ($\beta = 0$) de conjuntos específicos de tokens visuais (Alvo), enquanto simultaneamente atenua tokens de fundo.
   • Esta formulação unifica várias intervenções (amplificação, supressão, mascaramento) em um único espaço contínuo de modulação de logits, permitindo o reequilíbrio direcionado das contribuições de modalidade sem retreinamento.

Principais Contribuições

• Conjunto de Dados CounterCount: Um conjunto de dados diagnóstico controlado com imagens factuais e contrafactuais emparelhadas e anotações localizadas (máscaras e caixas delimitadoras), projetado especificamente para testar o ancoramento visual contra priors canônicos.
• Insight Diagnóstico: Evidência empírica mostrando que os VLMs exibem desempenho forte em imagens factuais, mas sofrem degradação consistente de precisão em imagens contrafactuais. Isso confirma uma dependência de priors em nível de objeto, mesmo quando evidência visual contraditória está presente.
• Análise de Atenção: Demonstração de que as falhas de contagem não são devidas apenas à ausência de evidência visual ou à localização precária; ao contrário, os modelos atendem às regiões relevantes, mas falham em ponderá-las suficientemente contra priors linguísticos e ruído de fundo.
• Intervenção sem Retreinamento: Uma estratégia unificada de modulação de atenção que melhora a precisão de contagem contrafactual em até 8% em vários VLMs, reponderando tokens visuais relevantes para a contagem no momento da inferência.

Resultados

• Queda de Desempenho: Em imagens factuais, os modelos alcançam alta precisão (por exemplo, Qwen3-VL-32B: ~87%, Gemma3: ~66–81%). No entanto, em imagens contrafactuais, a precisão cai significativamente (por exemplo, Qwen3-VL-32B: ~48%, Gemma3: ~34–38%), com altas taxas de viés em direção à contagem canônica.
• Eficácia da Modulação: Aplicar modulação de atenção (especificamente amplificando tokens de alvo e atenuando/mascarando tokens de fundo) melhora a precisão contrafactual. Por exemplo, o Qwen3-VL-32B viu uma melhoria de 8,26% na precisão de Resposta Aberta.
• Redução de Viés: A intervenção desloca com sucesso as previsões dos priors canônicos em direção à evidência visual, reduzindo a taxa de viés em várias configurações.
• Generalização: As descobertas mantêm-se em diferentes escalas de modelo (de 4B a 32B) e em ambas as arquiteturas de pesos abertos e código fechado, sugerindo um problema sistêmico no raciocínio atual dos VLMs.
• Estabilidade Factual: As estratégias de modulação geralmente não degradam o desempenho em imagens factuais e, em alguns casos, melhoram-no, indicando que o método aprimora o foco em tokens semanticamente relevantes sem prejudicar a compreensão geral.

Significado
O artigo afirma que o CounterCount expõe uma falha de raciocínio persistente nos VLMs atuais, onde previsões de contagem são impulsionadas por conhecimento prévio em vez de evidência visual, mesmo quando a evidência visual é explícita e localizada. O significado reside em:

1. Isolar o Modo de Falha: Fornecer um ambiente controlado para distinguir entre limitações perceptivas e desequilíbrio de modalidade (o subuso de evidência visual em favor de priors linguísticos).
2. Insight Mecanístico: Mostrar que as falhas ocorrem não porque os modelos não conseguem "ver" a contagem, mas porque falham em priorizar os tokens visuais associados à contagem durante o processo de raciocínio.
3. Orientação de Design: Oferecer um mecanismo sem retreinamento, no tempo de inferência, para sondar e mitigar esses vieses, fornecendo um caminho para projetar VLMs futuros com ancoragem visual mais forte. Os autores observam que, embora a intervenção melhore a precisão, ela não elimina totalmente o viés, sugerindo que mudanças arquitetônicas mais profundas podem ser necessárias para um ancoramento visual robusto.