Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models

Resumo Técnico: Circuitos de Contagem e Interpretabilidade Mecanística em LVLMs

1. O Problema

As Grandes Modelos Visuais-Linguísticos (LVLMs) demonstraram capacidades impressionantes de raciocínio visual, mas falham surpreendentemente em tarefas básicas de contagem. O estudo revela que modelos de ponta (como Qwen2.5-VL e LLaVA) têm dificuldade em contar até mesmo conjuntos simples de menos de dez objetos (pontos pretos ou polígonos), uma tarefa trivial para a visão humana.

A questão central investigada é: Essa falha é devido a uma falta de mecanismos de raciocínio ou a uma "alucinação estatística" baseada em priores de linguagem?
Os autores propõem que a contagem não é apenas uma tarefa isolada, mas um teste fundamental para o raciocínio visual, exigindo que o modelo:

1. Individue entidades discretas.
2. Mantenha representações intermediárias.
3. Agregue informações sob restrições arquitetônicas.

Além disso, observa-se uma desconexão entre o desempenho em dados sintéticos simples (pontos pretos) e dados realistas complexos, sugerindo vieses nos dados de treinamento e uma falta de mecanismos robustos de contagem.

2. Metodologia e Abordagem

O trabalho combina benchmarks controlados com análises de interpretabilidade mecanística para desvendar como os LVLMs processam a contagem internamente.

A. Benchmarks e Dados:

• SynDot e SynPoly: Imagens sintéticas geradas com PIL (pontos pretos e polígonos coloridos em fundo branco) para isolar a variável numérica de texturas e fundos complexos.
• SynReal: Imagens fotorealistas geradas por FLUX.1-dev para testar a generalização.
• Avaliação: Métricas incluem Acurácia Exata (ACC), Erro Absoluto Médio (MAE), RMSE e Acurácia "Off-by-one" (OBO).

B. Alinhamento Cognitivo:
Os autores demonstram que os LVLMs exibem um comportamento análogo ao humano:

• Subitização (Subitizing): Alta precisão para pequenos conjuntos (1-4 objetos).
• Estimação Ruidosa: Degradação do desempenho e sobreposição de clusters no espaço latente para quantidades maiores, refletindo uma transição de contagem exata para estimativa de magnitude.

C. Descoberta de Circuitos (Interpretabilidade):
Para entender o "como" interno, foram desenvolvidas duas novas técnicas de interpretabilidade:

1. Visual Activation Patching (VAP): Uma adaptação da técnica de "patching" de ativação para inputs multimodais. Ao substituir estados ocultos de imagens "corrompidas" (número diferente) por imagens "limpas", os autores mapearam o fluxo de informação:
   • Camadas Iniciais (1-14): Foco em Visual Grounding (extração de características visuais).
   • Camadas Médias (15-22): Cross-Modal Routing (tradução de features visuais para conceitos numéricos abstratos).
   • Camadas Tardias (23-28): Counting Aggregation (agregação da resposta final baseada no prompt de texto).
2. HeadLens: Uma ferramenta inovadora que decodifica a saída de cabeças de atenção individuais em tokens semânticos sem modificar a estrutura do modelo. Utilizando a aditividade linear da projeção de atenção, o HeadLens identifica quatro categorias funcionais de cabeças:
   • Visual Grounding Heads: Extraem cor e forma.
   • Cross-Modal Routing Heads: Conectam visão e linguagem numérica.
   • Counting Aggregation Heads: Focam no prompt de texto para gerar o número final.
   • Awareness Heads: Detectam existência de objetos e estimam a dificuldade da tarefa.

D. Estratégia de Intervenção:
Baseado na descoberta dos circuitos, os autores propõem uma estratégia de ajuste fino (fine-tuning) leve e direcionada:

• Dados: Apenas 8.000 imagens sintéticas simples (pontos/polígonos).
• Objetivos de Treinamento:
  1. Regularizador de Atenção Focada em Objetos: Força as cabeças de atenção a focarem nos centros dos objetos (usando um kernel gaussiano).
  2. Ajuste Adaptativo de Temperatura da Cabeça (Adaptive Head Temperature Tuning): Reduz a entropia da atenção nas cabeças críticas de roteamento e agregação para afiar seu foco nos tokens relevantes.
• Fine-tuning: Supervisionado (SFT) apenas nos tokens de resposta numérica, utilizando LoRA.

3. Principais Contribuições

1. Alinhamento Cognitivo: Evidência de que LVLMs replicam a desconexão humana entre subitização e estimativa, com falhas explicadas pelo emaranhamento topológico de estados ocultos para números maiores.
2. Inovação Metodológica: Introdução do Visual Activation Patching para visão e do HeadLens para decodificação semântica de cabeças de atenção, superando métodos anteriores (como Logit Lens ou AttentionLens) em precisão e eficiência.
3. Descoberta de Circuitos: Identificação de um "circuito de contagem" estruturado e compartilhado, composto por cabeças específicas de grounding, roteamento e agregação.
4. Melhoria de Desempenho: Demonstração de que melhorar apenas a contagem com dados sintéticos simples eleva o raciocínio visual geral.

4. Resultados

A intervenção proposta foi testada em três modelos: Qwen2.5-VL-7B, Qwen3-VL-8B e LLaVA-1.5-7B.

• Contagem Out-of-Distribution (OOD):
  • Aumento médio de +8,36% na precisão em benchmarks de contagem realista (SynReal, PixMo-Count), apesar de o treinamento ser apenas em dados sintéticos simples.
  • Redução significativa no MAE e RMSE.
• Raciocínio Visual Geral:
  • O modelo Qwen2.5-VL-7B apresentou um ganho médio de +1,54% em benchmarks gerais de raciocínio visual (MMMU, RealWorldQA, MathVista).
  • Isso prova que o circuito de contagem é fundamental para o raciocínio visual mais amplo, e não apenas uma habilidade isolada.
• Validação de Controle:
  • Um experimento de controle mostrou que treinar o modelo apenas para reconhecimento de cor e forma (tarefa puramente perceptiva) não gerou melhorias no raciocínio geral, confirmando que a melhoria vem da natureza de "raciocínio" da contagem, não apenas do ajuste de dados sintéticos.
• Análise de Circuitos:
  • Alta sobreposição (Jaccard > 33%) entre as cabeças de atenção críticas para contagem e as cabeças para tarefas de raciocínio complexo (matemática, relações espaciais), explicando a transferência de aprendizado.

5. Significado e Conclusão

Este trabalho estabelece que a contagem é um pilar fundamental da inteligência visual em LVLMs. Ao contrário de tarefas puramente perceptivas, a contagem exige mecanismos de raciocínio (individuação, rastreamento e agregação) que são compartilhados com tarefas complexas de raciocínio visual.

A descoberta de que um "circuito de contagem" específico pode ser identificado, isolado e aprimorado através de intervenções leves em dados sintéticos simples oferece um caminho promissor para melhorar a capacidade geral de raciocínio de modelos multimodais. Em vez de treinar massivamente em dados complexos, otimizar os mecanismos primitivos de contagem pode desbloquear melhorias generalizadas em raciocínio visual, sugerindo que a contagem é uma "primitiva" essencial para a inteligência visual artificial.