GroundCount: Grounding Vision-Language Models with Object Detection for Mitigating Counting Hallucinations

O artigo apresenta o GroundCount, um framework que integra modelos de detecção de objetos a Modelos Visuais-Linguísticos (VLMs) para mitigar alucinações de contagem, demonstrando que a ancoragem espacial explícita via prompts estruturados supera a fusão de características e melhora significativamente a precisão na maioria das arquiteturas avaliadas.

O essencial

Imagine que você tem um amigo muito inteligente, que leu milhões de livros e sabe falar sobre quase tudo. Esse é o Modelo de Visão e Linguagem (VLM). Ele é ótimo em descrever o que vê, mas tem um defeito engraçado e perigoso: ele é um "alucinado" quando precisa contar coisas.

Se você mostra uma foto com 5 maçãs e pergunta "quantas maçãs tem aqui?", esse amigo inteligente pode olhar para a imagem, pensar muito e, confiante, responder: "São 3!" ou "São 7!", porque ele está mais focado no que acha que deveria ver do que no que realmente está na foto. É como se ele estivesse sonhando acordado.

Por outro lado, imagine um detector de objetos (como o YOLO). Ele é como um guarda de trânsito ou um contador de estoque super-rápido e metódico. Ele não "pensa" ou "sonha". Ele apenas varre a imagem, vê formas, desenha quadrados ao redor delas e diz: "Aqui tem uma pessoa, ali tem outra, e ali mais uma". Ele é perfeito para contar, mas não é muito bom em entender o contexto ou contar piadas.

O Problema: O Gênio vs. O Contador

Os pesquisadores descobriram que, mesmo nos modelos mais modernos e inteligentes, contar objetos é a tarefa onde eles mais erram. Eles confundem, alucinam e perdem a conta, enquanto os detectores de objetos fazem isso com facilidade e rapidez.

A Solução: O "GroundCount" (O Chão da Contagem)

A equipe criou uma solução chamada GroundCount. A ideia é simples: não tente consertar a cabeça do "gênio" (o modelo de IA), apenas dê a ele uma "cola" ou um "mapa" feito pelo "contador" (o detector de objetos).

Eles conectaram os dois mundos de três formas, mas a melhor funcionou como um assistente de voz:

1. O Método do "Bilhete de Ajuda" (Plan A - O Vencedor):
   Antes de o "gênio" responder, o sistema pede ao "contador" para olhar a foto primeiro. O contador diz: "Olha, vejo 3 pessoas na esquerda, 2 no meio e 1 na direita".
   Então, o sistema escreve essa lista no papel de perguntas do "gênio".

   • Resultado: O "gênio" agora não precisa adivinhar. Ele lê a lista do contador, olha a foto para confirmar e responde corretamente.
   • A Mágica: Isso não só melhora a precisão (de 74% para 81%), mas também torna o processo mais rápido. Por que? Porque o "gênio" para de ficar pensando em círculos ("será que são 3? ou 4?") e vai direto à resposta. É como ter um GPS: você chega mais rápido porque não se perde.

2. O Método da "Fusão de Cérebros" (Plan B e C):
   Aqui, eles tentaram fundir os dois modelos em uma única estrutura de rede neural, como se misturassem o sangue do contador no cérebro do gênio.

   • O Resultado: Funcionou, mas não foi tão bom quanto o "Bilhete de Ajuda". Às vezes, misturar as coisas de forma tão profunda criava confusão. O "gênio" preferia ler a lista clara do contador do que tentar entender uma mistura complexa de dados.

O Que Aprendemos? (As Lições do Dia)

• O "Gênio" precisa de chão: O problema não é que o modelo é burro, é que ele tem dificuldade em conectar o que vê (imagem) com o que conta (números). Dar a ele uma lista explícita (o "chão" ou grounding) resolve o problema.
• Menos é mais: Adicionar informações de confiança (ex: "tenho 90% de certeza que é uma pessoa") as vezes atrapalha. Às vezes, é melhor o contador apenas dizer "tem uma pessoa aqui" sem se preocupar com o quanto ele está confiante.
• Tamanho não é documento: Modelos maiores e mais complexos nem sempre são melhores para contar. Às vezes, eles ficam tão confusos com suas próprias reflexões que erram mais do que modelos menores quando recebem a ajuda do contador.
• A "Cola" funciona melhor que a "Fusão": A melhor estratégia foi simplesmente dar a informação ao modelo de forma clara (texto), em vez de tentar fundir os sistemas internamente. É mais fácil ler um mapa do que tentar "sentir" o caminho.

Resumo em uma Frase

O GroundCount é como dar uma calculadora para um matemático que está tentando adivinhar números de cabeça. Ao fornecer os dados brutos e organizados de um especialista em contagem, o modelo inteligente para de alucinar, responde com mais precisão e, ironicamente, fica mais rápido porque para de dar voltas desnecessárias.

Isso é ótimo para criar ferramentas mais confiáveis, como sistemas que ajudam pessoas cegas a contar objetos ou inventários automáticos que não erram a contagem de produtos.

Resumo técnico

1. O Problema: Alucinações de Contagem em VLMs

O artigo identifica uma falha persistente e sistemática em Modelos de Visão e Linguagem (VLMs) de última geração: a incapacidade de realizar tarefas de contagem de objetos com precisão.

• Desempenho Inferior: Mesmo em VLMs com capacidades avançadas de raciocínio, a precisão na contagem (64,0% a 74,7%) é significativamente menor do que em outras tarefas de raciocínio visual, como reconhecimento de objetos (70,3% a 89,6%) ou identificação de atributos.
• Causa Raiz: A hipótese central é que as falhas não decorrem de uma falta de capacidade de raciocínio, mas de limitações fundamentais na integração espaço-semântica. Os VLMs tendem a priorizar priores textuais em detrimento dos tokens visuais, e seus mecanismos de atenção cruzada são desequilibrados.
• Limitação das Soluções Atuais: Estratégias existentes de mitigação de alucinações (como ajuste de decodificação ou direcionamento de camadas) falham em tarefas composicionais complexas como a contagem, especialmente em modelos que já utilizam mecanismos iterativos de reflexão.

2. Metodologia: O Framework GroundCount

Os autores propõem o GroundCount, um framework que augmenta (amplia) os VLMs com fundamentação espacial explícita proveniente de Modelos de Detecção de Objetos (ODMs) baseados em CNN, como o YOLO. A premissa é que os ODMs são excelentes em localização espacial e contagem de instâncias, compensando as fraquezas dos VLMs.

O trabalho avalia três estratégias de implementação:

A. GroundCount A: Augmentação Baseada em Prompt (Plan A)

• Mecanismo: O ODM (YOLOv13x) processa a imagem primeiro, gerando caixas delimitadoras, classes e pontuações de confiança. Essas informações são convertidas em descrições textuais estruturadas (ex: objeto 1 [posição]: [confiança]) e inseridas diretamente no prompt de entrada do VLM.
• Codificação Espacial: O espaço da imagem é discretizado em uma grade 3x3 (superior/médio/inferior x esquerda/centro/direita) para descrever a posição dos objetos.
• Vantagem: Não requer modificação arquitetural ou treinamento do VLM. É uma solução "plug-and-play".

B. GroundCount B: Fusão em Nível de Características (Plan B)

• Mecanismo: Integração direta das características latentes do ODM (CNN) com os tokens de patch do VLM (ViT) através de uma rede de fusão leve.
• Arquitetura: Utiliza um mecanismo de dupla ramificação:
  1. Ramificação A (FiLM): Modulação linear das características do ViT pelas características da CNN.
  2. Ramificação B (Atenção Cruzada): Permite que os patches do ViT consultem seletivamente as características da CNN.
• Treinamento: Requer fine-tuning da rede de fusão e, opcionalmente, do VLM e do ODM.

C. GroundCount C: Abordagem Híbrida (Plan C)

• Combina a augmentação de prompt (Plan A) com a fusão de características (Plan B), buscando benefícios tanto da fundamentação simbólica explícita quanto da integração implícita de características.

3. Resultados Principais

Desempenho de Precisão

• GroundCount A (Prompt): Alcançou o melhor desempenho, atingindo 81,3% de precisão no modelo Ovis2.5-2B (um ganho de 6,6 pontos percentuais sobre a linha de base de 74,7%).
• Fusão (Plan B): A estratégia de fusão (Plan B.4) alcançou 78,0%, mas ficou abaixo da abordagem baseada apenas em prompt.
• Consistência: O método de prompt melhorou o desempenho em 4 de 5 arquiteturas de VLM avaliadas (Molmo2, Ovis2.5, R-4B, Qwen3-VL).
• Exceção: O modelo InternVL3.5-1B apresentou degradação de desempenho com a fundamentação explícita, sugerindo incompatibilidade entre seus mecanismos de reflexão iterativa e prompts estruturados.

Eficiência e Tempo de Inferência

• Redução de Tempo: Surpreendentemente, o GroundCount A reduziu o tempo de inferência em 22% (de 10,0s para 7,8s no Ovis2.5-2B).
• Motivo: Ao fornecer informações de fundamentação explícitas, o VLM gera menos tokens e evita "loops de raciocínio" onde o modelo fica reavaliando a imagem repetidamente devido à incerteza ou alucinação.

Estudos de Ablação

• Codificação Posicional: É crítica para modelos mais fortes (melhora 0,6–1,8pp), mas prejudicial para modelos mais fracos, que se saem melhor com listas de objetos sem posições explícitas.
• Pontuações de Confiança: A remoção das pontuações de confiança melhorou o desempenho em 4 dos 5 modelos, indicando que esses valores podem introduzir ruído para certas arquiteturas.
• Precisão vs. Recall: A precisão da detecção é muito mais importante que o recall. Reduzir o limiar de confiança (aumentando o recall) degradou severamente o desempenho, pois o VLM é forçado a processar muitos falsos positivos.

4. Contribuições Chave

1. Análise Sistemática: Demonstra que a contagem permanece a tarefa de menor precisão em VLMs de ponta, independentemente das melhorias em raciocínio.
2. GroundCount Framework: Introduz uma pipeline de augmentação baseada em detecção de objetos que aumenta a precisão de contagem em até 7,5pp com sobrecarga de memória negligenciável.
3. Descoberta de Arquitetura: Revela que a fundamentação simbólica explícita (via prompts) supera a fusão implícita de características, sugerindo que os VLMs atuais processam representações simbólicas estruturadas melhor do que aprendem alinhamentos cruzados implícitos.
4. Eficiência: Mostra que corrigir alucinações pode, na verdade, acelerar a inferência ao reduzir a geração de tokens desnecessários.

5. Significado e Conclusão

O trabalho conclui que as falhas de contagem em VLMs não são devidas a deficiências específicas de arquitetura, mas a limitações fundamentais na integração espaço-semântica. A solução proposta demonstra que, em vez de tentar reescrever os mecanismos de atenção internos dos modelos complexos, é mais eficaz e eficiente fornecer fundamentação externa explícita de modelos especializados (ODMs).

Isso tem implicações práticas significativas para o desenvolvimento de sistemas de IA multimodal mais confiáveis para aplicações como ferramentas de acessibilidade, sistemas de inventário e tecnologias educacionais, onde a contagem precisa é crítica. O estudo também destaca a importância de testar a compatibilidade arquitetural ao aplicar estratégias de augmentação, pois nem todos os modelos respondem bem a fundamentações explícitas.