Does it Really Count? Assessing Semantic Grounding in Text-Guided Class-Agnostic Counting

Resumo Técnico: Isso Realmente Conta? Avaliando o Aterramento Semântico na Contagem Agnóstica a Classes Guiada por Texto

Declaração do Problema
A contagem agnóstica a classes (CAC) guiada por texto em mundo aberto visa contar instâncias de objetos arbitrários com base em prompts de linguagem natural, sem exigir retreinamento para categorias específicas. Embora os métodos atuais de última geração (SOTA) alcancem desempenho robusto em métricas padrão de contagem (por exemplo, MAE, RMSE), este artigo identifica uma lacuna crítica nos protocolos de avaliação: eles falham em avaliar se os modelos aterram corretamente o prompt textual na cena visual. Os benchmarks existentes dependem predominantemente de imagens de categoria única e de métricas que medem apenas a precisão da contagem, negligenciando a capacidade do modelo de distinguir entre classes presentes e ausentes ou de ignorar distratores em cenas de múltiplas categorias. Consequentemente, os modelos podem produzir contagens "espúrias" para objetos inexistentes ou falhar em isolar a classe-alvo quando outras categorias coexistem, indicando um desalinhamento entre semânticas textuais e representações de objetos visuais.

Metodologia
Para abordar essas limitações, os autores propõem um quadro de avaliação abrangente consistindo em um novo conjunto de testes e um novo conjunto de dados:

1. Suite de Testes PrACo++ (Contagem Consciente do Prompt++):
   Esta suite introduz dois protocolos de avaliação dedicados projetados para sondar o aterramento semântico e a robustez:

   • Teste de Rótulo Negativo: Avalia a capacidade do modelo de rejeitar prompts para classes de objetos totalmente ausentes da imagem. O objetivo é verificar se o modelo gera uma contagem de zero para categorias ausentes, em vez de alucinar contagens com base na saliência visual.
     • Métricas: A Média Normalizada de Previsões Negativas (NMN) mede a tendência de supercontar classes ausentes em relação à densidade total da cena. A Proximidade da Contagem da Classe Positiva (PCCN) quantifica com que frequência a previsão do modelo para a classe correta está mais próxima da verdade fundamental do que suas previsões errôneas para classes ausentes.
   • Teste de Distrator: Avalia a resiliência do modelo em cenas de múltiplas categorias, onde a classe-alvo deve ser contada enquanto se ignoram classes "distratoras" co-ocorrentes.
     • Métricas: Os autores introduzem Precisão de Contagem (CntP), Revocação de Contagem (CntR) e CntF1. Estes são derivados dividindo as imagens em patches espaciais (baseados em grade) e calculando Verdadeiros Positivos, Falsos Positivos e Falsos Negativos com base na integração de mapas de densidade dentro dessas regiões. Isso permite a detecção de erros de atribuição equivocada (por exemplo, contar distratores como o alvo) que métricas globais ignoram.

2. Conjunto de Dados MUCCA (Contagem Agnóstica a Classes de Múltiplas Categorias):
   Os autores introduzem o MUCCA, um novo conjunto de dados de 200 imagens do mundo real especificamente curado para conter múltiplas categorias de objetos anotadas por cena (variando de 2 a 7 classes). Diferentemente de benchmarks existentes como o FSC-147, que tipicamente apresentam imagens de categoria única, o MUCCA fornece a complexidade necessária para avaliar o Teste de Distrator e simular cenários realistas de inventário ou vigilância.

Avaliação Experimental
Os autores avaliaram dez métodos CAC guiados por texto em mundo aberto de última geração (incluindo ZSC, CounTX, CLIP-Count, VLCounter, TFPOC, DAVE, PseCo, GroundingREC, UPC e CountGD) tanto no conjunto de dados padrão FSC-147 (usando uma implementação baseada em mosaico para o Teste de Distrator) quanto no novo conjunto de dados MUCCA.

Principais Resultados

• Desalinhamento Semântico: Apesar de alcançarem desempenho de ponta nas métricas padrão MAE/RMSE, muitos modelos exibem fraquezas significativas no aterramento semântico. No Teste de Rótulo Negativo, vários métodos (por exemplo, ZSC, CLIP-Count, VLCounter) produziram valores de NMN próximos ou superiores a 1, indicando que frequentemente preveem contagens para classes ausentes comparáveis ou superiores à verdade fundamental das classes presentes.
• Sensibilidade a Distratores: Em cenários de múltiplas categorias, os modelos lutam para isolar classes-alvo. GroundingREC e DAVE geralmente superaram os outros no Teste de Distrator, mas mesmo os melhores desempenhos mostraram robustez reduzida em comparação com seu desempenho de classe única.
• Impacto da Similaridade Semântica: Uma análise quantitativa revelou uma correlação entre a similaridade semântica do prompt e a classe-alvo (medida via embeddings CLIP) e erros de contagem. Modelos como CLIP-Count e CounTX mostraram uma dependência mais forte da similaridade semântica, onde os erros aumentavam à medida que o prompt negativo se tornava semanticamente mais próximo das classes positivas.
• Impacto do Conjunto de Dados: O desempenho geralmente degradou no conjunto de dados MUCCA em comparação com o FSC-147, destacando a dificuldade da contagem de múltiplas categorias. GroundingREC emergiu como o método mais robusto em ambos os conjuntos de dados e métricas.

Significado e Alegações
O artigo alega que os protocolos de avaliação atuais são insuficientes para avaliar a confiabilidade da CAC guiada por texto em aplicações do mundo real. Ao demonstrar que alta precisão de contagem não equivale a compreensão semântica correta, os autores argumentam por uma mudança de paradigma na criação de benchmarks. As contribuições — PrACo++ e MUCCA — são apresentadas como ferramentas necessárias para expor a "alucinação" de contagens e a incapacidade de lidar com distratores, orientando assim a pesquisa futura para arquiteturas e procedimentos de treinamento mais fundamentados semanticamente. O trabalho estende um artigo de conferência anterior ao introduzir uma suite de testes mais robusta, um conjunto de dados do mundo real de múltiplas categorias e uma análise mais profunda dos modos de falha.