Object Counting Across Modalities: Taxonomies, Benchmarks, Applications, and Open Challenges

Resumo Técnico: Contagem de Objetos Através de Modalidades

Definição do Problema e Motivação
A contagem de objetos evoluiu de um problema de regressão de densidade específico de uma classe para uma tarefa de raciocínio multimodal de vocabulário aberto. Embora as mudanças recentes em direção a modelos de fundação e prompting de vocabulário aberto sugiram um movimento rumo à generalização universal, este levantamento argumenta que a infraestrutura de avaliação do campo não acompanhou esse ritmo. As métricas de progresso atuais dependem fortemente de alguns benchmarks saturados (notadamente o FSC-147) que os modelos exploram via regularidades estatísticas em vez de raciocínio genuíno. Datasets diagnósticos revelam falhas sistemáticas na fundamentação semântica (semantic grounding), preservação de identidade temporal e raciocínio espacial sob oclusão. O problema central é a "Ilusão de Fundamentação Semântica", onde um modelo atinge um erro escalar zero (ex: MAE = 0) ao compensar falsos positivos com falsos negativos, efetivamente contando as instâncias erradas ou distratores enquanto satisfaz métricas agregadas.

Estrutura Metodológica e Taxonomia
O artigo introduz uma taxonomia unificada de cinco eixos para dissecar os componentes estruturais dos métodos de contagem, indo além dos silos específicos de domínio. Os eixos são:

1. Modalidade: Variando de imagens RGB estáticas para vídeo, nuvens de pontos 3D, RGB-D (consciente de profundidade), térmicas e áudio-visuais.
2. Mecanismo de Contagem: Quatro paradigmas algorítmicos distintos:
   • Regressão de Mapa de Densidade (P1): Integração espacial direta de um mapa de densidade (Era 1).
   • Mapeamento de Similaridade por Atenção Cruzada (P2): Uso de tokens de exemplares como chaves/valores para mapear características da imagem (Era 2).
   • Localização de Conceito Promptável (P3): Fundamentação de prompts de texto ou pontos em caixas ou máscaras discretas via modelos de fundação (Era 3).
   • Raciocínio de Linguagem Multimodal (P4): Tratamento da contagem como uma tarefa de raciocínio visão-linguagem, frequentemente gerando traços de cadeia de pensamento (chain-of-thought) ou saídas escalares diretas via decoders autorregressivos (Era 4).
3. Técnica de Prompting: Rótulos de classes fixos, exemplares visuais, consultas baseadas em texto, entradas multimodais, priors sem referência e correções interativas.
4. Nível de Supervisão: Variando de supervisão espacial de nível de instância (pontos, caixas, máscaras) até supervisão fraca de nível de contagem agregada, autossupervisionada e treinamento sem anotação.
5. Configuração de Generalização: Distinguindo entre configurações específicas de classe (conjunto fechado) e agnósticas de classe (vocabulário aberto/mundo aberto), esclarecendo a confusão entre mecanismos de prompting e alegações de generalização.

Principais Contribuições

• Taxonomia Unificada: O artigo formaliza um framework de cinco eixos que permite a comparação entre paradigmas de métodos através dos domínios de imagem, vídeo, 3D e multimodal.
• Auditoria Crítica de Benchmarks: Os autores demonstram que métricas escalares (MAE, RMSE) são incompatíveis com os diversos formatos de saída da contagem moderna (mapas de densidade, rastros, caixas discretas) e falham em detectar a "Ilusão de Fundamentação Semântica". Eles destacam que os modelos de melhor desempenho em benchmarks legados frequentemente falham em datasets diagnósticos que testam a rejeição de distratores e a sensibilidade ao prompt.
• Contradições Estruturais: O levantamento formaliza seis contradições estruturais inerentes ao campo, incluindo o trade-off entre generalização e localização, extremos de escala (colapso de densidade), falhas de reentrada de identidade temporal e a fragilidade de exemplares versus ambiguidade semântica em prompts de texto.
• Síntese Cross-Domain: Ao revisar mais de 600 registros, o artigo une comunidades fragmentadas (contagem de multidões, microscopia, sensoriamento remoto, agricultura) para mostrar que arquiteturas de propósito geral frequentemente lutam para se transferir para domínios especializados sem ajuste específico de domínio.

Resultos e Descobertas

• Saturação de Benchmarks: A análise do FSC-147 mostra que as melhorias no Erro Médio Absoluto (MAE) encolheram em direção ao ruído estatístico, embora o benchmark continue sendo a única medida de progresso. Novos benchmarks diagnósticos (ex: PrACo, CAPTURe) revelam que modelos de estado da arte frequentemente falham em fundamentar suas contagens nas instâncias semânticas corretas.
• Lacunas de Modalidade: Embora métodos 3D, conscientes de profundidade e multi-visão ofereçam soluções para a oclusão de ordenação de profundidade, eles dependem de datasets privados ou incompatíveis, impedindo uma avaliação unificada. Da mesma forma, a contagem de vídeo carece de protocolos padronizados para distinguir entre contagens de quadros visíveis, contagens de instâncias únicas e contagens de eventos.
• Discrepâncias de Aplicação: Em domínios especializados como microscopia médica e sensoriamento remoto, sistemas de domínio específico frequentemente superam modelos de fundação de propósito geral porque são ajustados para vincular restrições físicas (ex: morfologia celular, ruído de sensor) que modelos gerais ignoram.
• Falhas de Avaliação: O artigo identifica que os protocolos de avaliação atuais recompensam "erros de compensação" (onde um objeto perdido é compensado por um falso positivo) e carecem de métricas para completude espacial, troca de identidade ou rejeição de distratores.

Significância e Direções Futuras
O artigo conclui que as alegações de generalidade universal na contagem de objetos ultrapassaram a infraestrutura necessária para verificá-las. O campo está atualmente preso em um ciclo de engenharia incremental em benchmarks saturados, em vez de abordar falhas fundamentais de raciocínio.

Os autores propõem um roteiro para pesquisas futuras focado em:

1. Compreensão de Cena Composicional: Ir além da regressão de densidade para construir representações de cena estruturadas e verificáveis que liguem regiões de objetos via relações espaciais e de oclusão.
2. Agentes Ativos e Interativos: Mudar de uma contagem passiva de passagem única para agentes que podem solicitar informações direcionadas (ex: zoom, esclarecimento humano) para resolver ambiguidades e eventos de reentrada.
3. Arquiteturas Multimodais Unificadas: Desenvolver encoders e decoders compartilhados que tratem modalidades de detecção (RGB, profundidade, térmica, áudio) como entradas de condicionamento, em vez de fronteiras arquitetônicas.
4. Protocolos de Avaliação Robustos: Estabelecer um novo padrão onde alegações de propósito geral exijam validação através de diversos benchmarks diagnósticos e restrições de implantação (latência, energia, calibração), em vez da dependência de uma única métrica escalar de um único dataset.

O levantamento afirma que, até que os métodos sejam rigorosamente testados em diversos cenários do mundo real com protocolos que distingam a generalização de mundo aberto da otimização específica de benchmark, as alegações de um contador de objetos verdadeiramente geral permanecem não comprovadas.