CountFormer: A Transformer Framework for Learning Visual Repetition and Structure in Class-Agnostic Object Counting

O artigo apresenta o CountFormer, um framework que substitui o codificador de imagem por um modelo de visão auto-supervisionado (DINOv2) para melhorar a consistência estrutural no contagem de objetos sem exemplares, demonstrando que representações de base podem reduzir erros de supercontagem em objetos complexos, embora os resultados quantitativos no benchmark FSC-147 permaneçam competitivos com abordagens anteriores.

O essencial

Imagine que você está em uma festa lotada e precisa contar quantas pessoas estão presentes. Se você olhar para cada rosto individualmente, é fácil. Mas e se, em vez de pessoas, houvesse centenas de óculos de sol espalhados sobre uma mesa? Ou milhares de peças de Lego misturadas?

Para um humano, é fácil perceber que "dois lentes de óculos" formam um objeto (o óculos), e não dois objetos separados. Mas para a maioria dos computadores, isso é um pesadelo. Eles tendem a contar cada lente como se fosse um óculos inteiro, ou cada peça de Lego como um objeto único, resultando em contagens erradas e exageradas.

É aqui que entra o CountFormer, o "herói" deste artigo científico. Vamos descomplicar como ele funciona usando algumas analogias do dia a dia.

O Problema: O Computador que Vê, mas Não Entende

A maioria dos sistemas de contagem de objetos funciona como um estagiário muito literal. Se você pedir para ele contar "óculos", ele pode aprender a reconhecer óculos. Mas se você mostrar algo novo, como uma pilha de garrafas ou um ninho de abelhas, ele entra em pânico.

Ele vê formas repetidas e pensa: "Ah, vejo uma forma redonda aqui, outra ali... vou contar 100 redondos!". Ele não entende que essas formas são partes de um todo. Ele conta as "peças" em vez do "objeto".

A Solução: CountFormer (O Contador com "Sentido de Estrutura")

Os autores criaram o CountFormer, que é como dar ao computador um superpoder de intuição visual. Em vez de ensinar o computador a memorizar o que é um "óculos" ou um "carro", eles deram a ele um "olho treinado" que entende como as coisas são feitas.

Aqui está como eles fizeram isso, passo a passo:

1. O Professor Sábio (DINOv2)

Imagine que você precisa ensinar uma criança a contar. Você não começa do zero; você usa um professor que já viu milhões de coisas e sabe como elas se parecem.
No CountFormer, esse "professor" é um modelo chamado DINOv2. Ele é um cérebro artificial que aprendeu sozinho, olhando para bilhões de fotos na internet, sem ninguém dizendo o que era cada coisa.

• A Mágica: DINOv2 não apenas vê "uma lente". Ele entende que "lente + armação + outra lente" formam uma estrutura coesa. Ele aprendeu a ver a geometria e a estrutura, não apenas o rótulo.

2. O Mapa do Tesouro (Posicionamento)

Saber que algo é um óculos não é suficiente; você precisa saber onde ele está e como as partes se conectam.
O CountFormer pega o conhecimento do "Professor Sábio" e adiciona um mapa de coordenadas (como um GPS). É como se ele dissesse: "Essa lente está aqui, e a armação está ali, e elas estão conectadas". Isso impede que o computador conte partes soltas como se fossem objetos inteiros.

3. O Pintor de Densidade (O Decodificador)

Depois de analisar a imagem com esse "olho sábio" e o "GPS", o sistema não dá apenas um número final. Ele pinta um mapa de calor sobre a imagem.

• Imagine pintar a imagem com tinta vermelha onde há objetos.
• Onde há um objeto inteiro, a tinta é forte.
• Onde há apenas uma parte solta, a tinta é fraca ou não aparece.
  No final, o computador apenas "pesa" a quantidade de tinta vermelha para saber quantos objetos existem. É como contar gotas de chuva em uma janela: se você sabe a área e a densidade, sabe quantas gotas caíram.

O Resultado: Menos Erros em Objetos Complexos

O artigo mostra que, embora o CountFormer não seja o "número 1" em todas as estatísticas brutas (às vezes erra em cenas extremamente caóticas, como uma caixa cheia de peças de Lego minúsculas), ele é muito melhor em evitar um erro específico: contar partes como se fossem objetos inteiros.

• Exemplo dos Óculos: Outros sistemas viam 2 lentes e contavam "2 óculos". O CountFormer viu a estrutura e contou "1 óculos".
• Exemplo das Canetas: Em um monte de canetas, ele consegue agrupar melhor as partes, evitando contar a tampa e o corpo como coisas separadas.

A "Pegadinha" das Estatísticas

Os autores também fizeram uma observação curiosa: a pontuação final do sistema (o erro médio) parecia ruim porque havia 4 imagens no teste que eram extremamente densas (milhares de objetos apertados, quase impossíveis de contar).
Quando eles tiraram essas 4 imagens "extremas" da análise, o desempenho do sistema melhorou drasticamente. Isso mostra que o sistema é muito bom, mas que a métrica de avaliação (RMSE) é sensível demais a esses casos raros e caóticos.

Resumo em uma Frase

O CountFormer é como dar a um computador um "olho de artista" que entende que um carro é feito de rodas e portas, mas é um carro, e não 5 objetos separados. Ele usa inteligência artificial avançada para contar objetos novos sem precisar de exemplos prévios, focando na estrutura e não apenas na aparência.

É um passo importante para que as máquinas contem o mundo da mesma forma que nós: percebendo o todo, e não apenas as partes.

Resumo técnico

Resumo Técnico: CountFormer

1. Problema e Motivação

O trabalho aborda o desafio da contagem de objetos sem classe específica (class-agnostic) e sem exemplares (exemplar-free). Enquanto humanos conseguem contar objetos desconhecidos observando repetições visuais e a composição de partes em um todo, os modelos de visão computacional atuais frequentemente falham nesse cenário.

• Limitação Atual: Modelos existentes tendem a contar componentes individuais de um objeto composto como se fossem objetos separados (ex: contar as duas lentes de um óculos como dois objetos distintos), especialmente quando há simetria, subestruturas repetidas ou oclusão parcial.
• Causa Raiz: Muitas abordagens baseadas em linguagem (como CLIP) priorizam a semântica ("o que é o objeto") em detrimento da estrutura espacial ("como as partes se organizam"), levando a erros de coerência estrutural.

2. Metodologia

O CountFormer não propõe uma nova função de perda ou arquitetura de contagem radicalmente nova, mas sim uma integração controlada de um modelo de fundação (foundation model) em um framework de regressão de densidade existente (inspirado no CounTR).

• Arquitetura Principal:

  1. Codificador Visual (Encoder): Substitui o codificador padrão por DINOv2, um modelo de visão auto-supervisionado. O DINOv2 é escolhido por sua capacidade de aprender representações ricas que capturam tanto o significado semântico quanto a coerência espacial e estrutural sem necessidade de rótulos manuais.
  2. Fusão de Posição: As características extraídas do DINOv2 são fundidas com embeddings de posição bidimensionais explícitos. Isso garante que as representações dos tokens do transformer mantenham o contexto geométrico necessário para entender a relação entre as partes de um objeto.
  3. Decodificador: Um rede convolucional leve (ConvNet) com quatro estágios de upsampling decodifica os tokens fundidos para gerar um mapa de densidade contínuo.
  4. Contagem Final: O número total de objetos é obtido pela integração (soma) dos valores do mapa de densidade.

• Configuração Experimental:

  • Dataset: FSC-147 (Few-Shot Counting 147), contendo 6.135 imagens de 147 classes.
  • Protocolo: Inferência estritamente exemplar-free (sem patches de exemplo fornecidos no teste).
  • Treinamento: Imagens redimensionadas para 224x224, uso de AdamW, e treinamento por 200 épocas.

3. Contribuições Principais

1. Integração Controlada de Fundações: Demonstrou como características de modelos de fundação auto-supervisionados (DINOv2) podem ser integradas em frameworks de regressão de densidade para melhorar a robustez estrutural sem alterar o protocolo de inferência ou a função de perda.
2. Fusão de Posição Explícita: Incorporou embeddings de posição 2D antes da decodificação, fornecendo uma base espacial explícita para as representações do transformer, mantendo a arquitetura leve.
3. Análise Qualitativa e Diagnóstica:
   • Identificou redução nos erros de "supercontagem de partes" (part-level overcounting) em objetos compostos complexos (ex: óculos de sol).
   • Realizou uma análise de sensibilidade mostrando que as métricas globais (MAE/RMSE) são desproporcionalmente influenciadas por um pequeno número de cenas extremamente densas.

4. Resultados

• Desempenho Quantitativo (FSC-147):
  • No conjunto de teste oficial, o modelo alcançou um MAE de 19,06 e um RMSE de 118,45.
  • Embora ligeiramente inferior a métodos como CounTR (MAE 14,71) e RCC em métricas agregadas, o desempenho é competitivo entre métodos exemplar-free.
• Análise de Sensibilidade (Diagnóstico):
  • Ao excluir quatro cenas extremas de alta densidade (apenas para análise, não para o benchmark oficial), o MAE caiu para 13,14 e o RMSE para 33,05. Isso revela que o erro quadrático é dominado por poucos casos extremos, e não necessariamente pela performance geral do modelo.
• Desempenho Qualitativo:
  • Em casos como óculos de sol, o CountFormer conseguiu contar o objeto inteiro corretamente (ex: 98 vs. GT 96), enquanto competidores como CounTX supercontaram as lentes (ex: 185).
  • O modelo gerou mapas de densidade mais suaves e alinhados com a instância do objeto, em vez de respostas pontuais dispersas.

5. Significado e Conclusão

O artigo destaca que a qualidade da representação é um fator crucial para a consistência estrutural na contagem de objetos sem exemplares.

• Inovação Conceitual: O trabalho prova que modelos de fundação auto-supervisionados (como DINOv2), que aprendem diretamente de dados visuais, são superiores a modelos baseados em linguagem (como CLIP) para tarefas que exigem compreensão de geometria e agrupamento de partes.
• Limitações: O modelo ainda enfrenta dificuldades em cenas extremamente densas com objetos pequenos e limites fracos (ex: peças de Lego empilhadas), onde a resolução de entrada (224x224) e a capacidade do decodificador limitam a distinção de fronteiras finas.
• Impacto: O CountFormer estabelece uma linha de base controlada para futuras pesquisas focadas em sistemas de contagem visual que priorizam a coerência estrutural e a relação parte-todo, sem depender de prompts de texto ou exemplares visuais.