Getting the Numbers Right$\unicode{x2014}$Modelling Multi-Class Object Counting in Dense and Varied Scenes

1. O Problema

A contagem de objetos é uma tarefa fundamental na visão computacional com aplicações em planejamento urbano, monitoramento de biodiversidade e medicina. No entanto, métodos baseados em detecção (como YOLO) falham frequentemente em cenas densas e oclusas, onde os objetos se sobrepõem ou são pequenos.

• Limitações Atuais: A estimativa de densidade (que gera mapas de calor para contagem) é superior em cenas densas, mas as abordagens existentes de contagem multi-classe (contar várias categorias simultaneamente) sofrem em dois cenários:
  1. Degradam o desempenho em cenas menos densas.
  2. Não conseguem lidar com a interferência entre categorias em ambientes visualmente ambíguos.
  3. Métodos anteriores frequentemente exigem tarefas auxiliares (como segmentação ou detecção) durante a inferência, o que introduz suposições discretas ou limiares que podem ser problemáticos em cenas muito congestionadas.
• Desafio de Distribuição: A maioria dos conjuntos de dados urbanos (como VisDrone e iSAID) possui uma distribuição uniforme de classes, enquanto conjuntos de dados de biodiversidade (como Hicks) são extremamente desbalanceados, com muitas imagens contendo apenas uma espécie, o que dificulta o aprendizado de modelos multi-classe.

2. Metodologia Proposta

Os autores propõem a primeira abordagem baseada em Vision Transformer (ViT) para estimativa de densidade multi-classe. A arquitetura, chamada de GNR (Getting the Numbers Right), combina os seguintes componentes:

• Backbone (Esqueleto): Utiliza o Twins-SVT (Spatial Vision Transformer), um transformador em pirâmide que extrai características multiescala. Isso permite capturar tanto o contexto global quanto detalhes espaciais finos, superando as limitações de backbones puramente convolucionais (como VGG-16 ou ResNet).
• Decodificador Multiescala: Um decodificador baseado em CNN que funde as características hierárquicas do ViT para lidar com variações de escala e densidade dos objetos.
• Cabeça de Saída (Head):
  • Utiliza a função de ativação Softplus em vez de ReLU. O Softplus garante que as previsões de densidade sejam estritamente positivas e numericamente estáveis, preservando gradientes durante o treinamento (evitando o "truncamento" de valores negativos que ocorre no ReLU antes do cálculo da perda).
  • Gera mapas de densidade contínuos para cada classe, permitindo a integração direta para obter a contagem total.
• Módulo de Foco na Categoria (Category Focus Module - CFM):
  • É uma tarefa auxiliar de segmentação leve executada apenas durante o treinamento.
  • O CFM utiliza convoluções dilatadas para aumentar o campo receptivo e extrair características de várias camadas do backbone.
  • Inovação Chave: Ao contrário de métodos anteriores que usam máscaras de segmentação ou detecção durante a inferência para suprimir interferências, o CFM é descartado após o treinamento. Ele atua apenas para melhorar a representação das características e a "consciência de classe" do modelo, permitindo que a cabeça de densidade opere de forma contínua e sem suposições discretas na fase de teste.
• Funções de Perda: Combina a perda L2 (erro quadrático médio) para a estimativa de densidade com uma perda de entropia cruzada para a tarefa auxiliar de máscaras, ponderadas por um fator $\omega$.

3. Principais Contribuições

1. Arquitetura ViT Multi-Classe: Primeira abordagem baseada em Vision Transformer para estimativa de densidade multi-classe, superando o estado da arte (SOTA) anterior.
2. Robustez em Densidades Variadas: O modelo demonstra robustez superior em uma ampla gama de densidades, superando métodos de detecção (como YOLO11) em cenas muito densas e mantendo desempenho superior em cenas menos densas.
3. Módulo de Foco na Categoria (CFM): Introduz um mecanismo que melhora a estimativa de densidade durante o treinamento sem impor restrições de inferência (como limiares de detecção ou máscaras de segmentação), eliminando suposições de discreto que prejudicam a contagem contínua.
4. Validação em Domínios Diversos: O método foi testado e validado com sucesso em cenários urbanos (VisDrone, iSAID) e em cenários de biodiversidade (Hicks), demonstrando adaptabilidade a distribuições de classes altamente desbalanceadas.

4. Resultados Experimentais

O modelo foi avaliado nos benchmarks VisDrone-DET, iSAID e Hicks:

• VisDrone-DET (8 e 10 classes):
  • Redução de 33% a 43% no Erro Absoluto Médio (MAE) em comparação com métodos SOTA anteriores (DSACA, Michel et al.).
  • No conjunto de 10 classes, o modelo obteve um MAE de 1.99 contra 3.76 do método anterior.
• iSAID (4 classes):
  • Redução de 64% no MAE em comparação com métodos anteriores.
  • O modelo superou o YOLO11 em uma ordem de magnitude nas amostras mais congestionadas (contagens entre 101 e 10.000 objetos).
• Hicks (Biodiversidade - 8 classes):
  • O modelo demonstrou capacidade de aprender em domínios onde as classes raramente co-ocorrem, superando o DSACA (MAE de 0.38 vs 0.92 no intervalo 0-1000).
• Comparação com Detecção (YOLO11):
  • Em cenas com baixa densidade (0-10 objetos), o método proposto ainda supera o YOLO11.
  • Em cenas extremamente densas, a vantagem é drástica, confirmando a hipótese de que a estimativa de densidade é superior à detecção para contagem em aglomerados.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica na contagem de objetos multi-classe, oferecendo uma solução unificada que não depende de suposições discretas de detecção ou segmentação durante a inferência.

• Avanço Técnico: A integração de Transformers com decodificadores CNN e a eliminação de tarefas auxiliares na inferência representam um passo significativo para modelos de contagem mais robustos e explicáveis.
• Aplicabilidade Real: A capacidade de lidar com cenários de biodiversidade (onde as classes são raras e desbalanceadas) abre novas possibilidades para monitoramento ecológico automatizado, além das aplicações tradicionais urbanas.
• Eficiência: O código e os pesos treinados foram disponibilizados, promovendo a reprodutibilidade e o avanço futuro na área de estimativa de densidade escalável e consciente de classe.