Getting the Numbers Right$\unicode{x2014}$Modelling Multi-Class Object Counting in Dense and Varied Scenes

1. El Problema

El conteo de objetos es una tarea fundamental en visión por computadora con aplicaciones en planificación urbana, monitoreo de biodiversidad y medicina. Sin embargo, los métodos basados en detección (como YOLO) fallan en escenas densas y altamente ocluidas debido a la dificultad de localizar instancias individuales.

La estimación de mapas de densidad ha demostrado ser superior en estos entornos, pero la mayoría de los enfoques existentes se centran en una sola clase. Los métodos de estimación de densidad multi-clase actuales presentan limitaciones significativas:

• Suelen degradarse en escenas menos densas.
• A menudo requieren tareas auxiliares (como segmentación o detección) que se aplican también durante la inferencia, introduciendo suposiciones discretas o de umbral que pueden ser problemáticas en entornos muy congestionados.
• Han sido evaluados principalmente en conjuntos de datos urbanos con distribuciones de clases uniformes, fallando en dominios como la biodiversidad donde las clases pueden ser extremadamente desiguales o mutuamente excluyentes en una sola muestra.

2. Metodología Propuesta

Los autores proponen el primer enfoque basado en Transformadores de Visión (Vision Transformers - ViT) para la estimación de densidad multi-clase. La arquitectura se compone de los siguientes elementos clave:

• Backbone (Esquema Base): Utilizan Twins-SVT (un transformador de visión piramidal) en lugar de las tradicionales CNN (como VGG16 o ResNet). Esto permite extraer características multiescala y capturar tanto el contexto global como los detalles espaciales finos mediante atención espacial.
• Decodificador Multiescala: Un decodificador basado en CNN que fusiona las características jerárquicas del transformador para lograr robustez ante variaciones de escala y densidad.
• Activación Softplus: En lugar de ReLU, utilizan la función de activación softplus en la capa final. Esto garantiza que las estimaciones de densidad sean positivas y numéricamente estables, evitando la truncación de gradientes negativos que ocurre con ReLU, sin sacrificar la precisión durante el entrenamiento.
• Módulo de Enfoque de Categoría (Category Focus Module - CFM):
  • Es una extensión del Multiscale Aware Module (MAM) de MRCNet.
  • Realiza una tarea auxiliar de segmentación (enmascaramiento) durante el entrenamiento para suprimir la interferencia inter-categoría y mejorar la conciencia de clase.
  • Innovación clave: A diferencia de métodos anteriores (como DSACA), el CFM no se utiliza durante la inferencia. La tarea de enmascaramiento solo sirve para guiar el aprendizaje de la cabeza de densidad. Esto evita las suposiciones discretas o de umbral inherentes a los métodos de detección o segmentación en la fase de prueba, permitiendo un modelo puramente de estimación de densidad continua.

3. Contribuciones Clave

1. Primera arquitectura ViT para conteo multi-clase: Logran superar el estado del arte (SOTA) con una reducción promedio del 46.7% en el Error Absoluto Medio (MAE) en dos benchmarks principales.
2. Superioridad sobre métodos de detección: El modelo supera a YOLO11 en escenas menos concurridas y lo excede en un orden de magnitud en las muestras más congestionadas, demostrando que la estimación de densidad es superior a la detección en entornos densos.
3. Diseño de inferencia continua: Al eliminar la necesidad de la tarea auxiliar (segmentación) en la inferencia, el método evita las limitaciones de los enfoques híbridos previos, ofreciendo estimaciones de densidad puramente continuas y explicables.
4. Robustez en dominios diversos: El método demuestra éxito en dominios muy diferentes, desde entornos urbanos (coches, personas) hasta monitoreo de biodiversidad (flores), donde la distribución de clases es altamente sesgada.

4. Resultados Experimentales

Los métodos fueron evaluados en tres conjuntos de datos: VisDrone-DET (urbano, 8 y 10 clases), iSAID (imágenes satelitales, 4 clases) y Hicks (biodiversidad, 8 clases).

• VisDrone-DET (8 clases):
  • Reducción del MAE: 33% frente a los métodos anteriores.
  • En el rango de conteo más alto (101-1000 objetos), el modelo propuesto obtuvo un MAE de 8.61, mientras que YOLO11x obtuvo 80.63.
• VisDrone-DET (10 clases):
  • Reducción del MAE: 43% frente a Michel et al. (2022).
  • MAE total: 1.99 frente a 3.76 del método anterior.
• iSAID (4 clases):
  • Reducción del MAE: 64% frente a los métodos existentes.
  • MAE total: 2.84 frente a 7.85 de Michel et al.
• Hicks (Biodiversidad):
  • El modelo superó a DSACA en todos los rangos de conteo, demostrando capacidad de generalización en escenarios donde las clases raramente coexisten.

5. Significado e Impacto

Este trabajo cierra la brecha entre la detección de objetos y la estimación de densidad en escenarios multi-clase. Al demostrar que un enfoque basado en transformadores con una arquitectura de decodificación híbrida (CNN + ViT) y una estrategia de entrenamiento con tareas auxiliares efímeras (solo en entrenamiento) es superior, el paper:

• Establece un nuevo estándar para el conteo en entornos densos y ocluidos.
• Amplía la aplicabilidad del conteo automatizado a dominios no urbanos, como la agricultura y la ecología.
• Proporciona una solución más eficiente y precisa que los modelos de detección actuales (como YOLO11) para aplicaciones donde la precisión en grandes cantidades es crítica.

El código y los pesos entrenados están disponibles públicamente, fomentando la reproducibilidad y la innovación futura en sistemas de conteo automatizado.