Does it Really Count? Assessing Semantic Grounding in Text-Guided Class-Agnostic Counting

Resumen Técnico: ¿Realmente Cuenta? Evaluación de la Anclaje Semántico en el Conteo Agnóstico a la Clase Guiado por Texto

Enunciado del Problema
El conteo agnóstico a la clase (CAC) guiado por texto en mundo abierto tiene como objetivo contar instancias de objetos arbitrarias basándose en prompts de lenguaje natural sin requerir reentrenamiento para categorías específicas. Aunque los métodos actuales del estado del arte (SOTA) logran un rendimiento sólido en métricas estándar de conteo (por ejemplo, MAE, RMSE), este artículo identifica una brecha crítica en los protocolos de evaluación: no logran evaluar si los modelos anclan correctamente el prompt textual en la escena visual. Las pruebas de referencia existentes dependen predominantemente de imágenes de una sola categoría y de métricas que miden únicamente la precisión del conteo, descuidando la capacidad del modelo para distinguir entre clases presentes y ausentes o para ignorar distractores en escenas multiclase. En consecuencia, los modelos pueden producir conteos "espurios" para objetos inexistentes o fallar al aislar la clase objetivo cuando coexisten otras categorías, lo que indica una desalineación entre las semánticas textuales y las representaciones visuales de los objetos.

Metodología
Para abordar estas limitaciones, los autores proponen un marco de evaluación integral que consta de una nueva suite de pruebas y un nuevo conjunto de datos:

1. Suite de Pruebas PrACo++ (Conteo Consciente del Prompt++):
   Esta suite introduce dos protocolos de evaluación dedicados diseñados para sondear el anclaje semántico y la robustez:

   • Prueba de Etiqueta Negativa: Evalúa la capacidad del modelo para rechazar prompts de clases de objetos que están completamente ausentes en la imagen. El objetivo es verificar si el modelo emite un conteo de cero para categorías ausentes en lugar de alucinar conteos basados en la saliencia visual.
     • Métricas: La Media Normalizada de Predicciones Negativas (NMN) mide la tendencia a sobrecotar clases ausentes en relación con la densidad total de la escena. La Cercanía del Conteo de la Clase Positiva (PCCN) cuantifica con qué frecuencia la predicción del modelo para la clase correcta está más cerca de la verdad fundamental que sus predicciones erróneas para las clases ausentes.
   • Prueba de Distractor: Evalúa la resiliencia del modelo en escenas multiclase donde la clase objetivo debe contarse mientras se ignoran las clases "distractoras" coexistentes.
     • Métricas: Los autores introducen la Precisión de Conteo (CntP), la Recall de Conteo (CntR) y la CntF1. Estas se derivan dividiendo las imágenes en parches espaciales (basados en cuadrícula) y calculando Verdaderos Positivos, Falsos Positivos y Falsos Negativos basándose en la integración de mapas de densidad dentro de estas regiones. Esto permite la detección de errores de atribución (por ejemplo, contar distractores como el objetivo) que las métricas globales pasan por alto.

2. Conjunto de Datos MUCCA (Conteo Agnóstico a la Clase Multiclase):
   Los autores presentan MUCCA, un nuevo conjunto de datos de 200 imágenes del mundo real curadas específicamente para contener múltiples categorías de objetos anotadas por escena (que van desde 2 hasta 7 clases). A diferencia de las pruebas de referencia existentes como FSC-147, que suelen presentar imágenes de una sola categoría, MUCCA proporciona la complejidad necesaria para evaluar la Prueba de Distractor y simular escenarios realistas de inventario o vigilancia.

Evaluación Experimental
Los autores evaluaron diez métodos CAC guiados por texto en mundo abierto del estado del arte (incluyendo ZSC, CounTX, CLIP-Count, VLCounter, TFPOC, DAVE, PseCo, GroundingREC, UPC y CountGD) tanto en el conjunto de datos estándar FSC-147 (utilizando una implementación basada en mosaico para la Prueba de Distractor) como en el nuevo conjunto de datos MUCCA.

Resultados Clave

• Desalineación Semántica: A pesar de lograr un rendimiento de primer nivel en las métricas estándar MAE/RMSE, muchos modelos exhiben debilidades significativas en el anclaje semántico. En la Prueba de Etiqueta Negativa, varios métodos (por ejemplo, ZSC, CLIP-Count, VLCounter) produjeron valores de NMN cercanos o superiores a 1, lo que indica que a menudo predicen conteos para clases ausentes comparables o superiores a la verdad fundamental de las clases presentes.
• Sensibilidad al Distractor: En escenarios multiclase, los modelos luchan por aislar las clases objetivo. GroundingREC y DAVE generalmente superaron a los demás en la Prueba de Distractor, pero incluso los mejores mostraron una robustez reducida en comparación con su rendimiento de clase única.
• Impacto de la Similitud Semántica: Un análisis cuantitativo reveló una correlación entre la similitud semántica del prompt y la clase objetivo (medida mediante incrustaciones de CLIP) y los errores de conteo. Modelos como CLIP-Count y CounTX mostraron una mayor dependencia de la similitud semántica, donde los errores aumentaron a medida que el prompt negativo se volvía semánticamente más cercano a las clases positivas.
• Impacto del Conjunto de Datos: El rendimiento generalmente se degradó en el conjunto de datos MUCCA en comparación con FSC-147, destacando la dificultad del conteo multiclase. GroundingREC surgió como el método más robusto en ambos conjuntos de datos y métricas.

Significado y Afirmaciones
El artículo afirma que los protocolos de evaluación actuales son insuficientes para evaluar la fiabilidad del CAC guiado por texto en aplicaciones del mundo real. Al demostrar que una alta precisión de conteo no equivale a una comprensión semántica correcta, los autores abogan por un cambio de paradigma en la creación de pruebas de referencia. Las contribuciones —PrACo++ y MUCCA— se presentan como herramientas necesarias para exponer la "alucinación" de conteos y la incapacidad de manejar distractores, guiando así la investigación futura hacia arquitecturas y procedimientos de entrenamiento más anclados semánticamente. El trabajo extiende un artículo de conferencia anterior mediante la introducción de una suite de pruebas más robusta, un conjunto de datos multiclase del mundo real y un análisis más profundo de los modos de fallo.