💻 computer science

PPSNet: Perceptual Prior Similarity-guided Network for Class-agnostic Counting

Este artículo presenta PPSNet, un nuevo marco de conteo agnóstico a la clase que valida teóricamente el paradigma Extract-and-Match y aborda las limitaciones de los ejemplares visuales basados en cajas delimitadoras mediante el empleo de un Módulo de Construcción de Prior Perceptual para refinar la distribución de escala y un Módulo de Ponderación Guiado por Similitud para mejorar el emparejamiento de características, logrando así un rendimiento superior en escenarios de prompts visuales, textuales y de cero disparos (zero-shot).

Autores originales: Shengwei Jia, Junhui Liu, Jiahao Wang, Yongqiang Cui, Shihui Zhang

Publicado 2026-08-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shengwei Jia, Junhui Liu, Jiahao Wang, Yongqiang Cui, Shihui Zhang

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio en una habitación llena de gente. Tu trabajo es contar cuántas personas llevan sombreros rojos. En los viejos tiempos, si querías contar sombreros azules, tendrías que contratar a todo un nuevo equipo de detectives que solo supieran identificar el azul. Pero, ¿qué pasaría si pudieras enseñar a un solo detective a contar cualquier tipo de sombrero, simplemente mostrándole un único ejemplo? Este es el mundo del "conteo agnóstico a la clase", una rama de la visión artificial donde las máquinas aprenden a contar objetos de cualquier tipo—pájaros, coches o galletas—sin necesidad de un manual de entrenamiento específico para cada tipo nuevo.

Para hacer esto, el detective suele necesitar un "prompt" (indicación), una pequeña pista para decirle qué debe buscar. A veces, esta pista es una frase como "cuenta las gaviotas", y otras veces es simplemente la máquina adivinando por su cuenta. Pero el método más preciso hasta ahora ha sido el conteo "guiado por la visión": mostrarle a la computadora algunas fotos diminutas (ejemplares) del objeto que quieres contar, generalmente dibujadas dentro de un cuadro. Piensa en ello como entregarle al detective una foto de una gaviota y decirle: "Busca a todos los que se parezcan a esto". El problema es que el cuadro cuadrado es un poco torpe. A menudo atrapa un trozo del océano o del cielo junto con el ave. A medida que la computadora profundiza en su pensamiento, comienza a confundirse con ese ruido de fondo adicional, pensando que el agua es parte del ave, lo que conduce a un mal conteo.

Este artículo presenta un nuevo equipo de detectives llamado PPSNet (Red de Similitud Guiada por Prior Perceptual) que corrige estos errores torpes. Los investigadores argumentan que la forma antigua de trabajar—donde la computadora primero estudia la foto y el ejemplo por separado, y luego intenta emparejarlos—es como intentar resolver un rompecabezas mirando las piezas en una mano y la imagen en la otra, sin dejar que tus manos se toquen nunca. Ellos proponen una nueva forma donde la computadora mira la foto y el ejemplo juntos desde el principio, permitiendo que hablen entre sí y perfeccionen su comprensión instantáneamente.

Pero PPSNet no solo cambia cómo miran; cambia qué ven. El equipo notó que los cuadros cuadrados utilizados para capturar los ejemplos eran demasiado desordenados. Así que construyeron una herramienta especial llamada Módulo de Construcción de Prior Perceptual. Imagina que, en lugar de solo entregarle al detective una foto borrosa y estirada de un pájaro, también le entregas un mapa mental—un "mapa de calor" resplandeciente—que muestra exactamente dónde está el pájaro dentro de ese cuadro desordenado y dónde comienza el océano. Este mapa le dice a la computadora: "Ignora el agua; concéntrate en el pájaro". Esto evita que la computadora se distraiga con el ruido del fondo que normalmente la engaña.

Además, el equipo añadió un Módulo de Ponderación Guiado por Similitud. Este actúa como un reflector. Una vez que la computadora encuentra un punto en la foto grande que se parece al ejemplo, este módulo aumenta el brillo en ese punto y atenúa todo lo demás. Es como si el detective dijera: "¡Ajá! ¡Esto se parece exactamente al pájaro que me mostraron!" e ignora el resto de la habitación. También demostraron que este "reflector" funciona mejor cuando entrenan a la computadora para que preste atención a la diferencia entre el pájaro y el fondo, utilizando una técnica similar a cómo los humanos aprenden a distinguir las cosas comparándolas.

Los resultados son impresionantes. Cuando se probó en bases de datos masivas que contienen miles de imágenes de todo, desde estacionamientos hasta multitudes de personas, PPSNet cometió menos errores que cualquier método anterior. Por ejemplo, en un conjunto de prueba de 6,135 imágenes, el nuevo método redujo significamente el error de conteo promedio en comparación con el mejor anterior. Incluso funcionó cuando los investigadores eliminaron por completo los ejemplos visuales, dejando que la computadora contara basándose solo en una descripción de texto o sin ninguna pista, aunque su rendimiento fue mejor cuando podía ver algunos ejemplos.

Los autores advierten cuidadosamente que, si bien su método es un gran paso adelante, no es magia; todavía depende de que la computadora vea la imagen y el ejemplo. También señalan que el método antiguo de usar cuadros cuadrados para capturar ejemplos es inherentemente defectuoso porque fuerza formas irregulares en un marco rígido, perdiendo detalles importantes. PPSNet no solo tapa este agujero; construye un nuevo fundamento que comprende la forma y la distribución del objeto mejor de lo que el cuadro jamás podría. Al combinar un "mapa mental" de la ubicación del objeto con un "reflector" que resalta las coincidencias, esta nueva red ayuda a las computadoras a contar el mundo con un nivel de precisión que antes estaba fuera de su alcance.

Resumen Técnico: PPSNet para el Conteo Agnóstico de Clases

Planteamiento del Problema
El conteo agnóstico de clases (CAC, por sus siglas en inglés) tiene como objetivo estimar el número de objetos de clases arbitrarias utilizando un único modelo preentrenado con un mínimo de prompts o sin ellos. Si bien el conteo basado en ejemplares guiado por visión (usando cajas delimitadoras para seleccionar ejemplos objetivo) ofrece actualmente la mayor precisión, sufre dos limitaciones críticas inherentes al paradigma estándar de "Extraer-luego-Emparejar" (Extract-then-Match) y al uso de cajas delimitadoras:

Pseudoactivación de Ruido de Fondo: Las cajas delimitadoras incluyen inevitablemente regiones de fondo debido a restricciones geométricas. A medida que la profundidad de la red aumenta, este ruido de fondo se activa progresivamente durante la extracción de características, lo que conduce a un emparejamiento erróneo entre los ejemplares visuales y la imagen de consulta.
Pérdida de Información de Escala: Para alimentar las redes de tamaño fijo con los ejemplares, los métodos actuales redimensionan los ejemplares a una dimensión uniforme. Esta operación distorsiona las relaciones de aspecto de los objetos alargados, causando una pérdida de la información intrínseca de escala y estructura.
Falta de Interacción Bidireccional: El paradigma dominante de "Extraer-luego-Emparejar" extrae características de las imágenes de consulta y de los ejemplares de forma independiente antes del emparejamiento. Esto ignora la interacción bidireccional entre las características de la consulta y las del ejemplar durante la fase de extracción, lo que resulta en características de consulta que carecen de conciencia del objetivo y son susceptibles a la interferencia del fondo.

Metodología
Los autores proponen PPSNet (Red de Similitud Guiada por Prior Perceptual), la cual adopta el paradigma de Extraer-y-Emparejar (Extract-and-Match). A diferencia de Extraer-luego-Emparejar, este enfoque concatena los tokens de la consulta y del ejemplar en la etapa de entrada, permitiendo la extracción conjunta de características y el modelado de similitud mediante atención de auto-atención (self-attention). Esto permite un verdadero flujo de información bidireccional, donde las características de la consulta se actualizan con la información del ejemplar desde las capas iniciales, mejorando la conciencia del objetivo.

PPSNet integra dos módulos centrales para abordar las limitaciones específicas de los prompts basados en cajas delimitadoras:

Módulo de Construcción de Prior Perceptual (PPCM):
- Objetivo: Caracterizar la distribución de los ejemplares visuales dentro de las cajas delimitadoras y mitigar los efectos del redimensionamiento y el ruido de fondo.
- Mecanismo: El PPCM construye un prior Gaussiano basado en las dimensiones originales de los ejemplares visuales antes del redimensionamiento. Calcula el desplazamiento relativo de los píxeles desde el centro y modula la fuerza del prior mediante un coeficiente de área (inverso al tamaño del ejemplar).
- Efecto: Este prior se concatena con las imágenes de los ejemplares. Codifica implícitamente la información de la relación de aspecto original (compensando la distorsión geométrica causada por el redimensionamiento) y enfatiza la distribución central del objetivo dentro de la caja delimitadora, reduciendo así la activación del ruido de fondo durante la extracción de características.
Módulo de Ponderación Guiada por Similitud (SWM):
- Objetivo: Supervisar explícitamente la similitud entre las características de la consulta y las del ejemplar, y mejorar las respuestas de las características en las regiones objetivo.
- Mecanismo: El SWM calcula un mapa de similitud de coseno entre las características de la consulta y las características del ejemplar visual. Construye una máscara de primer plano a nivel de parche basada en el mapa de densidad de la verdad de campo (ground truth) para supervisar este mapa de similitud utilizando una pérdida de aprendizaje contrastivo ( $L_{sim}$ ).
- Efecto: El mapa de similitud resultante se utiliza para ponderar las características de la consulta. Este proceso amplifica la respuesta de las características de la consulta en las regiones que coinciden semánticamente con los ejemplares visuales, mientras que suprime las respuestas del fondo.

La función objetivo final combina la pérdida de conteo estándar ( $L_{count}$ ) y la pérdida de similitud ( $L_{sim}$ ), equilibradas por un factor $\lambda$ .

Contribuciones Clave

Análisis Teórico: El artículo proporciona un análisis teórico que demuestra las ventajas del paradigma Extraer-y-Emparejar sobre el de Extraer-luego-Emparejar. Demuestra cómo la codificación conjunta supera la falta de guía de flujo de información bidireccional en Extraer-luego-Emparejar, dotando a las características de la consulta de conciencia del objetivo desde el inicio, algo que Extraer-luego-Emparejar no logra debido a su naturaleza secuencial.
Abordaje del Ruido de Fondo: Los autores identifican y abordan el problema de la "pseudoactivación de ruido de fondo" causado por las restricciones geométricas de las cajas delimitadoras. Proponen el PPCM como el primer trabajo en modelar explícitamente la distribución de los ejemplares dentro de las cajas delimitadoras para mitigar este problema y compensar la pérdida de información de escala durante el redimensionamiento.
Nuevo Mecanismo de Ponderación: El SWM introduce la supervisión a nivel de parche para los mapas de similitud mediante aprendizaje contrastivo. Esto permite que la red aprenda explícitamente a distinguir las regiones objetivo del fondo y utilice este conocimiento para ponderar las características de la consulta, mejorando la discriminabilidad.
Generalización: El marco se extiende para soportar el conteo sin guía (usando tokens aprendibles) y el conteo guiado por texto (usando embeddings de texto de CLIP), demostrando versatilidad más allá de los prompts guiados por visión.

Resultados Experimentales
Se realizaron experimentos extensos en los conjuntos de datos FSC-147, CARPK y COCO.

FSC-147 (Guiado por visión): PPSNet alcanzó un rendimiento de vanguardia (state-of-the-art). En la configuración de un solo ejemplar, redujo el MAE a 11.12 y el RMSE a 81.17 en el conjunto de prueba. En la configuración de tres ejemplares, logró un MAE de 9.29 y un RMSE de 61.83, superando significativamente al mejor anterior (RCFNet) y a la línea base de Extraer-luego-Emparejar (CounTR) (por ejemplo, una mejora del 22.26% en MAE sobre CounTR).
Sin Guía y Guiado por Texto: Al adaptarse a los paradigmas sin guía y guiado por texto, PPSNet también logró resultados de vanguardia, superando a métodos como GCA-SUN y T2ICount.
Generalización entre Conjuntos de Datos: En el conjunto de datos CARPK (sin ajuste fino), PPSNet superó a BMNet+ y CounTR. En Val-COCO y Test-COCO, superó tanto a los métodos de conteo basados en regresión como a las líneas base de detección de objetos (Faster R-CNN, RetinaNet).
Estudios de Ablación: La eliminación de PPCM o SWM resultó en una degradación del rendimiento, confirmando el refuerzo mutuo de ambos módulos. El estudio también determinó que 3 ejemplares visuales producen el rendimiento óptimo, mientras que 2 tokens aprendibles son óptimos para el conteo sin guía.

Significancia y Reivindicaciones
El artículo afirma que PPSNet representa un avance significativo en el conteo agnóstico de clases al analizar teóricamente el paradigma de Extraer-y-Emparejar y resolver prácticamente el problema persistente de la interferencia del ruido de fondo en los prompts basados en cajas delimitadoras. Los autores enfatizan que este es el primer trabajo en abordar el impacto no despreciable de las restricciones geométricas de las cajas delimitadoras en la precisión del conteo mediante priors perceptuales y ponderación guiada por similitud. Los resultados demuestran que, al mejorar la conciencia del objetivo y suprimir el ruido de fondo, el modelo logra una precisión y generalización superiores en diversos escenarios y tipos de prompts (visión, texto y ninguno).

Más como este