💻 computer science

CoDi -- an exemplar-conditioned diffusion model for low-shot counting

El artículo presenta CoDi, un novedoso modelo de difusión latente condicionado por ejemplares que supera significativamente a los métodos actuales del estado del arte en el conteo de objetos con pocos ejemplos al abordar eficazmente los desafíos en regiones densas de objetos pequeños mediante un módulo de condicionamiento especializado que genera mapas de densidad de alta calidad para una localización precisa.

Autores originales: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Publicado 2026-07-17

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que intentas contar cada uno de los granos de arena en una playa, o cada pequeña estrella en un cielo nocturno abarrotado. Si solo miras la imagen completa, es un borrón. Si intentas contarlos uno por uno con una lupa, podrías perder algunos o contar el mismo dos veces. Este es el lucha diaria de las computadoras al intentar "contar" cosas en imágenes, una tarea conocida como conteo de objetos. Durante mucho tiempo, las computadoras tuvieron dos formas principales de hacer esto. La primera era como verter agua sobre la arena: creaban un "mapa de densidad", una colina suave donde la altura representaba cuántas cosas había. Era bueno para obtener un total aproximado, pero pésimo para decirte exactamente dónde estaba cada grano. La segunda forma era como usar un puntero láser para etiquetar cada estrella. Esto era genial para encontrar ubicaciones, pero si las estrellas estaban demasiado apiñadas, la computadora se confundía, se quedaba sin "punteros" para usar y empezaba a perder cosas o a quedarse atrapada en un bucle.

Ahora, imagina un nuevo tipo de artista que no solo pinta una colina borrosa o usa un número limitado de punteros láser. En su lugar, este artista comienza con un lienzo lleno de ruido estático —como una pantalla de televisión sin señal— y lentamente, paso a paso, despeja el ruido para revelar una imagen perfecta y nítida de exactamente dónde está cada objeto. Esta es la idea central detrás de un nuevo método llamado CoDi (Counting by Diffusion / Conteo por Difusión). Los investigadores detrás de este artículo, Grega Šuštar y su equipo, han construido un sistema que utiliza un "modelo de difusión" —un tipo de IA famosa por generar imágenes— para resolver el problema del conteo. En lugar de adivinar un número o dibujar un cuadro, CoDi aprende a "eliminar el ruido" (denoise) de un lienzo en blanco hasta que surge un mapa de puntos distintos y nítidos, cada uno representando un objeto. El truco de magia es que puede hacer esto incluso si solo le muestras uno o dos ejemplos de lo que debe buscar, o incluso si no le das ningún ejemplo. Es como mostrarle a un amigo una sola foto de un tipo específico de hongo y pedirle que encuentre todos esos hongos en un bosque; CoDi no solo adivina el total, sino que señala el lugar exacto de cada uno de esos hongos, incluso en las partes más densas y concurridas del bosque.

El Problema: El dilema de la "Habitación Abarrotada"

Contar cosas en una foto es fácil cuando los objetos están dispersos. Pero, ¿qué pasa cuando tienes una foto de un enjambre de abejas, un montón de uvas o una multitud de personas? Aquí es donde los métodos antiguos chocan contra un muro.

Los métodos de "densidad" son como intentar contar una multitud midiendo la altura del "calor" de la multitud. Si la multitud es densa, el calor es alto, y la computadora sabe que hay muchas personas. Pero no puede decirte quién está dónde. Si intentas encontrar personas individuales buscando los picos más altos en ese mapa de calor, a menudo te equivocas porque el calor se desdibuja.

Los métodos de "detección" son como tener un guardia de seguridad con un número limitado de walkie-talkies. El guardia puede señalar a personas específicas, pero si hay demasiada gente (más de la cantidad de walkie-talkies), el guardia tiene que dividir a la multitud en grupos más pequeños, contarlos por separado e intentar unir las respuestas de nuevo. Esto es lento, desordenado y a menudo lleva a contar a la misma persona dos veces o a perder a alguien por completo.

La Solución: El "Ruido Mágico" de CoDi

Los autores proponen CoDi, un sistema que trata el conteo como un juego de "limpiar el estático".

Así es como funciona, paso a paso:

El Punto de Partida: Imagina una pantalla de TV en blanco y con ruido. Este es el punto de partida para CoDi. Aún no sabe dónde están los objetos.
La Pista del "Ejemplar": Si quieres contar manzanas, le muestras a la computadora algunas fotos de manzanas (llamadas "ejemplares"). CoDi tiene un "módulo de condicionamiento" especial que actúa como un filtro superinteligente. Mira tus ejemplos de manzanas y dice: "Bien, necesito encontrar cosas que se vean exactamente como estas, e ignorar todo lo demás".
La Danza de la Eliminación de Ruido: CoDi comienza a eliminar el ruido de la pantalla de TV, pero lo hace de una manera muy específica. No solo adivina; refina la imagen gradualmente. Con cada paso, el ruido borroso se convierte en puntos cada vez más nques y definidos.
El Resultado: Al final del proceso, la pantalla no es una colina borrosa ni una lista desordenada. Es un mapa limpio con picos diminutos y afilados. Cada pico es un punto perfecto que representa un objeto. La computadora simplemente cuenta los puntos.

El ingrediente secreto es que CoDi aprende a generar estos puntos nítidos uno por uno en lugar de promediarlos. Esto significa que, incluso en una escena súper concurrida donde los objetos se tocan, CoDi puede separarlos y contarlos con precisión.

Lo que Encontraron: Superando a los Mejores

El equipo probó CoDi en algunos conjuntos de datos muy difíciles, incluyendo FSC147 (que tiene 147 tipos diferentes de objetos) y MCAC (un conjunto de datos de conteo de múltiples clases). Los resultados fueron impresionantes:

Conteo de Pocos Ejemplos (Few-Shot Counting): Cuando se le dieron pocos ejemplos (como 3 imágenes del objeto objetivo), CoDi superó a los mejores métodos actuales por un 15% en términos de precisión (Error Absoluto Medio, o MAE).
Conteo de Un Solo Ejemplo (One-Shot Counting): Incluso cuando solo se le dio un ejemplo, CoDi seguía siendo el mejor, superando al método superior anterior por un 13%.
Sin Ejemplos (Sin Referencia): Cuando no se le dieron ejemplos en absoluto y se le pidió que contara el objeto más común en la imagen, CoDi aun así superó a los mejores métodos existentes por un 10%.
El Desafío Multiclase: En el conjunto de datos MCAC, donde una imagen puede tener manzanas, naranjas y bananas todas mezcladas, CoDi aplastó a la competencia, superando al método superior por un masivo 38%.

Por qué esto Importa

El artículo descarta explícamente la idea de que se necesita un número masivo de "punteros" preentrenados (como los antiguos métodos de detección) para contar grandes multitudes. Demostraron que el uso de mosaicos (cortar las imágenes en piezas) es un parche torpe que ralentiza el proceso y causa errores. CoDi demuestra que no necesitas cortar la imagen; puedes procesar toda la imagen a la vez y aun así obtener resultados perfectos.

También demostraron que CoDi es robusto. Incluso si los ejemplos que le das son ligeramente desordenados o los objetos son diminutos, se mantiene firme. De hecho, los autores encontraron que CoDi es tan estable que si pasas la misma imagen por él veinte veces, el conteo cambia en menos del 1% en promedio.

Los Límites y el Futuro

Aunque CoDi es un gran paso adelante, los autores son honestos sobre dónde tiene dificultades. A veces tiene problemas con objetos que son extremadamente largos y delgados (como una fila de libros parados de canto) o cuando los objetos se superponen de formas muy extrañas. También señalan que, aunque es excelente para encontrar el centro de un objeto, aún no dibuja un cuadro alrededor de todo el objeto (aunque planean trabajar en ello).

En resumen, CoDi sugiere que al tratar el conteo como un proceso de "limpiar el ruido" en lugar de "adivinar un número", podemos construir computadoras que ven las multitudes como lo hacen los humanos: no como un borrón, sino como una colección de individuos distintos y contables. Es una nueva forma de ver el mundo, un punto a la vez.

Resumen Técnico: CoDi – Un Modelo de Difusión Condicionado por Ejemplares para el Conteo de Pocos Disparos (Low-Shot)

1. Definición del Problema

El artículo aborda el conteo de objetos de pocos disparos (low-shot object counting), una tarea que consiste en estimar el número de objetos de categorías no vistas en una imagen utilizando solo unos pocos ejemplares anotados (few-shot/one-shot) o sin ejemplares en absoluto (sin referencia).

Aunque los métodos modernos han progresado, enfrentan desafíos significativos en regiones densas que contienen objetos pequeños:

Contadores basados en densidad (p. ej., LOCA, CounTR) estiman conteos sumando un mapa de densidad regresado. Sin embargo, estos mapas a menudo carecen de modos únicos bien expresados para objetos individuales, lo que conduce a una localización deficiente y falsos positivos cuando se aplica la Supresión de No Máximos (NMS).
Contadores basados en detección (p. ej., CountGD, GeCo) predicen cajas delimitadoras (bounding boxes) o puntos centrales. Estos métodos suelen ser basados en consultas (arquitecturas transformer) con un número fijo de consultas pre-entrenadas. En escenas densas, el conteo de objetos a menudo supera esta capacidad, lo que obliga al uso de tiling (dividir las imágenes en recortes) computacionalmente costoso y un complejo post-procesamiento de reconciliación de bordes. Además, los modelos basados en regresión entrenados en centros de verdad de campo (ground-truth) ruidosos suelen producir mapas difusos no aptos para un conteo de picos precisos.

2. Metodología: CoDi

Los autores proponen CoDi (Counting by Diffusion), el primer contador de pocos disparos basado en difusión latente diseñado para producir mapas de localización de objetos de alta calidad y nítidos.

Arquitectura Central

CoDi utiliza un Modelo de Difusión Latente Condicionado (LDM) para refinar iterativamente un mapa de localización de objetos.

Representación de Entrada:
- La imagen de entrada $I$ se codifica en una representación latente $z_I$ utilizando un backbone AM-RADIO pre-entrenado.
- El mapa de localización de objetos objetivo $L$ se construye colocando Gaussianas normalizadas sobre los centros de verdad de campo. Este mapa se proyecta en un espacio latente $z_0$ a través de un VAE pre-entrenado.
- Durante el proceso de difusión hacia adelante, se añade ruido a $z_0$ para crear una secuencia de latentes ruidosos $z_t$ .
Red de Denoisado (Denoising Network):
- Una UNet estándar (de tres niveles) se entrena para revertir el proceso de difusión, prediciendo el ruido o el vector de velocidad ( $v_t$ ) para recuperar el mapa latente limpio.
- La entrada a la UNet es la concatenación del latente de la imagen $z_I$ y el latente de localización ruidoso actual $z_t$ .
Condicionamiento Basado en Ejemplares (EC):
- Esta es la innovación central. Para especializar el modelo a la categoría de objeto objetivo en el tiempo de prueba, la red se condiciona mediante cajas delimitadoras de ejemplares proporcionadas por el usuario.
- Extracción de Prototipos Adaptativos: A diferencia del condicionamiento estático, CoDi extrae prototipos de apariencia (vía RoI-Align en las características actuales de la UNet) y prototipos de forma (vía MLP en las dimensiones de la caja) en cada paso de tiempo de la difusión.
- Modulación: Estos prototipos se inyectan en las primeras y últimas capas de la UNet a través de una capa de atención Transformer. Las características de la UNet actúan como consultas (queries), mientras que los prototipos específicos del tiempo actúan como llaves (keys) y valores (values). Esto permite que la red se adapte continuamente su comprensión del objeto objetivo a medida que el proceso de denoisado refina el mapa de localización.
Inferencia:
- Partiendo de un ruido Gaussiano aleatorio, la red realiza $T$ pasos de denoisado (p. ej., $T=25$ ).
- El mapa latente final es decodificado por el VAE en un mapa de localización de alta resolución $\tilde{L}$ .
- Los centros de los objetos se detectan como máximos locales en vecindarios de $3\times3$ que superan un umbral, y el conteo total es el número de picos detectados.

Adaptación Sin Referencia (Reference-Less)

Para escenarios sin ejemplares, los autores introducen consultas entrenables sin referencia. Estas consultas se convierten en prototipos mediante la atención a las características de la capa, permitiendo al modelo contar la clase mayoritaria sin prompts visuales específicos. Esto requiere solo el ajuste fino (fine-tuning) de los parámetros de la consulta manteniendo el resto de la red congelada.

3. Contribuciones Clave

Primer Contador de Pocos Disparos de Difusión Latente: CoDi es el primer método que aplica difusión latente específicamente para el conteo de pocos disparos, evitando el problema de promediado de ruido de anotación de los modelos basados en regresión mediante la generación de predicciones de instancia única.
Módulo de Condicionamiento Basado en Ejemplares: Un mecanismo novedoso que extrae y ajusta prototipos de objetos dinámicamente durante el proceso de difusión. Esto conduce a picos estrechos y separados en el mapa de localización, permitiendo una localización precisa mediante NMS sin necesidad de tiling.
Espectro Unificado de Pocos Disparos: CoDi es el primer contador basado en difusión que cubre los escenarios de few-shot, one-shot y sin referencia dentro de un mismo marco de trabajo.
Eficiencia: Al operar en el espacio latente y evitar el tiling adaptativo requerido por los detectores basados en consultas (como CountGD), CoDi ofrece un proceso de inferencia más estable computacionalmente, particularmente para imágenes con muchos objetos pequeños.

4. Resultados Experimentales

El artículo evalúa CoDi en los benchmarks FSC147 (few-shot) y MCAC (multi-class).

Few-Shot (FSC147): CoDi supera al contador basado en densidad SOTA (CountDiff) por un 38% en MAE y 42% en RMSE en el conjunto de prueba. Comparado con el SOTA basado en localización (CountGD), CoDi mejora el MAE en un 15% y el RMSE en un 29%.
One-Shot: CoDi alcanza un nuevo SOTA, superando a GeCo por un 13% en MAE y 49% en RMSE, demostrando robustez incluso con un solo ejemplar.
Sin Referencia (Reference-Less): CoDi supera al mejor SOTA sin texto (GeCo) por un 10% en MAE. Aunque queda por detrás de los métodos zero-shot con prompt de texto (p. ej., CountSE), sigue siendo competitivo sin depender de texto.
Multi-Clase (MCAC): CoDi establece un nuevo SOTA, superando al método superior (GeCo2) por un 38% en MAE.
Calidad de Localización: CoDi logra un mayor recall (0.88 vs 0.81) y puntuaciones F1 (0.92 vs 0.87) en comparación con CountGD en el conjunto de prueba, con una distancia de detección promedio de 8.79 píxeles desde la verdad de campo.
Eficiencia: CoDi muestra tiempos de inferencia estables (~1.1s/imagen) con baja varianza, a diferencia de CountGD cuyo tiempo de ejecución se degrada significamente en imágenes densas debido al tiling. Utiliza menos parámetros que GeCo y menos VRAM.

5. Significación y Reivindicaciones

Los autores afirman que CoDi representa un cambio significativo en el conteo de pocos disparos al reformular la tarea como un problema de generación en lugar de un problema de regresión o detección.

Robustez a la Densidad: La principal significación reside en la capacidad de CoDi para manejar regiones densas de objetos pequeños donde los métodos existentes fallan debido a límites de consultas o mapas de densidad difusos. El proceso de difusión produce naturalmente picos "nítidos" adecuados para NMS.
Eliminación del Tiling: Al evitar el límite de capacidad de consultas fijas de los detectores transformer, CoDi elimina la necesidad de un tiling computacionalmente pesado y la reconciliación de bordes.
Adaptabilidad: El módulo de condicionamiento por ejemplar permite al modelo generalizar a categorías no vistas con datos mínimos, mientras que la adaptación sin referencia extiende esto al conteo de la clase mayoritaria sin reentrenar toda la red.

El artículo concluye que CoDi establece un nuevo estado del arte en todo el espectro de conteo de pocos disparos, ofreciendo un equilibrio entre alta precisión, localización exacta y estabilidad computacional. Se señala como trabajo futuro la posibilidad de extender esto a la predicción de cajas delimitadoras y el manejo de objetos con relaciones de aspecto extremas.