💻 computer science

CoDi -- an exemplar-conditioned diffusion model for low-shot counting

Il documento introduce CoDi, un nuovo modello di diffusione latente condizionato da esempi che supera significativamente i metodi allo stato dell'arte esistenti nel conteggio di oggetti in scenari low-shot, affrontando efficacemente le sfide nelle regioni dense e con oggetti piccoli attraverso un modulo di condizionamento specializzato che genera mappe di densità di alta qualità per una localizzazione precisa.

Autori originali: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Pubblicato 2026-07-17

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Grega Šuštar, Jer Pelhan, Alan Lukežič, Matej Kristan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di contare ogni singolo granello di sabbia su una spiaggia, o ogni minuscola stella in un cielo notturno affollato. Se guardi solo l'immagine nel suo insieme, è una macchia sfocata. Se provi a contarli uno per uno con una lente d'ingrandimento, potresti perderne alcuni o contarne uno due volte. Questa è la lotta quotidiana dei computer che cercano di "contare" le cose nelle immagini, un compito noto come conteggio di oggetti (object counting). Per molto tempo, i computer hanno avuto due modi principali per farlo. Il primo era come versare acqua sulla sabbia: creavano una "mappa di densità", una collina liscia dove l'altezza rappresentava quanti elementi c'erano. Era utile per ottenere un totale approssimativo, ma terribile nel dirti esattamente dove si trovasse ogni granello. Il secondo modo era come usare un puntatore laser per segnare ogni singola stella. Questo era ottimo per trovare le posizioni, ma se le stelle erano troppo affollate, il computer si confondeva, esauriva i "puntatori" a disposizione e iniziava a mancare dei pezzi o a incastrarsi in un ciclo infinito.

Immagina ora un nuovo tipo di artista che non si limita a dipingere una collina sfocata o a usare un numero limitato di puntatori laser. Invece, questo artista parte da una tela piena di rumore statico — come uno schermo televisivo senza segnale — e lentamente, passo dopo passo, pulisce il rumore per rivelare un'immagine perfetta e nitida di dove si trova esattamente ogni oggetto. Questa è l'idea centrale dietro un nuovo metodo chiamato CoDi (Counting by Diffusion). I ricercatori dietro questo articolo, Grega Šuštar e il suo team, hanno costruito un sistema che utilizza un "modello di diffusione" — un tipo di IA famosa per la generazione di immagini — per risolvere il problema del conteggio. Invece di indovinare un numero o disegnare un riquadro, CoDi impara a "denoisare" (rimuovere il rumore da) una tela bianca finché non ne emerge una mappa di puntini piccoli e distinti, ognuno dei quali rappresenta un oggetto. Il trucco magico è che può farlo anche se gli mostri solo uno o due esempi di ciò che deve cercare, o anche se non gli dai alcun esempio. È come mostrare a un amico una singola foto di un tipo specifico di fungo e chiedergli di trovare ogni singolo fungo in una foresta; CoDi non si limita a indovinare il numero totale, ma indica il punto esatto di ogni singolo fungo, anche nelle parti più fitte e affollate della foresta.

Il Problema: Il dilemma della "Stanza Affollata"

Contare le cose in una foto è facile quando gli oggetti sono sparsi. Ma cosa succede quando hai una foto di uno sciame di api, un mucchio di uva o una folla di persone? È qui che i vecchi metodi si scontrano con un muro.

I metodi di "densità" sono come cercare di contare una folla misurando l'altezza del "calore" della folla. Se la folla è densa, il calore è alto, e il computer sa che ci sono molte persone. Ma non può dirti chi è dove. Se provi a trovare le singole persone cercando i picchi più alti in quella mappa di calore, spesso sbagli perché il calore si fonde insieme.

I metodi di "rilevamento" (detection) sono come avere un addetto alla sicurezza con un numero limitato di walkie-talkie. L'addetto può indicare persone specifiche, ma se ci sono troppe persone (più dei walkie-talkie disponibili), l'addetto deve dividere la folla in gruppi più piccoli, contarli separatamente e cercare di ricomporre le risposte. Questo è lento, disordinato e spesso porta a contare la stessa persona due volte o a mancarne qualcuno interamente.

La Soluzione: Il "Rumore Magico" di CoDi

Gli autori propongono CoDi, un sistema che tratta il conteggio come un gioco di "pulizia dello statico".

Ecco come funziona, passo dopo passo:

Il Punto di Partenza: Immagina uno schermo televisivo vuoto e rumoroso. Questo è il punto di partenza per CoDi. Non sa ancora dove si trovano gli oggetti.
L'Indizio dell'Esemplare: Se vuoi contare delle mele, mostri al computer alcune immagini di mele (chiamate "esemplari"). CoDi ha un modulo di condizionamento speciale che agisce come un filtro super intelligente. Guarda i tuoi esempi di mele e dice: "Ok, devo trovare cose che siano esattamente come queste, e ignorare tutto il resto".
La Danza della Rimozione del Rumore: CoDi inizia a rimuovere il rumore dallo schermo televisivo, ma lo fa in un modo molto specifico. Non si limita a indovinare; affina gradualmente l'immagine. A ogni passo, il rumore sfocato si trasforma in puntini sempre più nitidi.
Il Risultato: Alla fine del processo, lo schermo non è una collina sfocata o un elenco disordinato. È una mappa pulita con piccoli picchi nitidi. Ogni picco è un puntino perfetto che rappresenta un oggetto. Il computer deve solo contare i puntini.

Il segreto è che CoDi impara a generare questi puntini nitidi uno alla volta invece di mediarli. Ciò significa che anche in una scena super affollata dove gli oggetti si toccano, CoDi può separarli e contarli con precisione.

Cosa hanno scoperto: Battere i migliori

Il team ha testato CoDi su alcuni dataset molto difficili, tra cui FSC147 (che contiene 147 diversi tipi di oggetti) e MCAC (un dataset di conteggio multi-classe). I risultati sono stati impressionanti:

Conteggio Few-Shot: Quando riceve solo pochi esempi (come 3 immagini dell'oggetto target), CoDi ha superato i migliori metodi attuali del 15% in termini di accuratezza (Errore Assoluto Medio, o MAE).
Conteggio One-Shot: Anche quando riceve un solo esempio, CoDi è rimasto il migliore, superando il precedente metodo top del 13%.
Senza Esempi (Reference-less): Quando non riceve alcun esempio e gli viene chiesto di contare l'oggetto più comune nell'immagine, CoDi ha comunque superato i migliori metodi esistenti del 10%.
La Sfida Multi-Classe: Sul dataset MCAC, dove un'immagine potrebbe contenere mele, arance e banane tutte mescolate insieme, CoDi ha schiacciato la concorrenza, superando il metodo principale di un massiccio 38%.

Perché questo è importante

Il documento esclude esplicitamente l'idea che sia necessario un numero enorme di "puntatori" pre-addestrati (come nei vecchi metodi di rilevamento) per contare grandi folle. Hanno dimostrato che il frazionamento delle immagini (tagliarle in pezzi) è un espediente goffo che rallenta le cose e causa errori. CoDi dimostra che non serve tagliare l'immagine; si può elaborare l'intera immagine in una volta sola ottenendo comunque risultati perfetti.

Hanno anche dimostrato che Co디 è robusto. Anche se gli esempi forniti sono leggermente disordinati o gli oggetti sono minuscoli, il sistema regge. Infatti, gli autori hanno scoperto che CoDi è così stabile che se si passa la stessa immagine attraverso di esso venti volte, il conteggio cambia mediamente meno dell'1%.

I Limiti e il Futuro

Sebbene CoDi sia un grande passo avanti, gli autori sono onesti riguardo ai suoi punti deboli. A volte ha difficoltà con oggetti estremamente lunghi e sottili (come una fila di libri in piedi sul bordo) o quando gli oggetti si sovrappongono in modi molto strani. Notano anche che, sebbene sia eccellente nel trovare il centro di un oggetto, non è ancora in grado di disegnare un riquadro attorno all'intero oggetto (anche se intendono lavorarci sopra).

In breve, CoDi suggerisce che trattando il conteggio come un processo di "pulizia del rumore" piuttosto che come un "indovinare un numero", possiamo costruire computer che vedono le folle come fanno gli umani: non come una macchia, ma come una collezione di individui distinti e numerabili. È un nuovo modo di vedere il mondo, un puntino alla volta.

Riassunto Tecnico: CoDi – Un Modello di Diffusione Condizionato da Esemplari per il Conteggio Low-Shot

1. Definizione del Problema

Il paper affronta il conteggio di oggetti low-shot, un compito che consiste nel stimare il numero di oggetti in categorie non viste in un'immagine utilizzando solo pochi esemplari annotati (few-shot/one-shot) o nessun esemplare (reference-less).

Sebbene i metodi moderni abbiano fatto progressi, essi affrontano sfide significative nelle regioni dense contenenti oggetti piccoli:

Contatori basati sulla densità (es. LOCA, CounTR) stimano i conteggi sommando una mappa di densità regressa. Tuttavia, queste mappe spesso mancano di singoli modi ben espressi per i singoli oggetti, portando a una scarsa localizzazione e falsi positivi quando viene applicata la Non-Maxima Suppression (NMS).
Contatori basati sulla rilevazione (es. CountGD, GeCo) predicono bounding box o punti centrali. Questi metodi sono spesso basati su query (architetture transformer) con un numero fisso di query pre-addestrate. Nelle scene dense, il numero di oggetti supera spesso questa capacità, costringendo all'uso di un costoso processo di tiling (divisione delle immagini in ritagli) e di un complesso post-processing di riconciliazione dei bordi. Inoltre, i modelli basati su regressione addestrati su centri di verità fondamentale (ground-truth) rumorosi spesso producono mappe sfocate, inadatte a un conteggio accurato dei picchi.

2. Metodologia: CoDi

Gli autori propongono CoDi (Counting by Diffusion), il primo contatore low-shot basato su diffusione latente progettato per produrre mappe di localizzazione degli oggetti di alta qualità e nitide.

Architettura Core

CoDi utilizza un Modello di Diffusione Latente Condizionato (LDM) per raffinare iterativamente una mappa di localizzazione degli oggetti.

Rappresentazione dell'Input:
- L'immagine di input $I$ viene codificata in una rappresentazione latente $z_I$ utilizzando un backbone AM-RADIO pre-addestrato.
- La mappa target delle posizioni degli oggetti $L$ è costruita posizionando gaussiane normalizzate sopra i centri della verità fondamentale. Questa mappa è proiettata in uno spazio latente $z_0$ tramite un VAE pre-addestrato.
- Durante il processo di diffusione in avanti, viene aggiunto rumore a $z_0$ per creare una sequenza di latenti rumorosi $z_t$ .
Rete di Denoising:
- Una UNet standard (tre livelli) è addestrata per invertire il processo di diffusione, predicendo il rumore o il vettore di velocità ( $v_t$ ) per recuperare la mappa latente pulita.
- L'input alla UNet è la concatenazione del latente dell'immagine $z_I$ e dell'attuale latente di posizione rumoroso $z_t$ .
Condizionamento Basato su Esemplari (EC):
- Questa è l'innovazione principale. Per specializzare il modello alla categoria di oggetti target al tempo di test, la rete è condizionata su bounding box di esemplari forniti dall'utente.
- Estrazione Adattiva dei Prototipi: A differenza del condizionamento statico, CoDi estrae prototipi di aspetto (tramite RoI-Align sulle attuali feature della UNet) e prototipi di forma (tramite MLP sulle dimensioni delle box) ad ogni timestep di diffusione.
- Modulazione: Questi prototipi vengono iniettati nei primi e negli ultimi strati della UNet tramite uno strato di attenzione Transformer. Le feature della UNet agiscono come query, mentre i prototipi specifici del tempo agiscono come chiavi (keys) e valori (values). Ciò consente alla rete di adattare continuamente la propria comprensione dell'oggetto target mentre il processo di denoising raffina la mappa di localizzazione.
Inferenza:
- Partendo da rumore gaussiano casuale, la rete esegue $T$ passi di denoising (es. $T=25$ ).
- Il latente finale viene decodificato dal VAE in una mappa di localizzazione ad alta risoluzione $\tilde{L}$ .
- I centri degli oggetti sono rilevati come massimi locali in vicinanze $3\times3$ che superano una soglia, e il conteggio totale è il numero di picchi rilevati.

Adattamento Reference-Less

Per scenari senza esemplari, gli autori introducono query reference-less addestrabili. Queste query vengono convertite in prototipi facendo attenzione alle feature dello strato, permettendo al modello di contare la classe maggioritaria senza prompt specifici. Ciò richiede solo il fine-tuning dei parametri delle query mantenendo il resto della rete congelato.

3. Contributi Chiave

Primo Contatore Low-Shot con Diffusione Latente: CoDi è il primo metodo che applica la diffusione latente specificamente per il conteggio low-shot, evitando il problema della media del rumore delle annotazioni tipico dei modelli basati su regressione, generando invece predizioni di singoli istanze.
Modulo di Condizionamento Basato su Esemplari: Un meccanismo innovativo che estrae e adatta dinamicamente i prototipi degli oggetti durante il processo di diffusione. Ciò porta a picchi stretti e separati nella mappa di localizzazione, consentendo una localizzazione accurata tramite NMS senza necessità di tiling.
Spettro Low-Shot Unificato: CoDi è il primo contatore basato su diffusione a coprire scenari few-shot, one-shot e reference-less all'interno di un unico framework.
Efficienza: Operando nello spazio latente ed evitando il tiling adattivo richiesto dai detector basati su query (come CountGD), CoDi offre un processo di inferenza più stabile dal punto di vista computazionale, particolarmente per immagini con molti oggetti piccoli.

4. Risultati Sperimentali

Il paper valuta CoDi sui benchmark FSC147 (few-shot) e MCAC (multi-class).

Few-Shot (FSC147): CoDi supera il contatore basato su densità SOTA (CountDiff) del 38% in MAE e del 42% in RMSE sul set di test. Rispetto al SOTA basato su localizzazione (CountGD), CoDi migliora il MAE del 15% e l'RMSE del 29%.
One-Shot: CoDi raggiunge un nuovo SOTA, superando GeCo del 13% in MAE e del 49% in RMSE, dimostrando robustezza anche con un singolo esemplare.
Reference-Less: CoDi supera il miglior SOTA senza testo (GeCo) del 10% in MAE. Sebbene rimanga leggermente dietro ai metodi zero-shot con prompt testuali (es. CountSE), rimane competitivo senza fare affidamento sul testo.
Multi-Class (MCAC): CoDi stabilisce un nuovo SOTA, superando il miglior metodo (GeCo2) del 38% in MAE.
Qualità della Localizzazione: CoDi ottiene un recall più elevato (0.88 vs 0.81) e punteggi F1 (0.92 vs 0.87) rispetto a CountGD sul set di test, con una distanza media di rilevamento di 8.79 pixel dalla verità fondamentale.
Efficienza: CoDi mostra tempi di inferenza stabili (~1.1s/immagine) con bassa varianza, a differenza di CountGD il cui tempo di esecuzione degrada significamente su immagini dense a causa del tiling. Utilizza meno parametri di GeCo e meno VRAM.

5. Significato e Claim

Gli autori affermano che CoDi rappresenta un cambiamento significativo nel conteggio low-shot riformulando il compito come un problema di generazione piuttosto che un problema di regressione o rilevazione.

Robustezza alla Densità: Il significato primario risiede nella capacità di CoDi di gestire regioni dense di oggetti piccoli dove i metodi esistenti falliscono a causa dei limiti delle query o di mappe di densità sfocate. Il processo di diffusione produce naturalmente picchi "nitidi" adatti alla NMS.
Eliminazione del Tiling: Evitando il limite di capacità delle query fisse dei transformer detector, CoDi elimina la necessità di un pesante tiling e della riconciliazione dei bordi.
Adattabilità: Il modulo di condizionamento degli esemplari consente al modello di generalizzare a categorie non viste con dati minimi, mentre l'adattamento reference-less estende questo al conteggio della classe maggioritaria senza dover riaddestrare l'intera rete.

Il paper conclude che CoDi stabilisce un nuovo stato dell'arte attraverso lo spettro del conteggio low-shot, offrendo un equilibrio tra alta accuratezza, localizzazione precisa e stabilità computazionale. Si nota che il lavoro futuro potrebbe estendere questo alla predizione di bounding box e alla gestione di oggetti con rapporti di aspetto estremi.