Granular Ball Guided Stable Latent Domain Discovery for Domain-General Crowd Counting

1. Il Problema: Conteggio della Folla e Generalizzazione di Dominio (DG)

Il conteggio della folla (crowd counting) mira a stimare il numero di persone in un'immagine, tipicamente prevedendo una mappa di densità. Sebbene i modelli basati su reti neurali profonde abbiano ottenuto ottimi risultati, soffrono di un grave calo delle prestazioni quando vengono distribuiti in ambienti diversi da quelli di addestramento a causa di spostamenti di dominio (domain shifts). Questi includono variazioni nella densità della folla, punti di vista, illuminazione, layout della scena e clutter di sfondo.

La sfida principale affrontata in questo lavoro è la Generalizzazione di Dominio a Sorgente Singola (Single-Source DG):

• Il modello viene addestrato esclusivamente su un dominio sorgente etichettato.
• Non sono disponibili dati del dominio target (né etichettati né non etichettati) durante l'addestramento.
• Il modello deve generalizzare direttamente a domini target non visti senza alcuna fase di adattamento.

Un ostacolo fondamentale è che un singolo "dominio sorgente" non è omogeneo, ma contiene spesso domini latenti eterogenei. I metodi esistenti tentano di scoprire questi domini latenti raggruppando i campioni tramite clustering diretto a livello di campione (flat clustering). Tuttavia, questo approccio è instabile perché:

1. È sensibile al rumore delle caratteristiche (feature noise) e agli outlier.
2. Soffre di deriva delle rappresentazioni (representation drift) durante l'addestramento.
3. Porta a assegnazioni di pseudo-dominio inaffidabili, indebolendo l'apprendimento strutturato.

2. Metodologia Proposta

Gli autori propongono un framework che combina la scoperta stabile di domini latenti con un apprendimento rappresentativo disaccoppiato.

A. Scoperta Stabile di Domini Latenti Guidata da Granular Ball (GBC)

Invece di clusterizzare direttamente i singoli campioni, il metodo utilizza il Granular Ball Computing (GBC) per trasformare il clustering in un processo gerarchico e robusto:

1. Costruzione di Granular Ball: I campioni vengono organizzati in "palline granulari" (granular balls) compatte che riassumono la struttura locale. Ogni pallina è definita da un centro rappresentativo e attributi strutturali.
2. Divisione Gerarchica: Le palline vengono divise ricorsivamente (da grossolano a fine) utilizzando un weighted 2-means inizializzato con semi a punto più lontano (farthest-point seeding). Una divisione viene accettata solo se migliora la compattezza interna.
3. Clustering dei Centri: Una volta ottenute le palline finali, i loro centri (e non i singoli campioni) vengono clusterizzati per ottenere i pseudo-dominio.
   • Vantaggio: Questo trasforma il clustering instabile a livello di campione in un clustering stabile a livello di rappresentante, riducendo la sensibilità al rumore e alle variazioni transitorie delle feature.
4. Allineamento Temporale: Poiché i domini latenti vengono riscoperti online ad ogni epoca, i cluster vengono allineati all'epoca precedente tramite l'algoritmo ungherese (Hungarian matching) per mantenere la coerenza delle etichette.

B. Framework di Apprendimento a Due Rami

Sulla base dei domini latenti scoperti, viene sviluppato un framework con due rami paralleli su un backbone condiviso:

1. Ramo Semantico (Semantic Branch):

   • Si concentra sull'apprendimento di semantica di conteggio invariante al dominio.
   • Utilizza un Codebook Semantico (un banco di memoria apprendibile) per ricalibrare (re-encode) le feature semantiche.
   • Applica una regolarizzazione per allineare i descrittori semantici globali tra i diversi pseudo-dominio, promuovendo una base semantica coerente.

2. Ramo Stile (Style Branch):

   • Cattura le variazioni di aspetto specifiche del dominio (stile).
   • Non viene utilizzato per la previsione diretta della densità, ma fornisce segnali di regolarizzazione.
   • Obiettivi di Regolarizzazione:
     • Compattezza intra-dominio: Minimizza la varianza dello stile all'interno dello stesso pseudo-dominio.
     • Ortogonalità: Impone una restrizione di ortogonalità tra le feature semantiche e quelle stilistiche per prevenire la "fuga" (leakage) di informazioni di stile nel ramo semantico, favorendo un apprendimento disaccoppiato (disentangled).

3. Contributi Chiave

1. Identificazione del Collo di Bottiglia: Gli autori evidenziano che la scoperta instabile di domini latenti è il limite principale della DG a sorgente singola nel conteggio della folla e dimostrano che il clustering diretto a livello di campione è vulnerabile al rumore.
2. Metodo GBC per la Scoperta di Domini: Propongono un metodo innovativo che utilizza le Granular Ball per trasformare il clustering in un processo gerarchico basato su rappresentanti, ottenendo assegnazioni di pseudo-dominio molto più stabili.
3. Framework di Apprendimento Strutturato: Sviluppano un approccio a due rami con Semantic Codebook Re-encoding e regolarizzazione dello stile, che migliora l'apprendimento semantico invariante al dominio sopprimendo al contempo le perdite di informazioni specifiche del dominio.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark standard: ShanghaiTech A/B (SHA/SHB), UCF QNRF e NWPU-Crowd, seguendo un protocollo rigoroso di "nessun adattamento" (no-adaptation).

• Performance Generale: Il metodo proposto supera costantemente i baselines più forti (incluso DGCC) in tutti gli scenari di trasferimento cross-dominio.
• Gap di Dominio Elevato: I miglioramenti sono particolarmente evidenti in trasferimenti difficili come SHB → QNRF (dove il MAE scende da 179.1 a 165.3) e QNRF → SHA, dimostrando una maggiore robustezza quando le differenze tra sorgente e target sono ampie.
• Robustezza su NWPU-Crowd: Su questo dataset su larga scala e altamente eterogeneo, il metodo ottiene i valori MSE (Mean Squared Error) più bassi, indicando una riduzione significativa degli errori estremi (outlier) e una migliore gestione delle scene con densità variabili.
• Analisi Ablativa:
  • La strategia di scoperta dei domini basata su Granular Ball supera sia il raggruppamento casuale che il clustering K-means diretto a livello di campione.
  • I domini scoperti mostrano una migliore separazione dei regimi di densità (stratificazione del conteggio reale).
  • Rimuovere qualsiasi componente (Codebook, regolarizzazione dello stile, o vincolo di ortogonalità) degrada le prestazioni, confermando il contributo complementare di ciascuna parte.

5. Significato e Impatto

Questo lavoro offre una nuova prospettiva strutturale per la generalizzazione di dominio nel contesto del conteggio della folla.

• Stabilità: Introduce un modo più robusto per gestire l'eterogeneità intrinseca dei dataset di addestramento, superando i limiti del clustering diretto.
• Disaccoppiamento: Dimostra l'importanza di separare esplicitamente le informazioni semantiche (contanti) da quelle stilistiche (aspetto) per migliorare la generalizzazione.
• Applicabilità: Il metodo è particolarmente utile in scenari reali dove i dati target non sono disponibili per l'adattamento, garantendo modelli più affidabili per il monitoraggio della sicurezza pubblica e la gestione degli eventi su larga scala in condizioni ambientali variabili.

In sintesi, l'approccio combina una modellazione strutturale avanzata (Granular Ball) con tecniche di apprendimento rappresentativo disaccoppiato per risolvere uno dei problemi più difficili nel campo della visione artificiale: il conteggio accurato in condizioni di distribuzione sconosciuta.