Thermal-Only Crowd Counting with Deployment-Time Privacy Protection

Sintesi Tecnica: Conteggio delle Folle Solo Termico con Protezione della Privacy al Momento del Deploy

Enunciato del Problema
Il conteggio delle folle è essenziale per la sicurezza pubblica e la pianificazione urbana, ma incontra sfide significative nelle condizioni di illuminazione avverse e nella preservazione della privacy. Sebbene i metodi di fusione RGB-Termico (RGB-T) abbiano migliorato la robustezza rispetto agli approcci RGB a modalità singola, soffrono di due limitazioni critiche. In primo luogo, si basano sulla cattura continua di RGB durante il deploy, il che solleva gravi preoccupazioni sulla privacy registrando caratteristiche identificabili (ad esempio, volti) negli spazi pubblici. In secondo luogo, le strategie di fusione esistenti assumono implicitamente un allineamento perfetto tra sensori RGB e termici; nella pratica, disallineamenti spaziali e temporali dovuti al posizionamento dei sensori e ai tempi di acquisizione degradano le prestazioni di fusione. I tentativi attuali di risolvere i problemi di allineamento producono solo guadagni incrementali, suggerendo che aggirare la necessità di dati RGB interamente possa essere un percorso più trattabile.

Metodologia: TDCount
Gli autori propongono TDCount, il primo framework progettato per l'inferenza solo termica negli scenari di conteggio delle folle RGB-T. Il metodo elimina la dipendenza da RGB al momento dell'inferenza, sfruttando al contempo prior cross-modali appresi durante una fase di addestramento controllata. I componenti principali sono:

1. Ponte Diffusivo Depth-to-RGB: Per affrontare l'ambiguità intrinseca delle firme termiche (ad esempio, la difficoltà di distinguere gli umani da altre fonti di calore), il framework impiega un Latent Consistency Model (LCM) pre-addestrato adattato tramite ControlNet. Un modello di stima della profondità genera una mappa di profondità ($D_T$) dall'immagine termica di input ($T$). Questa mappa di profondità condiziona il ControlNet per estrarre caratteristiche discriminative ($F_{TD}$) che collegano il dominio termico alla ricchezza semantica dei dati RGB senza richiedere un input RGB effettivo.
2. Input Latente Deterministico: A differenza dei modelli di diffusione standard che campionano il rumore in modo stocastico, TDCount fissa il latente rumoroso iniziale ($z_T$) come costante condivisa in tutte le iterazioni di addestramento e inferenza. Ciò garantisce che il processo di estrazione delle caratteristiche sia completamente deterministico e riproducibile, prevenendo il problema della mappatura "molti-a-uno" in cui input identici producono caratteristiche incoerenti, il che renderebbe altrimenti patologico il paesaggio della perdita di regressione.
3. Strategia di Denoising in Un Solo Passo: Gli autori investigano il numero di passaggi di denoising necessari per l'estrazione delle caratteristiche. Dimostrano che il denoising LCM in un solo passo produce caratteristiche più fedeli al contenuto strutturale del segnale di condizionamento della profondità. Il denoising multi-passo disaccoppia progressivamente le caratteristiche dall'input di condizionamento, dando priorità alla raffinazione percettiva rispetto alla fedeltà strutturale e accumulando errori che degradano l'accuratezza del conteggio.
4. Perdita di Allineamento dei Prototipi ($L_{PA}$): Per allineare le caratteristiche termiche eterogenee ($F_T$) con lo spazio semantico derivato dalla diffusione ($F_{TD}$), il framework introduce una perdita di allineamento dei prototipi guidata dal testo. Questa perdita allinea le caratteristiche termiche con prototipi testuali di conteggio codificati da CLIP (ad esempio, "Ci sono $c$ persone nell'area"), facilitando un'integrazione efficace dei due flussi di caratteristiche.

Contributi Chiave

• Framework Centrato sulla Privacy: TDCount è il primo framework a consentire l'inferenza solo termica nel conteggio delle folle RGB-T, eliminando il vettore primario di esposizione alla privacy (cattura RGB continua) nei deploy di sorveglianza nel mondo reale.
• Apprendimento delle Caratteristiche Basato su LCM: Il documento introduce un framework di apprendimento delle caratteristiche basato su LCM e rivela una scoperta controintuitiva: il primo passo di denoising singolo fornisce caratteristiche più discriminative per il conteggio rispetto agli approcci multi-passo, che accumulano errori strutturali.
• Prestazioni Competitive senza RGB: Il metodo ottiene prestazioni competitive rispetto ai metodi dual-modali dello stato dell'arte utilizzando solo input termico all'inferenza, sfidando l'assunzione che i dati RGB siano indispensabili per il conteggio delle folle ad alta accuratezza.

Risultati Sperimentali
Il framework è stato valutato su due dataset ampiamente utilizzati: RGBT-CC e DroneRGBT.

• Prestazioni: Sul dataset RGBT-CC, TDCount ha superato i precedenti metodi RGB-T, migliorando GAME(0) di 0,85 e RMSE di 1,02 rispetto alla baseline MC3Net. Sul dataset DroneRGBT, ha stabilito nuove prestazioni allo stato dell'arte su tutte le metriche, riducendo GAME(0) di 0,26 e RMSE di 0,39 rispetto al metodo precedente migliore (RGBT-Booster).
• Studi di Ablazione:
  • Elaborazione della Profondità: Sostituire l'approccio base solo termico con l'elaborazione della profondità basata su ControlNet ha ridotto significativamente gli errori (GAME(0) è sceso da 17,05 a 10,62), confermando il valore dei prior derivati dalla diffusione.
  • Input Deterministico: L'uso di un input latente stocastico ha causato il fallimento della convergenza del modello (GAME(0) > 50), validando la necessità del design del latente fisso.
  • Passaggi di Denoising: Le prestazioni sono degradate monotonicamente all'aumentare del numero di passaggi di denoising da 1 a 4, confermando che l'estrazione in un solo passo è ottimale.
  • Allineamento dei Prototipi: La proposta $L_{PA}$ ha superato la standard cross-entropy loss, riducendo ulteriormente RMSE da 25,01 a 19,57.

Significato e Affermazioni
Gli autori affermano che TDCount dimostra che una singola modalità ben sfruttata (termica) può eguagliare sistemi duali complessi attraverso un efficace utilizzo delle caratteristiche, evitando così le sfide di allineamento e i rischi per la privacy intrinseci alla fusione RGB-T.

Crucialmente, il documento affronta le preoccupazioni sulla privacy riguardo all'uso di dati RGB durante la fase di addestramento. Gli autori sostengono che il ControlNet fine-tunato non costituisce un canale di perdita della privacy perché:

1. Limiti Architettonici: Il codificatore VAE in Stable Diffusion (downsampling 8x) comprime le caratteristiche di identità fini (come i volti nelle riprese di folle distanti) in token latenti, rendendoli irrecuperabili.
2. Condizioni di Memorizzazione: I modelli di diffusione memorizzano tipicamente i dati di addestramento solo quando i campioni sono pesantemente duplicati; i dataset di conteggio delle folle presentano individui unici, e l'addestramento utilizza un prompt generico ("una foto di una folla di persone"), prevenendo un condizionamento specifico dell'identità.

Pertanto, il framework separa con successo la necessità di dati RGB (utilizzati una volta offline per l'apprendimento di prior cross-modali) dalla fase di deploy (dove vengono catturati solo dati termici), riducendo sostanzialmente l'esposizione alla privacy nella sorveglianza pubblica.