Boosting Quantitive and Spatial Awareness for Zero-Shot Object Counting

1. Il Problema

Il Zero-Shot Object Counting (ZSOC) mira a contare oggetti di categorie arbitrarie specificate tramite descrizioni testuali, senza richiedere esempi visivi o dati di addestramento specifici per quella categoria. Nonostante i recenti progressi nei modelli Vision-Language (VLM), le metodologie esistenti presentano due limitazioni fondamentali:

1. Mancanza di consapevolezza quantitativa fine: I prompt testuali attuali specificano la categoria (es. "fragole") ma non il numero. I modelli tendono a imparare cosa è un oggetto, ma non quanti ce ne sono, portando a una "cecità numerica" che riduce la precisione, specialmente in scenari densi.
2. Insensibilità spaziale e distorsione delle feature: L'adattamento (fine-tuning) diretto dei codificatori VLM pre-addestrati spesso causa una distorsione dello spazio delle feature, compromettendo la capacità di generalizzazione su categorie non viste. Inoltre, i meccanismi di aggregazione delle feature sono spesso troppo grossolani, perdendo dettagli spaziali fini necessari per la stima della densità.

2. Metodologia: Il Framework QICA

Gli autori propongono QICA, un nuovo framework che sinergizza la percezione quantitativa con un'aggregazione spaziale robusta. L'architettura si basa su tre componenti principali:

A. Strategia di Prompting Sinergico (SPS - Synergistic Prompting Strategy)

Per colmare il divario tra riconoscimento semantico e ragionamento quantitativo, QICA introduce prompt condizionati numericamente:

• Condizionamento Numerico: I valori quantitativi discreti (es. 10, 15, 20) vengono trasformati in embedding continui.
• Prompting Bidirezionale: Vengono introdotti token di prompt apprendibili sia nel codificatore testuale che in quello visivo. Questi sono collegati da una funzione di accoppiamento ($\Phi$) che permette un flusso di gradiente bidirezionale.
• Addestramento Dinamico: Durante l'addestramento, il modello genera prompt con valori numerici fattuali (la vera quantità) e controfattuali (valori vicini ma errati). Questo insegna al modello a distinguere sottili differenze quantitative.
• Consistenza Inference-Training: Durante l'inferenza, il modello riceve solo il testo della categoria (senza numeri). Grazie a una proiezione lineare appresa ($W_{cat}$), il modello estrae l'embedding della sola categoria durante l'addestramento, garantendo che l'input al decoder sia semanticamente identico a quello dell'inferenza, pur avendo appreso la sensibilità numerica.

B. Decodificatore di Aggregazione dei Costi (CAD - Cost Aggregation Decoder)

Per evitare la distorsione dello spazio delle feature pre-addestrate e migliorare la sensibilità spaziale:

• Operazione sulle Mappe di Similarità: Invece di aggregare feature intermedie, il CAD opera direttamente sulle mappe di similarità tra le feature visive dense e gli embedding testuali (solo categoria).
• Aggregazione Spaziale: Utilizza blocchi Swin Transformer per raffinare le mappe di similarità, sfruttando la coerenza spaziale per sopprimere attivazioni isolate (rumore) e potenziare le regioni connesse agli oggetti reali.
• Preservazione della Struttura: Questo approccio permette un fine-tuning robusto senza distruggere la conoscenza pre-addestrata del VLM, recuperando la struttura spaziale fine necessaria per la mappatura della densità.

C. Perdita di Allineamento Quantitativo Multi-Livello (LMQA)

Per garantire la coerenza numerica lungo tutta la pipeline, viene introdotta una funzione di perdita composta da:

• Vincoli di Ranking (Encoder): Forza l'embedding globale dell'immagine ad avere la massima similarità con il prompt fattuale rispetto a quelli controfattuali, insegnando al codificatore a codificare implicitamente l'informazione quantitativa nelle feature visive.
• Allineamento Decodificatore: Penalizza le discrepanze tra la somma della mappa di densità predetta e i valori numerici ipotizzati nei prompt.

3. Risultati Sperimentali

Il modello è stato valutato su diversi benchmark, dimostrando prestazioni competitive e una forte capacità di generalizzazione:

• FSC-147 (Benchmark Principale):
  • La configurazione QICA-ViT-L/14 ha raggiunto un MAE di 12.41 e un RMSE di 97.28 sul set di test, superando significativamente i metodi SOTA basati su testo come VLCounter, CLIP-Count e CounTX (miglioramenti fino al 30%).
  • Ha dimostrato di preservare meglio la conoscenza pre-addestrata rispetto a metodi che richiedono un fine-tuning aggressivo.
• Generalizzazione Zero-Shot (CARPK e ShanghaiTech-A):
  • CARPK (Auto): Senza alcun fine-tuning, QICA ha ottenuto un MAE di 6.07, mostrando una riduzione dell'errore del 51% rispetto alle prestazioni su FSC-147 e superando metodi basati su testo come T2ICount.
  • ShanghaiTech-A (Folla): In scenari di folla estremamente densa, QICA ha stabilito un nuovo stato dell'arte tra i metodi open-set, con un MAE di 140.7, superando CountGD (141.9) nonostante l'uso di feature CLIP più leggere.
• Efficienza: QICA è altamente efficiente, con soli 18.5M/19.7M parametri apprendibili (grazie al freezing degli encoder) e un'alta velocità di inferenza (45.2 FPS per la versione B/16), posizionandosi in una regione ottimale tra efficienza e prestazioni.

4. Contributi Chiave

1. SPS (Synergistic Prompting Strategy): Un metodo innovativo per inculcare la consapevolezza quantitativa fine nei VLM attraverso il condizionamento numerico esplicito e l'accoppiamento bidirezionale tra modali visive e linguistiche.
2. CAD (Cost Aggregation Decoder): Un decodificatore che opera sulle mappe di similarità per risolvere l'insensibilità spaziale e prevenire la distorsione dello spazio delle feature, permettendo un fine-tuning sicuro.
3. LMQA (Multi-level Quantity Alignment Loss): Un meccanismo di supervisione che impone coerenza numerica sia a livello di codificatore (feature) che di decodificatore (predizione), utilizzando vincoli di ranking.
4. Prestazioni e Generalizzazione: Dimostrazione empirica che QICA supera i metodi esistenti su dataset standard e mostra una capacità di generalizzazione superiore su domini non visti senza bisogno di adattamento specifico.

5. Significato e Impatto

Il lavoro QICA rappresenta un passo avanti significativo nel campo della visione artificiale per il conteggio degli oggetti. Risolve il problema fondamentale della "cecità numerica" nei modelli VLM, trasformando il conteggio da un compito di recupero grossolano a un processo di stima della densità fine-granularità.
La capacità di mantenere la generalizzazione zero-shot mentre si adatta a compiti specifici senza distorcere le feature pre-addestrate rende QICA una soluzione pratica per scenari reali dinamici (come il monitoraggio urbano o l'inventario), dove le categorie e le densità degli oggetti cambiano continuamente. Inoltre, l'efficienza computazionale lo rende adatto per il deployment su hardware con risorse limitate.