Sintesi Tecnica: C-REX per il Conteggio di Espressioni Referenziali (Referring Expression Counting)

Definizione del Problema

Il conteggio di espressioni referenziali (Referring Expression Counting - REC) richiede che i modelli contino sottoinsiemi specifici di oggetti all'interno di un'immagine basandosi su descrizioni testuali dettagliate (ad esempio, "persona che guida una motocicletta" rispetto a "persona che cammina"). La sfida principale consiste nel distinguere oggetti visivamente simili che differiscono solo per sottili indizi contestuali o di attributo.

Gli attuali metodi allo stato dell'arte per il REC affrontano questo problema tramite l'apprendimento contrastivo immagine-testo (CL). Questi approcci addestrano i modelli ad allineare i token visivi con prompt testuali positivi, allontanandoli al contempo dai prompt testuali negativi. Tuttavia, gli autori identificano due criticità fondamentali in questa strategia:

1. Scarsità di Negativi: Il numero di espressioni referenziali negative disponibili per una singola immagine è limitato (tipicamente meno di 5), mentre l'apprendimento contrastivo beneficia teoricamente di grandi batch di campioni negativi diversificati per apprendere rappresentazioni robuste.
2. Disallineamento degli Embedding: L'efficacia del CL immagine-testo dipende fortemente dall'allineamento tra gli spazi di embedding immagine e testo. Gli autori sostengono che tale allineamento sia spesso imperfetto, portando a embedding visivi che intrecciano oggetti semanticamente distinti ma visivamente simili, ostacolando così la discriminazione fine.

Metodologia: C-REX

Per superare questi limiti, gli autori propongono C-REX (Contrastive Learning for Referring Expression Counting), un framework che sposta interamente l'apprendimento contrastivo nello spazio degli embedding visivi, eliminando la dipendenza dagli embedding testuali per l'obiettivo contrastivo.

Meccanismo Centrale

Invece di contrastare i token dell'immagine contro i token del testo, C-REX contrasta i token dell'immagine contro altri token dell'immagine all'interno della stessa immagine.

1. Definizione dei Campioni: Per una data immagine ed un'espressione referenziale (RE), il modello predice le posizioni degli oggetti. Utilizzando il Bipartite Matching, i token predetti vengono associati ai punti di verità fondamentale (ground-truth).
   • Positivi ($I^+$): Token dell'immagine associati agli oggetti di ground-truth corrispondenti alla specifica RE.
   • Negativi ($I^-$): Tutti gli altri token dell'immagine (inclusi oggetti della stessa classe con attributi diversi, classi diverse o token di sfondo).
2. Modifica della Funzione di Perdita: Gli autori adattano la standard Supervised Contrastive Loss [35]. Una modifica chiave è che solo i campioni positivi vengono utilizzati come anchor.
   • La standard CL supervisionata spesso attira tutti i campioni della stessa classe verso l'interno. Tuttavia, in C-REX, l'insieme dei negativi ($I^-$) è eterogeneo (contiene auto, pedoni, sfondo, ecc.). Raggruppare questi negativi diversificati sarebbe controproducente.
   • Pertanto, la funzione di perdita è formulata per avvicinare i token positivi tra loro e contemporaneamente allontanarli da tutti i token negativi, senza forzare i negativi a raggrupparsi.
   • L'obiettivo è definito come:
     $$\mathcal{L}^*_{\text{sup}} = \sum_{i \in I^+} -\log \left( \frac{1}{|I^+|-1} \sum_{p \in I^+ - \{i\}} \frac{\exp(z_i \cdot z_p / \tau)}{\sum_{\alpha \in I - \{i\}} \exp(z_i \cdot z_\alpha / \tau)} \right)$$
3. Integrazione: C-REX agisce come un modulo plug-in. Sostituisce la perdita contrastiva immagine-testo nelle architetture REC esistenti (GroundingREC, CAD-GD) o viene aggiunto insieme alle perdite di conteggio standard per i baseline basati sulla rilevazione (GroundingDINO). L'input testuale viene ancora utilizzato per condizionare il backbone visivo tramite cross-attention, ma il segnale di supervisione per la discriminazione proviene esclusivamente dallo spazio visivo.

Estensione al Conteggio Class-Agnostic

Il framework viene adattato per il conteggio class-agnostic definendo i positivi in base a una classe target piuttosto che a una specifica RE. Sebbene il miglioramento sia meno pronunciato rispetto al REC (poiché le distinzioni a livello di classe sono già più facili da apprendere), produce comunque guadagni di performance.

Contributi Chiave

1. Spostamento al CL nello Spazio Immagine: Il paper dimostra che eseguire l'apprendimento contrastivo interamente nello spazio degli embedding dell'immagine è superiore al CL immagine-testo per il REC, fornendo un segnale più stabile ed evitando problemi di allineamento.
2. Campionamento dei Negativi Scalabile: Utilizzando i token visivi non associati come negativi, C-REX aumenta il pool di campioni negativi da una manciata di prompt testuali a centinaia di token visivi per immagine, potenziando significativamente la stabilità della supervisione.
3. Framework Plug-and-Play: C-REX è progettato per essere indipendente dall'architettura, integrandosi perfettamente nei modelli REC esistenti senza modifiche strutturali.
4. Prestazioni allo Stato dell'Arte: Il metodo raggiunge nuovi risultati allo stato dell'arte sul dataset REC-8K attraverso molteplici backbone e architetture.

Risultati Sperimentali

Gli autori hanno valutato C-REX sui dataset REC-8K e FSC-147 utilizzando tre architetture: GroundingREC, CAD-GD e GroundingDINO.

• Guadagni di Performance: Sul dataset REC-8K, C-REX ha migliorato le prestazioni fino al 28% in Mean Absolute Error (MAE) (osservato sul set di validazione per GroundingREC con backbone Swin-T) e al 24,5% in Root Mean Squared Error (RMSE) (osservato sul set di test per GroundingDINO con backbone Swin-T) rispetto ai baseline.
• Consistenza: I miglioramenti sono stati osservati in tutti gli intervalli di densità degli oggetti (0–20, 21–50, 51–100, 100+), con guadagni particolari nei compiti di discriminazione fine (ad esempio, distinguere una "auto blu" da una "auto nera" o una "persona che va in bicicletta" da una "persona che guida una motocicletta").
• Studi di Ablazione:
  • Immagine-Spazio vs. Immagine-Testo: Il CL puro nello spazio immagine ha superato sia il CL immagine-testo che la combinazione di entrambi, suggerendo che i segnali immagine-testo siano subottimali o ridondanti quando i segnali dello spazio immagine sono ottimizzati.
  • Selezione dei Positivi: L'uso del Bipartite Matching per selezionare i positivi ha superato le strategie basate sulla similarità dei token con i prompt testuali.
  • Modifica della Perdita: La perdita modificata (utilizzando solo i positivi come anchor) ha superato significativamente la formulazione standard della supervised contrastive loss.
• Robustezza: C-REX ha mostrato una maggiore robustezza rispetto alle espressioni referenziali parafrasate rispetto ai baseline.
• Confronto con i VLM: I modelli REC specializzati dotati di C-REX hanno superato significativamente i modelli Vision-Language generici (Molmo2-4B) in scenari zero-shot e few-shot, evidenziando la necessità di un addestramento specifico per il compito.

Significato e Rivendicazioni

Il paper sostiene che lo "spazio di embedding corretto" per l'apprendimento contrastivo nel REC sia lo spazio degli embedding visivi, non lo spazio immagine-testo. Decoupling (disaccoppiando) l'obiettivo contrastivo dalla modalità testuale, il modello apprende rappresentazioni visive più ricche, stabili e dettagliate. Gli autori sottolineano che questo approccio risolve la scarsità di campioni negativi e l'instabilità dell'allineamento cross-modale, portando a una superiore generalizzazione in scenari di conteggio open-world. Il framework è presentato come uno strumento versatile che può potenziare non solo il REC, ma anche altri compiti di conteggio che richiedono una discriminazione fine, come il conteggio class-agnostic.