Multi-Modal Representation Learning via Semi-Supervised Rate Reduction for Generalized Category Discovery

1. Il Problema: Generalized Category Discovery (GCD)

Il Generalized Category Discovery (GCD) è un'estensione naturale del riconoscimento in set aperti (open-set recognition). L'obiettivo è identificare sia le categorie note (parzialmente etichettate) sia le categorie sconosciute (completamente non etichettate) all'interno di un dataset.

• Sfida principale: I metodi attuali si basano spesso sull'apprendimento di rappresentazioni da una singola modalità visiva, che può mancare di informazioni discriminative sufficienti, specialmente per categorie visivamente simili.
• Limiti degli approcci multi-modali esistenti: Le soluzioni state-of-the-art (SOTA) per il GCD multi-modale (che integrano testo e immagine) tendono a focalizzarsi eccessivamente sull'allineamento inter-modale (tra immagine e testo), trascurando l'allineamento intra-modale (coerenza all'interno della stessa modalità, es. tra immagini diverse della stessa classe). Questo squilibrio porta a una compressione sbilanciata delle rappresentazioni, dove le categorie note vengono sovracompressi rispetto a quelle sconosciute, danneggiando le prestazioni del clustering.

2. Metodologia: SSR2-GCD

Gli autori propongono SSR2-GCD (Semi-Supervised Rate Reduction for GCD), un nuovo framework di apprendimento delle rappresentazioni multi-modale. L'architettura si compone di tre moduli principali:

A. Aggregazione del Testo basata su Recupero (RTA - Retrieval-based Text Aggregation)

Per generare prompt testuali ricchi di significato per le immagini query:

• Viene utilizzato un approccio di recupero per selezionare tag e attributi simili da un lessico.
• A differenza dei metodi precedenti che usano prompt lunghi (che CLIP gestisce male), SSR2-GCD aggrega le informazioni dai top-$c$ candidati più simili.
• Viene calcolato un embedding testuale pesato, assegnando un peso maggiore al candidato più simile e distribuendo il resto tra gli altri, creando rappresentazioni testuali semanticamente ricche.

B. Modulo di Riduzione del Tasso Semi-Supervisionato (SSR2)

Questo è il cuore innovativo del lavoro. Per apprendere rappresentazioni strutturate ed equilibrate, viene introdotta una funzione di perdita basata sul principio della Massima Riduzione del Tasso di Codifica (Maximal Coding Rate Reduction).

• Obiettivo: La perdita $\mathcal{L}_{SSR^2}$ massimizza il tasso di codifica globale (espandendo le embedding) e minimizza i tassi di codifica per categoria (comprimendo le embedding in sottospazi a bassa dimensionalità).
• Vantaggio chiave: A differenza delle perdite contrastive standard che tendono a comprimere eccessivamente le categorie note (dove si hanno etichette vere) rispetto a quelle sconosciute, SSR2 garantisce una compressione bilanciata sia per le categorie note ("Old") che per quelle sconosciute ("New").
• Allineamento: Il metodo enfatizza l'allineamento intra-modale (coerenza interna tra immagini o tra testi) mentre tollera le discrepanze inter-modali, risolvendo il problema di "misallineamento intra-modale" causato dalla sola ottimizzazione inter-modale.

C. Classificatori a Doppia Ramo e Strategia di Addestramento

• Vengono utilizzati due classificatori separati (uno per embedding visive, uno per testuali) per gestire le differenze tra le modalità.
• Fase Warm-up: Si addestrano i classificatori usando solo dati supervisionati (categorie note) per evitare errori guidati da pseudo-etichette non affidabili.
• Fase di Allineamento: Si attiva la perdita completa SSR2 (incluso il termine non supervisionato) e si utilizza una strategia di co-teaching per allineare le pseudo-etichette prodotte dai due rami, sfruttando la fiducia reciproca tra i modelli visivo e testuale.

3. Contributi Chiave

1. Framework SSR2-GCD: Introduzione di un nuovo approccio che integra la riduzione del tasso di codifica semi-supervisionata nel GCD multi-modale per apprendere strutture di distribuzione desiderate.
2. Strategia RTA: Sviluppo di una strategia di aggregazione testuale basata sul recupero che arricchisce le rappresentazioni testuali, migliorando il trasferimento di conoscenza.
3. Allineamento Intra-Modale: Dimostrazione teorica ed empirica che l'allineamento intra-modale è cruciale e spesso trascurato nei metodi multi-modali attuali. SSR2 risolve il problema della compressione sbilanciata.
4. Prestazioni Superiori: Validazione estensiva su otto dataset benchmark (generici e a grana fine).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset come ImageNet-100/1k, CIFAR-10/100, CUB-200, Stanford Cars, Oxford Pets e Flowers102.

• Prestazioni Generali: SSR2-GCD supera costantemente tutti i metodi SOTA, sia unimodali (es. SimGCD, SelEx) che multimodali (es. CLIP-GCD, TextGCD, GET).
• Esempi Specifici:
  • Su Stanford Cars, raggiunge un'accuratezza del 89.2% su tutte le categorie (miglioramento del +3.1% rispetto ai baselines).
  • Su Flowers102, raggiunge il 93.5%, superando i baselines di oltre il 6%.
  • Riduce significativamente il divario di accuratezza tra categorie note ("Old") e sconosciute ("New"), indicando una migliore capacità di generalizzazione.
• Analisi dell'Allineamento: Gli studi mostrano che combinare perdite inter-modali (CLIP loss) con perdite intra-modali standard può peggiorare le prestazioni. Invece, l'uso esclusivo di SSR2 per l'allineamento intra-modale produce distribuzioni di similarità più coerenti e una migliore consistenza interna delle categorie.
• Compressione Bilanciata: L'analisi del rango numerico delle embedding dimostra che SSR2 mantiene un rango simile per categorie note e sconosciute, evitando il collasso delle rappresentazioni delle nuove classi che invece si verifica con le perdite contrastive tradizionali.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Cambia il paradigma: Sposta l'attenzione dai metodi che cercano solo l'allineamento tra testo e immagine (inter-modale) all'importanza critica della coerenza interna (intra-modale) per il clustering efficace.
• Risoluzione di un limite fondamentale: Affronta e risolve il problema della compressione sbilanciata nelle rappresentazioni, che è una delle cause principali del fallimento nel scoprire nuove categorie nei task GCD.
• Robustezza: Dimostra che un approccio strutturato basato sulla riduzione del tasso di codifica è superiore alle semplici estensioni contrastive per l'apprendimento semi-supervisionato in scenari aperti.

In sintesi, SSR2-GCD offre una soluzione robusta e teoricamente fondata per la scoperta di categorie in scenari reali misti, sfruttando sinergicamente informazioni visive e testuali senza sacrificare la struttura interna dei dati.