Identifying Latent Concepts and Structures for Generalized Category Discovery

Sintesi Tecnica: Identificazione di Concetti Latenti e Strutture per la Scoperta Generalizzata di Categorie

1. Definizione del Problema

Il documento affronta la Scoperta Generalizzata di Categorie (Generalized Category Discovery - GCD), un contesto in cui un modello deve riconoscere classi note pur scoprendo autonomamente classi nuove e non viste da dati non etichettati. Gli autori identificano un collo di bottiglia critico negli attuali approcci GCD: mentre la ricerca si è concentrata pesantemente sulla progettazione di migliori obiettivi di clustering o teste di scoperta, questi metodi spesso ereditano rappresentazioni di token ad alto rango ed entangled (intrecciate) dai comuni backbone di visione (particolarmente i Vision Transformer).

In queste rappresentazioni standard, i token dei patch formano una "nuvola rumorosa ad alta dimensionalità" dove parti del foreground, texture dello sfondo e correlazioni incidentali occupano direzioni vicine. Questa geometria è inadatta alla scoperta non supervisionata, portando a errori in cui una singola categoria si frammenta in più cluster o categorie distinte si fondono a causa di un contesto condiviso. Il problema centrale non è la funzione di perdita utilizzata dopo il backbone, ma la geometria non strutturata delle feature esposte a tale perdita.

2. Metodologia: Campi Primitivi Composizionali (CPF-GCD)

Gli autori propongono i Campi Primitivi Composizionali (Compositional Primitive Fields - CPF-GCD), un modulo leggero, plug-and-play, inserito tra il backbone di visione e la testa GCD. L'ipotesi centrale è che tutte le categorie (note o nuove) possano essere espresse come composizioni e disposizioni spaziali di un insieme finito di primitive visive apprendibili.

CPF-GCD rimodella lo spazio delle feature imponendo un'organizzazione composizionale a basso rango attraverso tre fasi:

1. Costruzione del Codebook di Primitive Condizionato dall'Immagine:

   • Un codebook di base apprendibile $P_{base}$ (un insieme di vettori primitivi riutilizzabili) è condiviso tra l'intero dataset.
   • Per gestire le variazioni di posa e scala, viene calcolato un offset condizionato dall'immagine $\Delta P$ dai token di input e aggiunto alla base, creando un codebook adattato $P$.
   • Un'assegnazione iniziale token-primitiva ($A_{prior}$) viene calcolata valutando la compatibilità tra i token dei patch e le primitive adattate.

2. Raffinamento dell'Evidenza delle Primitive:

   • Token Evidence Pooling: L'evidenza dei token viene aggregata in stati primitivi basandosi sull'assegnazione iniziale.
   • Aggiornamento Condizionato dal Token: Gli stati delle primitive interrogano nuovamente i token originali tramite meccanismi di attenzione per recuperare l'evidenza che potrebbe essere stata inizialmente sottopesata.
   • Consolidamento dello Stato della Primitiva: Le primitive interagiscono tra loro (attenzione primitiva-primitiva) per rimuovere la ridondanza e garantire stati del codebook coerenti. Ciò produce stati primitivi raffinati $P_2$.

3. Fusione dell'Assegnazione e Riscrittura dei Token:

   • Una seconda matrice di assegnazione ($A_{data}$) è derivata dalle dinamiche di raffinamento (pesi di interazione), catturando come i token contribuiscono effettivamente alle primitive durante il processo di raffinamento.
   • Fusione Pesata sulla Confidenza: L'assegnazione iniziale ($A_{prior}$) e l'assegnazione guidata dai dati ($A_{data}$) sono fuse nello spazio del potenziale logaritmico utilizzando pesi apprendibili per produrre una matrice di assegnazione finale $A$.
   • Riscrittura dei Token: Le primitive raffinate vengono decodificate nuovamente nello spazio dei patch-token utilizzando l'assegnazione fusa. L'output è un aggiornamento residuo ai token originali: $X_{refined} = X + \text{MLP}(A \cdot P_{refined})$.

Il risultato $X_{refined}$ mantiene la dimensionalità originale, permettendo di alimentare fluidamente qualsiasi testa GCD esistente (basata su prototipi, clustering o contrastiva) senza modifiche architettoniche.

3. Contributi Chiave

• Prospettiva Lato Rappresentazione: Il documento sposta il focus del design GCD dalla testa di output all'interfaccia di rappresentazione, sostenendo che la geometria dei token debba essere strutturata (tramite composizione a basso rango) prima di applicare gli obiettivi di scoperta.
• Organizzatore di Token Basato su Primitive: CPF viene introdotto come un modulo "drop-in" che riscrive le rappresentazioni dei patch attraverso primitive apprendibili e fusione di assegnazione adattiva, fornendo uno spazio intermedio compatto senza modificare le perdite a valle.
• Validazione Cross-Framework: Il metodo è validato su diversi baseline GCD (inclusi SimGCD, LegoGCD, CMS e SelEx) e su dataset (fine-grained come CUB-200 e coarse-grained come ImageNet-100), dimostrando guadagni di prestazioni costanti.

4. Risultati Sperimentali

• Guadagni di Performance: CPF-GCD migliora costantemente le prestazioni di scoperta. Sui benchmark fine-grained, aumenta l'accuratezza media del 4,75% su Stanford-Cars e raggiunge un'accuratezza massima del 79,8% su CUB-200 con il baseline SelEx. Sui dataset coarse-grained, migliora la scoperta di nuove classi in media del 2,03% su ImageNet-100.
• Studi di Ablazione: Rimuovere l'assegnazione guidata dai dati ($A_{data}$) causa il calo di performance più marcato, evidenziando l'importanza del raffinamento dinamico. Il metodo è robusto rispetto al numero di primitive ($M$), mostrando prestazioni stabili nell'intervallo $M \in [12, 16]$.
• Analisi Geometrica e Semantica:
  • Riduzione dell'Entropia: CPF riduce l'entropia di Von Neumann e il rango effettivo, indicando una "purificazione spettrale" che filtra le dimensioni ridondanti.
  • Stima della Cardinalità: Il metodo migliora significamente la stima del numero di categorie non viste, riducendo quasi della metà gli errori di margine su CIFAR-100 rispetto ai baseline.
  • Spostamento dell'Attenzione: La visualizzazione mostra che CPF sposta l'attenzione dalle correlazioni diffuse dei pixel a interazioni focalizzate su strutture riutilizzabili a livello di oggetto (es. fusoliere, ali), migliorando il rapporto segnale-rumore.
• Efficienza: Il modulo aggiunge circa 7,5 milioni di parametri con un incremento del solo 8% nel tempo di addestramento e del 6% nel tempo di inferenza, mantenendo un profilo leggero.

5. Significato e Rivendicazioni

Il documento sostiene che l'identificazione e lo sfruttamento della struttura composizionale a basso rango sia un bias induttivo cruciale per il riconoscimento in mondi aperti. Modellando esplicitamente la distribuzione spaziale delle primitive, CPF consente alle nuove categorie di emergere naturalmente come nuovi pattern di attivazione su un vocabolario condiviso, piuttosto che richiedere assi di feature completamente nuovi.

Gli autori posizionano CPF-GCD non come un sostituto delle attuali teste di scoperta, ma come una ristrutturazione fondamentale dello spazio delle feature che rende le feature visive pre-addestrate più adatte alla formazione di categorie. Il lavoro suggerisce che imporre la composizionalità strutturale sia un "anello mancante critico" nel riconoscimento in mondi aperti, offrendo un modo semplice e generico per risolvere il collo di bottiglia delle rappresentazioni di token entangled.