SECOS: Semantic Capture for Rigorous Classification in Open-World Semi-Supervised Learning

1. Definizione del Problema: Il Divario nell'Apprendimento Semi-Supervisionato in Mondo Aperto (OWSSL)

Contesto:
L'Apprendimento Semi-Supervisionato in Mondo Aperto (OWSSL), noto anche come Generalized Class Discovery (GCD), consiste nell'addestrare modelli su dati etichettati provenienti da classi "note" e su dati non etichettati contenenti sia classi "note" che "nuove" (mai viste in precedenza).

Il Limite Fondamentale:
I metodi OWSSL esistenti non riescono a eseguire la Classificazione Rigorosa (RC-OWSSL).

• Mancanza di Fondamento Semantico: I metodi attuali si concentrano pesantemente sul clustering delle caratteristiche visive, ignorando le informazioni semantiche latenti che collegano le caratteristiche visive ai significati linguistici.
• Dipendenza dal Matching Post-Hoc: Durante la valutazione, i metodi esistenti si affidano al matching ungherese (Hungarian matching) per allineare gli ID dei cluster previsti con i nomi delle classi reali. Questo è un passaggio di post-elaborazione che gonfia artificialmente l'accuratezza riassegnando le etichette per massimizzare la sovrapposizione, indipendentemente dal fatto che il modello abbia effettivamente appreso la corretta corrispondenza semantica.
• Impossibilità Pratica: Nel dispiegamento reale, un set di test etichettato per il matching ungherese non è disponibile. Pertanto, i metodi esistenti non possono prevedere direttamente l'etichetta testuale corretta (ad es. "Cane" o "Gatto") per un campione nuovo; producono solo un indice di cluster.

Obiettivo:
Il paper definisce la RC-OWSSL, un compito in cui il modello deve prevedere direttamente l'etichetta testuale semanticamente più rilevante da un insieme di candidati (note + nuove) senza alcuna riassegnazione di etichette post-hoc.

---

2. Metodologia: Il Framework SECOS

Gli autori propongono SECOS (SEmantic Capture for Open-world Semi-supervised learning), un framework progettato per colmare il divario tra caratteristiche visive e semantica testuale utilizzando conoscenze esterne (CLIP). SECOS è composto da tre moduli principali:

A. Compensazione Semantica delle Classi Nuove (Livello Globale)

• Problema: Grave squilibrio di supervisione; le classi note hanno etichette, le classi nuove no, portando a un forte bias verso le classi note.
• Soluzione: Costruzione di un Dataset Globale Pseudo-Etichettato per Classi Nuove ($D_N$).
  1. Un modello "Teacher" CLIP congelato assegna pseudo-etichette rigide ai dati non etichettati.
  2. I campioni sono raggruppati in base a queste pseudo-etichette.
  3. I campioni con la massima confidenza (top-$\phi\%$) per ogni classe nuova sono selezionati per formare $D_N$.
  4. Miglioramento Semantico: Un Large Language Model (LLM) genera prompt descrittivi per i nomi delle classi per creare rappresentazioni semantiche più ricche, utilizzate per affinare il processo di pseudo-etichettatura.
• Risultato: Questo bilancia la forza di supervisione tra classi note e nuove a livello globale.

B. Ricattura Semantica per Batch (Livello Locale/Istanza)

• Problema: La compensazione globale è a grana grossa; mancano le sfumature semantiche fini all'interno di batch specifici e classi note.
• Soluzione: Un meccanismo di filtraggio della confidenza a doppia prospettiva applicato a batch di dati non etichettati ($B$).
  1. Intra-istanza: Per un campione specifico, accumulare i punteggi di confidenza attraverso le classi fino al raggiungimento di una soglia ($\tau$).
  2. Inter-istanza: Per una classe specifica, determinare una soglia ($\theta$) basata sulla distribuzione della confidenza di tutti i campioni nel batch.
  3. Selezione: Un campione è selezionato come istanza pseudo-etichettata di alta qualità solo se soddisfa entrambi i criteri e l'intersezione delle etichette candidate risulta in esattamente una etichetta.
• Risultato: Questo filtra i campioni ambigui e cattura informazioni semantiche fini, fornendo segnali di supervisione ad alta precisione.

C. Adattatore per l'Allineamento delle Caratteristiche Semantiche

• Problema: Anche con le pseudo-etichette, il modello deve allineare il proprio spazio delle caratteristiche visive allo spazio semantico delle etichette testuali per eseguire la classificazione diretta.
• Soluzione: Un meccanismo Adapter leggero inserito in un encoder visivo CLIP congelato.
  1. Architettura: Adattatori paralleli sono inseriti dopo i blocchi di attenzione nell'encoder visivo. L'encoder testuale rimane congelato.
  2. Allineamento: Il modello calcola la similarità tra le caratteristiche visive (elaborate dall'adapter) e le caratteristiche semantiche delle etichette testuali candidate (generate dalle descrizioni delle classi).
  3. Addestramento: Vengono aggiornati solo i parametri dell'adapter e del proiettore. La perdita è una standard Cross-Entropy loss tra il logit previsto e la pseudo-etichetta (o la verità fondamentale).
• Risultato: Il modello impara a mappare gli input visivi direttamente alle etichette testuali, abilitando la classificazione rigorosa senza matching ungherese.

---

3. Contributi Chiave

1. Definizione di RC-OWSSL: Il paper identifica formalmente la deviazione intrinseca tra l'OWSSL esistente (clustering) e il requisito pratico della Classificazione Rigorosa (previsione testuale diretta), evidenziando il fallimento dei metodi attuali nel raggiungere un fondamento semantico.
2. Framework SECOS: Propone un framework innovativo che sfrutta conoscenze esterne (CLIP + LLM) per estrarre e allineare rappresentazioni semantiche. Affronta in modo unico la mancanza di supervisione per le classi nuove attraverso compensazione globale e ricattura per batch.
3. Prestazioni Superiori: Dimostra che SECOS supera i metodi State-of-the-Art (SOTA) anche quando tali metodi sono valutati nel setting permissivo di "matching post-hoc", mentre SECOS opera nel setting più rigoroso di "classificazione diretta".

---

4. Risultati Sperimentali

Dataset:
Valutato su 7 dataset: 3 generici (CIFAR-10, CIFAR-100, ImageNet-100) e 4 a grana fine (CUB, Stanford Cars, Oxford Flowers, Oxford Pets).

Punti Salienti delle Prestazioni:

• Confronto Diretto: SECOS ottiene miglioramenti significativi rispetto ai metodi SOTA (ad es. TextGCD, TP-OWSSL, SimGCD) anche se SECOS non utilizza il matching ungherese.
• Guadagni Quantitativi:
  • Su dataset generici, SECOS migliora l'accuratezza Novel fino al 7,37% e l'accuratezza All del 5,35% rispetto ai migliori metodi esistenti.
  • Su dataset a grana fine, mostra miglioramenti del 1,78% (Novel) e 1,95% (All) rispetto a TP-OWSSL.
  • Complessivamente, SECOS supera i metodi esistenti fino al 5,4% nelle metriche di classificazione rigorosa.
• Studi di Ablazione:
  • Rimuovere sia il modulo di Compensazione Globale che quello di Ricattura per Batch causa un crollo drastico dell'accuratezza delle classi nuove (ad es. calo dal 82,6% al 14,4% su CIFAR-100 senza alcuna cattura semantica).
  • Il metodo è robusto alle variazioni della dimensione del batch e alle dimensioni di downsampling dell'adapter.
• Self-Learning: SECOS può funzionare efficacemente anche senza un modello "Teacher" separato (utilizzando uno studente aggiornato con EMA), mostrando solo un lieve calo delle prestazioni (~0,83%) mentre supera comunque le baseline dipendenti dal teacher.

---

5. Significato e Impatto

• Cambiamento di Paradigma: Il paper sfida la comunità a spostarsi dalla valutazione basata su "clustering" (matching ungherese) verso una valutazione basata su "classificazione", che è l'unico approccio praticabile per il dispiegamento reale dove le etichette fondamentali per le classi nuove sono sconosciute.
• Fondamento Semantico: Stabilisce che un OWSSL di successo richiede un allineamento esplicito tra strutture visive e semantica linguistica, non solo il clustering delle caratteristiche visive.
• Applicabilità Pratica: Abilitando la previsione testuale diretta, SECOS rende l'apprendimento in mondo aperto applicabile a scenari reali (ad es. guida autonoma, diagnosi medica) dove i modelli devono identificare e nominare nuove categorie al volo senza ri-etichettare il set di test.
• Efficienza: L'uso di adapter leggeri permette al modello di sfruttare potenti conoscenze pre-addestrate di CLIP senza il costo computazionale del fine-tuning completo.

In sintesi, SECOS risolve il collo di bottiglia critico nell'apprendimento in mondo aperto introducendo un meccanismo per "catturare" le semantica latenti, permettendo ai modelli di classificare rigorosamente oggetti nuovi nelle loro corrette categorie testuali direttamente.