LoFT: Parameter-Efficient Fine-Tuning for Long-tailed Semi-Supervised Learning in Open-World Scenarios

1. Il Problema

Il lavoro affronta le sfide dell'Apprendimento Semi-Supervisionato a Coda Lunga (LTSSL). In questo scenario, i modelli devono imparare da un dataset etichettato sbilanciato (dove poche classi "testa" dominano e molte classi "coda" hanno pochi esempi) integrando una grande quantità di dati non etichettati.

Le limitazioni principali degli approcci attuali sono:

• Addestramento da zero: La maggior parte dei metodi LTSSL esistenti addestra reti neurali (CNN) da zero. Questo porta a un'eccessiva sicurezza (overconfidence) del modello, specialmente sulle classi di coda, generando pseudo-etichette di bassa qualità.
• Complessità dell'ipotesi: La scarsità di dati per le classi di coda, combinata con uno spazio di ipotesi vasto (tipico dell'addestramento da zero), porta a un errore di generalizzazione elevato e a pseudo-etichette inaffidabili che intrappolano il modello in un ciclo vizioso.
• Scenario Open-World: Gli approcci esistenti assumono che i dati non etichettati provengano dalla stessa distribuzione delle classi etichettate. Nella realtà (es. classificazione della fauna selvatica), i dati non etichettati contengono spesso campioni Out-of-Distribution (OOD) (classi sconosciute o irrilevanti). Forzare questi campioni nelle classi note corrompe lo spazio delle caratteristiche e degrada le prestazioni.

2. Metodologia: LoFT e LoFT-OW

Gli autori propongono un cambio di paradigma: invece di addestrare da zero, sfruttano i Modelli Fondamentali (Foundation Models - FM) pre-addestrati, adattandoli tramite Fine-Tuning Efficiente dei Parametri (PEFT).

Fondamenti Teorici

Il paper fornisce una giustificazione teorica basata su tre pilastri:

1. Riduzione della Complessità dell'Ipotesi: Utilizzando PEFT (adattando solo un sottoinsieme di parametri come gli adapter o la testa di classificazione), lo spazio di ricerca delle ipotesi viene drasticamente ridotto rispetto all'addestramento da zero. Questo stringe il limite di generalizzazione, compensando la scarsità di dati di coda.
2. Minimizzazione dell'Errore Posteriore Bilanciato (BPE): Una minore complessità dell'ipotesi porta direttamente a un BPE inferiore, garantendo pseudo-etichette più affidabili per le classi di coda e rompendo il ciclo vizioso dell'overconfidence.
3. Compattezza Geometrica delle Caratteristiche: I modelli fondamentalisti pre-addestrati (come CLIP) possiedono cluster di caratteristiche compatti. Teoricamente, questo comprime la regione di accettazione per gli outlier, fornendo una garanzia geometrica per il rifiuto naturale dei campioni OOD.

Architettura del Modello

• LoFT (Base):

  • Utilizza un modello fondamentalista (es. CLIP o OpenCLIP) con i pesi del visual encoder bloccati (frozen).
  • Viene applicato il PEFT (es. adattatori o fine-tuning della testa) sui dati etichettati a coda lunga.
  • Strategia di Auto-Addestramento: I dati non etichettati vengono divisi in base alla loro probabilità massima (MSP).
    • Campioni ad alta confidenza: Ricevono pseudo-etichette "hard" (classe singola).
    • Campioni a bassa confidenza: Ricevono pseudo-etichette "soft" (distribuzione di probabilità completa) per mitigare l'overfitting e gestire l'incertezza.
  • Il modello beneficia di una calibrazione intrinsecamente migliore grazie al pre-addestramento.

• LoFT-OW (Estensione Open-World):

  • Progettato per gestire dati non etichettati contenenti campioni OOD.
  • Implementa un meccanismo di filtraggio a due stadi:
    1. Filtraggio Zero-Shot: Utilizza il modello fondamentalista per assegnare punteggi di confidenza iniziali, scartando i campioni con bassa confidenza.
    2. Filtraggio basato su OOD: Sfrutta la capacità intrinseca del modello PEFT di rilevare gli OOD (grazie alla compattezza delle caratteristiche). Un secondo threshold filtra i campioni che, pur avendo una certa confidenza, non rientrano nelle distribuzioni delle classi note.
  • Solo i campioni filtrati come "In-Distribution" (ID) vengono utilizzati per l'aggiornamento del modello.

3. Contributi Chiave

1. Contributo Teorico: Dimostrazione che il PEFT riduce la complessità dell'ipotesi, stringendo i limiti di generalizzazione e riducendo il BPE, il che porta a pseudo-etichette di alta qualità.
2. Nuovo Paradigma (LoFT): Introduzione di un framework LTSSL basato su PEFT che supera i limiti dell'addestramento da zero, offrendo una calibrazione superiore e una maggiore robustezza sulle classi di coda.
3. Estensione Open-World (LoFT-OW): Adattamento del LTSSL a scenari realistici con dati OOD, integrando un meccanismo di rilevamento e filtraggio nativo basato sulla geometria delle caratteristiche dei modelli fondamentalisti.
4. Efficienza: Il metodo raggiunge prestazioni superiori utilizzando solo una frazione dei dati non etichettati rispetto ai metodi precedenti (es. 10% su ImageNet-127).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard (CIFAR-100-LT, ImageNet-127) e scenari Open-World (con dati COCO come fonte OOD).

• Prestazioni su LTSSL Standard:
  • Su CIFAR-100-LT, LoFT (con backbone OpenCLIP) ha raggiunto il 83.2% di accuratezza, superando significativamente i metodi basati su addestramento da zero (es. FixMatch + CCL al 67.9%) e il PEFT puro.
  • Su ImageNet-127, LoFT ha ottenuto il 73.9%, superando di gran lunga le migliori tecniche esistenti (67.8%), dimostrando scalabilità su larga scala.
• Robustezza Open-World:
  • LoFT-OW ha mostrato capacità eccezionali nel filtrare i campioni OOD, mantenendo prestazioni competitive anche quando i dati non etichettati erano contaminati da distribuzioni sconosciute.
  • I test su dataset OOD (SVHN, CIFAR-10, LSUN, ecc.) confermano che i modelli PEFT hanno una capacità di rilevamento OOD superiore rispetto ai modelli addestrati da zero (AUC medio di 86.51 contro 73.52 per i baseline).
• Calibrazione: Le analisi di calibrazione mostrano che LoFT riduce drasticamente l'Errore di Calibrazione Atteso (ECE), eliminando l'overconfidence tipica delle classi di coda.

5. Significato e Impatto

Questo lavoro segna un punto di svolta nell'apprendimento semi-supervisionato per dati sbilanciati.

• Superamento del "Training from Scratch": Dimostra che l'addestramento da zero non è più necessario né ottimale per compiti complessi come LTSSL; l'uso di modelli fondamentalisti adattati efficientemente è superiore.
• Realismo degli Scenari: Sposta il focus dalla teoria ideale (distribuzioni chiuse) a scenari aperti e realistici, risolvendo il problema critico dei dati OOD che spesso viene ignorato nella letteratura LTSSL.
• Efficienza Computazionale: L'uso del PEFT riduce il costo computazionale e la necessità di grandi quantità di dati non etichettati, rendendo l'apprendimento robusto più accessibile e scalabile per applicazioni reali.

In sintesi, LoFT e LoFT-OW stabiliscono un nuovo standard per l'apprendimento sbilanciato, combinando la potenza dei modelli fondamentalisti con strategie di filtraggio intelligenti per garantire robustezza, calibrazione e accuratezza in ambienti complessi e aperti.