Riepilogo Tecnico: Potatura di Dataset Efficiente in Etichette tramite Pseudo-Etichettatura Semi-Supervisionata

Enunciato del Problema

I modelli di deep learning fanno sempre più affidamento su dataset massicci, portando a costi di archiviazione e addestramento proibitivi. La potatura dei dataset affronta questo problema selezionando un sottoinsieme informativo (un coreset) da un dataset più ampio. Tuttavia, la maggior parte dei metodi di potatura esistenti richiede dati completamente etichettati per stimare l'importanza degli esempi, il che è poco pratico in scenari reali dove l'annotazione è costosa e i dati non etichettati sono abbondanti.

Sebbene i recenti metodi di potatura "senza etichette" tentino di aggirare questo problema utilizzando caratteristiche di modelli pre-addestrati per stimare la difficoltà degli esempi, essi soffrono di una limitazione critica: la loro affidabilità dipende dall'allineamento tra la distribuzione delle caratteristiche pre-addestrate e il dataset target. Quando i dati target differiscono significativamente dalla distribuzione di pre-addestramento (ad esempio, dataset specifici di dominio, varianti di immagini corrotte o distribuzioni a coda lunga), le stime di difficoltà basate sulle caratteristiche spesso falliscono nel catturare la vera struttura semantica, portando a una scarsa selezione del coreset.

Metodologia: SemiPrune

Gli autori propongono SemiPrune, un framework di potatura di dataset efficiente in etichette che utilizza un piccolo sottoinsieme casualmente etichettato per generare pseudo-etichette per l'intero dataset tramite Apprendimento Semi-Supervisionato (SSL). Il metodo opera in una pipeline a due stadi:

1. Generazione di Pseudo-Etichette basata su SSL:

   • Viene selezionato casualmente un piccolo sottoinsieme di dati (ad esempio, il 10%) e viene etichettato.
   • Un modello viene addestrato su questo sottoinsieme etichettato combinato con i restanti dati non etichettati utilizzando un obiettivo SSL (specificamente FixMatch).
   • Il modello addestrato assegna pseudo-etichette agli esempi non etichettati. Queste pseudo-etichette sono ancorate allo spazio delle classi target perché il modello è addestrato direttamente sulla distribuzione target, a differenza dei metodi che si affidano a encoder pre-addestrati fissi.
   • Gli esempi etichettati iniziali (con etichette ground-truth) e gli esempi con pseudo-etichette formano un pool di addestramento unificato.

2. Potatura Supervisionata su Dati con Pseudo-Etichette:

   • Un modello supervisionato viene addestrato da zero sul pool di addestramento con pseudo-etichette.
   • Vengono calcolati punteggi di importanza per ogni esempio basati sulle dinamiche di addestramento di questo modello.
   • Gli autori adattano due criteri di potatura supervisionata esistenti per funzionare con pseudo-etichette:
     • Semi-AUM: Utilizza il punteggio Area Under the Margin (AUM) con una strategia di potatura a due estremità per selezionare esempi dalla parte centrale della distribuzione di difficoltà.
     • Semi-DUAL: Utilizza il punteggio DUAL (che combina difficoltà di previsione e incertezza) con campionamento Beta per regolare la distribuzione di campionamento in base al rapporto di potatura.

Contributi e Risultati Chiave

1. Limitazioni della Pseudo-Etichettatura basata su Deep Clustering

Il documento identifica che metodi come ELFS, che si affidano al deep clustering di caratteristiche pre-addestrate fisse (ad esempio, DINO), sono fragili in tre scenari specifici:

• Disallineamento di Dominio: Le caratteristiche pre-addestrate possono raggruppare esempi in base a una somiglianza visiva superficiale piuttosto che alla classe semantica (ad esempio, in Food-101), portando a pseudo-etichette rumorose.
• Corruzione delle Immagini: Le corruzioni distorcono lo spazio delle caratteristiche, rendendo le rappresentazioni pre-addestrate meno separabili e degradando i confini del clustering.
• Distribuzioni a Coda Lunga: Lo squilibrio delle classi causa la frammentazione delle classi maggioritarie e la fusione delle classi minoritarie da parte degli algoritmi di clustering, fallendo nel preservare le proporzioni reali delle classi.

Al contrario, la pseudo-etichettatura basata su SSL, addestrata direttamente sui dati target, produce costantemente pseudo-etichette di qualità superiore in questi scenari, come dimostrato da metriche di accuratezza, NMI e ARI più elevate rispetto al deep clustering.

2. Prestazioni Sperimentali

Gli autori valutano SemiPrune su dataset diversificati, inclusi quelli specifici di dominio (Food-101, SUN397), corrotti (CIFAR-100-C, Tiny-ImageNet-C), a coda lunga (Caltech-101, CIFAR-100-LT) e benchmark standard (CIFAR-10/100, ImageNet-1K).

• Scenari Sfidanti: In scenari specifici di dominio, corrotti e a coda lunga, SemiPrune ottiene prestazioni all'avanguardia tra i metodi che utilizzano o nessuna etichetta o solo una piccola frazione di dati etichettati. Supera significativamente le baseline senza etichette (Prototypicality, ZCore, ELFS) e le baseline con poche etichette (Score Extrapolation).
• Benchmark Standard: Su benchmark standard dove le caratteristiche pre-addestrate sono ben allineate, SemiPrune rimane competitivo, spesso eguagliando o superando leggermente le prestazioni delle baseline di potatura completamente supervisionate e dei metodi senza etichette.
• Efficienza in Etichette: Il metodo dimostra che un budget di etichette molto piccolo (ad esempio, dall'1% al 5%) è sufficiente per superare solide baseline senza etichette, suggerendo che un'annotazione minima nel dominio target è più efficace che affidarsi interamente a rappresentazioni pre-addestrate fisse o a encoder auto-supervisionati addestrati da zero.

3. Studi di Ablazione

• Budget di Etichette: Le prestazioni scalano con il budget iniziale di etichette, ma anche all'1%, SemiPrune supera ELFS con un encoder auto-addestrato.
• Metriche di Punteggio: Il vantaggio delle pseudo-etichette basate su SSL persiste attraverso diverse metriche di punteggio (AUM, DUAL, EL2N, Forgetting), in particolare negli scenari con disallineamento di dominio.

Significato e Affermazioni

Il documento afferma che SemiPrune colma efficacemente il divario tra la potatura completamente supervisionata (che richiede annotazione completa) e la potatura senza etichette (che si basa su caratteristiche pre-addestrate potenzialmente disallineate). Sfruttando l'apprendimento semi-supervisionato per generare pseudo-etichette direttamente dal dataset target, il metodo:

• Cattura la distribuzione target più accuratamente rispetto alle caratteristiche pre-addestrate fisse.
• Fornisce segnali più affidabili per la stima della difficoltà e la selezione del coreset, specialmente in condizioni di dati non ideali (spostamento di dominio, corruzione, squilibrio).
• Offre un'alternativa pratica ed efficiente in termini di costi all'annotazione completa, richiedendo solo una piccola frazione di dati etichettati per ottenere prestazioni comparabili o superiori ai metodi completamente supervisionati in specifici regimi sfidanti.

Gli autori notano che il framework non è vincolato a FixMatch e può incorporare qualsiasi algoritmo SSL che fornisca pseudo-etichette affidabili. Suggeriscono inoltre che lavori futuri potrebbero esplorare l'integrazione dell'apprendimento attivo per selezionare campioni più informativi per il budget di annotazione iniziale.