Riepilogo Tecnico: Benchmarking dell'Instance-Dependent Label Noise con Corruzioni Controllate (CILN)

Definizione del Problema

I moderni sistemi di machine learning si affidano a grandi dataset etichettati, ma le etichette sono spesso imperfette a causa di errori di annotazione, esempi ambigui o supervisione debole. Mentre la ricerca precoce si è concentrata sul rumore simmetrico e condizionale alla classe (CCN), i contesti pratici presentano spesso un Instance-Dependent Label Noise (IDN), in cui la probabilità di un errore di etichettatura dipende sia dalla classe reale che dalle caratteristiche specifiche dell'istanza di input.

Gli esistenti benchmark di IDN sintetico generano il rumore tipicamente attraverso due meccanismi:

1. Trasformazioni nello spazio delle caratteristiche: Applicazione di trasformazioni latenti per aumentare le probabilità di corruzione per specifici esempi.
2. Pseudo-labeling: Utilizzo di classificatori diversificati come annotatori sintetici, dove il disaccordo induce incertezza.

La Limitazione: In entrambi gli approcci, la fonte di ambiguità rimane implicita. Nei metodi nello spazio delle caratteristiche, le trasformazioni sono spesso difficili da interpretare. Nel pseudo-labeling, il rumore è controllato dalla modifica delle proprietà degli annotatori (ad esempio, procedure di addestramento), rendendo difficile isolare specifici meccanismi di ambiguità (ad esempio, sfocatura, occlusione, dati mancanti) o rintracciare gli errori di etichetta a specifici cambiamenti dell'input. Di conseguenza, i benchmark esistenti offrono un supporto limitato per lo studio sistematico di come specifici meccanismi di degradazione dei dati influenzino il disaccordo tra i classificatori e il comportamento dell'apprendimento a valle.

Metodologia: Il Framework CILN

Gli autori introducono CILN (Corruption-Induced Label Noise), un framework di generazione di benchmark che crea IDN attraverso corruzioni controllate dell'input. A differenza dei metodi precedenti che alterano il processo di etichettatura, CILN altera i dati di input stessi preservandone il contenuto semantico.

Componenti Core

1. Corruzioni Controllate: Il framework applica tipi di corruzione specifici ($c$) a vari livelli di severità ($\ell$) alle istanze pulite.
   • Dati Immagine: Utilizza famiglie di corruzione da CIFAR-C e MNIST-C, inclusi rumore (Gaussiano, shot, impulso), sfocatura (defocus, vetro, movimento), meteo (nebbia, brina, neve), trasformazioni geometriche e artefatti digitali (luminosità, contrasto, JPEG).
   • Dati Tabulari: Utilizza operatori di corruzione ispirati al benchmark Jenga, inclusi meccanismi di dati mancanti (MCAR, MAR, MNNA) e corruzioni di valore (iniezione di rumore, scaling).
2. Voter Pool: Un pool diversificato di $M$ modelli (ad esempio, ResNet, Vision Transformer, XGBoost) valuta le istanze corrotte.
3. Generazione delle Etichette:
   • Ogni votante produce una distribuzione predittiva $p^{(m)}(y|x)$.
   • Il benchmark rilascia una distribuzione di etichetta aggregata $\bar{p}_i$ (media aritmetica delle predizioni dei votanti) e le distribuzioni individuali dei votanti.
   • Per esperimenti con etichette hard, un singolo votante viene campionato uniformemente a caso per fornire un'etichetta di addestramento, imitando il protocollo PL-IDN.
4. Configurazione Clean-Start: Una modalità opzionale filtra il dataset per trattenere solo le istanze classificate correttamente all'unanimità da tutti i votanti prima della corruzione. Questo isola l'incertezza indotta dalla corruzione dall'ambiguità preesistente nei dati originali.

Costruzione del Benchmark

Il framework è stato istanziato su tre dataset: CIFAR-10, MNIST e Adult.

• CIFAR-10: 45 setting (15 tipi di corruzione $\times$ 3 livelli di severità).
• MNIST: 30 setting rilasciati (11 tipi a severità continua + 4 tipi strutturali).
• Adult: 15 setting (5 tipi di corruzione $\times$ 3 livelli di severità).
• Totale: 90 setting di benchmark che spaziano nei domini immagine e tabulare.

Contributi Chiave

1. Generazione di IDN con Meccanismo Controllato: CILN fornisce un framework in cui la fonte (tipo di corruzione) e la severità dell'ambiguità sono esplicite e controllabili, stabilendo un legame diretto tra degradazione dell'input e incertezza dell'etichetta.
2. Vera Dipendenza dall'Istanza: Gli autori dimostrano che il framework genera un vero IDN dove il grado di dipendenza dall'istanza può essere sistematicamente regolato tramite il tipo di corruzione e la severità.
3. Incertezza Simile a Quella Umana: Sotto appropriati setting, le distribuzioni delle etichette generate da CILN sono statisticamente più vicine all'incertezza dell'annotazione umana (misurata rispetto a CIFAR-10-H) rispetto agli esistenti benchmark di IDN sintetico (specificamente PL-IDN).
4. Esposizione dei Modi di Fallimento: Il benchmark rivela che i metodi di apprendimento con etichette rumorose allo stato dell'arte (Co-Teaching, DivideMix) mostrano modalità di fallimento sotto corruzioni ad alta severità che non si osservano sotto tassi di rumore comparabili generati da modelli di fallibilità del rater.

Risultati Sperimentali

1. Forza della Dipendenza dall'Istanza

Gli autori introducono la Noise Transition Heterogeneity ($n_{th}$) per misurare la dipendenza dall'istanza.

• Risultati: Tutti i setting CILN producono valori positivi di $n_{th}$, confermando un vero IDN.
• Controllo: L'entità di $n_{th}$ varia significativamente tra le famiglie di corruzione e i livelli di severità. Per molte famiglie, $n_{th}$ aumenta con la severità ma finisce per saturare o diminuire ad alta severità man mano che i pattern di predizione convergono.
• Confronto: Ad alti tassi di rumore, i setting rappresentativi di CILN eguagliano o superano la dipendenza dall'istanza di PL-IDN.

2. Similitudine con l'Incertezza dell'Annotazione Umana

Utilizzando la distanza di Variazione Totale (TV) rispetto a CIFAR-10-H:

• Risultati: CILN è costantemente più vicino all'incertezza umana rispetto a PL-IDN in tutti i livelli di rumore.
• Specificità della Corruzione: Le corruzioni lievi (particolarmente le famiglie Weather e Digital come frost, snow, fog, brightness, JPEG) producono distribuzioni di etichette più simili al disaccordo umano. Le corruzioni severe tendono a divergere ulteriormente dai pattern umani ma superano comunque PL-IDN.
• Analisi PCA: I dieci setting CILN più vicini a CIFAR-10-H nello spazio PCA erano tutti corruzioni Weather o Digital a bassa severità; nessuno dei rilasci di PL-IDN appariva nei primi dieci.

3. Comportamento dell'Apprendimento a Valle

Gli autori hanno valutato ERM, Co-Teaching e DivideMix su CIFAR-10.

• Rumore Basso/Medio: CILN e PL-IDN producono tendenze di performance simili.
• Divergenza ad Alto Rumore: Ad alti tassi di rumore, Co-Teaching e DivideMix subiscono una sostanziale degradazione delle prestazioni su specifici setting CILN (ad esempio, alta severità di contrast, pixelate, glass-blur), mentre rimangono relativamente robusti su PL-IDN-H.
• Meccanismo di Fallimento:
  • Classi Attrattore: Alcune corruzioni creano "classi attrattore" (ad esempio, rana, gatto, camion) dove gli esempi etichettati erroneamente da molte classi reali vengono trascinati verso una singola classe errata.
  • Collasso della Distribuzione della Perdita: In questi setting, l'etichetta errata diventa coerente con l'input corrotto. Di conseguenza, gli esempi rumorosi non producono necessariamente perdite di addestramento più elevate rispetto agli esempi puliti. Ciò viola la small-loss assumption (l'assunto che gli esempi puliti abbiano una perdita inferiore rispetto ai rumorosi) su cui Co-Teaching e DivideMix si basano per la selezione dei campioni.
  • Validazione Clean-Start: I modi di fallimento persistono anche nella variante Clean-Start (CILN-C), confermando che la difficoltà deriva dalla struttura della corruzione stessa, non dall'ambiguità preesistente dei dati.

Significato e Rivendicazioni

L'articolo sostiene che la struttura del rumore, non solo il tasso di rumore, è un fattore critico nella difficoltà del benchmark e nel comportamento degli algoritmi.

• Complementarità: CILN completa gli esistenti benchmark di fallibilità del rater (come PL-IDN) spostando l'attenzione da come i rumori delle etichette vengono prodotti (qualità dell'annotatore) al perché essi sorgano (degradazione dei dati).
• Interpretabilità: Rendendo espliciti i meccanismi di ambiguità, CILN permette ai ricercatori di studiare come specifici tipi di degradazione dei dati (ad esempio, sfocatura vs valori mancanti) influenzino la dinamica dell'apprendimento.
• Realismo: Il framework dimostra che le corruzioni controllate possono produrre distribuzioni di etichette che approssimano meglio l'incertezza umana rispetto ai metodi sintetici attuali, particolarmente nei regimi di bassa-moderata severità.
• Insight Algoritmico: I risultati suggeriscono che i metodi attuali di apprendimento robusto al rumore potrebbero fare overfitting sulle strutture di rumore specifiche dei benchmark tradizionali (dove il rumore è ampiamente indipendente dall'input) e potrebbero fallire quando il rumore è strutturalmente accoppiato con l'input tramite corruzione.

Gli autori concludono che CILN fornisce un framework pratico, interpretabile e con controllo sui meccanismi per valutare l'apprendimento con etichette rumorose sotto diverse fonti di difficoltà dell'istanza, esortando la comunità a considerare la struttura del rumore insieme al tasso di rumore nella progettazione dei benchmark.