Riepilogo Tecnico: CANOLA – Un framework consapevole del rumore per la correzione di etichette corrotte

1. Definizione del problema

I dati etichettati di alta qualità sono la risorsa fondamentale per l'addestramento di modelli di Machine Learning (ML) e Deep Learning (DL) affidabili. Tuttavia, i dataset del mondo reale contengono frequentemente una proporzione significativa di etichette corrotte a causa di errori manuali o strumenti di annotazione automatizzata imperfetti. Queste istanze erroneamente etichettate degradano severamente la generalizzazione del modello, portando a previsioni distorte o inaffidabili.

Mentre la ricerca precedente ha affrontato il rumore delle etichette attraverso approcci model-centric (progettazione di algoritmi robusti per resistere al rumore) e data-centric (rilevamento di istanze rumorose), i metodi data-centric esistenti spesso si fermano al rilevamento. La correzione automatica delle etichette rimane ampiamente inesplorata. I metodi di correzione esistenti rientrano generalmente in due categorie:

1. Correzione basata sui vicini (Neighbor-based correction): Si basa sulla coerenza delle etichette tra campioni simili (ad esempio, voto di maggioranza). Questi metodi faticano vicino ai confini decisionali, dove istanze simili possono appartenere a classi diverse.
2. Correzione basata sul modello (Model-based correction): Utilizza le predizioni del modello stesso per raffinare le etichette, facendo spesso affidamento sulle prime iterazioni di addestramento. Questi metodi soffrono di due limitazioni principali: (a) alta sensibilità alle fluttuazioni nelle predizioni del modello, e (b) il rischio di "bias di conferma", in cui il modello amplifica i propri errori iniziali, specialmente in scenari ad alto rumore o con istanze "difficili ma pulite".

2. Metodologia: Il framework CANOLA

Gli autori propongono CANOLA (Corrupted lAbel cOrrectiON via Noise-Aware Learning and iterative refinement), un nuovo framework che scinde l'apprendimento delle caratteristiche dal raffinamento delle etichette. CANOLA opera attraverso una pipeline iterativa composta da due fasi distinte:

Fase 1: Costruzione della Matrice di Transizione del Rumore

L'obiettivo è stimare la distribuzione sottostante del rumore del dataset senza avere accesso alle etichette pulite reali (ground-truth).

• Co-Training Asimmetrico: CANOLA mantiene due modelli: un modello affidabile ($\mathcal{F}_r$) addestrato esclusivamente su un sottoinsieme crescente di dati probabilmente puliti ($D_c$), e un modello rumoroso ($\mathcal{F}_n$) addestrato sull'intero dataset rumoroso ($\tilde{D}$).
• Identificazione del Sottoinsieme Pulito: Il processo prevede tre stadi:
  • Warm-up: Entrambi i modelli vengono addestrati sull'intero dataset rumoroso per stabilire schemi di base.
  • Esplorazione: Nelle prime fasi dell'addestramento, $\mathcal{F}_n$ (addestrato su tutti i dati) viene utilizzato per identificare i campioni probabilmente puliti (dove la predizione coincide con l'etichetta osservata) per espandere $D_c$.
  • Sfruttamento (Exploitation): Più avanti nell'addestramento, viene applicato un criterio di consenso più rigoroso: i campioni vengono aggiunti a $D_c$ solo se sia $\mathcal{F}_r$ che $\mathcal{F}_n$ concordano con l'etichetta osservata.
• Stima della Matrice: Utilizzando il modello affidabile $\mathcal{F}_r$ addestrato su $D_c$, il framework stima la Matrice di Transizione del Rumore ($T$). Questa matrice modella la probabilità $P(\tilde{y}=c' | y=c)$ che un'etichetta pulita $c$ venga corrotta in un'etichetta rumorosa $c'$.

Fase 2: Correzione delle Etichette Corrotte

Questa fase addestra un modello consapevole del rumore per eseguire un raffinamento delle etichette cauto e iterativo.

• Addestramento Consapevole del Rumore (Noise-Aware Training): Il modello affidabile $\mathcal{F}_r$ viene ulteriormente addestrato sull'intero dataset rumoroso. Invece di adattarsi direttamente alle etichette rumorose, il modello è addestrato per predire la distribuzione dell'etichetta pulita. Queste predizioni vengono proiettate attraverso la matrice di transizione del rumore $T$ stimata per ricostruire la distribuzione rumorosa attesa. La perdita (loss) è calcolata tra questa distribuzione ricostruita e le etichette rumorose osservate utilizzando la Divergenza di Kullback-Leibler (KL). Ciò costringe il modello a tenere esplicitamente conto della struttura del rumore, riducendo il peso dei segnali di supervisione inaffidabili.
• Trigger di Stabilizzazione della Perdita: Il raffinamento delle etichette non viene eseguito immediatamente. Viene attivato solo dopo che la perdita di addestramento si è stabilizzata, garantendo che il modello abbia raggiunto uno stato maturo e convergente prima di tentare le correzioni.
• Rilabeling Soft Iterativo: Una volta attivato, le predizioni del modello vengono fuse con le etichette osservate per formare etichette soft (distribuzioni di probabilità) piuttosto che vetti one-hot rigidi. Questa fusione progressiva e soft è controllata da un coefficiente $\alpha$:
  $$\tilde{p}^{(t)}_i = \alpha \cdot p_i + (1 - \alpha) \cdot \tilde{p}^{(t-1)}_i$$
  Questa strategia di aggiornamento progressivo e "soft" evita l'impegno prematuro verso potenziali predizioni errate e mitiga la propagazione dell'errore. Il processo si ripete per $\tau$ iterazioni o fino alla convergenza, con le etichette soft finali convertite in etichette rigide tramite stima del massimo a posteriori.

3. Contributi Chiave

Il documento delinea tre contributi primari:

1. Costruzione di un Benchmark Realistico: Gli autori hanno costruito un benchmark di cinque dataset (che coprono immagini e testo) etichettati utilizzando diverse tecniche automatizzate (basate su LLM, Supervisionate, Semi-Supervisionate e Weak-Supervised) per facilitare la valutazione in condizioni di rumore pratiche e non idealizzate. Hanno incluso anche il dataset reale Clothing1M.
2. Il Framework CANOLA: Un nuovo framework di correzione che scinde la stima del rumore dal raffinamento delle etichette. Combina un DNN consapevole del rumore (regolarizzato da una distribuzione del rumore stimata) con un trigger di stabilizzazione della perdita per eseguire un raffinamento delle etichette soft, cauto e iterativo.
3. Valutazione Esaustiva: Esperimenti estesi dimostrano che CANOLA supera costantemente i metodi di correzione delle etichette allo stato dell'arte (SOTA) e produce guadagni significativi nelle prestazioni a valle, anche quando vengono addestrati semplici classificatori sui dati corretti.

4. Risultati Sperimentali

Il framework è stato valutato su sei dataset (FashionMNIST, OrganAMNIST, RESISC45, AGNews, Yahoo! Answer, Clothing1M) sotto vari scenari di rumore.

• Accuratezza della Correzione delle Etichette: CANOLA ha costantemente ottenuto i tassi di errore più bassi in tutti i dataset e tipi di rumore. In media, ha ridotto i tassi di errore del dataset originale di circa il 25%. In condizioni difficili (ad esempio, etichettatura Weak-Supervised), ha ottenuto miglioramenti relativi fino al 31% rispetto ai dati originali.
• Confronto con SOTA: CANOLA ha superato i metodi di correzione esistenti (DOCTA, SELC, SIDYP) con miglioramenti relativi nella riduzione dell'errore compresi tra il 19% e il 52%. A differenza di alcuni baseline (come DOCTA o SIDYP in specifici casi ad alto rumore), CANOLA non ha degradato la qualità dei dati in nessuna impostazione di valutazione.
• Utilità a Valle (Downstream Utility): I modelli addestrati sui dati corretti da CANOLA hanno mostrato guadagni sostanziali nelle prestazioni. In media, i classificatori a valle hanno ottenuto un aumento del 10% nell'F1-Macro rispetto all'addestramento sui dati rumorosi originali. In scenari di rumore severo, i dati corretti da CANOLA hanno permesso a semplici classificatori di superare gli approcci model-centric robusti al rumore (es. DivideMix, Co-Teaching, SIDYP) con margini compresi tra l'8% e il 67%.
• Studi di Ablazione:
  • Design a Due Fasi: Entrambe le fasi sono state ritenute necessarie; la Fase 1 fornisce una base affidabile, mentre la Fase 2 consente una modellazione del rumore robusta e un raffinamento stabile.
  • Aggiornamenti Soft vs. Hard: Il raffinamento delle etichette soft ha superato significativamente gli aggiornamenti delle etichette hard, riducendo i tassi di errore di un ulteriore ~16% in media.
  • Funzione di Perdita: La Divergenza di Kullback-Leibler è stata trovata essere la funzione di perdita più efficace per l'addestramento del modello consapevole del rumore.
  • Sensibilità: Il framework è robusto alle variazioni degli iperparametri, con prestazioni ottimali osservate con 15–20 epoche di warm-up e circa 10 iterazioni di correzione.

5. Significato e Rivendicazioni

Il documento sostiene che CANOLA rappresenti un avanzamento significativo nell'apprendimento data-centric affrontando esplicitamente la causa radice della corruzione delle etichette. Gli autori sottolineano che:

• La pulizia esplicita è superiore all'addestramento robusto: In scenari ad alto rumore, pulire i dati tramite CANOLA produce maggiori benefici a valle rispetto al semplice affidamento su algoritmi di addestramento robusti al rumore.
• La stabilità è la chiave: Scindendo la fase di apprendimento dalla fase di correzione e utilizzando un trigger di stabilizzazione della perdita, CANOLA evita i cicli di bias di conferma che affliggono i precedenti metodi di correzione basati sul modello.
• Praticità: Il framework è computazionalmente efficiente (elabora i dataset in minuti o mezz'ora) ed efficace in diversi domini (immagini e testo) e fonti di rumore (pipeline automatizzate e dataset del mondo reale).

Gli autori concludono che CANOLA fornisce un meccanismo principiante, stabile ed efficace per riparare le etichette corrotte, rendendolo uno strumento prezioso per migliorare l'affidabilità dei modelli ML addestrati su dati reali imperfetti.