A Data-Centric Framework for Detecting and Correcting Corrupted Labels

Sintesi Tecnica: Relabeler – Un Framework Data-Centric per il Rilevamento e la Correzione di Etichette Corrotte

Problematica
Le prestazioni dei modelli di machine learning (ML) e deep learning (DL) dipendono fondamentalmente dalla qualità dei dati di addestramento. Nella pratica, i dataset su larga scala contengono spesso "rumore di etichetta" (label noise), ovvero istanze assegnate con etichette errate a causa di errori nel crowd-sourcing o nell'annotazione automatizzata. I tassi di rumore riportati nei dataset reali variano dall'8% al 38,5%. Tale rumore degrada significativamente l'accuratezza e l'affidabilità del modello. Mentre gli approcci esistenti rientrano generalmente in due categorie — model-centric (miglioramento della robustezza dell'algoritmo) e data-centric (miglioramento della qualità del dataset) — la maggior parte dei metodi data-centric tratta il rilevamento delle etichette e la correzione delle etichette come compiti separati. Inoltre, molte soluzioni esistenti si concentrano principalmente sull'identificazione delle istanze rumorose da scartare o ripesare, piuttosto che inferire ed eseguire esplicitamente la riparazione delle etichette corrette. Questa separazione limita la capacità di sfruttare appieno le relazioni intrinseche tra le caratteristiche di input, le etichette rumorose e le etichette pulite all'interno di un framework unificato.

Metodologia: Il Framework Relabeler
Gli autori propongono Relabeler, un framework end-to-end data-centric progettato per rilevare e correggere le etichette corrotte attraverso due fasi integrate:

1. Rilevamento delle Etichette Corrotte
Questa fase partiziona un dataset rumoroso $\tilde{D}$ in un sottoinsieme pulito ($D_{clean}$) e un sottoinsieme sospetto ($D_{suspicious}$) sfruttando sia le relazioni locali che quelle globali tra le istanze.

• Verifica Locale: Il framework utilizza l'algoritmo k-Nearest Neighbors (k-NN) per esaminare la coerenza dell'etichetta di un'istanza con i suoi vicini immediati nello spazio delle caratteristiche. Le istanze con etichette coerenti con la maggioranza dei propri vicini sono classificate provvisoriamente come pulite.
• Verifica Globale: Per affrontare i limiti dell'analisi locale (ad esempio, vicino ai confini delle classi), Relabeler addestra iterativamente un modello di classificazione ($M_{clean}$) sulle istanze attualmente identificate come pulite. Questo modello cattura schemi globali più ampi. Le istanze nel set sospetto vengono rivalutate; se le loro etichette originali sono allineate con le predizioni di $M_{clean}$, vengono spostate in $D_{clean}$. Questo processo iterativo continua finché non è possibile identificare ulteriori istanze pulite.

2. Correzione delle Etichette Corrotte
Per le istanze rimanenti in $D_{suspicious}$, Relabeler stima l'etichetta pulita più probabile ($y^*$) massimizzando la probabilità a posteriori $P(y | x, \tilde{y})$, dove $x$ è la caratteristica di input e $\tilde{y}$ è l'etichetta rumorosa osservata. Utilizzando l'inferenza bayesiana, ciò viene riformulato per combinare due fattori complementari:

• Predizione dell'Etichetta Pulita ($P(y|x)$): Un modello $M_{clean}$ addestrato su $D_{clean}$ stima la probabilità di un'etichetta basandosi sulle caratteristiche di input.
• Stima dell'Etichetta Rumorosa ($P(\tilde{y}|x, y)$): Un modello $M_{noisy}$ stima la probabilità di osservare una specifica etichetta rumorosa dato l'input e un'etichetta pulita candidata.
  • Addestramento di $M_{noisy}$: Poiché i dati di transizione della verità di base (ground-truth) non sono disponibili, Relabeler addestra un "simulatore di rumore" ($M_{simulator}$) su $D_{suspicious}$ per apprendere i pattern di rumore specifici del dataset. Questo simulatore genera etichette rumorose sintetiche per le istanze in $D_{clean}$, creando un dataset di transizione utilizzato per addestrare $M_{noisy}$.
• Inferenza: L'etichetta riparata finale è determinata integrando le predizioni di $M_{clean}$ e $M_{noisy}$, garantendo che la correzione tenga conto sia dell'allineamento semantico delle caratteristiche che dei pattern statistici della corruzione delle etichette.

Contributi Chiave

• Framework Unificato: L'introduzione di Relabeler, un sistema end-to-end che esegue congiuntamente rilevamento e correzione, colmando il vuoto in cui rilevamento e correzione sono tipicamente trattati separatamente.
• Integrazione Bayesiana: Un approccio innovativo alla correzione delle etichette che modella sia la distribuzione delle etichette pulite che la probabilità di transizione del rumore, invece di fare affidamento esclusivamente sulla predizione basata sulle caratteristiche o sul voto euristico.
• Raffinamento Iterativo: Un meccanismo di rilevamento che affina iterativamente l'insieme dei dati puliti per addestrare un modello di verifica globale, migliorando la precisione dell'identificazione delle istanze sospette.

Risultati Sperimentali
Gli autori hanno valutato Relabeler su cinque dataset diversificati (CIFAR-10, CIFAR-100, Agnews, Clickbait, CodeXGLUE) che coprono la classificazione di immagini, testo e codice sorgente. Il framework è stato confrontato con baseline allo stato dell'arte, specificamente Docta (con varianti di voting e ranking).

• Precisione della Correzione delle Etichette: Relabeler ha superato costantemente le baseline, ottenendo un miglioramento fino al 58% nella precisione della correzione delle etichette attraverso vari dataset e tassi di rumore (20% e 40%). Ad esempio, sul dataset Agnews con il 40% di rumore, Relabeler ha raggiunto una precisione dell'89,47% rispetto al 61,43% di Docta-R.
• Riduzione del Tasso di Errore: Il framework ha ridotto significativamente il tasso di errore residuo nei dataset riparati. Su CIFAR-10 con il 40% di rumore, Releler ha ridotto il tasso di errore al 7,48%, mentre le baseline mantenevano tassi superiori al 23%.
• Robustezza: Relabeler ha dimostrato prestazioni superiori in diversi tipi di rumore, inclusi rumore simmetrico, asimmetrico e dipendente dall'istanza. Ha mantenuto un'alta precisione e bassi tassi di errore anche in scenari di rumore misto e complesso dove le baseline faticavano.
• Utilità a Valle (Downstream Utility): L'addestramento di modelli a valle (classificatori MLP) su dataset riparati da Relabeler ha prodotto l'accuratezza e i punteggi F1 pesati più elevati. Sul dataset Agnews, Relabeler ha migliorato l'accuratezza a valle al 75,50%, un guadagno relativo di circa il 6% rispetto al dataset rumoroso originale, superando sia il dato originale che i dataset riparati da Docta.
• Analisi dei Componenti: Gli studi di ablazione hanno confermato che l'integrazione dell'Estimatore di Etichette Rumorose ($M_{noisy}$) con il Predittore di Etichette Pulite ($M_{clean}$) è critica, producendo un miglioramento relativo della precisione fino al 50% rispetto all'uso del solo $M_{clean}$.

Significatività e Rivendicazioni
Il paper sostiene che Relabeler affronti una lacuna critica nell'apprendimento data-centric, andando oltre il semplice rilevamento per arrivare a una riparazione delle etichette esplicita e basata su principi. Formulando la correzione delle etichette come un problema di inferenza bayesiana che modella sia le relazioni tra caratteristiche ed etichette sia i pattern di transizione del rumore, Relabeler fornisce un dataset riutilizzabile e di alta qualità che beneficia qualsiasi apprendista a valle. Gli autori affermano che questo approccio è particolarmente pratico per applicazioni del mondo reale in cui scartare i dati non è fattibile e dove comprendere la specifica distribuzione del rumore è essenziale per una correzione accurata. I risultati suggeriscono che Relabeler non solo migliora la qualità del dataset, ma funge anche da robusto complemento ai metodi esistenti di apprendimento robusto al rumore di tipo model-centric.