Addressing Imbalance in Multi-Label Data via Label-Specific Distance-based Oversampling

Sintesi Tecnica: Affrontare lo squilibrio nei dati multi-etichetta tramite l'oversampling basato sulla distanza specifica per etichetta

Definizione del problema
La classificazione multi-etichetta (MLC) affronta una sfida critica dovuta all'imbalance intrinseco nelle distribuzioni delle etichette. Questo squilibrio si manifesta in due modi: squilibrio intra-etichetta (dove le istanze rilevanti per una specifica etichetta sono molto meno di quelle irrilevanti) e squilibrio tra etichette (dove le frequenze delle etichette variano ampiamente). Inoltre, esiste uno squilibrio locale all'interno dei vicini dei punti dati, che complica il processo di apprendimento. La maggior parte degli attuali classificatori multi-etichetta è influenzata dai bias verso le classi maggioritarie e le etichette ad alta frequenza. Sebbene l'oversampling sia una soluzione flessibile per bilanciare i dataset di addestramento, i metodi attuali si affidano pesantemente alla distanza euclidea nell'intero spazio delle caratteristiche per identificare i vicini. Questo approccio non tiene conto della variabile rilevanza semantica delle caratteristiche per le diverse etichette. Di conseguenza, le istanze sintetiche generate da questi metodi soffrono spesso di incoerenza delle etichette tra i vicini prossimi, portando a confusione delle etichette, overfitting e riduzione della diversità, particolarmente per le combinazioni di etichette rare.

Metodologia: LSDMLO
Il documento propone LSDMLO (Label-Specific Distance-based Multi-Label Oversampling), un nuovo framework progettato per generare istanze sintetiche più utili e ben etichettate. La metodologia procede in tre fasi principali:

1. Apprendimento dei pesi delle caratteristiche specifiche per etichetta:
   Invece di utilizzare uno spazio delle caratteristiche globale, LSDMLO apprende pesi delle caratteristiche sparsi per ogni etichetta. Ciò viene ottenuto ottimizzando una funzione convessa che combina:

• La minimizzazione della perdita quadratica tra le predizioni e le etichette reali.
• La regolarizzazione della norma $\ell_1$ per imporre la sparsità, garantendo che solo le caratteristiche pertinenti contribuiscano alla predizione di ogni etichetta.
• La regolarizzazione del grafo basata sulle correlazioni tra etichette (derivate dalla similarità del coseno dei vettori delle etichette) per estrarre relazioni complesse tra caratteristiche ed etichette.
  L'ottimizzazione viene risolta utilizzando l'algoritmo Accelerated Proximal Gradient (APG). I pesi risultanti vengono normalizzati per formare una matrice di pesi delle caratteristiche specifica per etichetta ($\Theta$).

2. Peso delle istanze e della distanza specifica per etichetta:
   Utilizzando $\Theta$, il metodo definisce una metrica di distanza specifica per etichetta. Questa distanza misura la prossimità tra le istanze basandosi solo sulle caratteristiche più rilevanti per una specifica etichetta, piuttosto che sull'intero set di caratteristiche.
   Sulla base di questa distanza, LSDMLO calcola un peso dell'istanza per la selezione dei semi (seed). Il peso è la somma di due componenti:

• Peso dello squilibrio locale: Misura quanto un'istanza sia vicina a un confine di etichetta valutando il disaccordo locale delle etichette tra i suoi $k$-vicini più prossimi (recuperati tramite distanza specifica per etichetta). Le istanze vicine ai confini di etichette altamente sbilanciate ricevono pesi più elevati.
• Peso della correlazione tra etichette: Valuta l'informazione di correlazione che un'istanza trasporta considerando sia le dipendenze globali delle etichette che la coerenza del vicinato locale. Le istanze situate in regioni di confine sovrapposte di etichette minoritarie correlate sono prioritarie.

3. Generazione di istanze sintetiche:
   Le istanze sintetiche vengono generate utilizzando una selezione a ruota della fortuna basata sui pesi delle istanze calcolati. Per ogni nuova istanza:

• Viene selezionata un'istanza seme (seed).
• Viene scelta un'etichetta minoritaria rilevante per il seme.
• Viene selezionato un vicino di riferimento basato sulla distanza specifica per etichetta per quella specifica etichetta.
• Generazione delle caratteristiche: Le caratteristiche numeriche sono interpolate linearmente; le caratteristiche nominali assumono il valore più comune tra il seme e i suoi vicini.
• Assegnazione dell'etichetta: Viene impiegata una strategia indotta dalla distanza specifica per etichetta. Se il seme e il riferimento concordano su un'etichetta, tale etichetta viene assegnata. Se non concordano, viene assegnata l'etichetta dell'istanza (seme o riferimento) che è più vicina all'istanza sintetica nello spazio delle caratteristiche specifico per l'etichetta. Ciò garantisce la coerenza delle etichette nello spazio delle caratteristiche pertinenti.

Contributi Chiave

• Distanza Specifica per Etichetta: L'introduzione di una metrica di distanza che pesa dinamicamente le caratteristiche in base alla loro rilevanza per specifiche etichette, superando i limiti della distanza euclidea globale nei contesti multi-etichetta.
• Selezione del Seme Consapevole del Contesto Semantico: Un meccanismo di ponderazione che dà priorità alle istanze vicine ai confini delle etichette e a quelle che trasportano ricche informazioni di correlazione tra etichette, anziché affidarsi a una prossimità puramente geometrica o casuale.
• Assegnazione Coerente delle Etichette: Una strategia di generazione che garantisce che le istanze sintetiche mantengano la coerenza delle etichette all'interno dello spazio delle caratteristiche discriminanti, riducendo il rischio di confusione delle etichette e overfitting.

Risultati Sperimentali
Gli autori hanno valutato LSDMLO su 13 dataset multi-etichetta in vari domini (testo, immagine, musica, biologia) utilizzando quattro classificatori base (BR, MLkNN, RAkEL, CC), un classificatore consapevole dello squilibrio (COCOA) e un modello di deep learning (C2AE).

• Performance: LSDMLO ha ottenuto i migliori ranghi medi in tutti e quattro i parametri di valutazione (Macro-F, Macro-AUC, Macro-AUPR e Ranking Loss) rispetto a nove metodi di campionamento allo stato dell'arte (tra cui MLSMOTE, MLSOL, MLBOTE, AEMLO e DR-SMOTE).
• Significatività Statistica: I test di Wilcoxon signed-rank hanno confermato che LSDMLO ha superato significativamente i competitor nella maggior parte dei casi senza subire perdite significative.
• Riduzione dello Squilibrio Locale: Lo studio ha dimostato che l'uso di distanze specifiche per etichetta riduce significativamente la metrica del Local Label Imbalance (LImb) rispetto alla distanza euclidea, particolarmente in dataset con distribuzioni di etichette locali complesse.
• Sinergia con il Classificatore Base: Il metodo ha mostrato una efficacia superiore quando accoppiato con learner base ad alte prestazioni come C2AE e COCOA.

Significato e Rivendicazioni
Il documento sostiene che il significato primario di LSDMLO risieda nella sua capacità di affrontare il problema dell' "incoerenza delle etichette" inerente agli attuali metodi di oversampling. Riconoscendo che diverse etichette dipendono da diversi sottoinsiemi di caratteristiche, LSDMLO genera dati sintetici più realistici e informativi. Gli autori affermano che questo approccio mitiga efficacementamente il bias verso le classi maggioritarie e migliora l'apprendimento delle etichette minoritarie, specialmente in scenari complessi dove le distribuzioni locali delle etichette sono difficili da apprendere. Il metodo è presentato come una soluzione flessibile e agnostica rispetto al classificatore che migliora le prestazioni di diversi algoritmi di apprendimento multi-etichetta.

Lavoro Futuro
Gli autori osservano che la ricerca futura si concentrerà sullo sviluppo di un framework di apprendimento della distanza specifica per etichetta più completo. Ciò include l'integrazione dell'importanza globale delle caratteristiche e delle correlazioni tra istanze, nonché l'esplorazione della modellazione non lineare per catturare complesse interazioni caratteristica-etichetta oltre l'attuale formulazione lineare sparsa. Inoltre, intendono investigare strategie avanzate di modellazione della dipendenza tra etichette per catturare relazioni di ordine superiore oltre le correlazioni a coppie.