QC-SMOTE: Quality-Controlled SMOTE for Imbalanced Classification

Sintesi Tecnica: QC-SMOTE: SMOTE a Controllo di Qualità per la Classificazione Sbilanciata

1. Definizione del Problema

Lo sbilanciamento delle classi rimane una sfida critica nell'apprendimento supervisionato, in particolare in domini come il rilevamento delle frodi, la diagnosi medica e il rilevamento delle anomalie, dove la classe minoritaria rappresenta eventi rari ma consequenziali. I classificatori standard addestrati su dati sbilanciati tendono a favorire la classe maggioritaria, fallendo nel riconoscere i pattern della classe minoritaria. Sebbene i metodi di ricampionamento a livello di dati, specificamente il Synthetic Minority Over-sampling Technique (SMOTE), siano ampiamente utilizzati per affrontare questo problema tramite l'interpolazione tra istanze minoritarie, essi soffrono di un limite geometrico fondamentale.

SMOTE assume che l'interpolazione tra punti minoritari vicini sia intrinsecamente sicura. Tuttavia, nella pratica, i campioni minoritari spesso risiedono vicino ai confini di classe, in regioni sovrapposte o come outlier isolati. Interpolare da tali punti può generare campioni sintetici ambigui, rumorosi o più vicini alla distribuzione della classe maggioritaria rispetto alla vera struttura della classe minoritaria. Le varianti esistenti tentano di mitigare questo problema concentrandosi sui confini (ad esempio, Borderline-SMOTE) o sulla densità (ad esempio, Safe-Level-SMOTE), ma spesso si affidano a un singolo principio dominante (ad esempio, enfasi sul confine o clustering) e non riescono a accoppiare la affidabilità del campione, la valutazione della qualità del candidato e la generazione adattiva al regime in un processo unificato. Di conseguenza, possono amplificare il rumore nelle regioni sparse o ridurre la diversità concentrandosi solo su regioni dense "sicure".

2. Metodologia: QC-SMOTE

Gli autori propongono QC-SMOTE, un framework di oversampling a controllo di qualità che sposta l'attenzione dall'oversampling guidato dalla quantità alla costruzione di dati consapevole della qualità. Il metodo opera attraverso quattro fasi integrate:

A. Stima dell'Affidabilità del Vicinato (Neighbourhood Trustworthiness Estimation)
Invece di trattare tutti i campioni minoritari allo stesso modo, QC-SMOTE stima prima l'affidabilità di ogni campione minoritario $x_i$ utilizzando un punteggio di affidabilità del vicinato composito $T(x_i)$. Questo punteggio combina tre metriche:

1. Supporto del livello di sicurezza (Safe-level support, $S$): La proporzione di vicini della classe target nel vicinato dei $k$-più vicini.
2. Densità locale (Local density, $D$): L'inverso della distanza media dai vicini minoritari, favorendo le regioni compatte.
3. Isolamento dalla maggioranza (Isolation from majority, $R$): La distanza media dai vicini non-target (maggioranza), garantendo che il campione non sia troppo vicino al confine della classe opposta.
   Questi componenti sono normalizzati e pesati per produrre un punteggio finale. I campioni con alta affidabilità sono considerati semi (seed) affidabili per la generazione, mentre i campioni isolati o contaminati dal confine ricevono punteggi bassi.

B. Allocazione Pesata per l'Affidabilità (Reliability-Weighted Allocation)
Invece di generare campioni sintetici uniformemente su tutti i semi minoritari, QC-SMOTE alloca lo sforzo di generazione in base al punteggio di affidabilità. Ai campioni ad alta affidabilità vengono assegnati più tentativi di generazione, mentre i campimenti isolati (outlier) a bassa affidabilità vengono soppressi. Ciò assicura che i dati sintetici siano concentrati in regioni dello spazio delle caratteristiche geometricamente affidabili.

C. Selezione del Miglior Candidato tra $K$ Guidata da IPQ (IPQ-Guided Best-of-$K$ Candidate Selection)
Per ogni coppia seme-vicino selezionata, QC-SMOTE non accetta una singola interpolazione casuale. Invece, genera $K$ campioni candidati e li valuta utilizzando una metrica di Purezza e Qualità dell'Interpolazione (IPQ) prima dell'accettazione. La valutazione prevede:

• Purezza Locale (Local Purity): Misurazione della proporzione di vicini della classe target per il candidato.
• Purezza del Punto Medio (Midpoint Purity): Valutazione della purezza del punto medio tra il seme e il suo vicino per garantire che il percorso di interpolazione non attraversi regioni ambigue.
• Chiarezza della Maggioranza (Majority Clearance): Misurazione della distanza minima da qualsiasi campione della classe maggioritaria per garantire che il candidato sia sufficientemente separato dalla classe opposta.
  Il candidato con il punteggio di qualità combinato più elevato viene selezionato.

D. Generazione Adattiva al Regime e Degradazione Controllata (Regime-Adaptive Generation and Graceful Degradation)
Il metodo adatta il proprio comportamento in base al rapporto di squilibrio (Imbalance Ratio, $IR$) locale e globale e al punteggio di sovrapposenza (Overlap, $OV$).

• Nei regimi puliti e a bassa sovrapposenza, utilizza intervalli di interpolazione più ampi e meno controlli sui candidati.
• Nei regimi ad alta sovrapposenza o forte squilibrio, riduce l'intervallo di interpolazione, aumenta il numero di candidati ($K$) e applica controlli di qualità più rigorosi.
• Degradazione Controllata (Graceful Degradation): Se il candidato con il punteggio più alto non soddisfa le soglie di purezza o chiarezza (indicando che la geometria locale è troppo inaffidabile per l'interpolazione), il metodo ricorre alla duplicazione del campione minoritario più affidabile nel vicinato locale. Ciò evita l'iniezione di punti sintetici dannosi nelle regioni rumorose.

3. Contributi Principali

Il documento delinea quattro contributi primari:

1. Punteggio di Affidabilità Composito: Una nuova metrica che modella esplicitamente l'affidabilità del campione minoritario integrando densità locale, caratteristiche di livello di sicurezza e isolamento dalla classe maggioritaria.
2. Meccanismo Best-of-$K$ Guidato da IPQ: Una strategia di selezione dei candidati che valuta la qualità delle regioni di interpolazione (inclusi i punti medi) prima di accettare i campioni sintetici, andando oltre la semplice interpolazione tra gli estremi.
3. Strategia Adattiva al Regime: Un framework di generazione che adatta dinamicamente gli intervalli di interpolazione e i criteri di selezione in base alla gravità dello squilibrio e della sovrapposizione delle classi, includendo un meccanimento di fallback alla duplicazione quando la generazione sintetica non è sicura.
4. Framework Unificato: Un approccio pratico che accoppia l'affidabilità del campione, la qualità del candidato e l'adattamento al regime, affrontando i limiti dei metodi che si basano su singoli principi.

4. Risultati Sperimentali

Gli autori hanno valutato QC-SMOTE su 30 dataset reali di classificazione binaria sbilanciata (con rapporti di squilibrio che vanno da lievi a severi) utilizzando la validazione incrociata stratificata ripetuta. Il metodo è stato confrontato con un ampio set di baseline basate su SMOTE, incluse recenti varianti orientate alla qualità dello spazio come VS-SMOTE.

• Prestazioni Complessive: QC-SMOTE ha ottenuto l'AUC-ROC (0.9321) e il Macro F1 (0.8408) medi più elevati tra tutti i metodi confrontati, ottenendo 29 vittorie in AUC-ROC e 17 vittorie in Macro F1 sui 30 dataset.
• Regimi di Squilibrio: I guadagni di prestazione sono stati più pronunciati nei regimi di squilibrio moderato e severo. Nei contesti di alto squilibrio (IR $\ge$ 15), QC-SMOTE ha migliorato il Macro F1 da 0.7018 (VS-SMOTE) a 0.7621, dimostrando la sua efficacia quando i campioni minoritari sono scarsi e l'interpolazione ingenua è inaffidabile.
• Studi di Ablazione: La rimozione di componenti chiave (pesatura dell'affidabilità, allocazione dell'affidabilità, purezza del punto medio IPQ o filtraggio della purezza) ha portato a cali significativi delle prestazioni, particolarmente nei contesti ad alto squilibrio. Ciò conferma che la combinazione di stima dell'affidabilità e controllo della qualità del candidato è essenziale.
• Efficienza: Sebbene QC-SMOTE sia più lento dello SMOTE standard (a causa della valutazione dei candidati), rimane sostanzialmente più efficiente di VS-SMOTE (circa 39.5$\times$ più lento di SMOTE rispetto a 208.7$\times$ per VS-SMOTE), offrendo un rapporto favorevole tra costo computazionale e prestazioni.
• Significatività Statistica: I test Wilcoxon signed-rank a coppie hanno confermato che QC-SMOTE fornisce miglioramenti statisticamente significativi in AUC-ROC rispetto a tutte le baseline. Per il Macro F1, è stato significativamente migliore della maggior parte delle baseline, sebbene la differenza con VS-SMOTE non fosse statisticamente significativa al livello 0.05, indicando che è altamente competitivo con i metodi esistenti più forti.

5. Significato e Rivendicazioni

Il documento sostiene che QC-SMOTE affronti una lacuna critica nell'apprendimento sbilanciato spostando il paradigma dall'oversampling "guidato dalla quantità" alla costruzione di dati "consapevole della qualità". Gli autori sostengono che i guadagni di prestazione nella classificazione sbilanciata non derivino semplicemente dall'aumentare il numero di campioni minoritari, ma dal controllo della affidabilità delle regioni in cui tali campioni vengono generati.

La significatività del lavoro risiede nella dimostrazione che l'oversampling sintetico è più efficace quando guidato congiuntamente da:

1. Affidabilità del campione (stimare quali semi sono affidabili).
2. Qualità del candidato (valutare il percorso di interpolazione e il punto risultante).
3. Adattamento al regime locale (aggiustare il comportamento in base alla sovrapposizione e alla gravità dello squilibrio).

Integrando questi elementi, QC-SMOTE mira a rendere l'oversampling sintetico più affidabile in condizioni di dati eterogenee, particolarmente nei contesti di alto squilibrio dove un piccolo numero di campioni sintetici inaffidabili può distorcere sproporzionatamente il confine decisionale appreso. Gli autori posizionano QC-SMOTE come un'alternativa robusta che evita le insidie dell'amplificazione del rumore mantenendo l'integrazione agnostica rispetto al classificatore.