Sintesi Tecnica: RUBRIC – Classificazione Imbalanced mediante Classificazione Bilanciata tra Realismo e Utilità

1. Definizione del Problema

Lo squilibrio delle classi presenta una sfida fondamentale nei domini sensibili al rischio, come il rilevamento delle frodi e la diagnosi medica, dove i campioni della classe minoritaria sono scarsi ma critici. Le risposte standard prevedono il sovracampionamento della classe minoritaria utilizzando generatori come SMOTE o GAN. Tuttavia, questi metodi spesso producono un grande volume di candidati sintetici di bassa qualità. Tali candidati possono distorcere i confini decisionali, introdurre artefatti o non fornire segnali informativi, portando all'overfitting e al degrado della generalizzazione.

La letteratura esistente si concentra principalmente su dove sintetizzare i campioni (ad esempio, varianti aware del confine) o su come generarli (ad esempio, addestramento avversario). Rimane un vuoto nel determinare quali campioni sintetici mantenere dopo la generazione. Gli autori sostengono che il realismo (plausibilità) e l'utilità a valle (valore informativo per l'apprendimento) non siano equivalenti; un campione può apparire realistico ma essere poco informativo, oppure essere focalizzato sul confine ma dannoso a causa dello spostamento della distribuzione.

2. Metodologia: RUBRIC

Il documento introduce RUBRIC (Realism–Utility Balanced Ranking), un framework di post-filtraggio agnostico rispetto al generatore. Invece di modificare il processo di generazione, RUBRIC tratta la selezione dei campioni sintetici come un problema di ottimizzazione vincolata che bilancia due obiettivi contrastanti: Realismo e Utilità.

2.1 Meccanismo di Punteggio

RUBRIC assegna un punteggio a ogni candidato sintetico $\tilde{x}$ utilizzando due modelli ausiliari addestrati sui dati reali e sul pool di candidati:

1. Punteggio di Utilità ($u(\tilde{x})$): Cattura la prossimità di un campione al confine decisionale, dando priorità alle regioni informative.
   • Un modello di confine $f$ viene addestrato sui dati reali per produrre punteggi di margine.
   • Una funzione di modellazione $g$ concava e non decrescente (predefinita: $g(t) = \log(1+e^{t/\tau})$) trasforma il margine. Questa forma garantisce rendimenti decrescenti per i campioni lontani dal confine, concentrando la selezione sulle regioni "vicine al confine" senza dare eccessivo peso ai casi banali.
2. Punteggio di Realismo ($r(\tilde{x})$): Quantifica la plausibilità del campione rispetto alla vera distribuzione minoritaria.
   • Un discriminatore $D$ viene addestrato per distinguere i campioni reali minoritari dal pool di candidati sintetici.
   • Il punteggio è derivato dai log-odds dell'output del discriminatore: $r(\tilde{x}) = \log \frac{D(\tilde{x})}{1-D(\tilde{x})}$. Questo approssima il rapporto di densità logaritmica tra le distribuzioni reale e sintetica.

2.2 Obiettivo di Selezione

Dato un parametro di trade-off $\lambda \in [0, 1]$ e un budget di selezione $K$, RUBRIC seleziona un sottoinsieme $U \subset S$ di dimensione $K$ per massimizzare:
$$\max_{U \subseteq S, |U|=K} \sum_{\tilde{x} \in U} \left( \lambda u(\tilde{x}) + (1-\lambda) r(\tilde{x}) \right) + \gamma \text{Div}(U)$$

• Termine Realismo-Utilità: La somma pesata dei punteggi di utilità e realismo.
• Termine di Diversità ($\text{Div}(U)$): Modellato come una funzione di copertura facility-location sul pool di candidati per evitare la selezione di campioni ridondanti o quasi-duplicati.
• Ottimizzazione: L'obiettivo è una funzione submodulare monotona. RUBRIC impiega un algoritmo greedy per selezionare il sottoinsieme, il quale garantisce un'approssimazione $(1 - 1/e)$ rispetto alla soluzione ottimale.

2.3 Pipeline

1. Generare un pool di candidati sintetici $S$ utilizzando qualsiasi generatore esterno.
2. Addestrare un modello di confine $f$ sui dati reali e un discriminatore $D$ per distinguere il reale dallo sintetico.
3. Assegnare i punteggi a tutti i candidati in $S$ utilizzando $f$ e $D$ congelati.
4. Selezionare greedyamente i top $K$ candidati basandosi sull'obiettivo submodulare.
5. Addestrare il classificatore finale sul dataset aumentato (Reale + Sintetico Selezionato).

3. Contributi Teorici

Il documento fornisce un'analisi teorica dimostrando che il filtraggio selettivo stringe il limite di generalizzazione per i classificatori basati sul margine sotto deboli condizioni di regolarità:

• Riduzione dello Spostamento della Distribuzione: Filtrando tramite il discriminatore, RUBRIC riduce la distanza di variazione totale (TV) tra la distribuzione sintetica selezionata e la vera distribuzione minoritaria, controllando così il termine di bias.
• Soppressione della Coda: La funzione di modellazione concava dell'utilità $g$ induce un pavimento di margine, sopprimendo esponenzialmente il contributo dei campioni della coda "quasi-negativi" (campioni che sono sintetici ma si trovano lontani dal manifold minoritario).
• Limite di Generalizzazione: Gli autori derivano un limite di rischio eccessivo che include esplicitamente termini per l'errore di calibrazione del discriminatore ($\epsilon_{est}$) e il pavimento del margine, dimostrando che RUBRIC stringe monotonicamente il limite rispetto al mantenimento di tutti i candidati.

4. Risultati Sperimentali

RUBRIC è stato valutato su tre benchmark tabulari altamente sbilanciati: Credit Card Fraud Detection (ULB), IEEE-CIS Fraud Detection e Santander Customer Transaction Prediction.

• Guadagni di Performance: Attraverso molteplici generatori (SMOTE, ADASYN, Borderline-SMOTE, KMeans-SMOTE) e classificatori (Logistic Regression, SVM, LightGBM, XGBoost), RUBRIC ha migliorato costantemente i punteggi di Recall e F1-macro.
• Gestione del Trade-off: Il parametro $\lambda$ permette agli utenti di navigare il trade-off tra la qualità del ranking (AUPRC) e le metriche di rilevamento (Recall/F1).
  • Un $\lambda$ più basso (priorità al realismo) preserva o migliora l'AUPRC.
  • Un $\lambda$ più alto (priorità all'utilità del confine) aumenta la Recall e l'F1, talvolta a scapito dell'AUPRC.
• Robustezza: RUBRIC ha mantenuto un ROC-AUC comparabile aumentando significativamente la recall in scenari di estremo squilibrio.
• Tempo di Esecuzione: Il processo di filtraggio aggiunge un costo di post-elaborazione una tantum (ad esempio, ~12s per Credit Card, ~85s per IEEE-CIS) ma non influisce sulla latenza di inferenza.

5. Significato e Rivendicazioni

Il documento sostiene i seguenti contributi:

1. Un Nuovo Paradigma: Sposta l'attenzione dalla generazione di migliori campioni alla selezione dei migliori campioni da pool esistenti, offrendo una soluzione agnostica rispetto al generatore che può essere combinata con qualsiasi metodo di sovracampionamento.
2. Ottimizzazione Formalizzata: Formalizza la selezione dei campioni sintetici come un problema di ottimizzazione realismo-utilità vincolato, risolvibile tramite massimizzazione submodulare con garanzie teoriche.
3. Giustificazione Teorica: Fornisce un limite di generalizzazione dipendente dai dati che dimostra come il filtraggio selettivo riduca lo spostamento della distribuzione e sopprima i dannosi contributi della coda.
4. Utilità Pratica: Attraverso estesi esperimenti, dimostra che RUBRIC migliora le metriche critiche (Recall, F1) in domini ad alto rischio come il rilevamento delle frodi, offrendo anche un controllo esplicito sul regime operativo precision-recall tramite il parametro $\lambda$.

Gli autori sottolineano che RUBRIC non è una soluzione universale; in alcune configurazioni (ad esempio, accoppiate specifiche generatore-modello su dataset con squilibrio moderato come Santander), i guadagni possono essere misti o i trade-off possono risultare in una diminuzione dell'F1 se la soglia non viene regolata. Tuttavia, il framework fornisce un meccanismo fondato per gestire tali trade-off.