How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors

Sintesi Tecnica: Come i trattamenti per lo sbilanciamento delle classi distorcono la fedeltà dell'attribuzione SHAP

Problematica
SHAP (SHapley Additive exPlanations) è lo standard per l'interpretazione di classificatori basati su alberi in domini ad alto rischio come la diagnosi medica, il rilevamento delle frodi e il credit scoring. I professionisti applicano regolarmente trattamenti per lo sbilanciamento delle classi — sovracampionamento casuale (oversampling), sottocampionamento casuale (undersampling), metodi sintetici (SMOTE, ADASYN) e pesatura delle classi — per migliorare le prestazioni predittive. Tuttavia, l'assunto implicito secondo cui tali manipolazioni dei dati a monte non distorcano le attribuzioni SHAP a valle rimane non testato. Mentre gli effetti di questi trattamenti sulle metriche predittive (AUC, F1) sono ben documentati, il loro impatto sulla fedeltà delle attribuzioni delle caratteristiche non lo è. Nello specifico, non è chiaro se questi trattamenti preservino la classifica relativa dell'importanza delle caratteristiche o la magnitudo numerica delle attribuzioni, entrambi elementi critici per diverse attività di interpretabilità (ad esempio, identificare i principali contributori rispetto alla decomposizione del rischio).

Metodologia
Lo studio impiega un framework di simulazione Monte Carlo controllata per isolare gli effetti dei trattamenti di sbilanciamento sulla fedeltà SHAP, affrontando tre lacune metodologiche nella letteratura precedente:

1. Riferimento Oracle: Inveve di utilizzare un riferimento a classi bilanciate (che distorce le scale di magnitudo), lo studio calcola un riferimento oracle utilizzando dati di addestramento quasi infiniti sotto lo sbilanciamento nativo di ogni cella di simulazione.
2. Calibrazione della Difficoltà del Task: Il processo generatore di dati (DGP) è calibrato in modo che l'AUC Bayes-ottimale rimanga costante (target 0.82 ± 0.01) in tutte le celle. Ciò assicura che le differenze osservate nella fedeltà SHAP siano dovute ai trattamenti stessi, non a variazioni nella difficoltà di base del task.
3. Metriche di Doppia Fedeltà: Lo studio distingue esplicitamente tra fedeltà di ranking (preservazione dell'ordine di importanza delle caratteristiche) e fedeltà di magnitudo (preservazione dei valori di attribuzione).

Disegno Sperimentale

• Generazione dei Dati: Dataset sintetici con $p=20$ caratteristiche derivate da una distribuzione normale multivariata. Sono state testate due strutture di correlazione: caratteristiche indipendenti e caratteristiche a blocchi correlati (intra-blocco $\rho=0.6$).
• Fattori:
  • Prevalenza ($\pi$): 0.02, 0.05, 0.10, 0.20.
  • Dimensione del Campione ($n$): 500, 2.000, 10.000.
  • Correlazione: Indipendente, Blocco.
  • Trattamenti ($k=6$): Nessuno (baseline), Random Oversampling, Random Undersampling, SMOTE, ADASYN e Class Weighting.
• Modello: LightGBM con iperparametri adattivi alla capacità (specificamente min_data_in_leaf scalato con la dimensione del campione post-bilanciamento per prevenire la degenerazione del modello in casi di estremo undersampling).
• Scala: 24 celle di design $\times$ 100 replicazioni = 2.400 corse previste per trattamento. Totale fit riusciti: 14.371 (28 fallimenti in celle di estrema rarità/piccolo campione per i metodi sintetici a causa di vincoli di vicinato).
• Valutazione: I valori SHAP sono stati calcolati su un set di valutazione a prevalenza nativa (5.000 osservazioni) per rispecchiare le condizioni di deployment. La fedeltà è stata misurata tramite 11 metriche: 6 basate sul ranking (Kendall $\tau$, Spearman $\rho$, RBO, Jaccard@k, Recall@k) e 5 basate sulla magnitudo (L1, L2, Cosine similarity).

Risultati Chiave
L'indagine produce quattro risultati primari:

1. La Dimensione del Campione Domina la Scelta del Trattamento: La dimensione del campione di addestramento è il driver dominante della fedeltà di ranking di SHAP, superando la scelta del trattamento di sbilanciamento di un fattore di circa 3 o 5. Aumentare $n$ da 500 a 10.000 migliora la fedeltà di ranking (Kendall $\tau$) di circa 0,22, mentre lo scarto tra il miglior e il peggior trattamento a un $n$ fisso è solo di circa 0,03 o 0,07.
2. La Rarità Estrema e i Piccoli Campioni Amplificano i Gap: La divergenza tra i trattamenti è più pronunciata in condizioni di estrema rarità ($\pi \le 0.05$) e piccoli campioni ($n \le 2.000$). In queste condizioni, il gap tra i trattamenti può eguagliare l'effetto della dimensione del campione. Il random undersampling si comporta particolarmente male in questi casi, spesso non riuscendo a produrre modelli significativi.
3. Divergenza tra Fedeltà di Ranking e di Magnitudo: I due assi di fedeltà producono classifiche di trattamento qualitativamente differenti.
   • Ranking: Il random oversampling performa meglio (più alto Kendall $\tau$), seguito da vicino da SMOTE e "Nessuno". Il random undersampling è costantemente il peggiore.
   • Magnitudo: "Nessuno" e il Class Weighting dominano congiuntamente, preservando meglio la magnitudo delle attribuzioni. Il random oversampling, pur essendo buono per il ranking, gonfia significativamente le magnitudo delle attribuzioni. I metodi sintetici (SMOTE, ADASYN) hanno prestazioni inferiori sulla magnitudo. Il random undersampling è il peggiore su entrambi gli assi.
4. Frontiera di Pareto: "Nessun riequilibrio" e "Class weighting" occupano congiuntamente la frontiera di Pareto, offrendo il miglior compromesso tra la preservazione del rango e della magnitudo. Il random oversampling è superiore solo se l'unico obiettivo è il ranking, ma distorce le magnitudo. Il random undersampling è dominato su entrambi gli assi.

Significatività e Rivendicazioni
Il documento sostiene che l'assunto che i trattamenti di sbilanciamento siano neutri rispetto alle attribuzioni SHAP è falso. Lo studio stabilisce che:

• L'interpretabilità richiede una doppia segnalazione: Affidarsi esclusivamente a metriche basate sul ranking nasconde la distorsione della magnitudo causata dall'oversampling e dai metodi sintetici. Al contrario, affidarsi esclusivamente a metriche di magnitudo nasconde i vantaggi di ranking dell'oversampling. Entrambe le famiglie di metriche devono essere riportate per valutare pienamente la fedeltà.
• Raccomandazioni di Default: Quando le attribuzioni SHAP sono un deliverable, i professionisti dovrebbero preferire trattamenti minimamente invasivi. "Nessun riequilibrio" e "Class weighting" sono raccomandati come default perché preservano sia l'ordine che la magnitudo dei contributi delle caratteristiche.
• La Distribuzione di Valutazione Conta: Lo studio dimostra che l'utilizzo di un set di valutazione a classi bilanciate per l'analisi SHAP introduce distorsioni di magnitudo. Un set di valutazione a prevalenza nativa è necessario per allineare le magnitudo SHAP con gli scenari di deployment reali.

Gli autori concludono che, sebbene la letteratura sulle prestazioni predittive possa giustificare certe tecniche di resampling, queste scelte comportano un costo specifico in termini di fedeltà dell'interpretabilità. Per applicazioni in cui SHAP è utilizzato per la decomposizione del rischio, l'ingegneria delle caratteristiche o il ragionamento quantitativo, la distorsione della magnitudo da parte delle comuni tecniche di resampling (specialmente random oversampling e undersampling) pone un rischio significativo che può essere mitigato adottando il class weighting o nessun riequilibrio.