🤖 machine learning

An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

Autori originali: Mustafa Cavus, Przemysław Biecek

Pubblicato 2026-05-18

📖 6 min di lettura🧠 Approfondimento

Autori originali: Mustafa Cavus, Przemysław Biecek

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Il Problema delle "Molte Risposte Corrette"

Immagina di dover prevedere chi vincerà una partita a scacchi. Hai un dataset di partite passate, ma c'è un problema: il 90% delle partite è stato vinto dal Bianco e solo il 10% dal Nero. Questo è chiamato dataset sbilanciato.

Se addestri un modello informatico su questi dati senza correggerlo, il computer diventa pigro. Impara che "il Bianco vince sempre", quindi prevede "Bianco" per ogni nuova partita. Ottiene un'accuratezza del 90%, ma fallisce completamente nel prevedere le vittorie del Nero.

Per risolvere questo problema, gli scienziati dei dati utilizzano metodi di bilanciamento. Agiscono come uno chef che aggiunge ingredienti a una zuppa:

Oversampling (Sovracampionamento): Copiano le rare partite "vittoria del Nero" per crearne di più (come aggiungere più sale).
Undersampling (Sottocampionamento): Scartano alcune delle comuni partite "vittoria del Bianco" per rendere la pentola più piccola (come rimuovere l'acqua in eccesso).

L'obiettivo è far sì che il computer presti attenzione alla classe minoritaria. Ma questo documento pone una domanda inquietante: Correggere i dati crea un nuovo tipo di confusione?

L'Effetto Rashomon: Il Fenomeno delle "Molte Verità"

Il documento utilizza un concetto chiamato Effetto Rashomon. Immagina una scena del crimine dove cinque testimoni diversi raccontano cinque storie diverse. Tutte e cinque le storie sono plausibili e si adattano ai fatti altrettanto bene, ma si contraddicono a vicenda.

Nel machine learning, l'Insieme di Rashomon è un gruppo di diversi modelli informatici che performano tutti quasi esattamente allo stesso modo (sono tutti "plausibili"), ma fanno previsioni diverse per la stessa persona o situazione.

Modello A dice: "Questo richiedente di prestito è sicuro."
Modello B dice: "Questo richiedente di prestito è a rischio."
Entrambi i modelli hanno lo stesso punteggio complessivo di accuratezza.

Se scegli un modello a caso (scelta alla cieca), potresti accidentalmente scegliere quello che nega un prestito a una persona valida, anche se un altro modello altrettanto accurato lo avrebbe approvato. Questo è chiamato Multiplicità Predittiva.

L'Esperimento: Cosa Succede Quando Bilanciamo i Dati?

Gli autori volevano sapere: L'uso di metodi di bilanciamento (oversampling/undersampling) peggiora questo problema delle "Molte Verità"?

Hanno preso 21 diversi dataset reali (come rilevamento dello spam, frodi con carte di credito e qualità del vino) e li hanno fatti passare attraverso una "fabbrica di modelli" (uno strumento chiamato Forester) che crea centinaia di modelli leggermente diversi per ogni dataset. Lo hanno fatto due volte:

Utilizzando i dati originali, sbilanciati.
Utilizzando dati bilanciati (dopo aver applicato i metodi di bilanciamento).

Hanno quindi misurato tre cose per vedere quanto i modelli fossero in disaccordo tra loro:

Ambiguità: Quante persone ricevono risposte contraddittorie? (es. "5 su 100 persone ricevono previsioni diverse.")
Discrepanza: Qual è lo scenario peggiore? (es. "Un modello specifico non è d'accordo con gli altri su 20 persone.")
Oscurità (Nuova Metrica): Questa è la nuova idea del documento. Misura la quantità media di confusione. Invece di chiedere solo "C'è un conflitto?", chiede "Quanto è disordinato il conflitto in media?". Pensaci come misurare la "nebbia" sopra i dati.

Le Scoperte: La "Rimedia" Ha Raddensato la Nebbia

Ecco cosa hanno scoperto:

I Metodi di Bilanciamento Aumentano la Confusione: Quando hanno utilizzato metodi di bilanciamento (come SMOTE o oversampling casuale), l'Oscurità e la Discrepanza sono aumentate.
- L'Analogia: Immagina di cercare un cane perso in un parco. Nel parco originale (dati sbilanciati), tutti i cani da ricerca concordano su dove si trova il cane. Ma quando aggiungi il "bilanciamento" (come aggiungere più cani da ricerca o cambiare il terreno), i cani da ricerca iniziano ad abbaiare in direzioni diverse. Sono tutti ancora cani "buoni", ma non riescono a concordare sulla posizione.
La "Parziale" Correzione Non Ha Funzionato: Alcuni esperti hanno suggerito di utilizzare un "risampionamento parziale" (bilanciare i dati solo un po', non al 100%) per evitare questo disordine. Gli autori lo hanno testato, ma hanno scoperto che non ha aiutato. La confusione è rimasta alta indipendentemente da quanto hanno bilanciato i dati.
L'Importanza delle Variabili è Cambiata: Hanno anche controllato se i modelli stavano guardando indizi diversi. Ad esempio, un modello potrebbe pensare che il "reddito" sia il fattore più importante, mentre un altro pensa che sia l'"età". Hanno scoperto che mentre l'ordine di importanza non è cambiato drasticamente in senso statistico, i metodi di bilanciamento hanno comunque fatto comportare i modelli in modo diverso nel complesso.

La Soluzione: Una Nuova Bussola

Poiché non potevano impedire che la confusione si verificasse, gli autori hanno proposto un modo per monitorarla.

Hanno suggerito l'uso di un Grafico Esteso del Guadagno di Performance.

Immagina una plancia con due quadranti.
Quadrante 1 (Orizzontale): Mostra quanto il modello migliora nel prevedere correttamente (Guadagno di Performance).
Quadrante 2 (Verticale): Mostra quanto i modelli sono in disaccordo tra loro (Multiplicità/Oscurità).

La Lezione: Non dovresti guardare solo il Quadrante 1. Potresti trovare un metodo che migliora leggermente l'accuratezza (il Quadrante 1 sale), ma provoca un'esplosione massiccia di disaccordi (il Quadrante 2 sale moltissimo). Gli autori dicono che devi guardare entrambi i quadranti per prendere una decisione responsabile.

Riassunto delle Affermazioni del Documento

Bilanciare i dati è necessario per problemi sbilanciati, ma ha un costo nascosto.
I metodi di bilanciamento aumentano la "Multiplicità Predittiva". Creano una situazione in cui molti modelli sono ugualmente accurati ma danno risposte contraddittorie alle stesse persone.
Nuova Metrica: Hanno introdotto l'"Oscurità" per misurare quanto siano "nebbiosi" o conflittuali, in media, queste previsioni dei modelli.
Il Risampionamento Parziale non è una bacchetta magica. Non risolve il problema dell'aumento della confusione.
AI Responsabile: Quando scegli un modello, devi controllare non solo se è accurato, ma se è stabile. Se scegli un modello alla cieca da un "Insieme di Rashomon" creato da metodi di bilanciamento, rischi di prendere decisioni arbitrarie che danneggiano gli individui.

Il documento conclude che, sebbene i metodi di bilanciamento siano un "rifugio" per risolvere i dati sbilanciati, i ricercatori devono fare attenzione a non camminare alla cieca in una nebbia di previsioni conflittuali. Devono utilizzare la nuova "plancia" (il grafico esteso) per vedere il compromesso tra accuratezza e stabilità.

Riepilogo Tecnico: Uno Studio Sperimentale sull'Effetto Rashomon dei Metodi di Bilanciamento nella Classificazione Sbilanciata

Enunciato del Problema
Nell'IA incentrata sui dati, lo sbilanciamento delle classi è una sfida prevalente in cui i modelli tendono a favorire la classe maggioritaria, risultando in prestazioni scarse sulla classe minoritaria. Sebbene i metodi di bilanciamento (ad esempio, sovracampionamento, sottocampionamento) siano approcci standard incentrati sui dati per mitigare questo problema, il loro impatto sul comportamento del modello rimane poco esplorato. Nello specifico, manca una comprensione di come questi metodi influenzino l'effetto Rashomon—un fenomeno in cui più modelli raggiungono un'accuratezza predittiva approssimativamente uguale ma possono produrre previsioni conflittuali per le stesse osservazioni. Ciò porta alla multiplicità predittiva, dove la selezione acritica di un modello da un insieme di modelli ugualmente accurati può risultare in esiti conflittuali, ponendo rischi per la validazione, la spiegazione e l'equità del modello. Il documento indaga se i metodi di bilanciamento inflazionino questa multiplicità predittiva e alterino gli ordini di importanza delle variabili.

Metodologia
Gli autori hanno condotto esperimenti utilizzando un dataset di 21 dataset di benchmark sbilanciati con rapporti di sbilanciamento compresi tra 1,54 e 129,53. Lo studio ha adottato il seguente quadro metodologico:

Metodi di Bilanciamento: Sono state valutate quattro tecniche: Sovracampionamento Casuale, SMOTE (Tecnica di Sovracampionamento Sintetico della Classe Minoritaria), Sottocampionamento Casuale e Near Miss.
Costruzione dell'Insieme Rashomon: Il Forester (uno strumento AutoML basato su alberi) è stato utilizzato per generare l'insieme Rashomon. Questo approccio consente di controllare la dimensione dell'insieme tramite parametri di ottimizzazione bayesiana, creando uno spazio empirico di ipotesi di modelli con valori di perdita entro una specifica soglia ( $\epsilon = 0.05$ ) rispetto al modello di riferimento.
Metriche per la Multiplicità Predittiva:
- Metriche Esistenti: Ambiguità (rapporto delle osservazioni con previsioni conflittuali) e Discrepanza (rapporto massimo di osservazioni conflittuali tra il modello di riferimento e qualsiasi modello concorrente).
- Metrica Proposta: Oscurità, definita come il rapporto medio di previsioni conflittuali per le osservazioni attraverso tutti i modelli nell'insieme Rashomon. Questa metrica mira a catturare l'abbondanza di conflitti tra osservazioni in modo più granulare rispetto all'ambiguità binaria.
- Discrepanza dell'Ordine di Importanza delle Variabili (VIOD): Una nuova metrica proposta per misurare la dissimilarità negli ordini di importanza delle variabili tra il modello di riferimento e gli altri modelli nell'insieme, basata sul coefficiente di correlazione $\tau$ di Kendall.
Variabili Sperimentali: Lo studio ha variato i rapporti di ricampionamento (portando a rapporti di sbilanciamento risultanti da 1,0 a 1,25) per testare il ricampionamento parziale come potenziale strategia di mitigazione.
Analisi Statistica: I risultati sono stati riassunti utilizzando grafici statistici e valutati tramite test di Kruskal-Wallis, Friedman e test a coppie di Dunnett.

Risultati Chiave
Gli esperimenti hanno affrontato quattro specifiche domande di ricerca (RQ):

RQ1 (Impatto sulla Multiplicità Predittiva): È stato riscontrato che i metodi di bilanciamento inflazionano la multiplicità predittiva. L'analisi visiva e i test statistici (Kruskal-Wallis, $p < 0,05$ ) hanno dimostrato che i modelli addestrati su dataset bilanciati hanno mostrato un'oscurità e una discrepanza significativamente più elevate rispetto a quelli addestrati su dati originali sbilanciati. Le zone dei metodi di bilanciamento sull'asse dell'oscurità non si sovrapponevano alle zone del dataset originale, indicando un aumento distinto delle previsioni conflittuali.
RQ2 (Impatto sull'Importanza delle Variabili): Riguardo alla Discrepanza dell'Ordine di Importanza delle Variabili (VIOD), lo studio ha rilevato nessuna differenza statisticamente significativa nei valori mediani della VIOD tra i modelli addestrati su dataset bilanciati e quelli su dataset originali. Ciò contrasta con alcuni risultati precedenti su dataset più piccoli, suggerendo che, sebbene i conflitti di previsione aumentino, la classificazione fondamentale dell'importanza delle variabili rimane relativamente stabile attraverso l'insieme Rashomon in questo contesto sperimentale più ampio.
RQ3 (Ricampionamento Parziale): L'ipotesi secondo cui il ricampionamento parziale (ad esempio, mirando a un rapporto di sbilanciamento di 1,25) potrebbe mitigare i cambiamenti nel comportamento del modello è stata respinta. I test statistici (test di Friedman) non hanno mostrato differenze significative nelle metriche Rashomon tra i vari rapporti di ricampionamento, indicando che il ricampionamento parziale non risolve il problema della multiplicità introdotto dal bilanciamento.
RQ4 (Monitoraggio dei Trade-off): Lo studio ha validato l'utilità di un grafico esteso del guadagno delle prestazioni. Questa visualizzazione mappa il compromesso tra il guadagno delle prestazioni (misurato dal miglioramento dell'AUC) e la multiplicità (oscurità/discrepanza). I risultati hanno evidenziato che, sebbene i metodi di sovracampionamento (Sovracampionamento, SMOTE) migliorassero generalmente le prestazioni, aumentavano anche la multiplicità. Al contrario, i metodi di sottocampionamento a volte non riuscivano a migliorare le prestazioni pur aumentando comunque la multiplicità.

Significato e Affermazioni
Il documento afferma di essere il primo studio a esaminare l'effetto Rashomon specificamente nel contesto dei metodi di bilanciamento per la classificazione sbilanciata. I suoi contributi principali sono:

Evidenza Empirica di Inflazione: Fornisce prove che i metodi di bilanciamento, sebbene intesi a migliorare l'accuratezza, aumentano involontariamente la multiplicità predittiva (previsioni conflittuali) all'interno dell'insieme Rashomon.
Nuova Metrica (Oscurità): L'introduzione dell'oscurità offre una visione più sfumata della multiplicità predittiva misurando il rapporto medio di conflitti invece della semplice esistenza di un conflitto.
Smentita del Ricampionamento Parziale: Mette in discussione l'idea che il ricampionamento parziale sia una soluzione sufficiente per i cambiamenti nel comportamento del modello indotti dal bilanciamento.
Quadro per la Modellazione Responsabile: Gli autori propongono l'uso del grafico esteso del guadagno delle prestazioni come strumento pratico per i professionisti dell'IA incentrata sui dati. Questo strumento consente di monitorare il compromesso tra i guadagni delle prestazioni e i rischi associati alla multiplicità predittiva, sostenendo un processo di selezione del modello più responsabile che consideri non solo l'accuratezza, ma anche la stabilità e la coerenza delle previsioni del modello.

Il documento conclude che, sebbene i metodi di bilanciamento siano un "rifugio" per la classificazione sbilanciata, i ricercatori devono tenere conto dell'aumentato rischio di multiplicità. La selezione acritica dall'insieme Rashomon risultante è rischiosa; pertanto, il grafico esteso del guadagno delle prestazioni è essenziale per condurre processi di modellazione in modo responsabile.