When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification
Questo studio dimostra che affidarsi a valutazioni basate su un singolo dataset per la classificazione sbilanciata è fuorviante, poiché un'analisi esaustiva su 45 task rivela che la calibrazione della soglia e le tecniche di campionamento come SMOTE migliorano significativamente le prestazioni attraverso diversi rapporti di sbilanciamento, contrariamente ai risultati nulli osservati sul popolare ma non rappresentativo dataset delle frodi con carte di credito.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo del machine learning, ai computer viene spesso chiesto di compiere scelte binarie: questa email è spam o no, questa transazione è fraudolenta o legittima, questa scansione medica mostra una malattia o uno stato di salute? Questi compiti diventano difficili quando un esito è vastamente più comune dell'altro. Se una banca elabora un milione di transazioni al giorno e solo poche centinaia sono fraudolente, il computer vede una montagna di attività normale e un picco minuscolo, quasi invisibile, di frode. Questo è noto come squilibrio delle classi. Per aiutare il computer a vedere l'evento raro, i ricercatori hanno sviluppato strumenti standard. Potrebbero creare artificialmente più esempi dell'evento raro per bilanciare i dati di addestramento, oppure potrebbero regolare la linea decisionale interna del computer. Per impostazione predefinita, un computer decide che un evento è positivo solo se ne è sicuro più del cinquanta per cento. In un mondo sbilanciato, quella linea del cinquanta per cento potrebbe essere troppo alta, causando il rischio che il computer perda completamente gli eventi rari. Così, la pratica standard è quella di abbassare quella linea, rendendo il computer più propenso a suonare l'allarme.
Per anni, la comunità scientifica si è affidata a un singolo, famoso dataset di transazioni di carte di credito per testare questi strumenti. È il benchmark più utilizzato nel settore, contenente centinaia di migliaia di transazioni reali con una frazione minuscola di frodi. Quando i ricercatori testavano i loro metodi su questo specifico dataset, giungevano spesso a una conclusione sicura: gli strumenti standard erano superflui. Scoprirono che un modello computerizzato semplice e ben calibrato poteva rilevare le frodi egregiamente senza alcun aggiustamento speciale, e che cercare di regolare la linea decisionale o bilanciare i dati rendeva in realtà le cose peggiori. Questa scoperta divenne una regola empirica ampiamente accettata, suggerendo che per i modelli ben strutturati l'intero apparato di gestione dello squilibrio fosse superfluo.
Un nuovo studio mette in discussione la sicurezza di questa regola. I ricercatori, lavorando presso la Queensland University of Technology, si sono posti una domanda semplice ma profonda: una conclusione tratta da un dataset specifico si applica al resto del mondo? Hanno iniziato ri-testando rigorosamente il famoso dataset delle frodi con carta di credito utilizzando un protocollo rigoroso e privo di "leakage" (perdita di dati), che garantisse che nessuna informazione dai risultati del test influenzasse accidentalmente l'addestramento. I loro risultati hanno confermato la vecchia storia. Su questo specifico dataset, un modello standard chiamato Random Forest otteneva le prestazioni migliori con la sua impostazione predefinita, e qualsiasi tentativo di regolare la soglia decisionale o aggiungere dati sintetici all'addestramento non forniva alcun beneficio. Di fatto, su questo dataset, gli aggiustamenti rendevano il modello leggermente peggiore.
Tuttavia, i ricercatori non si sono fermati qui. Hanno preso lo stesso identico protocollo di test e lo hanno applicato a una collezione molto più ampia di quarantacinque diversi compiti di classificazione binaria. Questi compiti spaziavano dall'identificazione di cifre scritte a mano alla diagnosi del tumore al seno e includevano sia dati del mondo reale che scenari sintetici accuratamente costruiti. I rapporti di squilibrio in questa nuova collezione variavano ampiamente, da una differenza lieve di uno a uno e mezzo, fino a una differenza severa di uno a centosettantotto. Quando hanno eseguito i loro modelli attraverso questa diversificata serie, la storia è cambiata completamente.
La conclusione che funzionava sul dataset delle frodi con carta di credito si è rivelata un'anomalia, specifica per quel singolo dataset e per quel singolo modello. Attraverso i quarantacinque compiti, lo stesso modello Random Forest che non aveva bisogno di aiuto sui dati di frode beneficiava maggiormente del fatto di avere la soglia decisionale tarata. Gli aggiustamenti che erano dannosi sul dataset delle frodi sono diventati utili nell'intera suite più ampia. Allo stesso modo, una tecnica chiamata SMOTE, che genera artificialmente esempi della classe rara, è stata trovata dannosa sul dataset delle frodi, ma ha fornito una spinta significativa alle prestazioni nella maggior parte degli altri compiti. I ricercatori hanno scoperto che il beneficio della regolazione della soglia decisionale non è una linea retta che migliora man mano che i dati diventano più sbilanciati. Inveve, il beneficio segue una forma a U invertita. È trascurabile quando lo squilibrio è lieve, raggiunge il picco nell'intervallo medio di squilibrio e poi declina nuovamente quando lo squilibrio diventa estremo.
Questa scoperta spiega perché il dataset delle frodi con carta di credito, con il suo rapporto di squilibrio estremo di uno a cinquecentosettantasette, sia un cattivo posto dove studiare queste questioni. Si trova nella zona in cui il beneficio della calibrazione è al suo minimo e più difficile da misurare in modo affidabile. Lo studio ha anche testato un'intuizione comune: che un ricercatore potesse osservare quanto un modello fosse scarsamente calibrato e decidere se tarare la soglia in base a ciò. Hanno scoperto che questa intuizione è falsa. Non c'era alcun legame affidabile tra l'errore di calibrazione di un modello e la quantità di aiuto ricevuto dalla taratura. Un modello poteva essere scarsamente calibrato e non ottenere nulla dalla taratura, oppure essere ben calibrato e trarre grande vantaggio.
Le implicazioni per chiunque costruisca questi sistemi sono chiare. L'idea che un singolo dataset possa fornire una regola universale su come gestire gli eventi rari è rischiosa. Un metodo che funziona perfettamente su un dataset può fallire o addirittura ritorcersi contro su un altro. I ricercatori raccomandano che i professioni testino regolarmente diverse soglie decisionali su un set di validazione per ogni nuovo compito, piuttosto che assumere che un'impostazione predefinita sia sufficiente o che un determinato aggiustamento sia sempre necessario. Consigliano inoltre di non affidarsi alle diagnostiche di calibrazione per prendere questa decisione, poiché tali metriche non predicono il risultato. Lo studio conclude che, sebbene la validità interna — garantire che un singolo esperimento sia privo di errori — sia importante, la validità esterna — garantire che i risultati reggano attraverso diversi dati — è altrettanto critica. Un esperimento metodologicamente perfetto su un singolo dataset può comunque portare alla conclusione generale errata, e l'unico modo per sapere cosa funzioni è testarlo attraverso una vasta gamma di situazioni.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.