Confidence intervals for the random forest generalization error

Nel mondo della moderna scienza dei dati, ai computer viene spesso chiesto di fare previsioni sul futuro basandosi su schemi trovati nel passato. Che si tratti di prevedere il prezzo di una casa, diagnosticare una condizione medica o indovinare se un cliente smetterà di utilizzare un servizio, questi sistemi si affidano a modelli complessi addestrati su grandi set di informazioni. Una sfida centrale per chiunque utilizzi questi strumenti è sapere quanta fiducia riporre in una previsione. Il solo fatto che un modello funzioni bene sui dati su cui è stato addestrato non garantisce che funzionerà bene in nuove situazioni non viste. Per misurare questa affidabilità, gli scienziati tradizionalmente dividono i loro dati in due gruppi: uno per insegnare al modello e un altro per testarlo. Sebbene questo funzioni, è un processo lento e costoso che richiede di tagliare a metà i dati e spesso di riaddestrare il modello molte volte per ottenere un quadro chiaro della sua accuratezza.

Un tipo specifico di modello noto come foresta casuale (random forest) ha da tempo offerto una scorciatoia intelligente per stimare quanto bene potrà performare. Immaginate una foresta dove ogni albero è un decisore addestrato su una versione leggermente diversa dei dati. A causa del modo in cui questi alberi vengono coltivati, ogni singolo albero ignora una piccola porzione casuale dei dati di addestramento. Ciò significa che per ogni pezzo di informazione nel dataset, esiste un gruppo di alberi che non l'ha mai visto durante l'addestramento. Questi alberi possono quindi essere interrogati per prevedere quel pezzo specifico di informazione, fornendo un test integrato di accuratezza senza mai dover dividere i dati o eseguire una nuova simulazione. Questo metodo, noto come stima out-of-bag, è stato uno strumento standard per decenni, offrendo un modo rapido, quasi gratuito, per ottenere un singolo numero che rappresenti l'errore probabile del modello. Tuttavia, per molto tempo, questo metodo ha fornito solo una stima puntuale, lasciando gli utenti senza una chiara percezione dell'intervallo di incertezza che circonda quel numero.

In un articolo pubblicato alla fine del 2021, il ricercatore Paulo C. Marques F., dell'Istituto Insper di Educazione e Ricerca in Brasile, ha proposto un modo per trasformare questo singolo numero in un intero intervallo di confidenza. L'obiettivo era utilizzare i sottoprodotti esistenti del processo di addestramento della foresta casuale per costruire un intervallo di confidenza — un intervallo statistico che indica dove è probabile che cada il tasso di errore reale — senza l'elevato costo computazionale di dividere i dati o riaddestrare i modelli. L'approccio del ricercatore tratta i dati di addestramento, insieme alla registrazione di quali alberi hanno ignorato quali punti dati e cosa hanno predetto quegli alberi, come un pacchetto completo. Ri-campionando ripetutamente questo pacchetto con una specifica tecnica statistica chiamata bootstrapping, il metodo genera una distribuzione di possibili tassi di errore. Ciò consente la costruzione di un intervallo di confidenza che rifletta l'incertezza delle prestazioni del modello, il tutto utilizzando gli stessi dati che hanno addestrato il modello stesso.

L'articolo dimostra che questo metodo non è solo computazionalmente efficiente ma anche statisticamente solido. Attraverso estese simulazioni al computer utilizzando sia compiti di regressione, dove l'obiettivo è prevedere un numero continuo, sia compiti di classificazione, dove l'obiettivo è classificare gli elementi in categorie, il ricercatore ha testato quanto spesso questi nuovi intervalli di confidenza catturassero effettivamente il tasso di errore reale. In un esempio di regressione che coinvolge una complessa funzione matematica con dieci variabili di input, e un esempio di classificazione che coinvolge venti variabili, le simulazioni hanno mostrato che gli intervalli hanno performato esattamente come previsto. Quando il ricercatore ha richiesto un livello di confidenza del 95 percento, l'errore reale è caduto nell'intervallo calcolato circa il 95 percento delle volte attraverso migliaia di prove simulate. Inoltre, la larghezza di questi intervalli si è ridotta a un ritmo prevedibile all'aumentare della quantità di dati di addestramento, confermando che il metodo diventa più preciso con dataset più ampi.

Per dimostrare che il metodo funziona su problemi del mondo reale, lo studio ha applicato la tecnica a quattro distinti dataset. Il primo era una classica collezione di dati sull'efficienza del carburante delle auto, dove il modello doveva prevedere le miglia per gallone in base alle caratteristiche del veicolo. Il secondo coinvolgeva un enorme dataset di email per distinguere tra messaggi legittimi e spam. Il terzo era un registro dettagliato delle vendite delle case ad Ames, Iowa, utilizzato per prevedere i prezzi di vendita, e il quarto tracciava il comportamento dei clienti per un'azienda di telecomunicazioni per identificare coloro che sono probabilmente a cancellare il servizio. Per ciascun dataset, il ricercatore ha calcolato intervalli di confidenza a vari livelli di certezza. Per i dati sulle abitazioni, ad esempio, l'intervallo di confidenza al 95 percento per l'errore di previsione variava da circa ventitremila dollari a ventisettemila dollari. Per il compito di rilevamento dello spam, l'intervallo per il tasso di errore era un intervallo stretto compreso tra circa il 4,1 percento e il 5,4 percento. Questi risultati hanno mostrato che il metodo poteva fornire limiti significativi e interpretabili sull'errore per diverse applicazioni pratiche.

Un vantaggio significativo di questo approccio è la sua velocità e semplicità. Poiché si basa sui dati già generati durante l'addestramento iniziale della foresta casuale, evita la laboriosa necessità di dividere ripetutamente i dati e riaddestrare i modelli. Il ricercatore ha testato il tempo di esecuzione della procedura su un normale computer portatile e ha scoperto che, anche per il dataset più grande contenente oltre quattromila email, l'intero processo di generazione degli intervalli di confidenza ha richiesto poco più di un secondo. Questa efficienza rende il metodo accessibile per l'uso quotidiano, permettendo ai data scientist di quantificare l'affidabilità dei loro modelli con un impegno supplementare minimo. Il lavoro evidenzia anche una proprietà unica del metodo: poiché si basa sulla distribuzione degli errori stessi, può facilmente tradurre i risultati nelle unità naturali del problema, come dollari per i prezzi delle case o miglia per gallone per le auto, rendendo l'incertezza facile da comprendere anche per i non esperti.

L'articolo conclude notando che il codice per eseguire questi calcoli è disponibile gratuitamente come libreria open-source, consentendo ad altri di applicare immediatamente la tecnica. Trasformando i sottoprodotti nascosti di un processo di addestramento standard in una misura robusta dell'incertezza, questo lavoro fornisce una via diretta per comprendere i limiti della generalizzazione di un modello. Conferma che con gli strumenti statistici giusti, gli intervalli di confidenza per le prestazioni di una foresta casuale possono essere derivati direttamente dai dati di addestramento, offrendo un modo affidabile e a basso costo per valutare quanto bene un modello predittivo resisterà nel mondo reale.