Improving Random Forests by Smoothing

Sintesi Tecnica: Miglioramento delle Foreste Casuali mediante Smussatura

Enunciato del Problema
La regressione a foresta casuale è un metodo robusto non parametrico che si adatta alle caratteristiche locali dei dati attraverso una partizione guidata dai dati. Tuttavia, le sue previsioni sono intrinsecamente costanti a tratti, risultando in discontinuità ai confini delle partizioni. Questa mancanza di regolarità è particolarmente problematica nei regimi con pochi dati, dove l'incapacità di condividere informazioni attraverso lo spazio degli input può portare a prestazioni subottimali. Sebbene esistano metodi di smussatura classici (ad esempio, stimatori a kernel) e varianti ad alberi morbidi, essi spesso faticano con la scalabilità in dimensioni elevate, l'aumento della complessità computazionale o la perdita degli algoritmi efficienti di crescita degli alberi che rendono le foreste casuali attraenti. La sfida fondamentale è introdurre regolarità e differenziabilità nelle previsioni delle foreste casuali senza sacrificare la loro adattabilità spaziale o la loro efficienza computazionale.

Metodologia
Gli autori propongono un meccanismo di smussatura basato su kernel, applicato post-apprendimento, che opera sull'output di una foresta casuale già addestrata, anziché alterare il processo di costruzione degli alberi stessi.

1. Smussatura Probabilistica: Il metodo definisce una previsione smussata $\tilde{f}(x_0)$ come il valore atteso della funzione di previsione originale costante a tratti $f(z)$ su una variabile latente $z$ distribuita secondo un kernel di probabilità $k(\cdot | x_0, \lambda)$. Matematicamente, $\tilde{f}(x_0) = \mathbb{E}_{z \sim k}[f(z)]$.
2. Implementazione Costante a Tratti: Per alberi decisionali e foreste, dove il dominio è partizionato in iper-rettangoli paralleli agli assi, questo valore atteso si semplifica in una somma pesata dei valori costanti in ciascuna regione. I pesi sono le probabilità che la variabile latente cada in ciascuna regione, calcolate efficientemente utilizzando le funzioni di distribuzione cumulativa (CDF) del kernel scelto.
3. Selezione del Kernel: Gli autori utilizzano kernel prodotto, specificamente le distribuzioni Gaussiana e secante iperbolica (Hypsec). Questi sono scelti per garantire che la funzione di previsione risultante sia differenziabile ovunque. La secante iperbolica è nota per il suo decadimento esponenziale della coda, che imita il comportamento asintotico della distribuzione di Laplace derivata dall'analisi teorica della variabilità dei punti di split degli alberi.
4. Giustificazione Teorica: Il documento dimostra che questa procedura di smussatura può essere interpretata come la cattura della variabilità o dell'incertezza nei punti di taglio degli alberi sotto ricampionamento degli input di addestramento. Nello specifico, la distribuzione limite della stima del punto di rottura di un albero sotto ricampionamento segue una distribuzione di Laplace; la smussatura proposta imita questo fenomeno convolvendo la previsione con un kernel che approssima tale variabilità.
5. Applicazione all'Insieme: Poiché le foreste casuali sono ensemble additivi, l'operatore di smussatura (essendo lineare) può essere applicato ai singoli alberi e poi mediato, evitando l'intrattabilità computazionale della smussatura della struttura esponenzialmente complessa delle regioni dell'intero ensemble.
6. Selezione del Modello: I parametri di smussatura (scala $\lambda$) e i parametri di ricalibrazione affine ($\beta_0, \beta_1$) sono selezionati minimizzando la perdita Out-of-Bag (OOB). Gli autori impiegano ottimizzazione basata sul gradiente (ad esempio, L-BFGS, AdamW) per gestire la natura non convessa del paesaggio della perdita OOB.

Contributi Chiave

• Framework di Smussatura Post-Apprendimento: Introduce un approccio generale e probabilistico per dotare qualsiasi funzione costante a tratti appresa di regolarità arbitraria, mantenendo al contempo l'adattabilità spaziale del modello originale.
• Interpretazione Teorica: Fornisce un collegamento teorico tra la smussatura a kernel e l'incertezza dei punti di split degli alberi sotto ricampionamento dei dati, giustificando l'uso di forme specifiche di kernel.
• Implementazione Efficiente: Dimostra che la smussatura può essere applicata alle foreste casuali in modo efficiente sfruttando la linearità dell'ensemble, riducendo la complessità da esponenziale (in termini di regioni) a lineare (in termini di regioni degli alberi individuali).
• Validazione Empirica: Mostra che una foresta casuale smussata con un piccolo numero di alberi (ad esempio, 10) può superare le foreste casuali standard con ensemble significativamente più grandi (fino a 100 alberi) e la regressione a processo gaussiano su dataset diversificati.

Risultati Sperimentali
L'approccio è stato valutato su 10 dataset UCI con dimensioni di addestramento comprese tra 50 e 500 osservazioni.

• Prestazioni: La proposta "Ensemble di Alberi Smussati con Parametri per Dimensione" (EST-PD), utilizzando kernel Gaussiani o a secante iperbolica, ha costantemente superato la foresta casuale di base (10 alberi) nel 93–94% dei casi.
• Confronto con le Baseline: Le varianti EST-PD hanno superato le foreste casuali standard con 20, 50 e 100 alberi rispettivamente nell'81%, 69% e 64% dei casi. Hanno inoltre superato sostanzialmente la regressione a processo gaussiano (vincendo nell'88% dei casi).
• Significatività Statistica: Test statistici non parametrici (Friedman e Nemenyi) hanno confermato che le varianti smussate formano un gruppo di equivalenza statisticamente superiore rispetto alle foreste casuali standard e ai processi gaussiani.
• Regime con Pochi Dati: Il metodo ha mostrato una forza particolare in contesti con scarsità di dati (ad esempio, $n=50$), dove ha ottenuto miglioramenti percentuali significativi nell'Errore Quadratico Medio (MSE) rispetto alle baseline standard.
• Scelta del Kernel: I kernel Gaussiano e a secante iperbolica hanno prodotto profili di prestazioni notevolmente simili, suggerendo che la scelta del kernel abbia un impatto pratico minimo sull'efficacia.

Significato e Affermazioni
Il documento afferma che la smussatura post-hoc offre un modo computazionalmente trattabile per migliorare l'accuratezza predittiva delle foreste casuali, in particolare quando i dati sono limitati. Combinando l'adattabilità dei metodi basati su alberi con le ipotesi di regolarità dei metodi a kernel, l'approccio affronta il problema della discontinuità intrinseco nelle foreste standard senza richiedere gli schemi di adattamento complessi degli alberi morbidi. Gli autori notano che, sebbene il framework si concentri sulla regressione (stima della media condizionata), il concetto potrebbe potenzialmente estendersi alla quantificazione dell'incertezza (varianza condizionata) e ai compiti di classificazione, sebbene questi rimangano argomenti per ricerche future. Il lavoro sottolinea anche che, sebbene il metodo sia teoricamente estendibile al gradient boosting, la natura sequenziale degli alberi di boosting presenta sfide per l'approccio di calibrazione globale utilizzato qui.