Sintesi Tecnica: Correzione dell'Importanza delle Variabili Calcolata tramite Random Forest

Definizione del Probleo

Le Random Forest (RF) sono ampiamente riconosciute come strumenti potenti per l'analisi statistica dei dati e il machine learning, offrendo prestazioni robuste in compiti di classificazione e regressione. Una caratteristica chiave delle RF è la loro capacità di produrre punteggi di importanza delle variabili, che sono essenziali per l'interpretazione, la selezione e la diagnosi del modello. Tuttavia, il calcolo standard dell'importanza delle variabili nelle RF — specificamente il metodo della precisione per permutazione — soffre di un limite critico: non riesce a tenere conto delle correlazioni tra le variabili.

Quando una variabile $U$ è altamente correlata con altre variabili ($V_1, V_2, \dots$) condizionatamente alla variabile risposta $Y$, l'importanza di $U$ viene spesso sottostimata o completamente mascherata. Nel classico approccio di permutazione, rimescolare i valori di $U$ interrompe la sua associazione con $Y$. Tuttavia, se $V_1, V_2, \dots$ rimangono nel modello e sono altamente correlate con $U$, esse possono efficacemente "colmare" l'informazione mancante, risultando in un calo trascurabile della precisione predittiva. Di conseguenza, l'importanza calcolata per $U$ rimane artificialmente bassa, nonostante $U$ sia un vero predittore. Questo fenomeno porta a discrepanze significative tra l'importanza calcolata e l'effettiva utilità predittiva delle variabili.

Metodologia

Per affrontare l'effetto di mascheramento causato dalle variabili correlate, gli autori propongono un framework che raggruppa le variabili in base alle loro correlazioni condizionali (correlazione data la variabile risposta $Y$) prima di calcolare l'importanza. L'idea centrale è quella di rimuovere l'influenza delle variabili correlate durante la valutazione dell'importanza di una specifica variabile di interesse.

Il documento definisce il coefficiente di correlazione condizionale $\rho(U, V | Y)$ come il rapporto tra la covarianza condizionale e il prodotto delle deviazioni standard condizionali. Utilizzando questa metrica, gli autori esplorano due distinti approcci algoritmici:

Metodo 1: Correzione della Variabile Singola (corrVI-Individual)

Questo approccio opera su base individuale per ogni variabile:

1. Per una variabile target $V_i$, l'algoritmo identifica l'insieme di variabili $V_{cor}$ che sono condizionalmente correlate con $V_i$.
2. Costruisce un dataset ridotto contenente tutte le variabili eccetto quelle in $V_{cor}$ (denotate come $V_{nc}$).
3. La precisione predittiva della Random Forest viene calcolata sul set $V_{nc}$ e successivamente sul set $V_{nc} \cup \{V_i\}$.
4. L'importanza di $V_i$ è definita come l'incremento della precisione predittiva quando $V_i$ viene aggiunta al set di variabili non correlate.
5. Rimuovendo tutte le variabili correlate, il metodo assicura che il guadagno di precisione sia attribuito esclusivamente a $V_i$, prevenendo l'effetto mascheramento.

Nota: Gli autori riconoscono che questo metodo rimuove "più" informazioni di quanto sia strettamente necessario (poiché $V_{cor}$ può contenere informazioni oltre a $V_i$), portando potenzialmente a una leggera sovrastima dell'importanza. Tuttavia, sostengono che questa sovrastima sia trascurabile se le variabili rimanenti forniscono una discreta separazione predittiva.

Metodo 2: Correzione tramite Clustering Spettrale (corrVI-Spectral)

Questo approccio raggruppa l'intero set di variabili in sottogruppi disgiunti basati sulle correlazioni condizionali a coppie:

1. Viene calcolata una matrice di correlazione condizionale a coppie per tutte le variabili.
2. Questa matrice viene trattata come una matrice di similarità, e viene applicato il clustering spettrale per partizionare le variabili in gruppi disgiunti ($G_1, \dots, G_K$) dove le variabili all'interno di un gruppo sono altamente correlate, mentre le variabili tra gruppi diversi sono debolmente correlate.
3. Per una variabile $V$ appartenente al gruppo $G_i$, l'algoritmo rimuove l'intero gruppo $G_i$ dal dataset.
4. L'importanza di $V$ viene calcolata come l'incremento della precisione predittiva quando $V$ viene riaggiunta al set di variabili $V_{nc} = \text{Tutte le Variabili} \setminus G_i$.
5. Poiché nessuna variabile in $V_{nc}$ è condizionalmente correlata con $V$, il punteggio di importanza non subisce l'effetto mascheramento.

Rimozione vs. Permutazione:
Gli autori scelgono esplicitamente di rimuovere le variabili correlate piuttosto che permutarle durante il calcolo dell'importanza. Dimostrano che, sebbene la rimozione o la permutazione di una singola variabile produca risultati simili grazie alla selezione intrinseca delle variabili nelle RF, la permutazione simultanea di più variabili può degradare la precisione predittiva più della semplice rimozione. Questo accade perché permutare più variabili di disturbo aumenta la probabilità che una variabile di disturbo venga selezionata come punto di split, gonfiando artificialmente il calo di precisione. Pertanto, la rimozione è considerata l'approccio più stabile per correggere le correlazioni multi-variabile.

Contributi Chiave

1. Identificazione del Problema di Mascheramento: Il documento evidenzia formalmente come le correlazioni condizionali nelle RF portino alla sottostima dell'importanza delle variabili, un problema spesso trascurato nelle implementazioni standard.
2. Framework di Correlazione Condizionale: Gli autori introducono l'uso della correlazione condizionale (data $Y$) come metrica per il raggruppamento delle variabili, anziché la correlazione non condizionale.
3. Due Algoritmi di Correzione: La proposta di due metodi computazionalmente efficienti:
   • Metodo 1: Un approccio flessibile e basato sulle singole variabili che rimuove le variabili correlate specifiche per ogni target.
   • Metodo 2: Un approccio basato sul clustering che utilizza il clustering spettrale per gestire globalmente i gruppi di variabili.
4. Validazione Empirica: I metodi sono testati su otto dataset reali provenienti dall'UC Irvine Machine Learning Repository, dimostrando che le correzioni si allineano meglio alla conoscenza del dominio rispetto ai punteggi di importanza standard delle RF.

Risultati Sperimentali

Gli autori hanno valutato entrambi i metodi su dataset tra cui Seeds, Indian Liver Patient, Heart Disease, Wine, Maternal Health, Obesity e Bank Marketing.

• Dataset Seeds: La RF originale assegnava un'importanza vicina allo zero a "Compactness" ($V_3$) e un'importanza bassa a "Area" ($V_1$) e "Perimeter" ($V_2$). Entrambi i metodi di correzione hanno aumentato significativamente l'importanza di $V_1$ e $V_2$. Il Metodo 1 ha correttamente identificato $V_3$ come avente un'importanza non nulla (poiché contiene informazioni uniche), mentre il Metodo 2 (a causa dei limiti del clustering) l'ha leggermente sottostimata.
• Dataset Indian Liver Patient: Variabili come Alkaline Phosphatase ($V_5$) e Total Protein ($V_8$) ricevevano un'importanza vicina allo zero dalla RF standard. Il Metodo 1 ha corretto correttamente questi valori verso l'alto, riflettendo la loro rilevanza medica. Il Metodo 2 non ha corretto $V_5$ perché l'algoritmo di clustering non ha catturato appieno la sua correlazione con altre variabili, mascherandone l'importanza.
• Dataset Heart Disease: Variabili critiche come Age ($V_1$), Gender ($V_2$) e Resting Blood Pressure ($V_4$) erano significativamente sottovalutate dalla RF standard. Entrambi i metodi hanno corretto questi punteggi. Tuttavia, il Metodo 2 non ha corretto $V_4$ e $V_{11}$ (Slope of ST segment) in modo efficace quanto il Metodo 1 a causa dei confini del clustering.
• Dataset Obesity e Bank Marketing: Sono state osservate tendenze simili in cui variabili critiche per il dominio (es. Storia familiare di sovrappeso, Storia dei contatti precedenti) erano sottovalutate dalla RF ma corrette dai metodi proposti. Il Metodo 1 si è dimostrato generalmente più robusto nei casi in cui la struttura di correlazione non formava cluster disgiunti perfetti.

In generale, il Metodo 1 ha dimostrato una maggiore flessibilità e accuratezza nel correggere i punteggi di importanza, specialmente quando le variabili formavano strutture di correlazione complesse che il clustering spettrale non poteva partizionare perfettamente.

Significato e Rivendicazioni

Il documento sostiene che il suo approccio fornisce "correzioni sensate" ai punteggi di importanza delle variabili prodotti dalle Random Forest. La significatività risiede in:

• Migliore Interpretabilità: Mitigando l'effetto mascheramento, i punteggi corretti riflettono meglio il vero contributo predittivo delle variabili, agevolando l'interpretazione del modello e la selezione delle feature.
• Allineamento con il Dominio: I punteggi di importanza corretti si allineano più strettamente con la conoscenza consolidata del dominio (es. marcatori medici nei dataset di fegato e cuore) rispetto ai punteggi standard delle RF.
• Generalizzabilità: Sebbene motivato dalle RF, gli autori notano che l'approccio di rimuovere le variabili correlate per valutare l'importanza è applicabile a metodi predittivi generali.

Gli autori mantengono un tono modesto, riconoscendo che il Metodo 1 può leggermente sovrastimare l'importanza rimuovendo più informazioni del necessario, e che le prestazioni del Metodo 2 dipendono dalla qualità del clustering spettrale. Non pretendono di risolvere tutti i problemi relativi all'importanza delle feature, ma offrono un meccanismo pratico e computazionalmente efficiente per affrontare il problema specifico del mascheramento indotto dalla correlazione.