Riepilogo Tecnico: Estensione degli Alberi di Insieme Spiegabili (E2Tree) ai Contesti di Regressione

Enunciato del Problema

I metodi di insieme, in particolare le Foreste Casuali (RF), hanno rivoluzionato l'apprendimento supervisionato offrendo un'alta accuratezza predittiva attraverso l'aggregazione di apprenditori deboli. Tuttavia, questi modelli funzionano come "scatole nere", mancando di trasparenza riguardo a come elaborano i valori di input per generare previsioni. Questa opacità ostacola la comprensione e la fiducia dell'utente, specialmente in domini critici come la medicina e la finanza. Sebbene esistano approcci esistenti per l'interpretabilità — che vanno da modelli intrinsecamente interpretabili (ad esempio, alberi decisionali) a strumenti di spiegazione post-hoc (ad esempio, importanza delle variabili, valori di Shapley) — spesso faticano a bilanciare l'accuratezza del modello con la capacità di chiarire interazioni complesse e non lineari tra le caratteristiche.

La sfida specifica affrontata in questo articolo è l'estensione della metodologia Explainable Ensemble Trees (E2Tree). Originariamente proposta da Aria et al. (2024) per compiti di classificazione, E2Tree fornisce una rappresentazione grafica, simile a un albero, dei modelli RF che tiene conto sia degli effetti dei predittori sia delle associazioni inter-predittori. Gli autori notano che, sebbene E2Tree abbia spiegato con successo le RF di classificazione, mancava una metodologia corrispondente per i contesti di regressione (modelli con esito continuo).

Metodologia

L'articolo propone un'estensione del framework E2Tree per gestire problemi di regressione. L'obiettivo principale è derivare una singola struttura ad albero interpretabile che rappresenti fedelmente la logica decisionale di un modello di regressione Random Forest addestrato.

1. Costruzione della Matrice di Dissimilarità

La metodologia inizia definendo una matrice di dissimilarità $D$ derivata dal modello RF. Sia $H = \{H_1, \dots, H_B\}$ una Foresta Casuale di $B$ apprenditori deboli addestrati su un campione di dimensione $n$. Per qualsiasi due osservazioni $u_i$ e $u_j$, la dissimilarità $d_{ij}$ è definita come $1 - O_{ij}$, dove $O_{ij}$ è una misura di co-occorrenza ponderata.

$O_{ij}$ quantifica quanto spesso una coppia di osservazioni cade nello stesso nodo attraverso la sequenza di alberi, ponderata da una misura locale di bontà di adattamento $W(t)_{ij|b}$ per il nodo $t$ nell'albero $b$:
$$O_{ij} = \frac{\sum_{b=1}^{B} I(u_i \land u_j) \cdot W(t)_{ij|b}}{\max(\sum_{b} u_i W(t)_{i|b}; \sum_{b} u_j W(t)_{j|b})}$$

2. Bontà di Adattamento Specifica per la Regressione

Un contributo chiave di questo articolo è l'adattamento della misura locale di bontà di adattamento $W(t)_{ij|b}$ per la regressione. Nel contesto di classificazione, questa misura si basava sulla purezza; nella regressione, gli autori propongono di utilizzare l'Errore Quadratico Medio Normalizzato (NMSE):
$$NMSE(t)_{ij|b} = \frac{MSE(t)_{ij|b}}{MSE_{max} \cdot p(t)}$$
Dove:

• $MSE(t)_{ij|b}$ è l'errore quadratico medio al nodo $t$.
• $p(t)$ è la proporzione di osservazioni nel nodo $t$.
• $MSE_{max}$ è l'errore quadratico medio massimo teorico, calcolato in base all'intervallo della variabile di risposta $Y$ all'interno del nodo (seguendo Jacobson, 1969): $MSE_{max} = \frac{(\max(Y|b) - \min(Y|b))^2}{9}$.

La misura di adattamento locale è quindi definita come:
$$W(t)_{ij|b} = \begin{cases} 0 & \text{se } 1 - NMSE(t)_{ij|b} \le 0 \\ 1 - NMSE(t)_{ij|b} & \text{altrimenti} \end{cases}$$

3. Costruzione dell'Albero e Regole di Arresto

L'algoritmo costruisce l'E2Tree dividendo ricorsivamente i dati sulla base della matrice di dissimilarità $D$. Per prevenire l'overfitting e garantire che l'albero risultante sia parsimonioso, gli autori introducono criteri di arresto specifici oltre alle divisioni standard RF:

• Soglia NMSE ($\gamma$): Un nodo diventa terminale se il $NMSE(t)_{ij|b}$ calcolato scende al di sotto di una soglia specifica $\gamma$ (impostata a 0,05 negli esperimenti).
• Equivalenza Distributiva: Per ogni divisione potenziale, viene eseguito un test di Mann-Whitney per verificare se le distribuzioni dei valori previsti nei nodi figli sono identiche. Se le distribuzioni non sono significativamente diverse, la divisione viene rifiutata e il nodo genitore viene trattato come terminale.

Contributi Chiave

1. Estensione Metodologica: Il contributo principale è l'estensione formale di E2Tree dalla classificazione alla regressione. Ciò comporta ridefinire la metrica locale di bontà di adattamento per utilizzare l'NMSE invece della purezza di classificazione.
2. Rappresentazione Unificata: Il metodo fornisce una singola struttura ad albero che cattura la logica globale di una Foresta Casuale, incluse interazioni complesse tra predittori, mantenendo al contempo l'accuratezza predittiva dell'insieme originale.
3. Capacità di Spiegazione Duale: L'E2Tree risultante offre sia spiegazioni globali (pattern e regole seguiti dal modello) sia spiegazioni locali (logica dettagliata per istanze specifiche), colmando il divario tra le prestazioni della scatola nera e l'interpretabilità umana.
4. Implementazione Open-Source: Gli autori forniscono un pacchetto R (e2tree) e la disponibilità del codice, facilitando la riproducibilità e l'ulteriore applicazione del metodo.

Risultati Sperimentali

Gli autori hanno validato il metodo proposto utilizzando due dataset dal repository UCI Machine Learning: il dataset Iris (adattato per la regressione sulla lunghezza del petalo) e il dataset Auto MPG (prevedendo l'efficienza del carburante).

• Dataset Iris: L'E2Tree ha ricostruito con successo la struttura della matrice di co-occorrenza della RF. Un'analisi di cluster gerarchico che confrontava la matrice RF originale ($O_{ij}$) e la matrice stimata da E2Tree ($\hat{O}_{ij}$) ha prodotto un Indice di Fowlkes-Mallows (FMI) di circa il 90%, indicando un alto grado di somiglianza nella struttura di clustering.
• Dataset Auto MPG: Nonostante le dimensioni maggiori del dataset e le relazioni non lineari, l'E2Tree ha visualizzato efficacemente i percorsi decisionali. Il confronto delle mappe di calore per $O_{ij}$ e $\hat{O}_{ij}$ ha prodotto un FMI di circa il 75%.
• Interpretabilità: In entrambi i casi, l'E2Tree ha fornito percorsi chiari "Se-Allora". Per i dati Auto MPG, l'albero ha visualizzato gli effetti negativi di spostamento, peso e potenza sul MPG, e gli effetti positivi dell'anno del modello e dell'origine, offrendo intuizioni non direttamente accessibili da un modello RF standard adattato.

Significato e Affermazioni

L'articolo afferma che E2Tree garantisce che i modelli di machine learning rimangano "strumenti di empowerment" offrendo un processo decisionale comprensibile senza sacrificare l'accuratezza dell'insieme. Gli autori sottolineano che il loro approccio:

• Interpreta il processo di insieme attraverso una singola struttura ad albero coerente.
• Mantiene le prestazioni di accuratezza della Foresta Casuale sottostante.
• Fornisce uno strumento potente per spiegare le interazioni tra predittori che determinano le previsioni del nodo finale.

Gli autori concludono che questa estensione affronta sia le questioni di interpretabilità sia quelle di spiegabilità in entrambi i contesti di classificazione e regressione. Notano che il lavoro futuro mira a generalizzare l'approccio ad altre metodologie di alberi di insieme e a sviluppare ulteriori metriche per valutare la fedeltà dei risultati E2Tree rispetto agli output originali dell'insieme. L'articolo non afferma di sostituire i modelli a scatola nera, ma piuttosto di fornire un livello di spiegazione trasparente e post-hoc che preserva l'utilità del modello.