Riepilogo Tecnico: MDI+ Locale (LMDI+)

Enunciato del Problema

Gli ensemble basati su alberi, come le Foreste Casuali (RF) e il Gradient Boosting, rimangono lo stato dell'arte per i dati tabulari grazie alle loro prestazioni predittive e all'efficienza computazionale. Di conseguenza, sono ampiamente distribuiti in settori ad alto rischio come l'assistenza sanitaria e la giustizia penale, rendendo necessarie interpretazioni locali affidabili.

I metodi attuali di Importanza delle Caratteristiche Locali (LFI), come LIME e TreeSHAP, affrontano limitazioni significative:

1. Dipendenza dalle Perturbazioni: Questi approcci agnostici rispetto al modello si basano su perturbazioni casuali o permutazioni delle caratteristiche per approssimare il comportamento del modello. Ciò ignora la struttura interna del modello, portando a spiegazioni instabili e al fallimento nell'identificare le caratteristiche di segnale reali nei Processi di Generazione dei Dati (DGP) sottostanti.
2. Instabilità: I metodi esistenti spesso producono classifiche delle caratteristiche incoerenti tra adattamenti ripetuti del modello con diversi semi casuali.
3. Bias nei Metodi Basati su Alberi: L'importanza locale tradizionale basata su alberi (MDI Locale) soffre di bias in cui le caratteristiche con alta entropia o bassa correlazione ricevono punteggi di importanza gonfiati. Inoltre, i modelli basati su alberi sono inefficienti nel catturare funzioni additive e lisce.

Sebbene il metodo di importanza globale delle caratteristiche MDI+ abbia affrontato questi bias sfruttando un'equivalenza tra alberi decisionali e minimi quadrati su una base di nodi trasformata, rimane una metrica globale. Non può spiegare risultati specifici del campione, che spesso dipendono da caratteristiche individuali uniche.

Metodologia: Il Framework LMDI+

Gli autori propongono MDI+ Locale (LMDI+), una nuova estensione del framework MDI+ al contesto specifico del campione. Sviluppato nell'ambito del framework Predictability-Computability-Stability (PCS) per la scienza dei dati veridica, LMDI+ mira a identificare in modo fedele e coerente le caratteristiche di segnale specifiche dell'istanza senza fare affidamento su perturbazioni.

Il framework sfrutta l'equivalenza tra le previsioni degli alberi decisionali e la regressione dei Minimi Quadrati Ordinari (OLS) su una base trasformata (funzioni stelo). La procedura LMDI+ coinvolge tre passaggi chiave:

1. Rappresentazione Estesa: Per ogni albero in un ensemble, il metodo costruisce una mappa delle caratteristiche $\tilde{\Psi}(X)$ che include:
   • Le funzioni stelo trasformate $\Psi(X; S)$ derivate dalla struttura dell'albero (basate su campioni in-bag e Out-of-Bag (OOB)).
   • I valori grezzi delle caratteristiche $x_k$ aggiunti alla mappa. Questo aumento permette al modello di catturare strutture lineari e additive che i semplici split degli alberi potrebbero perdere.
2. Adattamento di GLM Regolarizzato: Invece di utilizzare OLS, LMDI+ adatta un Modello Lineare Generalizzato (GLM) regolarizzato (ad esempio, ElasticNet) sui dati trasformati. Questo passaggio mitiga l'overfitting e gestisce le caratteristiche correlate meglio delle misure di importanza basate su alberi standard.
3. Attribuzione Specifica del Campione: Per una specifica osservazione $x$, l'importanza della $k$-esima caratteristica è calcolata come il contributo di quella caratteristica alla previsione all'interno del modello linearizzato:
   $$\text{LMDI}^+_k(x) = \tilde{\Psi}^{(k)}(x)^\top \hat{\beta}^{(k)}_\lambda$$
   dove $\hat{\beta}^{(k)}_\lambda$ rappresenta i coefficienti del GLM. Se una caratteristica non appare mai in uno split, il suo contributo è zero. Il punteggio finale dell'ensemble è la media di questi punteggi su tutti gli alberi.

Contributi e Risultati Chiave

Il documento convalida LMDI+ su dodici dataset di riferimento reali (sei regressione, sei classificazione) e vari contesti sintetici.

1. Identificazione Superiore delle Caratteristiche di Segnale

• Esperimenti Sintetici: In simulazioni ispirate ai dati con variabili rapporto segnale-rumore (SNR), dimensioni del campione e funzioni di risposta (lineari, polinomiali e localmente picchiate-sparse), LMDI+ ha costantemente ottenuto punteggi AUROC più elevati nel distinguere le caratteristiche di segnale da quelle non segnale rispetto a LIME, TreeSHAP e MDI Locale.
• Robustezza alla Correlazione: In contesti con caratteristiche altamente correlate, LMDI+ ha classificato correttamente le caratteristiche di segnale come le più importanti. Al contrario, i metodi di riferimento come LIME e TreeSHAP hanno spesso dato priorità in modo errato a caratteristiche non segnale non correlate quando la forza della correlazione era alta ($\rho \ge 0.9$).
• Prestazioni nel Mondo Reale: Utilizzando una tecnica di valutazione "rimuovi e riaddestra", LMDI+ ha dimostrato che le caratteristiche selezionate erano più predittive dei risultati individuali. Quando si riaddestravano modelli su dati mascherati mantenendo solo la parte superiore $k\%$ delle caratteristiche, LMDI+ ha prodotto punteggi $R^2$ (regressione) e AUROC (classificazione) più elevati rispetto ai metodi di riferimento, con un miglioramento medio del 10% nelle prestazioni predittive utilizzando solo le caratteristiche selezionate.

2. Stabilità Migliorata

• LMDI+ ha prodotto le classifiche delle caratteristiche più coerenti tra adattamenti ripetuti del modello con diversi semi casuali.
• Gli esperimenti sulla stabilità hanno mostrato che LMDI+ ha selezionato il minor numero di caratteristiche uniche tra diversi adattamenti del modello, indicando che le sue classifiche di importanza sono robuste alle variazioni di modellazione, un requisito critico per interpretazioni affidabili.

3. Generalizzabilità e Ablazione

• Analisi dei Componenti: Gli studi di ablazione hanno confermato che ogni componente di LMDI+ (campioni OOB, aumento delle caratteristiche grezze e GLM regolarizzati) contribuisce ai guadagni di prestazioni.
• Agnosticismo del Modello all'interno degli Alberi: I miglioramenti si sono estesi oltre le Foreste Casuali ai modelli di Gradient Boosting, dimostrando l'applicabilità del framework a vari ensemble di alberi.

4. Applicazioni Pratiche

• Spiegazioni Controfattuali: Prioritizzando le caratteristiche di segnale, LMDI+ ha identificato controfattuali (minime modifiche per invertire una previsione) che richiedevano modifiche più piccole (distanza $\ell_1$ inferiore) rispetto ai metodi di riferimento.
• Scoperta di Sottogruppi: In uno studio di caso sul dataset Miami Housing, il raggruppamento dei campioni basato sui punteggi LMDI+ ha rivelato sottogruppi omogenei. Adattare semplici modelli OLS su questi sottogruppi ha ridotto significativamente l'errore di previsione (MSE) rispetto a un modello globale, con LMDI+ che ha superato altri metodi LFI nell'omogeneità del sottogruppo.

Significato e Affermazioni

Il documento afferma che LMDI+ affronta il divario critico tra l'importanza globale basata su alberi e la necessità di interpretabilità locale e specifica del campione. Spostandosi dalle approssimazioni basate su perturbazioni e sfruttando invece la struttura lineare interna degli ensemble di alberi, LMDI+ offre:

• Fedeltà: Identifica più accuratamente le vere caratteristiche di segnale che guidano le previsioni individuali.
• Stabilità: Fornisce spiegazioni coerenti tra le esecuzioni del modello, riducendo il rischio di decisioni inaffidabili in contesti ad alto rischio.
• Azionabilità: Abilita casi d'uso pratici come la generazione di controfattuali efficienti e la scoperta di sottogruppi di dati omogenei.

Gli autori posizionano LMDI+ come un passo verso la scienza dei dati veridica, assicurando che le interpretazioni locali non siano solo calcolabili, ma anche prevedibili e stabili. Sebbene il metodo introduca un sovraccarico una tantum per l'adattamento del GLM e la trasformazione della base, la fase di inferenza per nuovi campioni è efficiente (semplice moltiplicazione lineare), rendendolo fattibile per il dispiegamento pratico dove la struttura del modello rimane fissa.