Aggregate Models, Not Explanations: Improving Feature Importance Estimation

Titolo: Aggregare Modelli, Non Spiegazioni: Migliorare la Stima dell'Importanza delle Caratteristiche

Enunciato del Problema
I metodi di importanza delle caratteristiche sono sempre più utilizzati per trasformare i modelli di apprendimento automatico (ML) da motori predittivi a strumenti per la scoperta scientifica, in particolare nelle applicazioni biomediche ad alto rischio. Tuttavia, i modelli espressivi (ad esempio, reti neurali profonde, foreste casuali) spesso mostrano instabilità a causa delle variazioni nel campionamento dei dati e della stocasticità algoritmica (ad esempio, inizializzazione casuale). Questo fenomeno, noto come "effetto Rashomon", porta a modelli con prestazioni predittive simili che forniscono spiegazioni conflittuali degli stessi dati.

Sorge una domanda pratica critica quando si affronta questa instabilità tramite ensemble: si dovrebbero aggregare i punteggi di importanza derivati dai singoli sottomodelli (la strategia dei "sottomodelli"), o si dovrebbero aggregare le previsioni dei singoli modelli per formare un unico predittore ensemble e poi derivare l'importanza da questo aggregato (la strategia "ensemble")? A causa della non linearità delle misure di importanza comuni (ad esempio, le differenze di rischio), questi due approcci non sono matematicamente equivalenti. La letteratura precedente si è concentrata principalmente sull'aggregazione di spiegazioni individuali senza un'analisi formale dell'errore di stima risultante, lasciando incerta la strategia ottimale.

Metodologia e Quadro Teorico
Gli autori sviluppano un'analisi teorica per decomporre l'errore nella stima dell'importanza delle caratteristiche, andando oltre le ipotesi precedenti che richiedevano tassi di convergenza estremamente rapidi per i modelli ML (ad esempio, $o_P(n^{-1/4})$), spesso non soddisfatti dai moderni modelli sovraparametrizzati.

1. Decomposizione dell'Errore: Basandosi sul quadro di Bottou & Bousquet (2007), gli autori decompongono il rischio eccessivo ($E$) di un modello in errore di approssimazione ($E_{app}$), errore di stima ($E_{est}$) ed errore di ottimizzazione ($E_{opt}$). Sostengono che per i moderni modelli espressivi, il rischio eccessivo è la fonte dominante di errore nella stima dell'importanza delle caratteristiche.
2. Misure di Differenza di Rischio: L'analisi si concentra sui metodi che stimano l'importanza tramite differenze di rischio, in particolare:
   • LOCO (Leave-One-Covariate-Out): Confronta il rischio di un modello completo con quello di un modello che esclude una specifica caratteristica.
   • SAGE (Shapley Additive Global importancE): Aggrega le differenze di rischio su tutti i possibili sottoinsiemi di caratteristiche.
   • CFI (Importanza Condizionata delle Caratteristiche) & PFI (Importanza delle Caratteristiche per Permutazione): Metodi in cui lo stesso modello viene valutato su input originali e perturbati.
3. Confronto Teorico:
   • Per LOCO e SAGE, l'errore di stima dipende quadraticamente dal rischio eccessivo del modello. Gli autori dimostrano che l'ensemble a livello di modello riduce questo rischio eccessivo (tramite la disuguaglianza di Jensen per le funzioni di perdita convesse), riducendo di conseguenza il termine di errore principale (bias). Al contrario, aggregare i punteggi di importanza individuali (sottomodelli) riduce solo il residuo stocastico (varianza) ma lascia il bias (rischio eccessivo) invariato.
   • Per CFI e PFI, lo stesso modello viene applicato a entrambi i termini della differenza di rischio, causando la cancellazione dei termini quadratici del rischio eccessivo. L'errore rimanente dipende linearmente dall'errore di stima del modello. Di conseguenza, il vantaggio teorico dell'ensemble a livello di modello è meno pronunciato per questi metodi rispetto a LOCO e SAGE.

Contributi Chiave

1. Analisi Teorica: Il paper fornisce una rigorosa decomposizione dell'errore per la stima dell'importanza delle caratteristiche sotto ipotesi rilassate adatte ai moderni modelli ML. Identifica formalmente il rischio eccessivo del modello come il principale motore dell'errore di stima per i metodi basati sulla differenza di rischio.
2. Confronto delle Strategie: Gli autori dimostrano che aggregare i modelli a livello di previsione (ensemble a livello di modello) è teoricamente superiore all'aggregare spiegazioni individuali (sottomodelli) per metodi come LOCO e SAGE, in particolare in regimi dominati dal bias dove la convergenza è lenta.
3. Validazione Empirica: I risultati sono validati su benchmark sintetici classici (Friedman 1, G-function, Ishigami) e su un ampio studio proteomico reale del UK Biobank.

Risultati

• Benchmark Sintetici: Esperimenti sui dataset Friedman 1, G-function e Ishigami utilizzando Perceptron Multistrato (MLP) e Foreste Casuali (RF) mostrano che l'ensemble a livello di modello produce costantemente un Errore Quadratico Medio (MSE) inferiore nella stima dell'importanza e una ROC AUC più alta per la selezione delle caratteristiche rispetto alla strategia dei sottomodelli.
• Decomposizione Bias-Varianza: L'analisi rivela che, mentre la strategia dei sottomodelli riduce efficacemente la varianza, non riesce a mitigare il significativo bias introdotto dal rischio eccessivo dei singoli modelli. L'ensemble a livello di modello affronta direttamente questo bias.
• Guadagni Specifici per Metodo: Il divario di prestazioni tra le due strategie è più significativo per LOCO e SAGE. Per CFI e PFI, le differenze sono trascurabili, in linea con la previsione teorica secondo cui i termini di rischio quadratici si annullano in questi metodi.
• Applicazione UK Biobank: In uno studio che prevedeva l'Indice di Massa Corporea (BMI) a partire da 2.922 proteine plasmatiche, l'ensemble a livello di modello ha identificato firme proteomiche biologicamente rilevanti (ad esempio, FABP4, LEP, ADM, IGFBP-1, IGFBP-2) con maggiore precisione e minore varianza rispetto all'approccio dei sottomodelli. L'approccio dei sottomodelli ha mostrato stime di importanza per le proteine chiave che si sovrapponevano allo zero, mentre la strategia ensemble ha fornito classifiche chiare e significative.
• Stabilità: La strategia ensemble ha prodotto classifiche di importanza più stabili tra le pieghe di validazione incrociata, misurate tramite la correlazione di rango di Spearman.

Significato e Affermazioni
Il paper afferma che la scelta della strategia di aggregazione non è meramente euristica, ma è guidata dal rischio eccessivo del modello. Spostando l'attenzione dall'aggregare spiegazioni all'aggregare modelli, i ricercatori possono migliorare significativamente l'affidabilità delle stime di importanza delle caratteristiche per architetture espressive. Questo è particolarmente cruciale per la scoperta scientifica in campi come la biomedicina, dove spiegazioni instabili possono minare l'identificazione di bersagli terapeutici o fattori di rischio.

Gli autori sottolineano che i loro risultati sono specifici per i metodi che stimano indici teorici ben definiti (come LOCO e SAGE) e non si applicano necessariamente a metodi euristici privi di stimandi a livello di popolazione. Concludono che per le misure di differenza di rischio, la strategia "ensemble" è l'approccio preferito per mitigare l'effetto Rashomon e migliorare la robustezza della stima dell'importanza delle caratteristiche indipendente dal modello.