Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

Sintesi Tecnica: Miglioramento delle Prestazioni Predittive e dell'Interpretabilità per le Reti Neurali Mesomorfiche tramite la Regolarizzazione della Fedeltà Locale

Definizione del Problema
Le Reti Neurali Mesomorfiche Interpretabili (IMN) sono state proposte per colmare il divario tra il potere predittivo del deep learning e l'interpretabilità dei modelli lineari. In una IMN, un backbone di rete neurale genera dinamicamente i pesi per uno strato di output lineare, consentendo l'attribuzione delle caratteristiche per ogni istanza. Tuttavia, la formulazione originale soffre di una vulnerabilità critica: il modello è sottodeterminato. Poiché il backbone della rete neurale è altamente espressivo, può raggiungere prestazioni predittive ottimali facendo collassare tutta la varianza esplicativa in un singolo peso (spesso l'intercetta) sopprimendo gli altri. Questo comportamento "degenero" produce predizioni matematicamente accurate, ma interpretazioni completamente infedeli alle relazioni sottostanti dei dati. Paradossalmente, la penalità L1 originariamente proposta per incoraggiare la sparsità esacerba questo problema, poiché incentiva tali configurazioni degenerate.

Metodologia: Regolarizzazione della Fedeltà Locale (LFR)
Per affrontare questo problema, gli autori introducono la Regolarizzazione della Fedeltà Locale (LFR), un nuovo termine di penalità progettato per allineare i pesi lineari generati con le variazioni locali presenti nei dati di addestramento.

• Base Teorica: Idealmente, i pesi generati $w_j(x_i, \theta)$ dovrebbero corrispondere alle derivate parziali della funzione di predizione rispetto a ciascuna caratteristica ($\nabla f(x_i)$). Tuttavia, fare affidamento sui gradienti analitici è computazionalmente costoso (richiede il doppio backpropagation) ed è incline a catturare rumore infinitesimale piuttosto che tendenze macroscopiche.
• Interpolazione ispirata a SMOTE: Per superare questi problemi, la LFR evita le derivate esatte. Invezione, costruisce un vicinato locale attorno a un punto ancora $x_i$ generando campioni sintetici tramite una strategia ispirata alla tecnica di sovracampionamento dei casi minoritari sintetici (SMOTE). Per un dato punto ancora, $K$ punti sintetici $\tilde{x}_k$ vengono creati tramite interpolazione lineare con i punti dati vicini: $\tilde{x}_k = x_i + \alpha_k(x' - x_i)$.
• La Penalità: La perdita LFR ($L_{LFR}$) impone che l'approssimazione lineare ancorata a $x_i$ (utilizzando i pesi generati) debba estrapolare accuratamente la predizione della rete neurale completa in questi punti sintetici. La penalità è la differenza media dei quadrati tra l'estrapolazione lineare e il passaggio in avanti (forward pass) della rete completa attraverso il vicinato sintetico.
• Ottimizzazione: La funzione obiettivo totale combina la perdita di predizione originale, la penalità di sparsità L1 e la nuova penalità LFR. Gli autori propongono una strategia di sintonizzazione utilizzando un punteggio composito $S(\gamma)$ che bilancia le prestazioni predittive (ad esempio, AUROC o $R^2$) e la fedeltà della spiegazione (misurata come riduzione dell'infedeltà rispetto al modello non regolarizzato).

Contributi Chiave

1. Nuovo Meccanismo di Regolarizzazione: L'introduzione della LFR, che previene il collasso dei pesi ancorando le interpretazioni alla struttura geometrica dei dati tramite vincoli di fedeltà locale.
2. Miglioramento Duplice delle Prestazioni: Evidenza empirica che dimostra come la LFR non solo risolva i difetti di interpretabilità, ma migliori costantemente anche le prestazioni predittive, fornendo risultati competitivi con i modelli black-box allo stato dell'arte.
3. Implementazione Open-Source: Un'implementazione Python modulare del framework LFR-IMN con un'API in stile scikit-learn, resa pubblicamente disponibile.

Risultati Sperimentali
Il documento valuta il metodo proposto attraverso benchmark sintetici e del mondo reale:

• Esperimenti Sintetici: Su un dataset sintetico con effetti locali di verità fondamentale noti (inclusi termini di interazione), la IMN non regolarizzata ha fallito nel recuperare i veri effetti, spingendo i pesi delle caratteristiche vicino allo zero e assorbendo la magnitudo nell'intercetta. Al contrario, LFR-IMN ha recuperato con successo i veri gradienti locali. Notevolmente, utilizzando un backbone complesso TabResNet, LFR-IMN ha ottenuto un MSE di test significativamente più basso (0.0244) rispetto alla IMN non regolarizzata (0.0444), dimostrando che i vincoli di interpretabilità possono migliorare la generalizzazione.
• Valutazione XAI-Bench: Utilizzando il framework XAI-Bench con importanze di verità fondamentale note, gli autori hanno confrontato LFR-IMN con la IMN non regolarizzata e con gli standard post-hoc explainer (LIME, SHAP) applicati a modelli black-box. Lo studio ha utilizzato una nuova metrica, Scaled Infidelity, per misurare l'accuratezza dei gradienti locali. I risultati hanno indicato che LFR-IMN ha fornito spiegazioni altamente fedeli mantenendo o migliorando l'accuratezza predittiva (AUROC) rispetto alla baseline non regolarizzata.
• Benchmark del Mondo Reale: Le valutazioni attraverso la suite di benchmark OpenML hanno mostrato che LFR-IMN ha raggiunto punteggi AUROC altamente competitivi con metodi di alto livello come CatBoost e TabNet, senza compromettere l'accuratezza a favore della spiegabilità.

Significatività e Rivendicazioni
Il documento afferma che LFR-IMN fornisce un duplice beneficio: garantisce interpretazioni affidabili e fedeli prevenendo lo sfruttamento di soluzioni degenerate, e simultaneamente migliora le prestazioni predittive. Gli autori sostengono che, contrariamente alla comune assunzione di un compromesso tra accuratezza e interpretabilità, l'imposizione della fedeltà locale può portare a confini decisionali più robusti. Il metodo è presentato come una soluzione pratica per applicazioni critiche per la sicurezza (ad esempio, sanità, finanza) dove sia l'alta prestazione che le spiegazioni affidabili sono prerequisiti necessari. Il lavoro è supportato da un repository open-source per facilitare l'adozione e la ricerca ulteriore.