Generalized Functional ANOVA in Closed-Form: A Unified View of Additive Explanations

Riepilogo Tecnico: ANOVA Funzionale Generalizzata in Forma Chiusa

Enunciato del Problema
I modelli di apprendimento automatico moderni, in particolare ensemble complessi e reti neurali, operano spesso come "scatole nere" opache, rendendo difficile l'interpretazione delle loro mappature input-output. Sebbene l'Intelligenza Artificiale Spiegabile (XAI) abbia prodotto numerosi metodi di spiegazione post-hoc (ad esempio SHAP, LIME) e modelli intrinsecamente interpretabili (ad esempio GAM, EBM), questi approcci affrontano due critiche principali: spesso si basano su costruzioni euristico prive di teoremi di rappresentazione rigorosi e possono essere computazionalmente costosi o formalmente intrattabili.

Una sfida centrale nell'interpretabilità è la decomposizione ANOVA funzionale (o decomposizione di Hoeffding), che scompone un predittore in effetti principali e interazioni di ordine superiore. Sebbene questa decomposizione sia esplicita e ortogonale per input indipendenti, ottenere una rappresentazione trattabile per input dipendenti rimane difficile. I metodi esistenti per contesti dipendenti richiedono spesso la conoscenza della densità di input, sono limitati a tipi di modelli specifici (ad esempio ensemble ad albero) o sono stati risolti solo recentemente per dati categorici. Vi è la necessità di un quadro unificato, agnostico rispetto al modello, che fornisca una soluzione esplicita in forma chiusa per input continui dipendenti e consenta una stima efficiente dai dati.

Metodologia
Gli autori propongono un quadro unificato per la decomposizione ANOVA funzionale generalizzata per variabili casuali continue e limitate. La metodologia procede in tre fasi:

1. Formulazione Teorica (Base in Forma Chiusa):
   Il documento stabilisce che la decomposizione ANOVA funzionale generalizzata, definita come soluzione a un problema di ottimizzazione dei minimi quadrati vincolato in uno spazio di Hilbert, ammette una soluzione esplicita in forma chiusa per caratteristiche continue e limitate.

   • Assunzione: Il vettore di input $X$ è supportato su un iperrettangolo $[-1, 1]^p$ con una densità $f$ limitata lontano da zero e dall'infinito.
   • Costruzione della Base: Gli autori costruiscono una base di Riesz $\Xi$ per lo spazio $L^2([−1, 1]^p, \mu_f)$ utilizzando polinomi di Legendre normalizzati e un meccanismo di ponderazione inversa della verosimiglianza. Nello specifico, per un sottoinsieme di variabili $S$, le funzioni di base sono definite come:
     $$\xi^{(m_S)}_S(x) := \frac{1}{\sqrt{2^{p-|S|}}} \cdot \frac{\prod_{j \in S} \tilde{P}_{m_j}(x_j)}{f_S(x_S)}$$
     dove $\tilde{P}_m$ sono polinomi di Legendre normalizzati e $f_S$ è la densità marginale di $X_S$.
   • Ortogonalità: Questa costruzione garantisce ortogonalità gerarchica, il che significa che per ogni sottoinsieme stretto $T \subset S$, il componente $\nu_S$ è ortogonale a qualsiasi funzione di $X_T$. Ciò recupera la decomposizione ortogonale classica nel caso indipendente e si collega naturalmente ai valori di Shapley tramite i dividendi di Harsanyi.

2. Algoritmo di Stima:
   Poiché la base è disponibile in forma chiusa, stimare la decomposizione si riduce a stimare i coefficienti dello sviluppo in base tramite regressione ai minimi quadrati.

   • Troncamento: Per gestire la natura a dimensione infinita del problema, gli autori impiegano un insieme di troncamento $I^K_d$ che limita l'ordine di interazione a $K$ e il grado polinomiale a $d$. Questo sfrutta i principi di "sparsità degli effetti" e "reluttanza".
   • Stima della Densità: Le densità marginali $f_S$ richieste per la base sono stimate dai dati utilizzando sviluppi troncati di Legendre tensorizzati.
   • Pipeline: L'algoritmo comporta la scalatura delle caratteristiche (a $[-1, 1]$), la stima della densità, la costruzione della matrice del progetto utilizzando le funzioni di base e la risoluzione di un sistema lineare (utilizzando LARS per la selezione del modello e SVD per la risoluzione). L'intero processo è agnostico rispetto al modello, richiedendo solo coppie input-output.

3. Validazione Sperimentale:
   Il metodo è valutato su casi analitici sintetici e sei dataset reali (Condivisione di Biciclette, Alloggi in California, Reddito dal Censimento, ecc.) utilizzando quattro famiglie di modelli: XGBoost, MLP, EBM e NAM. Viene confrontato con metodi all'avanguardia (KernelSHAP, DeepSHAP, TreeSHAP, TreeHFD) e con le decomposizioni native dei modelli interpretabili.

Contributi Chiave

1. Soluzione Esplicita in Forma Chiusa: Il documento dimostra che la decomposizione ANOVA funzionale generalizzata per caratteristiche continue e limitate ammette una soluzione esplicita, riducendo l'ottimizzazione non parametrica sottostante a un problema di regressione ai minimi quadrati.
2. Quadro Unificato: La formulazione recupera naturalmente il caso classico indipendente, gli sviluppi in polinomi ortogonali e la connessione con i valori di Shapley. Fornisce una base matematica rigorosa per le spiegazioni additive in presenza di input dipendenti.
3. Stimatore Agnostico ed Efficiente: Gli autori propongono un algoritmo semplice, a tempo polinomiale, per stimare la decomposizione da un campione di dati senza accedere alla struttura interna del modello. Il metodo sfrutta la sparsità per rimanere trattabile nella pratica.
4. Unificazione Empirica: Gli esperimenti mostrano che i metodi di spiegazione esistenti (varianti SHAP) e i modelli interpretabili (GAM, EBM) approssimano strettamente componenti specifici della decomposizione ANOVA funzionale, suggerendo che il quadro proposto unifica questi approcci disparati.

Risultati

• Accuratezza: Lo stimatore proposto raggiunge un'alta accuratezza di ricostruzione ($R^2 \geq 0.85$) su tutti i dataset e famiglie di modelli.
• Ortogonalità: Nonostante l'uso di stime di densità plug-in, l'ortogonalità gerarchica tra i componenti è preservata fedelmente (bassi valori di MaxCorr).
• Efficienza: Il metodo è computazionalmente efficiente, stimando decomposizioni per dataset con decine di migliaia di campioni in pochi secondi (ad esempio, ~0.6s per 48k campioni su Reddito dal Censimento).
• Confronto: I confronti visivi (Figure 1–4) indicano che gli effetti principali del metodo proposto si allineano strettamente con i componenti teorici in contesti sintetici e con gli effetti nativi da EBM/NAM, offrendo al contempo una decomposizione più rigorosa rispetto alle varianti euristico SHAP.

Significato e Affermazioni
Il documento afferma di fornire una prospettiva unificante sulle spiegazioni additive. Fondando i metodi XAI sull'oggetto matematico rigoroso dell'ANOVA funzionale generalizzata, gli autori sostengono che:

• Le spiegazioni additive non sono meramente costruzioni euristico, ma componenti di un oggetto matematico ben definito con proprietà strutturali.
• Molti metodi post-hoc esistenti e modelli intrinsecamente interpretabili possono essere ricontestualizzati come approssimazioni di componenti specifici di questa decomposizione.
• L'approccio proposto offre uno strumento pratico, efficiente e teoricamente solido per decomporre modelli a scatola nera, in particolare in contesti con input dipendenti dove i metodi precedenti erano limitati o intrattabili.

Gli autori riconoscono le limitazioni, inclusa l'assunzione di input continui limitati e la dipendenza dal troncamento per problemi ad alta dimensionalità, notando che estendere il quadro a tipi di dati illimitati o misti rimane una sfida per lavori futuri.