Sintesi Tecnica: Oltre le Decomposizioni Additive: Interpretabilità attraverso la Separabilità

Definizione del Problema

L'apprendimento automatico interpretabile affronta una tensione fondamentale tra accuratezza predittiva e trasparenza strutturale. Mentre i modelli "black-box" (ad esempio, reti neurali profonde, ensemble di gradient boosting) raggiungono prestazioni allo stato dell'arte, essi mancano di strutture leggibili. Al contrario, i modelli "glass-box" come i Modelli Additivi Generalizzati (GAM) offrono trasparenza, ma spesso non riescono a catturare interazioni complesse o si affidano ad assunzioni parametriche errate.

Gli attuali metodi di interpretabilità, inclusi i modelli post-hoc (ad esempio, SHAP, Integrated Grients) e i modelli glass-box, si basano ampiamente su decomposizioni additive. Gli autori sostengono che le rappresentazioni additive soffrono di modalità di fallimento critiche in presenza di forti interazioni:

1. Cancellazione del Segnale: Le spiegazioni SHAP locali possono cancellare gli effetti principali e di interazione, portando a un'attribuzione nulla per feature attive.
2. Mascheramento delle Interazioni: I grafici di dipendenza parziale (PDP) marginalizzano sulle altre feature, scartando di fatto l'informazione di interazione di ordine superiore e recuperando solo gli effetti principali.
3. Estrapolazione Fuori Supporto: La media marginale in spazi di feature correlate può portare a pattern spuri in regioni a bassa densità.

Il paper sostiene che queste limitazioni derivino dall'incapacità intrinseca delle proiezioni additive di rappresentare fedelmente strutture di interazione moltiplicative o separabili senza perdita di informazione.

Metodologia: Tensor Separation Learning (TSL)

Gli autori propongono il Tensor Separation Learning (TSL), un modello di regressione progettato per apprendere una somma di prodotti di rango 1 di funzioni univarianti per ogni feature. A differenza dei modelli separabili standard, TSL impone vincoli strutturali specifici per garantire stabilità e interpretabilità.

Formulazione del Modello

L'estimatore TSL $\hat{m}(x)$ è definito come una somma di $R$ stadi, dove ogni stadio $\ell$ è la differenza di due prodotti separabili positivi:
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
I vincoli chiave includono:

• Positività: Tutte le funzioni componente $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ sono vincolate a essere strettamente positive ($>0$). Ciò garantisce che ogni componente amplifichi o sopprima in modo univoco il proprio prodotto, rimuovendo l'ambiguità del segno inerente ai prodotti non vincolati.
• Differenza Ordinata: Ogni stadio è una differenza di due termini positivi, permettendo al modello di rappresentare contributi con segno pur mantenendo fattori positivi.

Parametrizzazione: Backbone e Tilt

Per migliorare l'interpretabilità, gli autori introducono una riparametrizzazione backbone/tilt per ogni coppia di feature in uno stadio:
$$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• Backbone ($b$): Rappresenta l'entità condivisa o il "gate di attività" dello stadio. Determina dove lo stadio è attivo (i valori vicini allo zero disattivano lo stadio).
• Tilt ($d$): Rappresenta lo squilibrio con segno tra la branca positiva e quella negativa. Controlla la direzionalità del contributo.
  Questa decomposizione separa l'entità di un effetto dalla sua direzione con segno, permettendo una visualizzazione fedele anche quando il contributo netto con segno è vicino allo zero a causa della cancellazione.

Procedura di Fitting

TSL utilizza una procedura greedy a stadi con rifitting ortogonale:

1. Fitting a Stadi: In ogni stadio $\ell$, il modello adatta i residui correnti utilizzando un approccio di raffinamento tensor-grid ispirato a CART (Classification and Regression Trees). Apprende funzioni univarianti a tratti costanti su una partizione adattiva.
2. Bagging e Aggregazione: Per ridurre la varianza, più grid tensor vengono adattati in parallelo su campioni bootstrap. Uno schema di aggregazione basato sulla similarità (ancorato a una grid di riferimento e filtrando gli outlier) combina questi in un singolo predittore di stadio.
3. Rifitting Ortogonale: Dopo aver adattato un nuovo stadio, tutti i coefficienti dello stadio $\{\lambda^{(k)}_\pm\}$ vengono ottimizzati congiuntamente tramite minimi quadrati rispetto al target $y$. Questo backfitting assicura che i coefficienti siano ottimali data l'attuale serie di stadi.

Contributi Chiave

1. Tensor Separation Learning (TSL): Un nuovo algoritmo di regressione che stima la media condizionata come una somma di differenze di prodotti separabili di rango 1 positivi.
2. Interpretabilità Nativa del Modello: Gli autori dimostrano che per TSL, il modello adattato può essere ricostruito esattamente dalle sue funzioni di dipendenza parziale del primo ordine (fino a costanti fattoriali). A differenza dei metodi post-hoc, le visualizzazioni di TSL (curve di dipendenza parziale 1D) non sono approssimazioni ma rappresentazioni fedeli dei componenti adattati. La decomposizione backbone/tilt permette di distinguere tra entità (attività) e direzione (squilibrio con segno).
3. Teoria dell'Approssimazione: Il paper stabilisce un tasso di approssimazione $O(1/\sqrt{r})$ per la classe di ipotesi TSL su funzioni con derivate parziali miste di ordine $p$ limitate (specificamente nello spazio Sobolev $W^{(1,1)}_{mix}$), utilizzando il framework di Orthogonal Greedy Approximation (OGA).

Risultati Sperimentali

Gli autori hanno valutato TSL sulla suite di regressione OpenML CTR 23 (27 dataset) contro i baseline allo stato dell'arte:

• Baseline: Modelli black-box (XGBoost, LightGBM, Random Forest) e modelli interpretabili (Explainable Boosting Machines - EBM, SepALS — un modello separabile senza i vincoli di TSL).
• Performance: TSL raggiunge prestazioni predittive competitive. Nel gruppo interpretabile, TSL si posiziona nei primi 3 in 17 di 27 dataset ed è il miglior modello interpretabile in 5 casi.
• Analisi Comparativa:
  • TSL supera EBM e gli ensemble di alberi su dataset con forti strutture separabili a basso rango (es. socmob, California housing).
  • Su California housing, TSL cattura interazioni spaziali localizzate e non monotone (es. premi costieri) che EBM e XGBoost mediano o non riescono a isolare in riassunti 1D.
  • Caso di Studio Sintetico: In un esempio sintetico in cui un forte effetto quadratico è mascherato da un'interazione di terzo ordine (risultando in una dipendenza parziale 1D nulla), TSL riesce a recuperare l'entità sottostante tramite le sue curve backbone, mentre i normali PDP e le curve ICE falliscono nel rivelare il segnale senza aggregazioni complesse.
  • Ablazione: Rimuovere il vincolo di positività e la struttura di differenza ordinata (TSL 1-prodotto) degrada significativamente le prestazioni, confermando che questi vincoli sono cruciali per la flessibilità rappresentativa e la stabilità.

Significato e Rivendicazioni

Il paper rivendica che TSL offre una strada distinta verso l'interpretabilità muovendosi "oltre le decomposizioni additive". Il suo significato primario risiede in:

• Visualizzazione Fedele: Imponendo la separabilità e la positività, TSL assicura che i grafici di dipendenza parziale recuperino la forma esatta dei fattori adattati, evitando la perdita di informazione e il mascheramento inerenti alle proiezioni additive di modelli interattivi.
• Gestione delle Interazioni: TSL fornisce un meccanismo per visualizzare e comprendere le interazioni di alto ordine attraverso riassunti 1D (backbone e tilt) senza ricorrere a spiegazioni opache black-box o grafici ad alta dimensionalità.
• Accuratezza Competitiva: Dimostra che un modello glass-box con una struttura separabile può competere con potenti black-box di ensemble di alberi su benchmark di regressione, sfidando la nozione che un'alta accuratezza richieda il sacrificio dell'interpretabilità.

Gli autori rimangono modesti riguardo ai limiti, riconoscendo che i tassi di approssimazione di TSL dipendono da assunzioni di smoothness mista e che la rappresentazione separabile soffre di non-identificabilità (richiedendo le specifiche procedure di aggregazione/filtraggio descritte). Notano che su problemi puramente additivi, metodi esistenti come EBM potrebbero rimanere baseline più forti.