TabSHAP

Titolo: TabSHAP: Un framework di interpretabilità per classificatori tabulari basati su LLM

1. Il Problema

L'uso di Modelli Linguistici su Grande Scala (LLM) finetunati su dati tabulari serializzati sta emergendo come alternativa potente ai modelli basati su alberi decisionali (come XGBoost), specialmente per dataset eterogenei o ricchi di contesto. Tuttavia, il loro utilizzo in settori ad alto rischio (sanità, finanza) è limitato dalla mancanza di interpretabilità fedele.
Le sfide principali identificate sono:

• Inadeguatezza dei metodi esistenti: I metodi attuali si basano spesso su proxy lineari globali (es. regressione logistica) o su attribuzioni a livello di token (sub-word), che non catturano la logica decisionale non lineare e specifica dell'istanza codificata negli LLM.
• Problemi semantici: La cancellazione di singoli token in una stringa serializzata (es. rimuovere "5" da "Age: 50") corrompe la sintassi del prompt e può innescare allucinazioni, non riflettendo la vera importanza del feature.
• Misurazione limitata: La maggior parte dei metodi misura l'impatto di un feature tramite semplici inversioni di previsione o spostamenti di probabilità scalari, ignorando l'incertezza probabilistica completa del modello (la distribuzione su tutte le classi).

2. Metodologia: TabSHAP

TabSHAP è un framework di interpretabilità model-agnostic progettato per attribuire la logica decisionale locale nei classificatori tabulari basati su LLM. La metodologia si articola in quattro pilastri fondamentali:

• Serializzazione e Mascheramento Atomico:

  • I dati tabulari vengono convertiti in prompt di istruzione sotto forma di coppie chiave:valore (es. age:50).
  • Invece di mascherare singoli token, TabSHAP tratta ogni coppia key:value come un'unità atomica. Durante la valutazione delle coalizioni, l'intera stringa di un feature viene omessa dal prompt, preservando la sintassi e garantendo che la perturbazione corrisponda alla rimozione significativa di un feature.

• Aggregazione delle Classi (Verbalizer-Style):

  • Gli LLM generativi distribuiscono la massa di probabilità su un vasto vocabolario. Un'etichetta di classe (es. "Sì") può essere rappresentata da più token (es. "Yes", " yes", "ye" + "s").
  • TabSHAP aggrega le probabilità dei top-K logit che corrispondono semanticamente a ciascuna classe target prima di calcolare le attribuzioni, garantendo stabilità anche per modelli distillati o quantizzati.

• Attribuzione Distribuzionale tramite JSD:

  • Il valore di un feature non è misurato dal cambiamento di etichetta, ma dallo spostamento nella distribuzione di probabilità del modello.
  • Viene utilizzata la Divergenza di Jensen-Shannon (JSD) per quantificare la differenza tra la distribuzione di classe con tutti i feature ($P_{full}$) e quella con un sottoinsieme di feature mascherati ($P_S$).
  • La funzione di valore $v(S)$ è definita come la similarità distribuzionale: $v(S) = 1 - \min(\frac{JSD(P_{full} \| P_S)}{\ln 2}, 1)$.

• Stima Monte Carlo:

  • Data l'intrattabilità computazionale del calcolo esatto dei valori di Shapley, TabSHAP utilizza un estimatore basato sul campionamento di coalizioni (ispirato a TokenSHAP), calcolando la differenza media di similarità tra le coalizioni che includono un feature e quelle che lo escludono.

3. Contributi Chiave

1. Attribuzione Distribuzionale: Spostamento dal monitoraggio delle inversioni di previsione alla misurazione degli spostamenti nell'intera distribuzione di probabilità tramite JSD, catturando meglio l'incertezza del modello.
2. Mascheramento a Livello di Feature: Introduzione del mascheramento atomico delle coppie chiave:valore, risolvendo il problema della corruzione semantica tipico dei metodi basati su token.
3. Validazione Empirica: Dimostrazione che TabSHAP isola feature diagnostiche critiche con una fedeltà significativamente superiore rispetto a baseline casuali e proxy basati su XGBoost.
4. Analisi di Ablazione: Confronto sistematico tra diverse metriche di distanza (JSD, KL-divergenza, L1) per valutare la robustezza delle attribuzioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due benchmark: Adult Income (reddito >50k) e Heart Disease (predizione di malattie cardiache).

• Fedeltà (Deletion Curve): L'analisi delle curve di cancellazione mostra che TabSHAP raggiunge una fedeltà significativamente più alta. Rimuovendo i feature classificati come più importanti da TabSHAP, la probabilità della classe predetta originale crolla drasticamente, molto più velocemente rispetto alla rimozione casuale o basata su XGBoost.
• Confronto con XGBoost: Sebbene vi sia una correlazione di rango moderata ($\rho \approx 0.65$) tra le feature importanti identificate da TabSHAP e TreeSHAP (XGBoost), emergono differenze fondamentali:
  • Gli LLM mostrano un bias semantico, assegnando un'importanza sproporzionata a feature testuali ricche di contesto (es. Occupazione, Istruzione).
  • XGBoost privilegia invece split numerici precisi (es. Ore lavorative a settimana).
  • Questo dimostra che gli LLM tabulari risolvono i compiti sfruttando priors semantici, una logica che i proxy lineari non riescono a rivelare.
• Ablazione delle Metriche: Lo studio ha confrontato JSD, KL-divergenza e L1. I risultati confermano che la scelta della metrica di distanza influenza le curve di fedeltà, con JSD che offre generalmente prestazioni robuste nel catturare l'incertezza distribuzionale.

5. Significato e Implicazioni

TabSHAP colma il divario tra le capacità di generalizzazione degli LLM e i requisiti di interpretabilità necessari per i sistemi decisionali critici.

• Sicurezza e Fiducia: Permette di auditare i modelli LLM su dati tabulari, identificando potenziali bias e validando la logica di dominio.
• Nuova Prospettiva: Rivela che gli LLM tabulari non sono semplici "scatole nere" che imitano gli alberi decisionali, ma utilizzano una logica decisionale fondamentalmente diversa, basata su priors semantici.
• Futuro: Il lavoro apre la strada all'uso responsabile degli LLM in settori ad alto rischio, fornendo uno strumento di attribuzione fedele che va oltre le approssimazioni lineari.

In sintesi, TabSHAP rappresenta un passo avanti cruciale verso l'interpretabilità fedele degli LLM applicati ai dati strutturati, superando le limitazioni dei metodi tradizionali attraverso un approccio atomico e distribuzionale.