TabSHAP

Titel: TabSHAP: Betrouwbare Interpretatie voor LLM-gebaseerde Tabulaire Classificatie

1. Het Probleem

Grote Taalmodellen (LLMs), die zijn fijngefineerd op geserialiseerde tabulaire data, worden steeds meer gezien als krachtige alternatieven voor traditionele boomgebaseerde modellen (zoals XGBoost en Random Forests), vooral bij heterogene of contextrijke datasets. Echter, de toepassing van deze modellen in hoog-risicodomeinen (zoals gezondheidszorg en financiën) wordt gehinderd door een gebrek aan betrouwbare interpretatie (faithful interpretability).

Bestaande methoden voor interpretatie hebben de volgende tekortkomingen:

• Onvoldoende proxy's: Ze vertrouwen vaak op globale lineaire proxy's (bijv. logistische regressie) die de complexe, niet-lineaire besluitvorming van een LLM niet vastleggen.
• Token-niveau manipulatie: Traditionele attributiemethoden werken op het niveau van subwoord-tokens. Bij tabulaire data is een kenmerk (bijv. "Leeftijd: 50") echter een semantische eenheid die over meerdere tokens verspreid is. Het verwijderen van individuele tokens kan de prompt-syntaxis beschadigen en leiden tot hallucinaties die niets met de echte kenmerkbelangrijkheid te maken hebben.
• Vereenvoudigde impactmeting: Veel methoden meten impact alleen op basis van schaalveranderingen in waarschijnlijkheid of het omkeren van een voorspelling, wat de volledige probabilistische onzekerheid van het model negeert.

2. Methodologie: TabSHAP

TabSHAP is een model-onafhankelijk interpretatiekader dat is ontworpen om lokale besluitvormingslogica in LLM-gebaseerde tabulaire classifiers toe te schrijven. De aanpak bestaat uit drie kerncomponenten:

• A. Atomaire Maskering op Kenmerkniveau:
  In plaats van individuele tokens te maskeren, behandelt TabSHAP elk sleutel:waarde-paar (bijv. age:50) als één atomaire eenheid binnen de geserialiseerde prompt. Tijdens de evaluatie wordt het volledige kenmerk uit de input verwijderd zonder vervanging door gemiddelden of placeholders. Dit behoudt de syntaxis van de prompt en zorgt voor betekenisvolle perturbaties.

• B. Verbalizer-stijl Class Aggregatie:
  Generatieve LLMs verdelen waarschijnlijkheid over een groot vocabulaire. Eén klasse (bijv. "Ja") kan worden vertegenwoordigd door verschillende tokens ("Yes", " yes", "ye" + "s"). TabSHAP gebruikt een Verbalizer Mapping om de logit-waarden van de top-K meest waarschijnlijke tokens die overeenkomen met een klasse te aggregeren. Dit levert een stabiele class-probabiliteit op, zelfs voor gedistilleerde of gekwantiseerde modellen.

• C. Distributieve Attributie via Jensen-Shannon Divergentie (JSD):
  In plaats van te kijken of de voorspelling verandert, meet TabSHAP de verandering in het volledige kansverdelingsprofiel van het model.

  • De waarde-functie $v(S)$ voor een coalitie van kenmerken $S$ wordt berekend als de Jensen-Shannon Divergentie (JSD) tussen de volledige input-verdeling en de verdeling met de geselecteerde kenmerken verwijderd.
  • Deze divergentie wordt genormaliseerd tot een gelijkenis-score tussen 0 en 1.
  • De uiteindelijke attributies worden geschat via Monte Carlo-sampling van coalities (gebaseerd op het TokenSHAP-framework), waarbij het verschil wordt berekend tussen coalities die een kenmerk bevatten en die het niet bevatten.

3. Belangrijkste Bijdragen

1. Distributieve Attributie: Het introduceren van JSD als maatstaf voor kenmerkbelangrijkheid, wat inzicht geeft in verschuivingen in het vertrouwen van het model over alle klassen, niet alleen in de uiteindelijke label-voorspelling.
2. Semantisch Integere Maskering: Het implementeren van maskering op het niveau van volledige key:value-velden in plaats van tokens, wat essentieel is voor de geldigheid van tabulaire prompts.
3. Robuuste Aggregatie: Een methode om probability mass te aggregeren over meerdere tokens per klasse, wat stabiliteit biedt bij het interpreteren van generatieve modellen.

4. Resultaten en Evaluatie

De auteurs hebben TabSHAP getest op twee benchmarks: Adult Income (inkomensvoorspelling) en Heart Disease (ziektevoorspelling).

• Betrouwbaarheid (Faithfulness): Via "deletion curves" (het sequentieel verwijderen van kenmerken op basis van hun attributiescore) bleek dat TabSHAP aanzienlijk betrouwbaarder is dan willekeurige baselines en XGBoost-proxy's. Het verwijderen van kenmerken die door TabSHAP als belangrijk worden aangemerkt, leidt tot een snelle daling van het modelvertrouwen.
• Vergelijking met XGBoost: Er is een gematigde rangcorrelatie ($\rho \approx 0.65$) gevonden tussen TabSHAP en TreeSHAP (XGBoost). Dit suggereert dat hoewel beide modellen vergelijkbare causale signalen vangen, ze fundamenteel verschillende besluitvormingslogica gebruiken. LLMs blijken een grotere afhankelijkheid te hebben van semantische, tekstrijke kenmerken (zoals beroep en opleiding), terwijl XGBoost meer gericht is op precieze numerieke splitsingen.
• Ablatie-studie: De auteurs vergeleken JSD met KL-divergentie en L1-afstand als metriek. De resultaten toonden aan dat JSD de meest betrouwbare rangschikking oplevert voor het vastleggen van diagnostische kenmerken in deze context.

5. Betekenis en Conclusie

TabSHAP overbrugt de kloof tussen de sterke generalisatievermogens van taalmodellen en de strikte interpretatievereisten van kritieke besluitvormingssystemen. Door betrouwbare, kenmerk-specifieke attributies te bieden, maakt het de verantwoorde inzet van LLMs in hoog-risicodomeinen mogelijk. Het paper benadrukt dat het interpreteren van een LLM niet hetzelfde is als het interpreteren van een lineaire proxy; de semantische priors van taalmodellen vereisen specifieke methoden om hun interne logica correct te onthullen.

Beperkingen: De methode is computatievriendelijk (vereist veel forward passes), werkt momenteel op modellen met een beperkt aantal kenmerken (kleine $M$), en focust op marginale attributies zonder expliciete modellering van kenmerkinteracties.