🤖 machine learning

TabSHAP

Das Paper stellt TabSHAP vor, ein modellagnostisches Framework zur interpretierbaren Erklärung von Entscheidungen in LLM-basierten Tabellendaten-Klassifikatoren, das durch die Attribution von Merkmalen auf der Ebene serialisierter Schlüssel-Wert-Paare unter Verwendung der Jensen-Shannon-Divergenz eine höhere Zuverlässigkeit als bestehende Methoden erreicht.

Ursprüngliche Autoren: Aryan Chaudhary, Prateek Agarwal, Tejasvi Alladi

Veröffentlicht 2026-04-24

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aryan Chaudhary, Prateek Agarwal, Tejasvi Alladi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast einen extrem klugen, aber etwas verschrobenen Super-Detektiv (das ist unser KI-Modell, ein sogenanntes "Large Language Model" oder LLM). Dieser Detektiv ist darauf trainiert, riesige Mengen an Daten zu lesen – wie zum Beispiel Patientenakten oder Gehaltsabrechnungen – und daraus Vorhersagen zu treffen: "Wird diese Person krank?" oder "Verdient diese Person mehr als 50.000 Dollar?".

Das Problem ist: Der Detektiv ist ein Blackbox. Er gibt dir das Ergebnis, aber er sagt dir nicht, warum er zu diesem Schluss gekommen ist. In Bereichen wie Medizin oder Finanzen reicht "Weil ich es sage" aber nicht aus. Wir brauchen Transparenz.

Hier kommt TabSHAP ins Spiel. Es ist wie ein super-scharfer Übersetzer und Ermittler, der herausfindet, welche einzelnen Informationen den Detektiv wirklich zu seiner Entscheidung gebracht haben.

Hier ist die einfache Erklärung, wie TabSHAP funktioniert, mit ein paar anschaulichen Vergleichen:

1. Das Problem: Der Detektiv liest Wörter, nicht Daten

Normalerweise lesen Computer Daten wie eine Liste: Alter: 50, Beruf: Lehrer. Aber wenn man diese Daten in eine Sprache für den KI-Detektiv verwandelt, werden sie zu einem langen Text-Satz.

Das Problem: Wenn man versucht, den Detektiv zu verstehen, indem man einzelne Buchstaben oder kleine Wortteile (Tokens) aus dem Text löscht, wird der Satz kaputt.
- Vergleich: Stell dir vor, du willst herausfinden, welcher Satzteil in einem Rezept wichtig ist. Wenn du das "5" aus "500g Mehl" herausnimmst, hast du "00g Mehl". Das ergibt keinen Sinn mehr, und der Koch (die KI) wird verrückt und erfindet Dinge dazu.

2. Die Lösung: TabSHAP als "Ganzes-Teppich-Entferner"

TabSHAP macht etwas Cleveres. Es löscht nicht einzelne Buchstaben, sondern ganze logische Einheiten.

Die Analogie: Stell dir vor, du hast einen Teppich mit verschiedenen Mustern (die Datenpunkte). Um zu sehen, welches Muster wichtig ist, nimmst du nicht ein paar Fäden heraus (was den Teppich ruiniert), sondern du legst einen ganzen Koffer über ein bestimmtes Muster (z. B. das Muster "Alter: 50").
Der Detektiv sieht dann nur noch den Rest des Teppichs. TabSHAP schaut sich an: "Wie sehr hat sich die Meinung des Detektivs geändert, als wir diesen einen Koffer weggenommen haben?"

3. Die Messung: Nicht nur "Ja/Nein", sondern das ganze Gefühl

Frühere Methoden haben nur geschaut: "Hat sich die Antwort von 'Ja' auf 'Nein' geändert?"
TabSHAP schaut tiefer. Es misst die Unsicherheit und das Vertrauen des Detektivs.

Die Analogie: Stell dir vor, der Detektiv ist ein Wettervorhersager.
- Alt: Hat sich die Vorhersage von "Sonnig" auf "Regen" geändert? (Ja/Nein).
- TabSHAP: Hat sich das Gefühl des Vorhersagers geändert? War er vorher zu 90% sicher, dass es sonnig wird, und ist er jetzt nur noch zu 40% sicher, weil wir die Wolken-Daten entfernt haben?
- TabSHAP nutzt dafür eine mathematische Formel (Jensen-Shannon-Divergenz), die im Grunde misst: "Wie sehr unterscheiden sich die beiden Wetterkarten?"

4. Der Test: Der "Wegwerf-Test"

Um zu beweisen, dass TabSHAP wirklich gut ist, machen die Autoren einen Test:

Sie nehmen den Detektiv.
Sie lassen ihn die Daten lesen.
Dann entfernen sie die wichtigsten Datenpunkte in der Reihenfolge, die TabSHAP vorgeschlagen hat.
Das Ergebnis: Wenn TabSHAP recht hat, sollte der Detektiv sofort verwirrt werden und seine Vorhersage unsicher machen, sobald die wichtigsten Daten weg sind.
- Vergleich: Wenn du einem Koch das Salz wegnimmst, schmeckt die Suppe sofort anders. Wenn du ihm das Salz wegnimmst, aber er sagt "Schmeckt immer noch toll", dann hat er das Salz gar nicht gebraucht. TabSHAP findet heraus, was das "Salz" in den Daten ist.

Warum ist das wichtig?

Bisher haben wir oft versucht, den super-komplexen KI-Detektiv durch einen einfachen, linearen Assistenten (wie ein XGBoost-Modell) zu erklären. Das ist, als würdest du versuchen, ein modernes Smartphone durch ein altes Taschenrechner-Modell zu erklären. Es funktioniert oberflächlich, aber du verpasst die eigentliche Magie.

TabSHAP zeigt uns:

Der KI-Detektiv denkt anders als ein einfacher Computer. Er nutzt oft "Bedeutungen" und Zusammenhänge in Texten, die ein einfacher Rechner übersieht.
Wir können ihm jetzt vertrauen, weil wir genau wissen, worauf er sich stützt.
Es funktioniert auch bei quantisierten (komprimierten) Modellen, die auf normalen Computern laufen.

Zusammenfassend:
TabSHAP ist wie ein Detektiv, der einen anderen Detektiv befragt. Es nimmt die Daten Stück für Stück weg (in ganzen, sinnvollen Häppchen), schaut, wie sehr der KI-Detektiv ins Wanken gerät, und erstellt daraus eine ehrliche Liste der wichtigsten Gründe für jede einzelne Entscheidung. Das macht KI in sensiblen Bereichen wie Medizin und Finanzen endlich erklärbar und vertrauenswürdig.

Titel: TabSHAP: Ein Framework für interpretierbare LLM-basierte Tabellendaten-Klassifizierung

1. Problemstellung

Große Sprachmodelle (LLMs), die auf serialisierten Tabellendaten feinabgestimmt (fine-tuned) wurden, erweisen sich als leistungsfähige Alternative zu traditionellen baumbasierten Modellen (wie XGBoost), insbesondere bei heterogenen oder kontextreichen Datensätzen. Dennoch steht ihre Anwendung in hochriskanten Domänen (z. B. Gesundheitswesen, Finanzen) vor einem kritischen Hindernis: mangelnde interpretierbare Zuverlässigkeit (Faithfulness).

Bestehende Interpretationsmethoden leiden unter folgenden Mängeln:

Globale lineare Proxies: Methoden wie das Anpassen einer logistischen Regression erfassen nicht die instanzspezifische, nicht-lineare Entscheidungslogik des LLM.
Token-Ebene statt Feature-Ebene: Standard-Perturbationsmethoden operieren auf Subwort-Token-Ebene. Bei tabellarischen Daten (z. B. "Alter: 50") zerfällt ein semantisch atomares Feature jedoch in mehrere Tokens. Das Löschen einzelner Tokens zerstört die Prompt-Syntax und führt zu Halluzinationen.
Vereinfachte Metriken: Viele Ansätze messen den Einfluss nur durch das Umschwenken der Vorhersageklasse (Prediction Flip) oder skalare Wahrscheinlichkeitsverschiebungen, was die volle probabilistische Unsicherheit des Modells ignoriert.

2. Methodik: TabSHAP

TabSHAP ist ein modellagnostisches Framework, das Shapley-Werte adaptiert, um lokale Entscheidungslogiken in LLM-basierten Tabellendaten-Klassifikatoren direkt zuzuordnen. Der Workflow umfasst folgende Kernkomponenten:

Atomares Maskieren auf Feature-Ebene:
Anstatt einzelne Tokens zu maskieren, behandelt TabSHAP jedes key:value-Paar (z. B. age:50) als eine atomare Einheit. Beim Entfernen eines Features aus einer Koalition wird der gesamte String weggelassen, anstatt Platzhalterwerte einzufügen. Dies erhält die syntaktische Integrität des Prompts.
Verbalizer-Style Klassen-Aggregation:
Da generative LLMs Wahrscheinlichkeiten über ein riesiges Vokabular verteilen, kann ein Klassenlabel (z. B. "Ja") durch verschiedene Tokens repräsentiert werden. TabSHAP aggregiert die Wahrscheinlichkeitsmasse der Top-K nächsten Token-Logits, die semantisch dem Zielklassenlabel entsprechen, um stabile Klassenzuordnungen zu gewährleisten.
Distributionsbasierte Attributierung (Jensen-Shannon Divergenz):
Statt nur die Vorhersageklasse zu betrachten, vergleicht TabSHAP die gesamte Klassenverteilung des Modells vor und nach dem Entfernen eines Features.
- Metrik: Die Ähnlichkeit wird mittels Jensen-Shannon Divergenz (JSD) zwischen der vollen Eingabe-Verteilung ( $P_{full}$ ) und der maskierten Verteilung ( $P_S$ ) gemessen.
- Wertefunktion: $v(S) = 1 - \min(\frac{JSD(P_{full} || P_S)}{\ln 2}, 1)$ . Ein Wert nahe 1 bedeutet hohe Ähnlichkeit (geringer Einfluss des Features), ein Wert nahe 0 bedeutet große Divergenz (starker Einfluss).
- Schätzung: Da die exakte Berechnung aller $2^M$ Kombinationen unmöglich ist, wird ein Monte-Carlo-Sampling von Koalitionen verwendet (inspiriert von TokenSHAP), um die Shapley-Werte zu approximieren.

3. Wichtige Beiträge

Distributionsbasierte Attributierung: Einführung der JSD als Metrik, um Verschiebungen im gesamten Vertrauensniveau des Modells über alle Klassen hinweg zu erfassen, nicht nur bei Klassenumschaltungen.
Semantisch korrekte Maskierung: Durch das Maskieren ganzer key:value-Felder wird die semantische Integrität der tabellarischen Daten gewahrt, was Token-basierte Methoden übertrifft.
Robuste Klassenaggregation: Die Top-K-Logit-Aggregation macht das Framework robust gegenüber Tokenisierungsartefakten, insbesondere bei distillierten oder quantisierten Modellen.

4. Ergebnisse und Evaluation

Die Autoren validierten TabSHAP auf zwei Benchmarks: Adult Income (Einkommen >50k) und Herzerkrankungen (Herzkrankheitsvorhersage).

Vertrauenswürdigkeit (Faithfulness):
Durch "Deletion Curves" (sequenzielles Entfernen von Features basierend auf der Wichtigkeit) wurde gezeigt, dass TabSHAP signifikant höhere Faithfulness-Werte erreicht als zufällige Baselines und XGBoost-Proxies. Das Entfernen der von TabSHAP als wichtig eingestuften Features führte zu einem drastischen Abfall der Modellkonfidenz.
Vergleich LLM vs. XGBoost:
- Es wurde eine moderate Spearman-Rangkorrelation ( $\rho \approx 0.65$ ) zwischen den Feature-Rankings von TabSHAP (LLM) und TreeSHAP (XGBoost) festgestellt.
- Qualitativer Unterschied: Während XGBoost präzise numerische Splits priorisiert, neigt der LLM dazu, semantisch reiche, textbasierte Features (z. B. Beruf, Bildung) stärker zu gewichten. Dies zeigt, dass LLMs Aufgaben durch semantische Priors lösen, was durch lineare Proxies verschleiert wird.
Ablationsstudie (Distanzmetriken):
Ein Vergleich von JSD, KL-Divergenz und L1-Distanz zeigte, dass JSD die stabilsten und aussagekräftigsten Ergebnisse liefert, obwohl alle drei Metriken im Framework implementiert wurden.

5. Bedeutung und Fazit

TabSHAP schließt die Lücke zwischen der beeindruckenden Generalisierungsfähigkeit von LLMs auf strukturierten Daten und den strengen Anforderungen an Interpretierbarkeit in kritischen Systemen.

Verantwortungsvoller Einsatz: Es ermöglicht Stakeholdern, Verzerrungen zu identifizieren und die Entscheidungslogik in hochriskanten Domänen zu validieren.
Technischer Fortschritt: Es etabliert einen neuen Standard für die Interpretation von LLMs, der über Token-Ebene hinausgeht und die probabilistische Unsicherheit des Modells vollständig berücksichtigt.

Einschränkungen: Die Methode ist rechenintensiv aufgrund der vielen Forward-Passes, approximiert Shapley-Werte statt sie exakt zu berechnen, und wurde bisher nur an zwei Datensätzen mit geringer Feature-Anzahl getestet. Zukünftige Arbeiten sollen skalierbare Ansätze für hochdimensionale Daten und Interaktionseffekte untersuchen.