💻 computer science

How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors

Durch eine umfassende Monte-Carlo-Untersuchung zeigt diese Arbeit auf, dass die Stichprobengröße beim Training zwar der primäre Treiber für die Treue der SHAP-Attribution ist, gängige Behandlungen zur Klassengleichgewichtung jedoch häufig die Merkmalsrankings und -magnituden verzerren, was die Autoren dazu veranlasst, zugunsten von Klassengewichtung statt Rebalancing zu raten, wenn die SHAP-Interpretierbarkeit eine Priorität darstellt.

Ursprüngliche Autoren: Rıdvan Kara

Veröffentlicht 2026-06-25

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rıdvan Kara

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Verbrechen aufzuklären. Sie haben einen Computer-Assistenten (das Machine-Learning-Modell), der nach Hinweisen (Daten) sucht, um den Täter zu finden. Um dem Computer zu vertrauen, bitten Sie ihn, zu erklären, warum er einen bestimmten Verdächtigen ausgewählt hat. Er liefert Ihnen eine Liste von Gründen und sagt: „Hinweis A war zu 40 % verantwortlich, Hinweis B zu 10 %“ und so weiter. Dieses Erklärungswerkzeug wird SHAP genannt.

Stellen Sie sich nun vor, das Verbrechen ist sehr selten. Vielleicht ist nur 1 von 100 Fällen ein Verbrechen, während 99 Personen unschuldig sind. Dies wird als Klassenungleichgewicht (Class Imbalance) bezeichnet. Weil die Beispiele für das „Verbrechen“ so spärlich sind, wird der Computer verwirrt. Um dies zu beheben, versuchen Datenwissenschaftler oft, die Trainingsdaten vor dem „Lehren“ des Computers zu „balancieren“. Sie könnten:

Die seltenen Verbrechen-Beispiele kopieren und einfügen (Random Oversampling).
Die meisten der unschuldigen Beispiele wegwerfen (Random Undersampling).
Falsche Verbrechen-Beispiele erfinden, die wie die echten aussehen (SMOTE/ADASYN).
Dem Computer sagen, dass er den seltenen Verbrechen besonders viel Aufmerksamkeit schenken soll, ohne die Daten zu ändern (Class Weighting).

Die große Frage, die dieses Paper stellt, laet: Wenn wir die Datenbalance korrigieren, machen wir damit versehentlich die Erklärung des Computers kaputt? Bleibt die Liste der „wichtigsten Hinweise“ gleich? Bleiben die Zahlen (wie „40 % verantwortlich“) genau?

Der Autor, Rıdvan Kara, führte eine massive Simulation durch (wie das Durchführen desselben Experiments 14.000 Mal mit verschiedenen Einstellungen), um herauszufinden, was passiert. Hier ist, was er entdeckte, unter Verwendung einfacher Analogien:

1. Die Größe der Klasse ist wichtiger als die Korrektur

Die wichtigste Erkenntnis ist, dass wie viele Beispiele Sie haben viel wichtiger ist als welchen Balancing-Trick Sie verwenden.

Die Analogie: Stellen Sie sich vor, Sie versuchen, den Geschmack einer Suppe zu erraten. Wenn Sie nur einen winzigen Löffel voll haben (kleine Stichprobengröße), spielt es keine Rolle, ob Sie dem Löffel Salz, Zucker oder Pfeffer hinzufügen; Ihre Vermutung wird unsicher sein. Aber wenn Sie einen riesigen Topf Suppe haben (große Stichprobengröße), wird Ihre Vermutung genau sein, egal was Sie zu den Zutaten getan haben.
Das Ergebnis: Die Menge an Daten, die Sie dem Computer zuführen, zu erhöhen, ist der beste Weg, um eine zuverlässige Erklärung zu erhalten. Die Wahl der Balancing-Methode ist etwa 3- bis 5-mal weniger wichtig als einfach mehr Daten zu haben.

2. Die Falle zwischen „Ranking“ und „Magnitude“

Das Paper unterscheidet entscheidend zwischen zwei Arten von Erklärungen:

Ranking (Rangfolge): „Wer ist der Hauptverdächtige?“ (Ist Hinweis A wichtiger als Hinweis B?)
Magnitude (Größenordnung): „Wie viel hat Hinweis A beigetragen?“ (Hat er 10 % oder 50 % beigetragen?)

Die Studie ergab, dass einige Balancing-Tricks gut darin sind, die Reihenfolge richtig zu bekommen, aber schrecklich darin, die Zahlen richtig zu bekommen.

Die Analogie: Stellen Sie sich ein Rennen vor.
- Random Oversampling (Kopieren seltener Beispiele) ist wie ein Trainer, der sicherstellt, dass der Läufer, der gewinnen sollte, an erster Stelle steht (das Ranking ist gut). Der Trainer sagt dann aber allen, dass der Gewinner doppelt so schnell gelaufen ist, wie er es tatsächlich tat (die Magnitude ist aufgebläht/falsch).
- Random Undersampling (Wegwerfen von Daten) ist wie ein Trainer, der die Hälfte des Teams entlässt. Jetzt können sie nicht einmal mehr sagen, wer der beste Läufer ist, und die Geschwindigkeitszahlen sind völlig kaputt. Sie scheitern sowohl am Ranking als auch an der Magnitude.

3. Die besten „Do-Nothing“- und „Soft“-Lösungen

Bei der Suche nach der ehrlichsten Erklärung fand das Paper zwei Gewinner, die nicht versucht haben, die Daten künstlich auszugleichen:

Kein Rebalancing: Verwenden Sie einfach die ungeordneten, unausgeglichenen Daten, wie sie sind.
Class Weighting: Sagen Sie dem Computer: „Hey, die seltenen Verbrechen sind wichtig, also achte besonders auf sie“, aber löschen oder kopieren Sie keine Daten.

Diese beiden Methoden lagen an der „Pare Pareto-Frontier“, was bedeutet, dass sie am besten darin waren, sowohl die Reihenfolge richtig zu bekommen als auch die Zahlen genau zu halten. Sie sind die „minimal invasiven“ Behandlungen.

4. Das Problem mit synthetischen „Fake“-Daten

Methoden, die künstliche Daten erfinden (SMOTE und ADASYN), waren zwar ganz gut darin, die Reihenfolge der Verdächtigen richtig zu bestimmen, aber sie verdrehten die Zahlen.

Die Analogie: Es ist wie ein Künstler, der ein falsches Gesicht zeichnet, um eine Lücke in einem Foto zu füllen. Das Gesicht sieht wie ein Mensch aus (das Ranking ist okay), aber wenn man versuchen würde, den Abstand zwischen den Augen zu messen, wäre die Messung falsch, weil das Gesicht nicht echt ist.

5. Die Gefahrenzone der „extremen Seltenheit“

Das Paper fand heraus, dass diese Probleme viel schlimmer werden, wenn das Verbrechen extrem selten ist (weniger als 5 % der Fälle) und Sie nur sehr wenige Daten haben.

Die Analogie: Wenn Sie versuchen, eine Nadel im Heuhaufen zu finden, und Sie nur ein winziges Stück Heu zum Anschauen haben, wird jeder Trick, den Sie verwenden, um das Heu zu „balancieren“, wahrscheinlich dazu führen, dass Sie die Nadel übersehen oder deren Größe falsch einschätzen. Aber wenn Sie eine ganze Scheune voller Heu haben, können Sie die Nadel leicht finden, und die Tricks spielen dann eine geringere Rolle.

Zusammenfassung der Empfehlungen

Wenn Sie KI zur Erklärung von Entscheidungen verwenden (wie bei medizinischen Diagnosen oder Kreditbewertungen) und unbalancierte Daten haben:

Besorgen Sie sich zuerst mehr Daten. Das ist das mächtigste Werkzeug.
Kopieren oder werfen Sie keine Daten weg, wenn Sie genaue Zahlen benötigen. Diese Methoden verzerren den Teil der Erklärung, der das „Wie viel“ betrifft.
Wenn Sie balancieren müssen, nutzen Sie Class Weighting (dem Modell sagen, dass es mehr darauf achten soll) oder lassen Sie die Daten einfach so, wie sie sind. Diese Methoden halten die Erklärung ehrlich.
Überprüfen Sie sowohl die Reihenfolge als auch die Zahlen. Schauen Sie nicht nur darauf, welches Merkmal die Nummer 1 ist; prüfen Sie, ob der prozentuale Beitrag Sinn ergibt, denn manche Methoden verstecken ihre Fehler in den Zahlen.

Das Paper kommt zu dem Schluss, dass das Balancieren von Daten zwar hilft, die Vorhersage des Computers zu verbessern, aber oft dessen Fähigkeit zerstört, sich selbst korrekt zu erklären. Wenn Sie eine vertrauenswürdige Erklärung benötigen, ist der sanfteste Ansatz (Class Weighting) oder gar kein Ansatz überhaupt meist die beste Wahl.

Technisches Resümee: Wie Behandlungen von Klassengleichgewicht die SHAP-Attributions-Fideltät verzerren

Problemstellung
SHAP (SHapley Additive exPlanations) ist der Standard für die Interpretation baumgestützter Klassifikatoren in hochsensiblen, klassenimbalancierten Domänen wie der medizinischen Diagnose, Betrugserkennung und Kreditwürdigkeitsprüfung. Praktiker wenden routinemäßig Behandlungen zur Bewältigung von Klassengleichgewichten an – zufälliges Oversampling/Undersampling, synthetische Methoden (SMOTE, ADASYN) sowie Klassengewichtung –, um die Vorhersageleistung zu verbessern. Es bleibt jedoch ungeprüft, ob die implizite Annahme, dass diese vorgelagerten Datenmanipulationen die nachgelagerten SHAP-Attributionen nicht verzerren, Bestand hat. Während die Auswirkungen dieser Behandlungen auf Prädiktionsmetriken (AUC, F-1) gut dokumentiert sind, ist ihr Einfluss auf die Fideltät (Treue) der Feature-Attributionen nicht untersucht. Insbesondere ist unklar, ob diese Behandlungen die relative Rangfolge der Feature-Wichtigkeit oder die numerische Größenordnung der Attributionen bewahren – beides entscheidend für unterschiedliche Interpretierbarkeitsaufgaben (z. B. Identifizierung der wichtigsten Beitragszahler vs. Risiko-Dekomposition).

Methodik
Die Studie verwendet ein kontrolliertes Monte-Carlo-Simulationsframework, um die Effekte von Imbalance-Behandlungen auf die SHAP-Fideltät zu isolieren, und adressiert dabei drei methodische Lücken in der bisherigen Literatur:

Oracle-Referenz: Anstatt einer klassengleichen Referenz (die die Magnitudenskalen verzerrt) berechnet die Studie eine Oracle-Referenz unter Verwendung nahezu unendlicher Trainingsdaten unter der nativen Klassenimbalance jeder Simulationszelle.
Kalibrierung der Aufgabenkomplexität: Der datengenerierende Prozess (DGP) wird so kalibriert, dass die Bayes-optimale AUC in allen Zellen konstant bleibt (Zielwert 0,82 ± 0,01). Dies stellt sicher, dass beobachtete Unterschiede in der SHAP-Fideltät auf die Behandlungen selbst zurückzuführen sind und nicht auf Variationen in der zugrunde liegenden Aufgabenkomplexität.
Duale Fideltitätsmetriken: Die Studie unterscheidet explizit zwischen Rang-Fideltät (Bewahrung der Reihenfolge der Feature-Wichtigkeit) und Magnituden-Fideltät (Bewahrung der Attributionswerte).

Experimentelles Design

Datengenerierung: Synthetische Datensätze mit $p=20$ Features aus einer multivariaten Normalverteilung. Zwei Korrelationsstrukturen wurden getestet: unabhängige Features und block-korrelierte Features (Intra-Block $\rho=0,6$ ).
Faktoren:
- Prävalenz ( $\pi$ ): 0,02, 0,05, 0,10, 0,20.
- Stichprobengröße ( $n$ ): 500, 2.000, 10.000.
- Korrelation: Unabhängig, Block.
- Behandlungen ( $k=6$ ): Keine (Baseline), Random Oversampling, Random Undersampling, SMOTE, ADASYN und Klassengewichtung.
Modell: LightGBM mit kapazitätsadaptiven Hyperparametern (speziell min_data_in_leaf, skaliert mit der post-balancing Stichprobengröße, um Modelldegeneration bei extremem Undersampling zu verhindern).
Skala: 24 Designzellen $\times$ 100 Replikationen = 2.400 beabsichtigte Durchläufe pro Behandlung. Gesamtzahl der erfolgreichen Fits: 14.371 (28 Ausfälle traten in extrem seltenen/kleinen Stichprobenzellen für synthetische Methoden aufgrund von Nearest-Neighbor-Beschränkungen auf).
Evaluierung: SHAP-Werte wurden auf einem Datensatz mit nativer Prävalenz (5.000 Beobachtungen) berechnet, um die Einsatzbedingungen widerzuspiegeln. Die Fideltät wurde anhand von 11 Metriken gemessen: 6 rangbasierte (Kendall $\tau$ , Spearman $\rho$ , RBO, Jaccard@k, Recall@k) und 5 magnitudenbasierte (L1, L2, Kosinus-Ähnlichkeit).

Kernergebnisse
Die Untersuchung liefert vier primäre Erkenntnisse:

Stichprobengröße dominiert die Wahl der Behandlung: Die Trainingsstichprobengröße ist der dominierende Treiber der SHAP-Rang-Fideltät und überwiegt die Wahl der Imbalance-Behandlung um etwa den Faktor 3 bis 5. Eine Erhöhung von $n$ von 500 auf 10.000 verbessert die Rang-Fideltät (Kendall $\tau$ ) um ca. 0,22, während die Spanne zwischen der besten und schlechtesten Behandlung bei einem festen $n$ nur ca. 0,03 bis 0,07 beträgt.
Extreme Seltenheit und kleine Stichproben verstärken Diskrepanzen: Die Divergenz zwischen den Behandlungen ist unter extremer Seltenheit ( $\pi \le 0,05$ ) und kleinen Stichproben ( $n \le 2.000$ ) am ausgeprägtesten. Unter diesen Bedingungen kann die Behandlungs-Differenz die Stichproben-Effekt-Größe erreichen. Random Undersampling schneidet hier besonders schlecht ab und produziert oft keine aussagekräftigen Modelle.
Divergenz von Rang- und Magnituden-Fideltät: Die zwei Achsen der Fideltät liefern qualitativ unterschiedliche Rankings der Behandlungen.
- Rang: Random Oversampling schneidet am besten ab (höchstes Kendall $\tau$ ), dicht gefolgt von SMOTE und „Keine“. Random Undersampling ist konsistent am schlechtesten.
- Magnitude: „Keine“ und Klassengewichtung dominieren gemeinsam und bewahren die Magnitude der Attributionen am besten. Random Oversampling ist zwar gut für das Ranking, bläht aber die Attributionsmagnituden signifikant auf. Synthetische Methoden (SMOTE, ADASYN) schneiden bei der Magnitude schlechter ab. Random Undersampling ist auf beiden Achsen am schlechtesten.
Pareto-Front: „Keine Rebalancing“ und „Klassengewichtung“ besetzen gemeinsam die Pareto-Front und bieten den besten Kompromiss zwischen der Bewahrung von Rang und Magnitude. Random Oversampling ist nur überlegen, wenn ausschließlich das Ranking das Ziel ist, verzerrt jedoch die Magnituden. Random Undersampling wird auf beiden Achsen dominiert.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die Annahme, Imbalance-Behandlungen seien neutral gegenüber SHAP-Attributionen, falsch ist. Die Studie stellt fest:

Interpretierbarkeit erfordert duale Berichterstattung: Die ausschließliche Verwendung von rangbasierten Metriken verschleiert die durch Oversampling verursachte Magnituden-Inflation. Umgekehrt verschleiert die ausschließliche Verwendung von Magnituden-Metriken die Ranking-Vorteile von Oversampling. Beide Metrikfamilien müssen berichtet werden, um die Fideltät vollständig zu bewerten.
Standardempfehlungen: Wenn SHAP-Attributionen ein Lieferobjekt sind, sollten Praktiker minimal invasive Behandlungen bevorzugen. „Kein Rebalancing“ und „Klassengewichtung“ werden als Defaults empfohlen, da sie sowohl die Ordnung als auch die Magnitude der Feature-Beiträge bewahren.
Evaluierungsverteilung ist entscheidend: Die Studie zeigt, dass die Verwendung eines klassengleichen Evaluierungsdatensatzes für die SHAP-Analyse zu Magnituden-Verzerrungen führt. Ein Evaluierungsdatensatz mit nativer Prävalenz ist notwendig, um die SHAP-Magnituden mit realen Einsatzszenarien in Einklang zu bringen.

Die Autoren kommen zu dem Schluss, dass, während die Literatur zur Vorhersageleistung bestimmte Resampling-Techniken rechtfertigen mag, diese Entscheidungen einen spezifischen Preis für die Interpretierbarkeits-Fideltät haben. Für Anwendungen, in denen SHAP zur Risiko-Dekomposition, zum Feature Engineering oder zur quantitativen Argumentation eingesetzt wird, stellt die durch gängige Resampling-Techniken (insbesondere Random Oversampling und Undersampling) verursachte Verzerrung der Magnitude ein erhebliches Risiko dar, das durch die Anwendung von Klassengewichtung oder den Verzicht auf Rebalancing gemindert werden kann.