💻 computer science

The Attribution Impossibility: No Feature Ranking Is Faithful, Stable, and Complete Under Collinearity

Dieser Artikel beweist, dass keine Merkmals-Ranking-Methode unter Merkmals-Kollinearität gleichzeitig Treue, Stabilität und Vollständigkeit erreichen kann, wobei der daraus resultierende Gestaltungsraum als strenge Dichotomie zwischen instabilen treuen Methoden und stabilen Ensemble-Ansätzen wie DASH charakterisiert wird, wobei alle Ergebnisse mechanisch in Lean 4 verifiziert wurden.

Ursprüngliche Autoren: Drake Caraker, Bryan Arnold, David Rhoads

Veröffentlicht 2026-05-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Drake Caraker, Bryan Arnold, David Rhoads

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Der „Münzwurf" bei KI-Erklärungen

Stellen Sie sich vor, Sie haben ein maschinelles Lernmodell (eine KI), das vorhersagt, ob ein Kreditnehmer sein Geld zurückzahlen wird. Sie möchten wissen, warum die KI eine Entscheidung getroffen hat. Sie fragen sie: „Welches Merkmal war am wichtigsten? War es ihr Einkommen oder ihre Schulden-zu-Einkommens-Quote?"

In der realen Welt sind diese beiden Zahlen oft stark korreliert (wenn Sie ein hohes Einkommen haben, haben Sie möglicherweise auch ein hohes Kreditlimit). Das Papier argumentiert, dass es, wenn Merkmale korreliert sind, so ist, als würde man einen Schiedsrichter bitten, einen Münzwurf auszurufen, wenn man die KI auffordert, einen „Gewinner" zu bestimmen.

Die große Entdeckung:
Die Autoren beweisen mathematisch, dass kein einzelnes KI-Modell Ihnen eine Erklärung liefern kann, die gleichzeitig:

Treue (Faithful): Sie spiegelt genau wider, was dieses spezifische Modell gelernt hat.
Stabil: Sie jedes Mal die gleiche Antwort liefert, wenn Sie das Modell neu trainieren.
Vollständig: Sie eine Rangfolge erzwingt (indem sie sagt: „Einkommen ist Platz 1, Schulden sind Platz 2"), selbst wenn die Daten keinen klaren Gewinner unterstützen.

Der Haken: Sie können nur zwei auswählen.

Wenn Sie wollen, dass die Erklärung treu und vollständig ist (ein Gewinner wird ausgewählt), wird sie nicht stabil sein. Wenn Sie das Modell mit einem leicht unterschiedlichen Zufallssamen neu trainieren, entscheidet die KI plötzlich: „Schulden sind Platz 1" und „Einkommen ist Platz 2". Es ist ein Münzwurf.
Wenn Sie wollen, dass die Erklärung stabil ist (immer gleich), müssen Sie zugeben, dass Sie den Gewinner nicht kennen. Sie müssen sagen: „Einkommen und Schulden liegen gleichauf." Dies opfert die Vollständigkeit (Sie können keine Rangfolge erzwingen).

Der „Rashomon"-Effekt: Viele Wahrheiten, eine Geschichte

Das Papier verwendet ein Konzept namens Rashomon-Eigenschaft (benannt nach einem berühmten Film, in dem vier Personen verschiedene Versionen desselben Verbrechens erzählen).

Bei der KI gibt es, wenn Merkmale korreliert sind, nicht nur ein „bestes" Modell. Es gibt Tausende von nahezu perfekten Modellen, die alle die Zukunft gleich gut vorhersagen. Diese Modelle sind sich jedoch uneinig darüber, wie sie dorthin gelangt sind.

Modell A sagt: „Ich habe das Einkommen verwendet, um die Entscheidung zu treffen."
Modell B sagt: „Nein, ich habe die Schulden verwendet."

Beide Modelle sind gleich gut darin, das Kreditergebnis vorherzusagen. Aber da sie sich nicht einig sind, ist jede einzelne Erklärung, die Sie erhalten, nur ein Schnappschuss der „Meinung" eines bestimmten Modells. Wenn Sie das Modell neu trainieren, erhalten Sie möglicherweise die Meinung von Modell B statt der von Modell A.

Die Lösung: Das „Dash"-Ensemble

Da man sich nicht auf die Rangfolge eines einzelnen Modells verlassen kann, schlagen die Autoren eine Lösung namens Dash (Diversified Aggregation of SHAP) vor.

Die Analogie: Die Jury
Stellen Sie sich vor, Sie versuchen zu entscheiden, wer der beste Spieler in einer Sportmannschaft ist, aber die Statistiken sind verwirrend.

Der Ansatz mit einem einzelnen Modell: Sie fragen einen Trainer. Er sagt: „Spieler A ist der Beste." Sie fragen ihn morgen erneut (Neu-Training), und er sagt: „Spieler B ist der Beste." Sie sind verwirrt.
Der Dash-Ansatz: Sie fragen 25 verschiedene Trainer (ein Ensemble von Modellen) und bilden den Durchschnitt ihrer Meinungen.
- Wenn die Trainer 50/50 zwischen Spieler A und Spieler B aufgeteilt sind, ist das Durchschnittsergebnis ein Unentschieden.
- Die Dash-Methode sagt: „Wir können zwischen Spieler A und Spieler B nicht unterscheiden. Sie sind gleich wichtig."

Warum dies besser ist:

Ehrlichkeit: Es räumt ein, wenn die Daten mehrdeutig sind. Anstatt zu lügen und einen Gewinner zu wählen, der sich jeden Tag ändert, meldet es ein Unentschieden.
Stabilität: Wenn Sie die 25 Trainer erneut fragen, werden sie immer noch „Unentschieden" sagen. Die Antwort ist stabil.
Pareto-Optimalität: Das Papier beweist mathematisch, dass diese Methode der bestmögliche Weg ist, diesen Zielkonflikt zu handhaben. Sie können keine stabile, ehrliche Antwort erhalten, ohne Unentschieden für mehrdeutige Merkmale zu akzeptieren.

Was ist mit anderen Methoden?

Das Papier testete viele beliebte Tools (wie SHAP, Lasso, Neuronale Netze) und stellte fest, dass sie alle an diesem Problem leiden, wenn Merkmale korreliert sind.

Gradient Boosting (wie XGBoost): Der „Gewinner" wechselt bei etwa 50 % der Neu-Trainingsläufe.
Lasso: Es wählt ein Merkmal aus und ignoriert das andere vollständig, aber welches es wählt, ist zufällig.
Neuronale Netze: Sie sind noch instabiler als baumbasierte Modelle.

Das Papier stellt auch fest, dass Conditional SHAP (eine komplexere Version des Erklärungstools) dieses Problem nicht löst, wenn die Merkmale denselben kausalen Effekt haben. Es ist immer noch ein Münzwurf.

Die „Design Space"-Karte

Die Autoren kartierten alle möglichen Wege, KI-Modelle zu erklären. Sie stellten fest, dass es nur zwei gültige Pfade gibt:

Pfad A (Das einzelne Modell): Sie erhalten eine klare Rangfolge (vollständig), die dem Modell entspricht (treu), aber sie ändert sich jedes Mal, wenn Sie neu trainieren (instabil).
Pfad B (Das Dash-Ensemble): Sie erhalten eine stabile Antwort, die sich nicht ändert (stabil), aber Sie müssen Unentschieden für korrelierte Merkmale akzeptieren (unvollständig).

Es gibt keinen Pfad C. Sie können keine Rangfolge haben, die immer stabil, immer treu und immer vollständig ist, wenn Merkmale korreliert sind.

Auswirkung in der realen Welt (wie im Papier dargelegt)

Das Papier hebt hervor, dass dies nicht nur ein mathematisches Problem ist, sondern eine praktische Realität.

Verbreitung: In einer Umfrage mit 77 öffentlichen Datensätzen zeigten 68 % diese Instabilität. Sie tritt im Gesundheitswesen, in der Finanzwelt und bei allgemeinen Daten auf.
Regulatorisches Risiko: Wenn eine Bank eine KI verwendet, um einen Kredit abzulehnen, und der Grund sich von „Einkommen" zu „Schulden" ändert, nur weil sie das Modell mit einem anderen Zufallssamen neu trainiert hat, ist dies ein Compliance-Risiko. Das Papier schlägt vor, dass Unternehmen gemäß Vorschriften wie dem EU-KI-Gesetz offenlegen müssen, dass ihre Merkmalsrangfolgen instabil sind.
Die Lösung: Das Papier empfiehlt die Verwendung der Dash-Methode (Durchschnittsbildung von 25 Modellen), um eine stabile, ehrliche Erklärung zu erhalten, die dort, wo es angebracht ist, Unentschieden meldet.

Zusammenfassung in einem Satz

Wenn KI-Merkmale korreliert sind, ist es, als würde man ein einzelnes Modell bitten, sie zu rangieren, wie man einen Münzwurf bitten würde, einen Gewinner zu entscheiden; die einzige ehrliche und stabile Antwort besteht darin, zuzugeben, dass die Münze fair ist und ein Unentschieden zu melden.

Technische Zusammenfassung: Die Unmöglichkeit der Attribution

1. Problemstellung

Der Beitrag adressiert eine fundamentale Einschränkung im Bereich der Erklärbaren Künstlichen Intelligenz (XAI): die Zuverlässigkeit von Rangfolgen der Feature-Wichtigkeit, wenn Eingabe-Features kollinear sind. Während Methoden wie SHAP (SHapley Additive exPlanations) weit verbreitet sind, um Modellvorhersagen zu erklären, zeigen die Autoren, dass für kollineare Features die Rangfolge der Wichtigkeit keine stabile Eigenschaft der Modell-Daten-Beziehung ist, sondern ein stochastisches Artefakt des Trainingsprozesses.

Spezifisch untersucht der Beitrag, ob eine Feature-Rangfolge gleichzeitig drei desiderata erfüllen kann:

Treue (Faithful): Die Rangfolge spiegelt die spezifischen Attributionen wider, die von einer einzelnen Modellinstanz gelernt wurden.
Stabilität: Die Rangfolge ist über verschiedene Trainingsläufe (z. B. unterschiedliche Zufallssamen) desselben Modellarchitektur auf denselben Daten reproduzierbar.
Vollständigkeit: Die Rangfolge liefert eine strikte Ordnung für jedes Feature-Paar (keine Gleichstände).

Die zentrale These lautet, dass unter Bedingungen der Feature-Kollinearität (Korrelation $\rho > 0$ ) es mathematisch unmöglich ist, alle drei Bedingungen gleichzeitig zu erfüllen.

2. Methodik und Theoretischer Rahmen

Die Rashomon-Eigenschaft und der Unmöglichkeitssatz

Der zentrale theoretische Beitrag ist der Unmöglichkeitssatz der Attribution (Satz 5). Der Beweis stützt sich auf die Rashomon-Eigenschaft, die besagt, dass für kollineare Features mehrere nahezu optimale Modelle existieren (die Rashomon-Menge), die symmetrische Features in entgegengesetzter Reihenfolge rangieren.

Beweislogik: Wenn eine Rangfolge vollständig ist, muss sie eine Ordnung wählen (z. B. $j \succ k$ ). Wenn sie stabil ist, muss diese Ordnung für alle Modelle gelten. Die Rashomon-Eigenschaft garantiert jedoch die Existenz eines Modells, in dem $k \succ j$ gilt. Folglich kann die Rangfolge weder treu zu diesem spezifischen Modell sein noch über die Menge hinweg stabil.
Quantitative Schranken: Der Beitrag leitet quantitative Schranken für das Ausmaß dieser Instabilität für verschiedene Modellklassen ab:
- Gradient Boosting (GBDT): Das Attributionsverhältnis (Dominanz des „First-Mover"-Features) divergiert als $1/(1-\rho^2)$ (oder $1/(1-\alpha\rho^2)$ mit Tiefenkorrekturen).
- Lasso: Das Verhältnis ist unendlich ( $\infty$ ) für jedes $\rho > 0$ aufgrund der harten Selektion.
- Neuronale Netze: Die Instabilität ist abhängig von der Initialisierung und den Trainingsdynamiken, folgt jedoch ähnlichen Mustern des Symmetriebruchs.
- Random Forests: Zeigen eine begrenzte Verletzung ( $1 + O(1/\sqrt{T})$ ) aufgrund des unabhängigen Trainings der Bäume, im Gegensatz zur divergierenden Instabilität des sequenziellen Boostings.

Die Symmetrische Bayes-Dichotomie

Die Autoren verallgemeinern dieses Ergebnis unter Verwendung der Symmetrischen Bayes-Dichotomie (Satz 37), eines Zwei-Familien-Theorems aus der invarianten Entscheidungstheorie. Sie zeigen, dass für jedes symmetrische Entscheidungsproblem (bei dem die Datenverteilung unter Feature-Permutationen invariant ist) die erreichbare Menge von Lösungen genau in zwei Familien kollabiert:

Familie A (Einzelmodell): Treu und vollständig, aber instabil (Untreue $U = 1/2$ für symmetrische Paare).
Familie B (Ensemble): Stabil und treu zum Populationsmittelwert, aber unvollständig (meldet Gleichstände für symmetrische Features, $U=0$ ).
Es gibt keine dritte Option.

Konstruktive Lösung: DASH

Um die Unmöglichkeit zu lösen, schlägt der Beitrag DASH (Diversified Aggregation of SHAP) vor. Dies ist eine Ensemble-Methode, die SHAP-Werte über $M$ unabhängig trainierte Modelle mittelt.

Mechanismus: Durch das Mitteln hebt DASH den zufälligen „First-Mover"-Bias, der in einzelnen Modellen inhärent ist, auf und konvergiert zum Populations-Erwartungswert.
Optimalität: DASH erweist sich als Pareto-optimal unter unverzerrten Aggregationen. Es erreicht die Cramér–Rao-Varianzschranke ( $\sigma^2/M$ ) für die Stabilität der Rangfolge.
Kompromiss: DASH opfert die Vollständigkeit innerhalb der Gruppe (es meldet Gleichstände für symmetrische Features), um Stabilität und Treue zwischen den Gruppen zu gewinnen.

Formale Verifikation

Ein erheblicher Teil der Methodik umfasst die mechanische Verifikation mit Lean 4.

Die Autoren formalisierten den gesamten theoretischen Rahmen, einschließlich des Unmöglichkeitssatzes, der quantitativen Schranken und des Optimalitätsbeweises für DASH.
Die Formalisierung besteht aus 305 typgeprüften Sätzen über 54 Dateien mit 0 sorry (keine unbewiesenen Annahmen).
Der Prozess umfasste 16 Axiome (14 domainspezifisch, 2 für Abfragekomplexität). Bemerkenswerterweise erfordert der Kern-Unmöglichkeitssatz keine Verhaltensaxiome und stützt sich ausschließlich auf die Rashomon-Eigenschaft.
Der Formalisierungsprozess selbst identifizierte zwei logische Inkonsistenzen und einen Typenmismatch im ursprünglichen informellen Axiomensystem.

3. Wichtige Ergebnisse und Empirische Validierung

Empirische Befunde

Der Beitrag validiert die Theorie über 77 öffentliche Datensätze und mehrere Modellimplementierungen (XGBoost, LightGBM, CatBoost, Neuronale Netze).

Verbreitung: In einer Umfrage über 77 Datensätze wiesen 68% Attributionsinstabilität (Flip-Rate > 10%) für korrelierte Feature-Paare auf. Für hochdimensionale Datensätze ( $P \ge 20$ ) steigt diese Rate auf 93%.
Flip-Raten: Für hochkorrelierte Paare ( $\rho \approx 0,9$ ) mit ähnlicher Wichtigkeit nähert sich die Flip-Rate dem theoretischen Maximum von 50% (ein Münzwurf) über Neutraining-Samen hinweg.
DASH-Wirksamkeit: Ensemble-Mittelung mit $M \ge 25$ Modellen reduziert die Flip-Rate auf unter 1% und löst die Instabilität effektiv.
Diagnostik: Der Beitrag führt einen Multi-Modell-Z-Test und einen Single-Model-Screen (basierend auf Split-Häufigkeiten) ein, um instabile Paare zu erkennen. Der Z-Test zeigt eine starke negative Korrelation ( $r \approx -0,89$ ) mit den beobachteten Flip-Raten.

Spezifisches Verhalten von Modellklassen

GBDT: Zeigt divergierende Instabilität. Das „First-Mover"-Feature absorbiert das Signal und lässt Restsignale für andere übrig, was eine große Attributionslücke erzeugt, die flippt, je nachdem, welches Feature zuerst ausgewählt wird.
Lasso: Zeigt unendliche Instabilität, da es genau ein Feature aus einer korrelierten Gruppe auswählt.
Neuronale Netze: Zeigen hohe Instabilität (87% der Paare instabil auf den Brustkrebs-Daten), angetrieben durch die größere Rashomon-Menge und die KernelSHAP-Varianz.
Random Forests: Zeigen aufgrund des Fehlens sequenzieller Restsignal-Teilung signifikant geringere Instabilität.

Erweiterungen

Konditionale Attribution: Der Beitrag beweist, dass der Wechsel zu konditionellem SHAP die Unmöglichkeit nicht umgeht, wenn die kausalen Effekte der Features gleich sind ( $\beta_j = \beta_k$ ).
Fairness-Audits: Die Autoren zeigen, dass Proxy-Diskriminierungs-Audits, die auf SHAP eines einzelnen Modells basieren, unter Kollinearität nachweislich unzuverlässig sind, da die Schlussfolgerung (welches Feature der Proxy ist) einem Münzwurf unterliegt.
Kausale Identifikation: Die Instabilität spiegelt die Schwierigkeit der kausalen Identifikation unter Kollinearität wider, wobei die Stichprobengröße als $1/(1-\rho)^2$ divergiert.

4. Bedeutung und Behauptungen

Der Beitrag beansprucht, das erste formal verifizierte Unmöglichkeitsresultat in der Erklärbaren KI zu liefern. Seine Bedeutung wird in drei Dimensionen gerahmt:

Mathematische Notwendigkeit: Die Instabilität ist kein technisches Versagen (z. B. schlechte Hyperparameter oder Bugs), sondern eine mathematische Unvermeidbarkeit, die aus der Geometrie der Verlustlandschaft und der Rashomon-Menge resultiert. Der Beitrag rahmt das Problem neu von „wie man SHAP repariert" zu „was angesichts der Einschränkungen erreichbar ist".
Charakterisierung des Gestaltungsraums: Durch die Definition des Attributions-Gestaltungsraums stellt der Beitrag fest, dass Praktiker zwischen Stabilität und Vollständigkeit wählen müssen. Es gibt kein „kostenloses Mittagessen", bei dem ein einzelnes Modell eine stabile, treue und vollständige Rangfolge liefert.
Regulatorische und praktische Auswirkungen:
- EU-AI-Act-Konformität: Der Beitrag argumentiert, dass Attributionsinstabilität eine „bekannte und vorhersehbare Umstände" gemäß Artikel 13(3)(b)(ii) des EU-AI-Acts darstellt. Anbieter müssen diese Instabilität offenlegen, anstatt willkürliche Rangfolgen als Fakten darzustellen.
- Fairness: Fairness-Audits auf Basis einzelner Modelle gelten für korrelierte Features als unzuverlässig, was potenziell zu falsch-positiven oder falsch-negativen Ergebnissen bei der Erkennung von Proxy-Diskriminierung führt.
- Handlungsorientiertes Toolkit: Der Beitrag liefert einen konkreten Workflow (Screen $\to$ Z-Test $\to$ DASH) und eine Formel für die minimale Ensemble-Größe ( $M_{min}$ ), die erforderlich ist, um ein gewünschtes Stabilitätsniveau zu erreichen.

Die Autoren schließen, dass das Feld vom „Single-Model-Paradigma" für Erklärungen bei Vorliegen von Kollinearität wegkommen und ensemble-basierte Ansätze wie DASH adoptieren muss, um ehrliche, stabile und verteidigbare Erklärungen zu liefern.