🤖 AI

From Training to Deployment: Post-Hoc Causal Feature Identification via Sensitivity Ratios

Dieses Paper führt die Normalisierte Sensitivitätsrate (NSR) ein, ein post-hoc, modellagnostisches Diagnoseverfahren, das durch die Nutzung der Sensitivitätsstabilität über strukturierte Umweltverschiebungen hinweg kausale von spuriösen Merkmalen in trainierten Modellen identifiziert, wobei es unter spezifischen Bedingungen eine exakte Identifizierung erreicht und eine hohe Genauigkeit sowohl auf synthetischen als auch auf realen Datensätzen demonstriert.

Ursprüngliche Autoren: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Veröffentlicht 2026-07-29

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Athanasios Vlontzos, Giorgos Papanastasiou, Bernhard Kainz, Sotirios Tsaftaris

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, warum eine magische Kristallkugel die Zukunft vorhersagt. Sie wissen, dass die Kristallkugel funktioniert, aber Sie wissen nicht, wie. Hat sie die echten physikalischen Gesetze gelernt oder hat sie einfach nur Glück gehabt, indem sie bemerkt hat, dass der Himmel an Dienstagen immer blau ist? Dies ist die Welt des maschinellen Lernens, in der Computer lernen, Vorhersagen zu treffen, indem sie Muster in Daten finden. Manchmal finden sie die richtigen Muster (wie „Regen macht Gras nass“), aber oft finden sie „spure**»** Muster (Zufälle, die echt aussehen, aber zusammenbrechen, sobald sich die Situation ändert, wie zum Beispiel „Dienstage verursachen Regen“).

Das große Problem ist, dass es, sobald ein Computermodell trainiert wurde, wie eine Black Box ist. Wir können nicht einfach hineinblicken, um zu sehen, ob es sich auf die Wahrheit verlässt oder nur auf einen glücklichen Tipp. Frühere Werkzeuge zur Behebung erforderten, dass wir zum Zeichenbrett zurückkehren und das Modell von Grund auf neu trainieren, was langsam und teuer ist. Dieses Paper stellt einen neuen Weg vor, in ein fertiges Modell hineinzublicken, ohne auch nur eine einzige Sache an dessen Aufbau zu ändern. Es ist wie das Besitzen einer speziellen Taschenlampe, die einem allein durch das Beobachten, wie das Modell auf verschiedene Räume reagiert, sagen kann, ob es auf die echten Möbel schaut oder nur auf die Schatten an der Wand.

Die neue Taschenlampe des Detektivs: NSR

Die Autoren dieses Papers, Athanasios Vlontzos und sein Team, haben ein Werkzeug namens Normalised Sensitivity Ratio (NSR) erfunden. Stellen Sie sich ein trainiertes KI-Modell wie einen Koch vor, der ein Suppenrezept perfektioniert hat. Der Koch weiß, dass die Suppe besser schmeckt, wenn er eine Prise Salz (eine „kausale“ Zutat) hinzufügt, egal wo er gerade kocht. Aber wenn der Koch gelernt hat, dass „immer wenn es draußen regnet, die Suppe salzig schmeckt“ (eine „spure“ Korrelation), dann gilt diese Regel nur in der Küche, in der es regnet. Wenn der Koch in eine sonnige Küche zieht, könnte die Suppe schrecklich schmecken, weil der Regen nicht da ist, um die „Salzigkeit“ auszulösen.

Das NSR-Werkzeug funktioniert, indem es den Koch bittet, die Suppe in verschiedenen Küchen (Umgebungen) zu probieren.

Der Kausalitätstest: Wenn der Koch Salz hinzufügt, verändert sich der Geschmack in jeder Küche gleichermaßen. Die Sensitivität ist konstant.
Der Spurious-Test: Wenn der Koch sich auf die „Regen“-Regel verlässt, verändert sich der Geschmack wild, je nachdem, ob es in der jeweiligen Küche gerade regnet. Die Sensitivität verschiebt sich mit der Umgebung.

NSR misst dieses „Wackeln“. Wenn die Reaktion eines Modells auf ein Merkmal über verschiedene Umgebungen hinweg stabil ist, sagt NSR: „Dies ist ein echtes, kausales Merkmal!“ Wenn die Reaktion springt, sagt NSR: „Dies ist ein spureer Zufall!“

Wie die Magie funktioniert (ohne die Magie)

Das Paper beweist, dass man, wenn man mindestens drei verschiedene Umgebungen hat (wie drei verschiedene Krankenhäuser oder drei verschiedene Datensätze), in denen sich die „spuren“ Dinge (wie Gerätegeräusche oder das Wetter) ändern, aber die „echten“ Ursachen gleich bleiben, das NSR-Werkzeug die Wahrheit perfekt von den Lügen trennen kann.

Die Autoren haben diese Idee durch einen Testparcours gejagt:

Perfekte Detektion: In ihren Computersimulationen erreichte das Werkzeug – wenn die Bedingungen stimmten (speziell mit mindestens 5 Umgebungen und einer Verschiebungsamplitude von 1 oder mehr) – eine perfekte Punktzahl. Unter diesen spezifischen Regimabedingungen identifizierte es jedes einzelne kausale Merkmal und jedes einzelne spuree Merkmal mit 100 % Genauigkeit (einem AUROC von 1,000). Es war, als würde man eine Nadel im Heuhaufen finden, ohne jemals das Heu zu berühren.
Die „No-Go“-Zonen: Das Paper ist sehr ehrlich darüber, wann das Werkzeug versagt. Wenn man nur zwei Umgebungen hat, wird das Werkzeug blind. Wenn die Veränderungen in den Umgebungen zu symmetrisch sind (wie ein perfektes Spiegelbild), wird das Werkzeug verwirrt. Sie fanden auch heraus, dass das Werkzeug nicht arbeiten kann, wenn die „Verschiebung“ zwischen den Umgebungen im Vergleich zum Rauschen winzig ist. Es ist, als versuche man, ein Flüstern in einem Hurrikan zu hören; das Signal geht verloren.
Real-World-Test: Sie testeten dies mit echten Daten, speziell einem Fahrradverleih-Datensatz aus einer Stadt. Sie wussten, welche Faktoren (wie Temperatur und Tageszeit) tatsächlich die Menschen dazu brachten, Fahrräder zu mieten, und welche nur Zufälle waren. Ohne das Modell überhaupt neu zu trainieren, identifizierte das NSR-Werkzeug korrekt 6 von 8 der wahren kausalen Faktoren. Es schnitt deutlich besser ab als andere Standardmethoden, die lediglich die Größe der Zahlen im Modell betrachten.

Warum das wichtig ist

Der spannendste Teil dieser Entdeckung ist, dass sie funktioniert, nachdem das Modell bereits trainiert wurde. Normalerweise, wenn man vermutet, dass ein Modell schummelt, indem es spuree Muster nutzt, muss man es wegwerfen und von vorne beginnen. Mit NSR können Sie einfach das fertige Modell nehmen, die Taschenlampe darauf richten und sagen: „Ah, ich sehe, du verlässt dich auf den Wochentag anstatt auf die tatsächlichen medizinischen Symptome.“

Die Autoren zeigen, dass diese Methode ein „Post-hoc“-Diagnosewerkzeug ist, was bedeutet, dass es eine Untersuchung ist, die man einem Modell geben kann, das bereits im Einsatz ist. Es muss nicht den internen Code des Modells kennen und es muss auch nicht den Trainingsprozess beeinflussen. Es beobachtet einfach, wie das Modell sich verhält, wenn sich die Welt um es herum verändert.

Das Paper zieht jedoch auch eine klare Linie. Dieses Werkzeug funktioniert am besten, wenn die „echten“ Ursachen (wie Biologie oder Physik) stabil bleiben und nur das „Rauschen“ (wie verschiedene Maschinen oder Standorte) sich ändert. Wenn sich die echten Ursachen selbst von Ort zu Ort ändern (wie wenn sich die Definition von „Krankheit“ zwischen Krankenhäusern unterscheidet), könnte das Werkzeug verwirrt werden und ein echtes Merkmal fälschlicherweise als Zufall einstufen. Die Autoren betonen vorsichtig, dass dies eine Einschränkung und kein Fehler ist.

Kurz gesagt: Dieses Paper gibt uns einen neuen Weg, unserem KI-Vertrauen zu schenken. Es liefert eine mathematische Garantie, dass wir – sofern sich die Welt auf eine bestimmte Weise verschiebt – die Lügner in der Logik des Modells entlarven können. Es verwandelt die Black Box in eine Glass Box und lässt uns genau sehen, worauf das Modell setzt, damit wir sicher sein können, dass es nicht nur basierend auf dem Wetter rät.

Technisches Resümee: Post-hoc Identifikation kausaler Merkmale mittels Sensitivitätsverhältnissen

Problemstellung

Die Arbeit adressiert eine kritische Lücke in der Interpretierbarkeit von maschinellem Lernen: die Bestimmung, auf welche Merkmale ein vortrainiertes Modell kausal versus spuriös zurückgreift, ohne Zugriff auf das Trainingsverfahren, die Modellklasse oder den zugrunde liegenden kausalen Graphen zu haben.

Bestehende Methoden zur kausalen Merkmalsidentifikation, wie etwa Invariant Risk Minimization (IRM) und Invariant Causal Prediction (ICP), erfordern Interventionen während der Trainingsphase (z. B. durch Modifikation der Verlustfunktionen oder durch exhaustive Teilmengen-Suche). Folglich können sie Modelle, die bereits im Einsatz sind, nicht diagnostizieren. Die Autoren konzentrieren sich auf das Regime des strukturierten Shifts (structured-shift regime), ein Szenario, das in klinischen Multi-Site-Daten oder Multi-Batch-Genomik-Daten häufig vorkommt, bei dem sich Umgebungen primär in den Mittelwerten spurioser Merkmale unterscheiden (z. B. Geräte-Offsets oder Batch-Effekte), während der kausale Mechanismus und die Verteilung der kausalen Merkmale stabil bleiben. In diesem Setting zeigt ein Modell, das sich auf spuriose Merkmale verlässt, eine umgebungsabhängige Sensitivität, wohingegen ein Modell, das auf kausalen Merkmalen basiert, eine konstante Sensitivität aufweist.

Methodik: Normalisiertes Sensitivitätsverhältnis (NSR)

Die Autoren schlagen das Normalisierte Sensivitätsverhältnis (NSR) vor, eine post-hoc, modellagnostische Diagnosemetrik.

Kernkonzept

NSR quantifiziert die Stabilität der Sensitivität eines Modells gegenüber einem spezifischen Merkmal über verschiedene Umgebungen hinweg.

Kausales Sensitivitätsverhältnis (CSR): Für ein Merkmal $j$ und die Umgebungen $e$ und eine Referenzumgebung $e_{ref}$ misst das CSR die durchschnittliche Verschiebung der Modellausgabe, wenn das Merkmal $j$ durch einen Wert aus der Randverteilung der Referenzumgebung ersetzt wird, während andere Merkmale fixiert bleiben.
Normalisierung: NSR ist definiert als das quadratische Variationskoeffizient ( $CV^2$ ) der CSR-Werte über die Umgebungen hinweg, normalisiert durch den mittleren CSR.
$\text{NSR}_j(e_{ref}) := \frac{\text{Var}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})]}{(\mathbb{E}_{e \neq e_{ref}}[\text{CSR}_j(e, e_{ref})])^2}$

Wichtige Eigenschaften

Gewichtsinvarianz: Die Normalisierung eliminiert die gelernten Modellgewichte ( $\hat{w}_j^2$ ). Dies stellt sicher, dass auch spuriose Merkmale mit kleinen Koeffizienten (die bei einer gewichtsbasierten Analyse übersehen werden könnten) detektiert werden, sofern ihre Sensitivität über die Umgebungen variiert.
Diagnostisches Signal: Unter dem Regime des strukturierten Shiftss gilt:
- Kausale Merkmale: Induzieren eine konstante Sensitivität über die Umgebungen hinweg $\implies \text{NSR}_j = 0$ .
- Spuriose Merkmale: Induzieren eine Sensitivität, die der Verschiebung der Umgebung folgt $\implies \text{NSR}_j > 0$ .
Implementierung: NSR benötigt lediglich ein trainiertes Black-Box-Modell, Umgebungslabels und gehaltene Daten (held-out data). Es kann mittels Forward-Passes, SHAP-Werten oder Permutationswichtigkeit als Drop-in-Schätzer für das Sensitivitätssignal berechnet werden.

Zentrale Beiträge

1. Exakter Identifikationstheorem

Unter einem linearen Strukturellen Kausalen Modell (SCM) im Regime des strukturierten Shifts mit $K \ge 3$ nicht-degenerierten Umgebungen erreicht NSR eine exakte Identifikation.

Theorem 1: Für jeden linearen Prädiktor mit nicht-null Gewichten gilt $\text{NSR}_j = 0 \iff j$ ist ein kausales Merkmal.
Der Beweis zeigt, dass das Identifikationssignal aus der Geometrie der Umgebungsverschiebungen resultiert, nicht aus den Modellgewichten. Dieses theoretische Resultat lässt sich empirisch auf nicht-lineare Modelle übertragen.

2. Vollständige Charakterisierung von Ausfallmodi (Failure Modes)

Das Paper liefert präzise quantitative Kriterien dafür, wann NSR versagt, was Praktikern ermöglicht, die Gültigkeit des Regimes zu bewerten:

Schwache Verschiebungen (Weak Shifts): NSR kollabiert als $O(\epsilon^4)$ , wenn die Magnitude des Shifts $\epsilon$ klein im Verhältnis zum Rauschen innerhalb der Umgebung ist.
Degenerierte Geometrie: NSR ist identisch Null, wenn $K < 3$ oder wenn die absoluten Verschiebungen von der Referenzumgebung symmetrisch sind (z. B. Verschiebungen von $+1, -1, 0$ ).
Proxy-Attenuation: Für Merkmale, die kausale und spuriose Signale mischen ( $X_j = \alpha X_C + (1-\alpha)X_S$ ), degradiert NSR als $O((1-\alpha)^4)$ .

3. Konvergenzraten endlicher Stichproben

Das Paper etabliert eine Ratengap zwischen kausalen und spurioten Merkmalen:

Unter der Nullhypothese (kausales Merkmal, $\text{NSR}=0$ ) konvergiert der empirische Schätzer mit $O_p(n^{-1})$ .
Unter der Alternativhypothese (spurioes Merkmal, $\text{NSR}>0$ ) konvergiert er mit $O_p(n^{-1/2})$ .
Diese Differenz ermöglicht eine permutationsbasierte Schwellenwertbildung ohne Verteilungsannahmen, da die Nullverteilung schneller gegen Null schrumpft als die Alternative sich abhebt.

4. Unvergleichbarkeit mit IRM und ICP

Die Autoren beweisen, dass IRM, ICP und NSR unter unvergleichbaren Bedingungen hinsichtlich der Shift-Schedules operieren.

Es existieren Shift-Konfigurationen (z. B. symmetrische Shifts), in denen IRM und ICP spuriose Merkmale detektieren, NSR jedoch nicht.
Umgekehrt gibt es Konfigurationen (z. B. asymmetrische Shifts, bei denen die quadrierten Varianzen Null sind), in denen NSR spuriose Merkmale detektiert, IRM jedoch nicht.
Die Methoden sind komplementär; die Wahl hängt von der spezifischen Geometrie der verfügbaren Umgebungsverschiebungen ab.

Experimentelle Ergebnisse

Synthetische Validierung

Regime-Verifizierung: Experimente bestätigen den theoretischen Phasenübergang. Mit $K \ge 5$ und einer Shift-Magnitude $\epsilon \ge 1$ erreicht NSR einen AUROC von 1.000 mit Null-Varianz über 30 Seeds.
Ausfallmodi: Die Experimente validieren die Schärfe der Ausfallbedingungen. Symmetrische Shifts (degenerierte Geometrie) führen zu einer Leistung auf Zufallsniveau (AUROC $\approx$ 0,5), während das Brechen der Symmetrie die perfekte Detektion wiederherstellt.
Konvergenz: Die empirischen Konvergenzraten entsprechen den theoretischen Vorhersagen von $O(n^{-1})$ und $O(n^{-1/2})$ innerhalb einer Fehlermarge von 2-8%.

Modellagnostik

NSR wurde über fünf Modellfamilien (OLS, Ridge, Random Forest, XGBoost, MLP) getestet. Die Rankings der Merkmale waren über die Familien hinweg konsistent (Kendall $\tau \ge 0,529), was bestätigt, dass das Signal in der Struktur der Umgebung und nicht in der spezifischen Modellklasse liegt.

Reale Anwendungen

Fahrradvermietungs-Daten (Bike-Sharing): Durch Aufteilung in Monats-Quintile konnte NSR 6 von 8 kausalen Merkmalen rekonstruieren (Precision@7 = 0,75) und übertraf damit LASSO (0,58), ohne das trainierte Modell zu modifizieren.
Weinqualitäts-Daten: NSR identifizierte kausale Treiber in einem Setting mit technischer Variation auf Batch-Ebene.
Praktische Erkenntnis: Die Experimente verdeutlichen, dass NSR voraussetzt, dass das Basismodell innerhalb der Umgebungen generalisiert (und nicht überfittet). Eine adaptive Regularisierung (mit einem Ziel von $R^2 \approx 0,75$ ) war notwendig, um zu verhindern, dass umgebungsspezifisches Rauschen das Stabilitätssignal überdeckt.

Bedeutung und Umfang

Das Paper behauptet, dass NSR ein theoretisch fundiertes, post-hoc Audit-Werkzeug für bereits eingesetzte Modelle bietet. Seine Bedeutung liegt in:

Operativer Nützlichkeit: Es erlaubt Praktikern, die Abhängigkeit von spurioten Merkmalen in bestehenden Modellen zu diagnostizieren, ohne das Modell neu zu trainieren oder Zugriff auf die Trainingsdaten zu benötigen.
Expliziten Grenzen: Im Gegensatz zu vielen "Black Box"-Interpretierbarkeitstools kommt NSR mit einer vollständigen Karte seines operativen Regimes und seiner Ausfallmodi, was quantitative Checks (z. B. Verifizierung der Shift-Magnitude und der Anzahl der Umgebungen) vor der Anwendung ermöglicht.
Komplementarität: Es füllt eine Nische, die sich von IRM und ICP unterscheidet, indem es gezielt Szenarien adressiert, in denen die Shift-Geometrie asymmetrisch ist und das Modell bereits trainiert wurde.

Eingeständliche Limitationen der Autoren:

Marginale kausale Stabilität: NSR setzt voraus, dass die Verteilung kausaler Merkmale ( $P(X_C)$ ) über die Umgebungen hinweg stabil ist. Wenn kausale Kovariaten variieren (z. B. demografische Veränderungen), kann NSR diese fälschlicherweise als spuriös klassifizieren.
Shift-Struktur: Die aktuelle Formulierung nimmt einen uniformen skalaren Shift für spuriose Merkmale an. Merkmals-spezifische oder Kovarianz-Shifts werden ohne Erweiterungen auf Subräume nicht direkt erfasst.
Regime-Abhängigkeit: Die Methode ist strikt ein Diagnosetool für das Regime des strukturierten Shifts; sie ist kein allgemeines Werkzeug zur kausalen Entdeckung für beliebige Datenverteilungen.