📊 statistics

Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias

Dieses Paper schlägt ein Double-Machine-Learning-Verfahren auf Basis von Einflussfunktionen vor, um das Zielrisiko von Black-Box-Prädiktionsmodellen unter den kombinierten Herausforderungen von Covariate Shift und selektiver Kennzeichnung präzise zu schätzen, wobei es in Experimenten mit elektronischen Patientenakten eine überlegene Leistung gegenüber bestehenden Methoden demonstriert.

Ursprüngliche Autoren: Annie Ulichney, Amanda Coston

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Annie Ulichney, Amanda Coston

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Chefkoch, der jahrelang ein spezielles Suppenrezept in einer bestimmten Küche (der Quelle) perfektioniert hat. Sie wissen genau, wie Ihre Suppe dort schmeckt, weil Sie jede einzelne Schüssel probiert haben. Nun planen Sie, ein neues Restaurant in einer anderen Stadt zu eröffnen (das Ziel).

Das Problem ist zweigeteilt:

Die Zutaten sind anders: Die neue Stadt verwendet andere Marken von Gemüse und Gewürzen. Das „Geschmacksprofil“ der lokalen Zutaten ist anders als in Ihrer alten Küche, obwohl Ihr Rezept (das Modell) gleich bleibt. Dies nennt man Covariate Shift (Kovariatenverschiebung).
Die Geschmackstester sind voreingenommen: In Ihrer alten Küche haben Sie die Suppe nur dann probiert, wenn der Chefkoch beschlossen hatte, sie einem VIP-Gast zu servieren. Wenn die Suppe an einen regulären Kunden serviert wurde, haben Sie sie nie probiert. Also basieren Ihre Aufzeichnungen darüber, „wie gut die Suppe war“, nur auf den VIPs, nicht auf der gesamten Speisekarte. Dies nennt man Selective Labels (Selektive Labels).

Nun möchten Sie vorhersagen, wie gut Ihre Suppe in der neuen Stadt schmecken wird. Aber Sie können nicht einfach nur auf Ihre alten VIP-Geschmackstests zurückgreifen (weil die Zutaten anders sind) und Sie können auch nicht einfach nur auf die Speisekarte der neuen Stadt schauen (weil Sie die Suppe dort noch nicht probiert haben).

Dieses Paper schlägt einen neuen, cleveren Weg vor, um die Qualität der Suppe vorherzusagen, noch bevor Sie die Türen öffnen.

Die zwei großen Probleme

Die Autoren erklären, dass die meisten aktuellen Methoden versuchen, nur eines dieser beiden Probleme gleichzeitig zu lösen:

Methode A versucht, die unterschiedlichen Zutaten anzupassen, geht aber davon aus, dass Ihre alten Geschmackstests perfekt waren (ignoriert also die VIP-Voreingenommenheit).
Methode B versucht, die VIP-Voreingenommenheit zu korrigieren, geht aber davon aus, dass die neue Stadt exakt dieselben Zutaten wie die alte verwendet (ignoriert also den Versatz der Zutaten).

Wenn beide Probleme gleichzeitig auftreten, liefern diese Methoden ein falsches Ergebnis. Sie könnten Ihnen sagen, dass die Suppe köstlich sein wird, während sie in Wirklichkeit vielleicht zu salzig oder fad ist, weil sowohl die neuen Zutaten als auch die Tatsache, dass Sie die Schüsseln der „regulären Kunden“ nicht probiert haben, eine Rolle spielen.

Die Lösung: Ein „Doppel-Check“-Rezept

Die Autoren haben eine neue Methode entwickelt, die Double Machine Learning (DML) heißt. Betrachten Sie dies als ein „Doppel-Check“-System, das beide Probleme gleichzeitig löst.

So funktioniert ihr „Rezept“ anhand einer einfachen Analogie:

Die „Was-wäre-wenn“-Simulation (Die Störfunktionen/Nuisance Functions):
Zuerst nutzt die Methode einen Computer, um zwei Dinge zu simulieren:
- Wie wahrscheinlich war es, dass eine Schüssel in der alten Küche probiert wurde? (Dies behebt die VIP-Voreingenommenheit).
- Wie unterscheiden sich die neuen Zutaten von den alten? (Dies behebt den Versatz der Zutaten).
Die „Residuen“-Korrektur:
Anstatt nur die alten Geschmackstests zu mitteln, betrachtet die Methode die Fehler. Sie fragt: „Wie weit lag unsere Vorhersage bei den Schüsseln, die wir tatsächlich probiert haben, daneben?“ Sie passt diese Fehler dann basierend darauf an, wie wahrscheinlich es war, dass die Schüsseln probiert wurden, und wie sehr sich die Zutaten unterschieden.
Die „unbeschriftete“ Menge:
Für die neue Stadt betrachtet die Methode die Menschen, die keine Geschmacksprobe erhalten haben (die unbeschrifteten Daten). Sie nutzt die „Was-wäre-wenn“-Simulation, um zu erraten, was diese Menschen gedacht hätten, basierend auf den Mustern, die sie in der alten Küche gelernt hat.
Das finale Gemisch:
Die Methode kombelt die „korrigierten Fehler“ aus der alten Küche mit den „geschätzten Meinungen“ aus der neuen Stadt. Dadurch werden die Fehler eliminiert. Wenn der Computer die VIP-Voreingenommenheit falsch einschätzt, hilft die Korrektur des Zutaten-Versatzes dabei, dies zu beheben, und umgekehrt. Dies macht die endgültige Vorhersage sehr stabil und genau.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren haben diese Methode mit echten Daten aus Krankenhäusern (speziell der eICU-Datenbank) getestet.

Der Aufbau: Sie nahmen ein medizinisches Vorhersagemodell, das mit Patienten aus einem Krankenhaus (Quelle) trainiert wurde, und versuchten, dessen Leistung in drei anderen Krankenhäusern (Ziel) vorherzusagen, die unterschiedliche Patientendemografien (verschiedene Alter, Ethnien usw.) und unterschiedliche Regeln darüber hatten, welche Patienten bestimmte medizinische Tests erhielten (Selektive Labels).
Das Ergebnis: Ihre neue „Doppel-Check“-Methode war wesentlich genauer als die alten Methoden.
- Die alten Methoden sagten oft, dass das Modell gut funktionieren würde, lagen aber falsch, weil sie entweder die Voreingenommenheit oder den Versatz übersehen hatten.
- Die neue Methode identifizierte korrekt, wann das Modell Schwierigkeiten bekommen würde, und lieferte so ein viel wahreres Bild des Risikos.

Das Fazit

Dieses Paper sagt nicht nur „Seien Sie vorsichtig“. Es stellt ein mathematisches Werkzeug (eine spezifische Formel) bereit, das es Ärzten, Datenwissenschaftlern oder jedem, der KI einsetzt, ermöglicht zu sagen: „Ich weiß, dass mein Modell mit Gruppe A trainiert wurde, aber ich setze es auf Gruppe B ein und habe nur unvollständige Daten. Hier ist der genaueste Weg, um vorherzusagen, wie es sich tatsächlich verhalten wird.“

Es ist wie ein Kristallball, der sowohl für die Veränderung der Umgebung als auch für die Tatsache korrigiert, dass Ihre vergangenen Beobachtungen unvollständig waren, um sicherzustellen, dass Sie Ihren neuen Kunden keine schlechte Suppe servieren.

Technisches Resümee: Jenseits der Trainingsverteilung: Evaluierung von Vorhersagen unter Verteilungsverschiebung und Selektionsbias

Problemstellung

Maschinelle Lernmodelle degradieren häufig beim Einsatz in neuen Umgebungen aufgrund zweier primärer, oft gemeinsam auftretender Herausforderungen: Covariate Shift (Kovariatenverschiebung) und selektive Labels (selektive Zielvariablen).

Covariate Shift: Die marginale Verteilung der Eingabemerkmale ( $P(X)$ ) unterscheidet sich zwischen der Trainingspopulation (Quelle) und der Deployment-Population (Ziel), während die bedingte Beziehung zwischen Merkmalen und Ergebnissen ( $P(Y|X)$ ) stabil bleibt. Eine Standardevaluierung auf einem gehaltenen Testdatensatz kann die Leistungsdegradation verschleiern, wenn Fehler in Merkmalsregionen konzentriert sind, die in der Zielumgebung häufig, in der Quellumgebung jedoch selten vorkommen.
Selektive Labels: In hochsensiblen Bereichen (z. B. Gesundheitswesen, Kreditvergabe) werden Ergebnis-Labels nur für Individuen beobachtet, die durch eine vorangegangene Entscheidungsstrategie ausgewählt wurden (z. B. Patienten, die einen diagnostischen Test erhalten). Dies induziert einen Selektionsbias, da die beobachteten Labels aus einer entscheidungsabhängigen Teilmenge der Population gezogen werden, was die Trainingsdaten zu einem ungenauen Abbild der vollständigen Deployment-Population macht.

Die bestehende Literatur behandelt diese Probleme typischerweise isoliert. Diese Arbeit untersucht das gemeinsame Auftreten von Covariate Shift und selektiver Kennzeichnung – ein Szenario, das in der klinischen Entscheidungsfindung häufig vorkommt, wenn Modelle für bestimmte demografische Gruppen trainiert, aber in diversen Populationen eingesetzt werden, wobei Ergebnisse nur für Patienten beobachtet werden, die spezifische klinische Protokolle durchlaufen. Das Kernproblem besteht darin, das Zielrisiko (erwarteter Verlust in der Deployment-Umgebung) eines beliebigen Black-Box-Vorhersagemodells zu evaluieren, wenn Ziel-Ergebnisse unbeobachtet und Quell-Ergebnisse selektiv beobachtet sind.

Methodik

1. Problemformalisierung und Identifikation

Die Autoren definieren das Zielrisiko $\psi$ als den erwarteten Verlust in der Zielpopulation:
$\psi := E_T [\ell(f(X), Y)]$
wobei $f$ ein fixer Black-Box-Prädiktor und $\ell$ eine allgemeine Verlustfunktion ist.

Um $\psi$ aus beobachtbaren Daten zu identifizieren, stützt sich die Arbeit auf vier Standardannahmen:

Selection on Observables (Quelle): Bedingt auf Kovariaten $X$ ist die Beobachtbarkeit des Labels $D$ unabhängig vom Outcome $Y$ in der Quellpopulation ( $Y \perp\!\!\!\perp D \mid X, R=1$ ).
Covariate Shift: Die bedingte Verteilung der Outcomes gegeben die Merkmale ist über Domänen hinweg invariant ( $P_S(Y|X) = P_T(Y|X)$ ).
Positivität: Jedes Kovariatenprofil hat eine positive Wahrscheinlichkeit, in der Quellpopulation beobachtet zu werden.
Begrenztes Likelihood-Verhältnis: Das Dichteverhältnis zwischen Ziel- und Quellverteilungen ist beschränkt.

Unter diesen Annahmen wird das Zielrisiko über zwei äquivalente Ausdrücke identifiziert (Proposition 3.5):

Ziel-Erwartungswert: $\psi = E_T [\mu(X)]$ , wobei $\mu(X) = E[\ell(f(X), Y) \mid X, R=1, D=1]$ der bedingte erwartete Verlust in der Quelle ist.
Quell-Erwartungswert mit Korrekturen: $\psi = E_S \left[ \frac{p_T(X)}{p_S(X)} \cdot \frac{D}{\pi_S(X)} \cdot \ell(f(X), Y) \right]$ , wobei $\frac{p_T(X)}{p_S(X)}$ den Covariate Shift korrigiert und $\frac{D}{\pi_S(X)}$ die selektiven Labels mittels Inverse-Propensity-Weighting korrigiert.

2. Effiziente Einflussfunktion (EIF)

Die Autoren leiten die Effiziente Einflussfunktion (EIF) für den Zielrisiko-Estimanden ab (Proposition 3.6). Die EIF, $\phi(Z; P)$ , kombiniert Signale sowohl aus der Quell- als auch aus der Zielverteilung:
$\phi(Z; P) = \frac{R D}{\pi(X)} \frac{g(X)}{\rho} (L - \mu(X)) + \frac{1-R}{\rho} (\mu(X) - \psi)$
wobei:

$R$ der Domänenindikator ist (1 für Quelle, 0 für Ziel).
$D$ der Indikator für die Beobachtbarkeit des Labels ist.
$\pi(X)$ der gepoolte Propensity-Score ist.
$g(X)$ der Domänen-Propensity-Score ist.
$\rho$ der Anteil der Zielpopulation ist.
$L$ der beobachtete Verlust ist.

Der erste Term stellt eine Residuenkorrektur für gelabelte Einheiten der Quelle dar, gewichtet, um sie in die Zielverteilung zu transferieren. Der zweite Term ist ein Plug-in-Schätzer für ungelabelte Ziel-Einheiten, zentriert am Zielrisiko.

3. Double Machine Learning (DML) Schätzer

Unter Nutzung der EIF schlägt das Paper einen Double Machine Learning (DML) Schätzer (Gleichung 7) vor:
$\hat{\psi} = \frac{1}{n} \sum_{i=1}^n \left[ \frac{R_i D_i}{\hat{\pi}(X_i)\hat{g}(X_i)} (L_i - \hat{\mu}(X_i)) + \frac{1-R_i}{\hat{\rho}} \hat{\mu}(X_i) \right]$
Zu den Hauptmerkmalen dieses Schätzers gehören:

Bias-Korrektur: Er nutzt die EIF-Struktur, um First-Order-Biases zu korrigieren, die aus Fehlern bei der Schätzung der Störfunktionen (Nuisance Functions $\mu, \pi, g$ ) resultieren.
Sample Splitting/Cross-fitting: Die Störfunktionen werden auf einer Hilfsprobe geschätzt, die unabhängig von der Evaluationsprobe ist, um asymptotische Normalität zu gewährleisten.
Robustheit: Der Schätzer ist semiparametrisch effizient und $\sqrt{n}$ -konsistent, sofern die Schätzungen der Störfunktionen mit einer Rate von $o_p(n^{-1/4})$ konvergieren. Dies ermöglicht die Verwendung flexibler, nicht-parametrischer ML-Methoden (z. B. Random Forests, neuronale Netze) zur Schätzung der Störfunktionen, ohne dass parametrische Raten erforderlich sind.

Zentrale Ergebnisse

Theoretische Garantien

Das Paper beweist, dass der vorgeschlagene DML-Schätzer asymptotisch linear und semiparametrisch effizient ist (Theorem 3.7). Dies impliziert:

Der Schätzer konvergiert mit einer $\sqrt{n}$ -Rate gegen das wahre Zielrisiko.
Der Schätzer ist asymptotisch normal, was die Konstruktion valider Wald-Typ Konfidenzintervalle für die Risikoabschätzung vor dem Deployment ermöglicht.
Der Schätzer bleibt konsistent, selbst wenn die Störfunktionen mit hochdimensionalen oder komplexen Modellen geschätzt werden, solange das Produkt ihrer Fehler vernachligbar ist.

Empirische Evaluierung

Die Autoren evaluieren die Methode anhand der eICU Collaborative Research Database (über 200.000 Intensivstation-Aufnahmen) und semi-synthetischen Experimenten.

Semi-synthetische Experimente: Unter Verwendung realer Kovariaten aus eICU mit simulierten Outcomes und Label-Beobachtbarkeit zeigte der DML-Schätzer den geringsten Bias und den niedrigsten RMSE im Vergleich zu:
- einem naiven Plug-in-Schätzer (Gewichtung für sowohl Shift als auch Selektion).
- einem reinen Covariate-Shift (CS)-Schätzer (Ignorieren des Selektionsbias).
- einem reinen Selective-Labels (SL)-Schätzer (Ignorieren des Covariate Shifts).
- Die Ergebnisse zeigten, dass die Adressierung nur einer Bias-Quelle zu einer systematischen Fehlrepräsentation des Deployment-Risikos führt, insbesondere wenn die Selektionsstärke zunimmt.
Reale Experimente: Anwendung auf vier klinische Outcomes (BNP, Troponin-I, CK, Hypoxämie), bei denen Labels nur beobachtet werden, wenn spezifische Labortests angeordnet werden. Der DML-Schätzer lieferte Risiko-Schätzungen, die sich in mehreren Krankenhäusern signifikant von den Baselines unterschieden, was verdeutlicht, dass das Ignorieren der gemeinsamen Natur von Shift und Selektion zu einer Unter- oder Überschätzung des Modellrisikos in neuen klinischen Settings führen kann.
Robustheitsprüfungen: Der Schätzer zeigte eine angemessene Robustheit gegenüber Verletzungen der Positivitäts- und der beschränkten Likelihood-Ratio-Annahmen. Dennoch verschlechterte sich die Performance erwartungsgemäß bei Verletzungen der "Selection on Observables"-Annahme (unbeobachtete Confounder) und bei bedingtem Outcome-Shift, blieb jedoch wettbewerbsfähig gegenüber anderen Benchmarks.

Bedeutung und Ansprüche

Das Paper beansprucht, das erste zu sein, das die Identifikation und Lösung für die Evaluierung von Black-Box-Prädiktoren unter dem gleichzeitigen Vorhandensein von Covariate Shift und selektiven Labels formalisiert und bereitstellt.

Praktische Auswirkungen: Die Arbeit bietet einen rigorosen Rahmen für die Evaluierung vor dem Deployment in hochsensiblen Bereichen wie der Medizin, in denen Modelle oft auf einer Population trainiert, aber in einer anderen eingesetzt werden und in denen Outcome-Daten aufgrund klinischer Entscheidungsprozesse inhärent unvollständig sind.
Methodischer Beitrag: Durch die Etablierung der Identifizierbarkeit des Zielrisikos und die Ableitung der effizienten Einflussfunktion schlägt das Paper die Brücke zwischen der Literatur zum Verteilungsshift und der Literatur zu selektiven Labels. Es zeigt, dass valide Inferenz möglich ist, selbst wenn Ziel-Labels vollständig unbeobachtet und Quell-Labels verzerrt sind.
Fairness und Sicherheit: Die Autoren betonen, dass das Versäumnis, diese gemeinsamen Herausforderungen zu berücksichten, die Leistung für unterrepräsentierte Subpopulationen systematisch falsch darstellen kann, was Ungleichheiten perpetuieren könnte. Ihre Methode ermöglicht es Praktikern, Fairness- und Sicherheitseigenschaften vor dem Einsatz genauer zu bewerten.
Breitere Anwendbarkeit: Obwohl der Fokus auf klinischen Settings liegt, ist das Framework auf alle Domänen anwendbar, die mit Foundation Models oder LLMs arbeiten, bei denen Feedback selektiv beobachtet wird und die Deployment-Verteilungen von den Trainingsverteilungen abweichen.

Die Autoren nehmen eine bescheidene Haltung ein und räumen ein, dass die Identifikation auf substanziellen Annahmen beruht (z. B. Selection on Observables), die in der Praxis versagen können (z. B. wenn klinische Entscheidungen von ungemessener Schwere abhängen). Sie deuten an, dass ihre Methode zwar eine Toleranz gegenüber kleinen Verletzungen bietet, zukünftige Arbeiten jedoch darauf abzielen könnten, diese Annahmen zu lockern oder adaptive Datenerhebung zu nutzen.