Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

Technisches Resümee: Selektive Prädiktion als Triage-Gate für das Depressions-Screening in der Primärversorgung

Problemstellung
Die Primärversorgung in China mangelt es an strukturierten Instrumenten zur psychischen Gesundheitsbewertung, und bestehende Modelle des maschinellen Lernens (ML) für das Depressions-Screening basieren häufig auf stark selektierten Stichproben. Die Autoren argumentieren, dass kumulative Einschluss- und Ausschlusskriterien, die typischerweise als neutrale Datenbereinigungsschritte behandelt werden, eine „duale Verzerrung“ einführen:

1. Epidemiologische Verzerrung: Selektions-Trichter komprimieren oder verändern epidemiologische Assoziationen (z. B. den Zusammenhang zwischen chronischen Krankheiten und Depression), was dazu führen kann, dass die Ergebnisse aus selektierten Stichproben nicht auf die Zielpopulation generalisierbar sind.
2. Metrische Verzerrung: Leistungsmetriken von ML-Modellen, insbesondere die Area Under the Curve (AUC), sind in selektierten Stichproben oft künstlich erhöht, da die Heterogenität abnimmt, während der Kalibrierungsfehler (Calibration Error) hingegen degradieren kann. Dies erzeugt einen irreführenden Eindruck von der Einsatzreife eines Modells für die klinische Anwendung.

Darüber hinaus versagen standardmäßige, in das Modell eingebettete Unsicherheitsindikatoren oft dabei, effektiv zwischen „einfachen“ und „schwierigen“ Fällen in epidemiologischen Daten zu unterscheiden, was den Nutzen der selektiven Prädiktion (Klassifikation mit einer Ablehnungsoption) einschränkt.

Methodik
Die Studie nutzt den CHARLS 2011 Baseline-Datensatz (n=17.705) mit einer zeitlichen externen Validierung auf der CHARLS 2018 Welle. Die Methodik ist um drei Ziele strukturiert:

1. Quantifizierung des Selektionsbias (Der Trichter):

   • Ein vierstufiger Selektionstrichter (L0–L3) wurde konstruiert, um standardmäßige epidemiologische Ausschlussprozesse zu simulieren.
     • L0: Vollständige Stichprobe nach Multiple Imputation by Chained Equations (MICE).
     • L1: Eingeschränkt auf Alter ≥60.
     • L2: Erforderte vollständige CES-D-10 Antworten.
     • L3: Erforderte vollständige soziodemografische Kovariaten (Bildung, Versicherung, Wohnort).
   • Assoziationsanalyse: Logistische Regressionsmodelle wurden auf jeder Ebene gefittet, um die Drift der Odds Ratios (OR) von fünf chronischen Krankheiten gegenüber Depression zu verfolgen.
   • Leistungsanalyse: Fünf Klassifikatoren (Logistische Regression, Random Forest, XGBoost, LightGBM, Gradient Boosting) wurden über die Ebenen hinweg mittels Nested Cross-Validation und SMOTE evaluiert. Monotone Trends in AUC, Brier-Score und dem Expected Calibration Error (ECE) wurden mittels Page's L-Test geprüft.

2. Minderung des Bias durch selektive Prädiktion:

   • Modell-eingebettete Unsicherheit: Die Studie untersuchte, ob die internen Unsicherheitswerte jedes Modells (z. B. prädiktive Entropie, Baum-Varianz, Quantil-Residuenintervalle) Proben effektiv filtern können, um die AUC zu verbessern.
   • Entkoppelter Prädiktor-Selektor-Rahmen: Um die Einschränkungen eingebetteter Scores zu überwinden, schlugen die Autoren einen entkoppelten Ansatz vor, bei dem ein unabhängiger Selektor die prädiktive Zuverlässigkeit bewertet. Neun Kandidatenselektoren wurden evaluiert, wobei XGBoost-Kreuzvalidierungs-Residuen als optimaler externer Selektor identifiziert wurden. Dieser Selektor wurde auf alle fünf Prädiktoren angewendet, um eine „zuverlässige“ Teilpopulation zu bestimmen.

3. Klinische Implementierung via interpretierbarer Regeln:

   • Risikostratifizierung: Proben im finalen Analyse-Datensatz (L3) wurden basierend auf robusten Residuen (Median von fünf Hyperparameter-Konfigurationen) in Niedrig-, Mittel- und Hochrisikogruppen stratifiziert.
   • Extraktion von CART-Regeln: Ein Classification and Regression Tree (CART) wurde auf die robusten Residuen unter Verwendung von 15 klinischen Merkmalen gefittet, um interpretierbare „White-Box“-Regeln zu extrahieren, die die Grenzen des zuverlässigen Prädiktionsbereichs definieren.
   • Stabilitätsprüfungen: Es wurden Multi-Parameter- (5 Konfigurationen) und Multi-Seed-Analysen (10 Seeds) durchgeführt, um sicherzustellen, dass die Risikostratifizierung eine strukturelle Eigenschaft der Daten ist.

Zentrale Ergebnisse

• Selektionsbias-Verzerrung:

  • Die Stichprobengröße sank von 17.705 (L0) auf 4.256 (L3) (24,0 %).
  • Assoziations-Attenuation: Die OR für Krebs-Depression sank von 1,78 (95 % CI 1,32–2,41) bei L0 auf 1,39 (95 % CI 0,74–2,63) bei L3 und verlor damit die statistische Signifikanz. Andere Assoziationen zeigten ähnliche Grade der Kompression.
  • Metrische Inflation: Die AUCs aller fünf Modelle stiegen tendenziell von L0 zu L3 an (z. B. XGBoost von 0,775 auf 0,783), jedoch waren diese Trends nach Korrektur für multiples Testen nicht statistisch signifikant. Umgekehrt stieg der Kalibrierungsfehler (ECE) bei vier der fünf Modelle signifikant an, während die Selektion strenger wurde.

• Leistung der selektiven Prädiktion:

  • Eingebettete Unsicherheit: Nur XGBoost, unter Verwendung eines benutzerdefinierten Out-of-Fold-Quantil-Residuenintervalls, erzielte signifikante Gewinne bei der selektiven Prädiktion (AUC ~0,83 bei ~52 % Coverage). Andere Modelle scheiterten mit ihren eingebetteten Indikatoren daran, einen AUC-Peak besser als die Vollabdeckung zu identifizieren.
  • Entkoppelter Rahmen: Wenn XGBoost-Kreuzvalidierungs-Residuen als externer Selektor für alle fünf Modelle verwendet wurden, erzielten alle Klassifikatoren konsistente Gewinne bei der selektiven Prädiktion.
    • Coverage: Ungefähr 20 % der Proben wurden als zuverlässig identifiziert.
    • Performance: Die Test-AUCs lagen bei dieser Abdeckung zwischen 0,888 und 0,901 für alle Modelle. Die Präzision lag bei ~0,85–0,86 und der Recall bei ~0,89–0,90.
    • Stabilität: Der 20 %-Coverage-Schwellenwert war über verschiedene Modellarchitekturen hinweg hochgradig konsistent, was darauf hindeutet, dass der Selektor einen stabilen „zuverlässigen Bereich“ identifiziert.

• Interpretierbare Triage-Regeln:

  • Die CART-Analyse identifizierte vier Schlüsselvariablen für die Triage: Selbsteingeschätzte Gesundheit, Bildung, Schmerzintensität und Familienstand.
  • Low-Residual (Zuverlässiger) Bereich: Charakterisiert durch höhere Bildung, spezifische Schmerzprofile oder schlechte selbsteingeschätzte Gesundheit mit klaren somatischen Treibern.
  • High-Residual (Unsicherer) Bereich: Charakterisiert durch geringere Bildung, komplexe psychosoziale Faktoren und eine hohe Depressionsprävalenz (56,9 %), in denen Modellprognosen unzuverlässig sind.
  • Externe Validierung: Die Anwendung der aus 2011 abgeleiteten CART-Regeln auf den 2018er Kohort zeigte stabile Gruppen-AUCs, was die zeitliche Robustheit der Triage-Logik bestätigt.

Bedeutung und Ansprüche
Das Paper beansprucht, einen einsetzbaren Triage-Pfad für die Primärversorgung bereitzustellen, der das „Black-Box“-Problem in ML-gestützten Screenings adressiert. Seine Bedeutung liegt in drei Bereichen:

1. Methodische Korrektur: Es zeigt auf, dass kumulativer Selektionsbias eine duale Verzerrung (komprimierte Assoziationen und inflationäre Metriken) erzeugt, die explizit berichtet werden muss. Die Autoren argumentieren, dass Leistungsmetriken immer zusammen mit ihrem Selektionsniveau, ihrer Coverage und ihrer Kalibrierungstrajektorie angegeben werden sollten.
2. Rahmenwerk für Zuverlässigkeit: Es etabliert, dass die entkoppelte selektive Prädiktion unter Verwendung von Kreuzvalidierungs-Residuen eine robuste Methode ist, um eine hochkonfidente Teilgruppe von Patienten zu identifizieren, welche die modell-eingebetteten Unsicherheitsindikatoren, die im epidemiologischen Kontext oft versagen, übertrifft.
3. Klinische Handlungsfähigkeit: Durch die Umwandlung komplexer ML-Unsicherheit in eine einfache, vier-variable CART-Regel bietet die Studie ein praktisches „Triage-Gate“. Dies ermöglicht es Allgemeinmedizinern, etwa 20 % der Patienten (den zuverlässigen Bereich) einem algorithmengestützten Scoring zuzuführen und die verbleibenden 80 % (den unsicheren Bereich) einer menschlichen Evaluation zuzuführen, wodurch die Patientensicherheit gewährleistet und die Interpretierbarkeit in ressourcenarmen Settings aufrechterhalten wird.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz die Überwachung der Modellunsicherheit von einem statistischen Post-Processing-Schritt in einen routinemäßigen Qualitätsmanagement-Kontrollpunkt für gestaffelte Gesundheitssysteme transformiert.