Selective prediction as a triage gate for primary-care depression screening: quantifying and mitigating selection bias in CHARLS-2011

Résumé Technique : La prédiction sélective comme porte de triage pour le dépistage de la dépression en soins primaires

Problématique
Les soins primaires en Chine manquent d'outils structurés d'évaluation de la santé mentale, et les modèles d'apprentissage automatique (ML) existants pour le dépistage de la dépression sont souvent développés sur des échantillons fortement sélectionnés. Les auteurs soutiennent que les critères cumulatifs d'inclusion et d'exclusion, généralement traités comme des étapes neutres de nettoyage des données, introduisent une « double distorsion » :

1. Distorsion épidémiologique : Les entonnoirs de sélection compressent ou altèrent les associations épidémiologiques (par exemple, la relation entre les maladies chroniques et la dépression), ce qui peut rendre les conclusions tirées des échantillons sélectionnés non généralisables à la population cible.
2. Distorsion métrique : Les mesures de performance des modèles d'apprentissage automatique, particulièrement l'aire sous la courbe (AUC), sont souvent gonflées dans les échantillons sélectionnés en raison de la réduction de l'hétérogénéité, tandis que l'erreur de calibration peut se dégrader. Cela crée une impression trompeuse de l'état de préparation du modèle pour un déploiement clinique.

De plus, les indicateurs d'incertitude standard intégrés aux modèles ne parviennent pas efficacement à distinguer les cas « faciles » des cas « difficiles » dans les données épidémiologiques, limitant ainsi l'utilité de la prédiction sélective (classification avec option de rejet).

Méthodologie
L'étude utilise l'ensemble de données de base CHARLS 2011 (n=17 705) avec une validation externe temporelle sur la vague CHARLS 2018. La méthodologie est structurée autour de trois objectifs :

1. Quantifier le biais de sélection (l'entonnoir) :

   • Un entonnoir de sélection à quatre niveaux (L0–L3) a été construit pour simuler les processus d'exclusion épidémiologiques standards.
     • L0 : Échantillon complet après imputation multiple par chaînes d'équations (MICE).
     • L1 : Restreint aux individus âgés de ≥60 ans.
     • L2 : Nécessite des réponses complètes au CES-D-10.
     • L3 : Nécessite des covariables sociodémographiques complètes (éducation, assurance, résidence).
   • Analyse d'association : Des modèles de régression logistique ont été ajustés à chaque niveau pour suivre la dérive des rapports de cotes (Odds Ratios, OR) pour cinq maladies chroniques par rapport à la dépression.
   • Analyse de performance : Cinq classifieurs (Régression Logistique, Forêt Aléatoire, XGBoost, LightGBM, Gradient Boosting) ont été évalués à travers les niveaux en utilisant une validation croisée imbriquée et la méthode SMOTE. Des tendances monotones de l'AUC, du score de Brier et de l'erreur de calibration attendue (ECE) ont été testées à l'aide du test de Page's L.

2. Atténuer le biais via la prédiction sélective :

   • Incertitude intégrée au modèle : L'étude a testé si le score d'incertitude interne de chaque modèle (par exemple, l'entropie prédictive, la variance des arbres, les intervalles de résidus quantiles) pouvait efficacement filtrer les échantillons pour améliorer l'AUC.
   • Cadre de prédicteur-sélecteur découplé : Pour surmonter les limites des scores intégrés, les auteurs ont proposé une approche découplée où un sélecteur indépendant évalue la fiabilité prédictive. Neuf sélecteurs candidats ont été évalués, et les résidus de validation croisée de XGBoost ont été identifiés comme le sélecteur externe optimal. Ce sélecteur a été appliqué aux cinq prédicteurs pour déterminer un sous-ensemble « fiable » de la population.

3. Déploiement clinique via des règles interprétables :

   • Stratification des risques : Les échantillons de l'ensemble analytique final (L3) ont été stratifiés en groupes de risque faible, moyen et élevé sur la base de résidus robustes (médiane de cinq configurations d'hyperparamètres).
   • Extraction de règles CART : Un arbre de décision (CART) a été ajusté sur les résidus robustes en utilisant 15 caractéristiques cliniques pour extraire des règles interprétables de type « boîte blanche » définissant les frontières du domaine de prédiction fiable.
   • Vérifications de stabilité : Des analyses de stabilité multi-paramètres (5 configurations) et multi-graines (10 graines) ont été réalisées pour garantir que la stratification des risques était une propriété structurelle des données.

Résultats clés

• Distorsion par biais de sélection :

  • La taille de l'échantillon est passée de 17 705 (L0) à 4 256 (L3) (24,0 %).
  • Atténuation de l'association : L'OR pour le cancer-dépression est passé de 1,78 (IC 95 % 1,32–2,41) à L0 à 1,39 (IC 95 % 0,74–2,63) à L3, perdant sa signification statistique. D'autres associations ont montré des degrés de compression variables.
  • Inflation métrique : Les AUC de tous les cinq modèles ont augmenté de manière directionnelle de L0 à L3 (par exemple, XGBoost de 0,775 à 0,783), mais ces tendances n'étaient pas statistiquement significatives après correction pour comparaisons multiples. Inversement, l'erreur de calibration (ECE) a augmenté de manière significative pour quatre des cinq modèles à mesure que la sélection se resserrait.

• Performance de la prédiction sélective :

  • Incertitude intégrée : Seul XGBoost, utilisant un intervalle de résidus quantiles hors échantillon personnalisé, a obtenu des gains de prédiction sélective significatifs (AUC ~0,83 avec ~52 % de couverture). Les autres indicateurs d'incertitude des modèles n'ont pas réussi à identifier un pic d'AUC supérieur à une couverture totale.
  • Cadre découplé : En utilisant les résidus de validation croisée de XGBoost comme sélecteur externe pour les cinq modèles, tous les classifieurs ont obtenu des gains de prédiction sélective cohérents.
    • Couverture : Environ 20 % des échantillons ont été identifiés comme fiables.
    • Performance : Les AUC de test variaient de 0,888 à 0,901 pour tous les modèles à cette couverture. La précision était d'environ 0,85–0,86 et le rappel d'environ 0,89–0,90.
    • Stabilité : Le seuil de couverture de 20 % était hautement cohérent entre les différentes architectures de modèles, indiquant que le sélecteur identifie un « domaine fiable » stable.

• Règles de triage interprétables :

  • L'analyse CART a identifié quatre variables clés pour le triage : la santé auto-évaluée, l'éducation, la sévérité de la douleur et l'état matrimonial.
  • Domaine à faible résidu (Fiable) : Caractérisé par un niveau d'éducation plus élevé, des profils de douleur spécifiques ou une mauvaise santé auto-évaluée avec des moteurs somatiques clairs.
  • Domaine à haut résidu (Incertain) : Caractérisé par un niveau d'éducation plus faible, des facteurs psychosociaux complexes et une prévalence élevée de la dépression (56,9 %), où les prédictions du modèle sont peu fiables.
  • Validation externe : L'application des règles CART dérivées de 2011 à la cohorte de 2018 a montré des AUC stables par groupe, confirmant la robustesse temporelle de la logique de triage.

Signification et affirmations
L'article affirme fournir un parcours de triage pour les soins primaires déployable qui répond au problème de la « boîte noire » dans le dépistage de la santé assisté par ML. Sa signification réside dans trois domaines :

1. Correction méthodologique : Il démontre que le biais de sélection cumulatif produit une double distorsion (associations compressées et métriques gonflées) qui doit être explicitement rapportée. Les auteurs soutiennent que les mesures de performance doivent toujours être rapportées avec leur niveau de sélection, leur couverture et leur trajectoire de calibration.
2. Cadre de fiabilité : Il établit que la prédiction sélective découplée utilisant les résidus de validation croisée est une méthode robuste pour identifier un sous-ensemble de patients à haute confiance, surpassant les indicateurs d'incertitude intégrés aux modèles qui échouent souvent dans les contextes épidémiologiques.
3. Actionnabilité clinique : En convertissant l'incertitude complexe du ML en une règle CART simple à quatre variables, l'étude offre un « portail de triage » pratique. Cela permet aux omnipraticiens d'orienter environ 20 % des patients (le domaine fiable) vers une notation assistée par algorithme, tout en dirigeant les 80 % restants (le domaine incertain) vers une évaluation humaine, garantissant ainsi la sécurité des patients et maintenant l'interprétabilité dans des contextes à ressources limitées.

Les auteurs concluent que cette approche transforme la surveillance de l'incertitude des modèles d'une étape de post-traitement statistique en un point de contrôle de gestion de la qualité routinier pour les systèmes de soins de santé hiérarchisés.