RISED: A Pre-Deployment Safety Evaluation Framework for Clinical AI Decision-Support Systems

Résumé technique : RISED – Un cadre d'évaluation de sécurité pré-déploiement pour les systèmes d'aide à la décision clinique basés sur l'IA

Énoncé du problème
Les paradigmes d'évaluation actuels pour les systèmes d'aide à la décision clinique basés sur l'IA reposent fortement sur des métriques d'agrégation de précision (par exemple, AUROC, score de Brier) dérivées d'ensembles de test statiques et retenus. Les auteurs soutiennent que ces métriques échouent à détecter les défaillances critiques de la phase de déploiement, notamment l'instabilité de la fiabilité des entrées due aux décalages de codage, la dégradation de l'équité des sous-groupes, la sensibilité aux seuils et l'impossibilité opérationnelle. En citant des défaillances documentées telles que le modèle de sepsis d'Epic, qui a validé les critères de référence internes mais a échoué lors de la validation externe en raison d'une mauvaise discrimination et d'une fatigue d'alerte, l'article postule que les outils existants (par exemple, AI Fairness 360, Fairlearn, TRIPOD+AI) sont conçus pour la sélection de modèles statiques ou le rapport a posteriori plutôt que pour déterminer la préparation opérationnelle pour des environnements cliniques en direct.

Méthodologie : Le cadre RISED
L'article propose le cadre RISED, une approche d'évaluation pré-déploiement à cinq dimensions. Chaque dimension est opérationnalisée par des sous-critères formels, des seuils de réussite/échec préspécifiés et des intervalles de confiance (IC) à 95 % corrigés par bootstrap accéléré (BCa) avec correction des biais. Une correction de Holm-Bonferroni est appliquée pour contrôler le taux d'erreur par famille à travers les multiples tests d'hypothèse. Le cadre produit trois verdicts possibles par dimension : RÉUSSI, ÉCHOUÉ ou INCONCLUS (lorsque l'IC encadre le seuil).

Les cinq dimensions sont :

1. Fiabilité : Mesure la stabilité des sorties sous des entrées sémantiquement équivalentes mais différemment codées (par exemple, changements d'unités, décalages de granularité CIM).
   • Métrique : Score de sensibilité du juge (JSS), défini comme le taux moyen de basculement de perturbation (PFR) sur une batterie de perturbations.
   • Seuil : JSS < 0,05.
2. Inclusivité : Évalue la cohérence des performances à travers les sous-populations démographiques.
   • Métriques : Écart de parité AUC ($\Delta$AUC) et erreur d'étalonnage attendue (ECE) des sous-groupes.
   • Seuil : $\Delta$AUC $\le$ 0,05 ; ECE $\le$ 0,10 pour tous les sous-groupes.
3. Sensibilité : Évalue la stabilité comportementale sous les décalages de seuil de décision, crucial car les seuils sont souvent réajustés après le déploiement.
   • Métrique : Taux de basculement de seuil (TFR), mesurant la fraction de patients reclassés lorsque le seuil se déplace d'une référence $\tau_0$.
   • Seuil : TFR max $\le$ 0,10 sur un balayage de seuils.
4. Équité : Teste l'alignement des prédictions avec une mesure indépendante du besoin clinique, plutôt qu'avec des proxies d'utilisation qui peuvent encoder des disparités historiques.
   • Métrique : Corrélation besoin-prédiction ($\rho_{need}$) et écarts de besoin au niveau du groupe.
   • Statut : Présenté comme un DIAGNOSTIC plutôt qu'un verdict de filtrage. Si le verdict change en fonction du choix du proxy de besoin (par exemple, étiquette de résultat vs indice de Charlson), cela déclenche une exigence d'une mesure de besoin indépendante du résultat avant le déploiement.
5. Déployabilité : Évalue la faisabilité opérationnelle, y compris la latence d'inférence et la fidélité de l'explication.
   • Métriques : Latence moyenne d'inférence ($\Lambda$) et Fidélité de l'explication ($F_{expl}$), mesurant si les caractéristiques localement importantes s'alignent avec les caractéristiques globalement importantes.
   • Seuil : $\Lambda \le$ 500 ms par cohorte ; $F_{expl} \ge$ 0,50.

Résultats expérimentaux
Le cadre a été appliqué à une cohorte synthétique de 10 000 patients et à trois cohortes réelles couvrant 35 ans de vintage de données : la cohorte UCI Heart Disease (1989), la cohorte UCI Diabetes 130-US Hospitals (1999–2008) et l'Enquête nationale sur la santé par interview (NHIS) 2024 des NCHS.

• Cohorte synthétique (XGBoost, AUROC 0,961) : Malgré une forte discrimination agrégée, le modèle a ÉCHOUÉ les dimensions Fiabilité (JSS = 0,064) et Sensibilité (TFR max = 19,9 %). La dimension Inclusivité était INCONCLUSIVE ($\Delta$AUC = 0,059, IC [0,042, 0,066]). L'Équité était DIAGNOSTIC, montrant un basculement de verdict entre le proxy d'étiquette de résultat (RÉUSSI) et le proxy de l'indice de comorbidité de Charlson (ÉCHOUÉ). La Déployabilité a RÉUSSI.
• Cohortes réelles :
  • UCI Heart Disease (n=303) : Fiabilité et Inclusivité étaient INCONCLUSES en raison de la petite taille de l'échantillon ; Sensibilité ÉCHOUÉ.
  • UCI Diabetes 130 (n=99 492) : Fiabilité RÉUSSI (JSS = 0,0004), mais Inclusivité ($\Delta$AUC = 0,262) et Sensibilité (TFR max = 49,1 %) ont ÉCHOUÉ de manière décisive. L'Équité est restée DIAGNOSTIC avec un désaccord de proxy.
  • NHIS 2024 (n=9 747) : Fiabilité RÉUSSI (JSS = 0,011), tandis que l'Inclusivité ($\Delta$AUC = 0,328) et la Sensibilité (TFR max = 22,5 %) ont ÉCHOUÉ.
• Robustesse multi-modèles : Lorsqu'il a été testé avec une régression logistique et une forêt aléatoire sur la cohorte synthétique, les échecs d'Inclusivité et de Sensibilité ont persisté (basés sur les données), tandis que les échecs de Fiabilité dépendaient du modèle (XGBoost a échoué ; les autres ont réussi).
• Comparaison avec Fairlearn : Fairlearn a identifié des disparités de sous-groupes mais n'a pas détecté l'instabilité des perturbations d'entrée, la sensibilité aux seuils ou le désalignement de l'équité basé sur le besoin, soulignant la portée plus large de RISED.

Contributions clés

1. Définition du cadre : Organise la littérature existante en un cadre pré-déploiement à cinq dimensions spécifique à l'aide à la décision clinique, allant au-delà de la sélection de modèles statiques.
2. Portes quantitatives : Remplace les listes de contrôle qualitatives par des sous-critères formels, des IC bootstrap à 95 % et des règles de décision explicites RÉUSSI/ÉCHOUÉ/INCONCLUS.
3. Validation empirique : Démontre qu'un modèle avec un AUROC élevé peut simultanément échouer aux contrôles de stabilité de l'encodage d'entrée et de sensibilité au décalage de seuil, un modèle validé à travers une cohorte synthétique et trois cohortes réelles distinctes.
4. Recadrage de l'équité : Recadre la dimension Équité comme un « diagnostic de dépendance au proxy », mettant explicitement en lumière les problèmes de validité de construction lorsque les proxies de besoin sont dérivés de données d'utilisation, imposant ainsi l'acquisition de mesures de besoin indépendantes du résultat.
5. Implémentation open-source : Publie le package Python rised, fournissant les verdicts quantitatifs requis par les normes de rapport existantes (TRIPOD+AI, MI-CLAIM, FUTURE-AI).

Signification et affirmations
L'article affirme que RISED fournit une « passerelle principielle » entre la validation de modèles in-silico et l'évaluation clinique en essai silencieux. Il soutient que les métriques agrégées seules sont insuffisantes pour détecter les risques de déploiement tels que l'instabilité de l'encodage et la sensibilité aux seuils. Le cadre est positionné non pas comme un mandat réglementaire mais comme un générateur structuré de preuves numériques pouvant alimenter les soumissions de plan de contrôle de changement prédéterminé (PCCP) de la FDA, les divulgations de gestion des risques ONC HTI-1 et les dossiers techniques de la loi européenne sur l'IA. Les auteurs déclarent que le cadre vise à « provoquer un travail empirique » sur l'étalonnage des seuils et que, bien qu'un RÉSULTAT RISED soit nécessaire pour le déploiement, il n'est pas suffisant, car il ne traite pas de la gouvernance de la mise en œuvre ni de la confiance des cliniciens. Les résultats fournissent des preuves préliminaires de validité de construction, montrant que différentes dimensions échouent de manière différentielle à travers les cohortes et les classes de modèles, suggérant que la préparation au déploiement est une propriété multifacette non capturée par des critères de référence à métrique unique.