💻 computer science

Stratum-eval: A Normative-First Evaluation Framework for Clinical Machine Learning

L'article présente Stratum-eval, un cadre d'évaluation axé sur la normativité pour l'apprentissage automatique clinique qui impose un document de spécification normative validé définissant les cas d'utilisation, les compromis d'équité et les limites des parties prenantes avant le calcul de toute métrique de performance, garantissant ainsi que l'alignement éthique et réglementaire est établi avant le déploiement du modèle.

Auteurs originaux : Hassan Farooq, Abdullah Jawad, Muhammad Salman Butt

Publié 2026-07-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hassan Farooq, Abdullah Jawad, Muhammad Salman Butt

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un médecin sur le point d'utiliser un nouvel assistant robotique de haute technologie pour aider à diagnostiquer des patients. Avant de laisser ce robot toucher le moindre patient, vous voulez savoir : est-il intelligent ? Est-il équitable ? Et surtout, quel genre d'erreurs est-il autorisé à commettre ?

Habituellement, lorsque nous testons ces robots d'IA médicale, nous demandons simplement : « À quelle fréquence a-t-il raison ? » (comme une note à un examen). S'il réussit à 90 %, nous disons : « Super, utilisons-le ! »

Le document que vous avez partagé, « Stratum-eval », soutient que c'est comme acheter une voiture sans vérifier si les freins fonctionnent ou si le volant est du bon côté. Il dit que nous posons les mauvaises questions en premier.

Voici l'idée du document, décomposée en analogies simples :

1. Le « Manuel de règles » doit précéder le « Test »

Les auteurs disent que nous faisons les choses à l'envers. Habituellement, nous construisons le robot, nous le testons, et ensuite nous débattons de la question de savoir si les résultats sont équitables.

Stratum-eval inverse cela. Avant même de lancer le moindre test, vous devez rédiger une Spécification Normative (NSD - Normative Specification Document). Considérez cela comme un contrat ou un manuel de règles que vous signez avant que le jeu ne commence.

Que contient le contrat ? Il définit exactement l'usage du robot, qui pourrait être blessé s'il commet une erreur, et — crucialement — quels types de compromis sont acceptables.
L'arrêt obligatoire (Le « Hard Stop ») : Si vous n'avez pas ce contrat signé, ou si le contrat dit « nous nous moquons de qui est blessé », le système refuse de s'exécuter. C'est comme un inspecteur de sécurité refusant de laisser un avion décoller parce que le pilote n'a pas signé la liste de contrôle pré-vol.

2. Les « Huit Fantômes » (Erreurs communes)

Le document identifie huit façons dont les évaluations d'IA médicale peuvent échouer, ce qu'ils appellent des « modes de défaillance ». Ils sont comme des fantômes qui hantent les données, faisant paraître le robot performant alors qu'il est en réalité dangereux.

Le fantôme de la « Chambre d'écho » : Le robot est testé sur les mêmes personnes qui ont rédigé les réponses. C'est comme un étudiant qui passe un examen où l'enseignant est aussi celui qui a écrit le corrigé. Le robot se contente de mémoriser les notes de l'enseignant au lieu d'apprendre la médecine.
Le fantôme du « Chiffre magique » : Le robot donne un score unique (comme « 85 % de précision »), mais ce chiffre cache le fait qu'il est incapable d'aider un groupe spécifique de personnes (comme les femmes ou les patients âgés).
Le fantôme de la « Promesse impossible » : Le document met en lumière une loi mathématique (le théorème d'impossibilité de Chouldechova). Imaginez essayer de promettre qu'un robot sera 100 % équitable envers deux groupes ayant des taux de maladies différents. La mathématique dit que vous ne pouvez pas tout avoir. Vous devez choisir : voulez-vous rater moins de personnes malades, ou voulez-vous effrayer moins de personnes saines ? Vous ne pouvez pas faire les deux parfaitement. Le cadre vous force à admettre cette impossibilité avant de commencer.

3. L'inspection à cinq couches

Une fois le contrat (NSD) signé, le cadre soumet le robot à une inspection en cinq couches. Considérez cela comme une inspection automobile qui va bien plus loin que la simple vérification du moteur :

Couche 1 (Le Moteur) : Le robot sait-il réellement faire la différence entre une personne malade et une personne saine ? (Discrimination).
Couche 2 (La Jauge) : Quand le robot dit « 80 % de chances de maladie », est-ce réellement 80 % ? Ou est-ce qu'il devine ? (Calibration).
Couche 3 (Le Test d'équité) : Le robot fait-il le même nombre d'erreurs pour les hommes et les femmes ? Si le contrat disait « pas plus de 15 % de cas manqués pour les hommes », est-ce qu'il réussit ?
Couche 4 (Le Test d'intersection) : Qu'en est-il d'un groupe spécifique, comme les « femmes âgées » ? Le cadre vérifie si le robot échoue spécifiquement pour elles, même s'il fonctionne bien pour tous les autres.
Couche 5 (Le Test de voyage dans le temps) : Si le robot a été entraîné sur des données de l'année dernière, fonctionnera-t-il encore l'année prochaine ? Ou le monde changera-t-il et le robot deviendra-t-il inutile ?

4. La « Date d'expiration »

C'est la partie la plus unique. Les auteurs disent que les règles éthiques changent. Ce qui était acceptable aujourd'hui pourrait ne plus l'être dans deux ans.

Ainsi, chaque contrat NSD possède une date d'expiration (une « condition de coucher de soleil » ou sunset condition).

Si la date est dépassée, le rapport d'évaluation devient invalide.
Vous ne pouvez pas simplement réutiliser un ancien rapport. Vous devez revenir, discuter avec les parties prenantes (patients, médecins) et signer un nouveau contrat.
C'est comme une étiquette alimentaire : si la date d'expiration est passée, vous la jetez. Vous ne la mangez pas simplement parce qu'elle avait l'air bonne hier.

5. Le test en conditions réelles (L'exemple du sepsis)

Les auteurs ont testé leur système sur un petit ensemble de données de patients en soins intensifs (personnes souffrant d'infections graves).

Ils ont découvert que le robot était en fait meilleur pour aider les femmes que les hommes.
À cause des mathématiques (la « Promesse Impossible »), le robot devait manquer plus de cas chez les hommes malades pour éviter d'effrayer trop de femmes saines.
Le Résultat : Le cadre a détecté cela immédiatement. Il n'a pas seulement dit « Le robot a 90 % de précision ». Il a dit : « Arrêtez ! Le robot viole le contrat pour les hommes. Vous devez décider : est-il acceptable de manquer plus de cas chez les hommes, ou devez-vous changer le robot ? »

L'essentiel

Le document ne dit pas que « l'IA est mauvaise ». Il dit : « Nous sommes trop paresseux dans la façon dont nous vérifions l'IA. »

Actuellement, nous laissons les ingénieurs construire le robot, puis nous vérifions le score, et ensuite nous espérons que tout se passera bien. Stratum-eval affirme : « Non. D'abord, nous devons nous asseoir et convenir des règles du jeu, admettre ce que nous ne pouvons pas corriger, et signer un contrat. Si nous ne pouvons pas faire cela, nous ne jouons pas. »

Cela transforme l'évaluation d'un simple test mathématique en un processus de gouvernance, garantissant que les personnes qui seront affectées par le robot aient leur mot à dire sur les règles avant même que le robot ne voie un patient.

Résumé technique : Stratum-eval

Énoncé du problème

Les cadres actuels d'évaluation de l'apprentissage automatique (ML) clinique souffrent d'une erreur d'ordonnancement critique : ils privilégient les mesures de performance discriminative tout en différant les questions normatives concernant quels types d'erreurs comptent, pour qui, et dans quelles conditions un modèle doit être déployé. Cette approche conduit à des « échecs latents » — des métriques aux apparences plausibles qui masquent des problèmes systémiques tels que l'invariance spécieuse, les impossibilités d'équité et l'émergence sociotechnique. L'article soutient que sans un engagement préalable envers des spécifications normatives, les métriques ne peuvent pas informer de manière fiable les décisions de déploiement clinique. Les benchmarks existants échouent souvent à détecter ces problèmes car ils manquent d'un mécanisme permettant d'imposer la compatibilité des critères d'équité avec les distributions de données observées (par exemple, le théorème d'impossibilité de Chouldechova) avant le début de la modélisation.

Méthodologie

Les auteurs proposent stratum-eval, un cadre d'évaluation open-source qui inverse le pipeline standard en faisant de la Spécification Normative un prérequis à tout calcul de métrique. La méthodologie se compose de trois composantes centrales :

1. Le Document de Spécification Normative (NSD)

Avant toute manipulation de données, les évaluateurs doivent compléter un NSD, un artefact validé par machine qui encode :

Cas d'usage : Description en langage clair du rôle décisionnel du modèle.
Critère d'équité : Sélection d'une priorité morale spécifique (ex: égalité des chances, calibration, parité démographique).
Raisonnement d'équité : Une déclaration obligatoire reconnaissant les compromis et les coûts pour les groupes non favorisés par le critère choisi.
Seuils d'erreur acceptables : Limites négociées socialement pour les taux de faux négatifs (FNR) et les taux de faux positifs (FPR).
Horizon de validité et condition de retrait : Validité limitée dans le temps et conditions spécifiques pour le retrait du modèle.

Le NSD est soumis à une « validation stricte ». Si des champs sont manquants, si le raisonnement manque de langage sur les compromis, ou si l'horizon de validité a expiré, le pipeline génère une erreur StratumNSDError et s'arrête.

2. Le Protocole d'Évaluation à Cinq Couches

Une fois le NSD validé, le cadre exécute un protocole séquentiel de cinq couches :

Couche 1 (Benchmarking testé pour l'invariance) : Détecte les corrélations spécieuses à l'aide de l'indice de corrélation spécieuse (SCI) dérivé de l'optimisation du risque invariant (IRM) et de l'extrapolation de risque basée sur la variance (v-REx).
Couche 2 (Qualité des étiquettes et incertitude) : Applique le modèle de Dawid-Skene pour la qualité des étiquettes (nécessitant $\ge$ 3 annotateurs) et vérifie les hypothèses d'échangeabilité conforme.
Couche 3 (Équité de groupe) : Calcule le FNR et le FPR par groupe par rapport aux seuils du NSD.
Couche 4 (Disparité intersectionnelle) : Évalue les disparités à l'intersection des variables de groupement. Les cellules avec $n < 30$ sont signalées comme sous-puissantes plutôt que supprimées, conservant leur visibilité tout en retenant les estimations ponctuelles.
Couche 5 (Robustesse temporelle) : Calcule la dérive de performance à travers les quartiles chronologiques ou utilise des tests de stabilité par bootstrap pour les données non temporelles.

3. Outils de diagnostic

Visualiseur d'impossibilité de l'équité : Pré-calcule la frontière d'impossibilité de Chouldechova pour montrer si un critère d'équité choisi est mathématiquement compatible avec les taux de base observés avant l'entraînement du modèle.
StratumCard : Une fiche de modèle structurée générée à partir des résultats, contenant des exports réglementaires lisibles par machine et des résumés lisibles par l'humain ancrés aux engagements du NSD.

Principales contributions

Architecture axée sur la norme : Le cadre impose que les engagements normatifs (critères d'équité, seuils d'erreur) soient définis et validés avant le calcul des métriques, empêant la rationalisation a posteriori des échecs du modèle.
Taxonomie des échecs d'évaluation : L'article identifie huit modes de défaillance canoniques (F1–F8), classés par source (Données, Métrique, Déploiement, Normative) et par détectabilité (Manifeste vs Latent). Il souligne que six d'entre eux sont latents, nécessitant des tests de diagnostic spécifiques non présents dans les kits standards.
Gouvernance imposée par la machine : Contra-irement aux Model Cards ou aux Datasheets qui reposent sur la bonne foi de l'auteur, stratum-eval utilise le code pour imposer des contraintes. Un NSD expiré empêche la génération d'un StratumCard, et l'absence de raisonnements sur les compromis provoque l'échec du pipeline.
Opérationnalisation de l'impossibilité : Le cadre rend explicitement visible le théorème d'impossibilité de Chouldechova (l'incompatibilité de la calibration, de l'égalité des chances et des taux de base divergents) comme une contrainte structurelle à résoudre via la délibération des parties prenantes, et non par l'ajustement algorithmique.

Résultats expérimentaux

Le cadre a été appliqué à la démonstration de la base de données clinique MIMIC-IV (v2.2), une cohorte de 140 séjours en soins intensifs avec un résultat Sepsis-3 (prévalence 41,4 %).

Caractéristiques du jeu de données : La cohorte présentait une différence de taux de base de 14,8 points de pourcentage entre les patients masculins (48,1 %) et féminins (33,3 %), déclenchant la condition d'impossibilité de Chouldechova.
Performance du modèle : Un classifieur XGBoost a atteint un AUROC global de 0,905. Cependant, l'analyse par groupe a révélé des disparités significatives.
Résultats de la Couche 3 : Le modèle a violé le seuil de FNR acceptable (0,15) du NSD pour les patients masculins (Groupe A), avec un FSR observé de 0,429. Les patientes (Groupe B) respectaient le seuil (FNR 0,143).
Résultats de la Couche 2 : Le Groupe B présentait une bien meilleure calibration (ECE 0,110) par rapport au Groupe A (ECE 0,237).
Analyse d'impossibilité : Le cadre a correctement identifié que la différence de taux de base rendait impossible la satisfaction simultanée de la calibration et de l'égalité des chances. Le NSD avait sélectionné la calibration comme critère ; le cadre a fait ressortir que ce choix imposait structurellement un FPR plus élevé pour le groupe à faible prévalence (femmes) ou, dans cette configuration spécifique de seuil, une violation du seuil de FNR pour le groupe à prévalence plus élevée (hommes).
Limites : En raison de la petite taille de l'échantillon ( $N=140$ ), les résultats de la Couche 4 (Intersectionnelle) et de la Couche 5 (Temporelle) ont été signalés comme sous-puissants ou peu fiables, servant uniquement de preuve de concept.

Signification et affirmations

L'article affirme que stratum-eval déplace le paradigme de l'évaluation de l'IA clinique de « la documentation comme geste de transparence » vers « la documentation comme porte d'entrée opérationnelle ».

Alignement réglementaire : Le mécanisme NSD opérationnalise directement le plan d'action de la FDA sur l'IA/ML (spécifiquement l'Action 3 sur les bonnes pratiques de ML et l'Action 5 sur la surveillance en conditions réelles) et répond aux exigences de transparence de l'IA Act de l'UE.
Exigence de gouvernance : Les auteurs affirment que les institutions ne possédant pas une structure de gouvernance capable de produire un NSD nommé et signé ne sont pas prêtes à déployer des modèles de risque clinique selon ce protocole. Cela est présenté non pas comme une limitation du cadre, mais comme une conclusion nécessaire.
Modestie : Les auteurs précisent explicitement que stratum-eval est un cadre d'évaluation, et non un outil de développement de modèles ou d'adjudication réglementaire. Il fait ressortir l'information pour permettre une prise de décision responsable, mais ne prend pas les décisions de déploiement lui-même. Le cadre reconnaît que sa validation lexicale des raisonnements de « compromis » est un substitut à une délibération réelle et que la représentation des parties prenantes est documentée mais non vérifiée dans cette preuve de concept.

La conclusion centrale est que le « test plus difficile » pour le ML clinique n'est pas de savoir si un modèle fonctionne sur un jeu de données, mais si le comité de gouvernance d'un hôpital est prêt à s'engager formellement sur des seuils d'erreur spécifiques et des compromis d'équité dans un document limité dans le temps avant qu'une seule métrique ne soit calculée.