💬 NLP

Human-AI Co-design for Clinical Prediction Models

L'article présente HACHI, un cadre itératif d'interaction humain-machine qui exploite des agents d'IA pour explorer et affiner rapidement des concepts interprétables à partir de notes cliniques grâce aux retours d'experts, accélérant ainsi le développement de modèles de prédiction clinique plus précis et généralisables tout en soulignant le rôle critique de la supervision humaine pour guider l'IA.

Auteurs originaux : Jean Feng, Avni Kothari, Patrick Vossler, Andrew Bishara, Lucas Zier, Newton Addo, Aaron Kornblith, Yan Shuo Tan, Chandan Singh

Publié 2026-06-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jean Feng, Avni Kothari, Patrick Vossler, Andrew Bishara, Lucas Zier, Newton Addo, Aaron Kornblith, Yan Shuo Tan, Chandan Singh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire la liste de contrôle ultime et facile à utiliser pour permettre à un médecin de prédire si un patient va tomber malade. Traditionnellement, construire cette liste de contrôle revient à assembler un meuble complexe les yeux bandés, avec une équipe d'experts qui se disputent pour savoir quels vis utiliser, à quel point les serrer et quelles instructions suivre. Cela prend un temps infini, nécessite une équipe massive et, souvent, le produit final est trop compliqué pour être réellement utilisé dans un hôpital chargé.

Ce document présente une nouvelle façon de construire ces listes de contrôle appelée HACHI. Considérez HACHI comme un partenariat de danse « Humain + IA ». Au lieu que les humains fassent tout le travail difficile et que l'IA reste simplement assise là, ils travaillent ensemble dans une boucle où l'IA fait l'exploration intensive et les humains dirigent le navire.

Voici comment fonctionne le partenariat HACHI, en utilisant des analogies simples :

Le Problème : La « Bibliothèque Infinie »

Les médecins ont accès à des millions de pages de notes non structurées (comme des gribouillis manuscrits ou des paragraphes dactylographiés) concernant les patients. Ces notes contiennent une « bibliothèque infinie » d'indices potentiels (concepts) sur ce qui rend un patient malade.

L'ancienne méthode : Une équipe humaine essaie de lire ces notes et de deviner quels indices sont importants. Ils pourraient passer à côté des plus importants ou choisir des indices qui semblent bons sur le papier mais qui ne fonctionnent pas dans la réalité.
La méthode uniquement par l'IA : On pourrait laisser une IA très intelligente (un grand modèle de langage) lire toutes les notes et choisir les indices. Mais l'IA pourrait s'embrouiller, choisir des indices bizarres (comme « le médecin a écrit en bleu » au lieu de « le patient a de la fièvre »), ou passer à côté de la vue d'ensemble parce qu'elle ne comprend pas le « pourquoi » derrière la médecine.

La Solution : La Danse HACHI

HACHI résout cela en faisant en sorte que l'IA et les humains se relaient dans une boucle.

L'Agent IA (L'éclaireur) : L'IA est envoyée dans la « bibliothèque infinie » des notes. Sa tâche est de scanner rapidement, de trouver des indices potentiels et de les transformer en questions Oui/Non simples (ex : « La note indique-t-elle que le patient a mal à la tête ? »). Elle teste ensuite ces questions pour voir lesquelles aident le mieux à prédire la maladie.
L'Équipe Humaine (Les coachs) : Les humains examinent les résultats de l'IA. Ils agissent comme des coachs. Ils peuvent dire :
- « Hé, tu as choisi un indice sur le "style d'écriture de la note", mais c'est de la triche. Ne regardons que les symptômes réels du patient. »
- « Tu as oublié le type de chirurgie ! C'est un facteur énorme. Va chercher cela. »
- « Cet indice est trop vague. Rendons la question plus spécifique. »
La Boucle : Les humains donnent ce feedback, et l'IA repart chercher de meilleurs indices basés sur les nouvelles instructions. Ils répètent cela quelques fois (généralement 3 ou 4 cycles) jusqu'à ce que la liste de contrôle soit parfaite.

Exemples concrets du document

L'équipe a testé cela sur deux problèmes médicaux spécifiques :

1. Prédire les lésions cérébrales chez les enfants (TBI - Traumatisme crânien)

L'objectif : Décider quels enfants souffrant de traumatismes crâniens ont besoin d'un scanner (qui utilise des radiations) et lesquels n'en ont pas besoin.
La première erreur de l'IA : L'IA pensait initialement que « Est-ce que la note mentionne l'échelle de Glasgow ? » était un bon indice. Les humains ont dit : « Non ! C'est juste un indice sur la façon dont le médecin a écrit sa note, pas sur l'état du patient. » Ils ont aussi découvert que l'IA utilisait accidentellement des données de patients ayant déjà subi un scanner dans d'autres hôpitaux (fuite de données).
La correction : Les humains ont dit à l'IA d'ignorer les styles d'écriture des notes et de retirer ces patients spécifiques.
Le résultat : La liste de contrôle finale était simple, précise, et a même trouvé un nouvel indice que les anciennes méthodes avaient manqué : « L'enfant a-t-il une démarche normale ? » (Si un enfant marche normalement après un choc à la tête, il est probablement hors de danger).

2. Prédire les lésions rénales après une chirurgie (AKI - Insuffisance rénale aiguë)

L'objectif : Prédire si un patient subira des dommages rénaux après une chirurgie générale.
La première erreur de l'IA : L'IA ne regardait que le corps du patient (comme son poids ou sa tension artérielle) et ignorait la chirurgie elle-même.
La correction : Les humains ont dit à l'IA : « Stop ! Le type de chirurgie compte tout autant. De plus, rendez vos questions plus spécifiques pour que différents médecins les interprètent de la même manière. »
Le résultat : La liste de contrôle finale incluait des éléments tels que « La chirurgie est-elle urgente ? » et « Le patient a-t-il une fréquence cardiaque supérieure à 100 ? ». Elle est devenue beaucoup plus précise que les modèles précédents.

Pourquoi cela importe

Le document affirme que HACHI est plus rapide et meilleur que les anciennes méthodes car :

C'est Rapide : L'équipe n'a passé qu'environ 1 à 2 heures par cycle pour réviser le travail de l'IA.
C'est Clair : Les modèles finaux ne sont que de simples listes de questions Oui/Non qu'un médecin peut comprendre et utiliser sans ordinateur.
C'est Fiable : Parce que les humains sont dans la boucle, ils détectent les erreurs de l'IA (comme les fuites de données ou les corrélations bizarres) avant que le modèle ne soit terminé.

En résumé, HACHI est comme avoir un stagiaire super rapide et super intelligent (l'IA) qui fait toutes les recherches, tandis que les médecins seniors (les humains) guident le stagiaire pour s'assurer que le rapport final est précis, équitable et réellement utile. Le document montre que ce partenariat crée de meilleurs outils de prédiction médicale que les humains ou l'IA ne pourraient en construire seuls.

Résumé technique : Co-conception Humain-IA pour les modèles de prédiction clinique (HACHI)

Énoncé du problème

Le développement de modèles de prédiction clinique (MPC) sûrs, efficaces et pratiquement utiles nécessite traditionnellement une collaboration itérative entre experts cliniques, scientifiques des données et spécialistes de l'informatique médicale. Bien que les modèles simples et entièrement interprétables (par exemple, les scores basés sur des règles) soient préférés en pratique clinique pour leur facilité de mise en œuvre et d'auditabilité, ils sont difficiles à développer à grande échelle. Le processus est chronophage et gourmand en ressources car il nécessite d'affiner des détails critiques tels que la sélection des caractéristiques et les définitions des catégories cliniques.

Ce défi est exacerbé lorsqu'il s'agit d'incorporer des informations provenant de notes cliniques non structurées. Ces notes contiennent un nombre essentiellement infini de concepts (par exemple, les variations de l'historique de « tabagisme »), rendant l'exploration manuelle de toutes les caractéristiques possibles irréalisable. Bien que les modèles de langage de grande taille (LLM) récents puissent extraire des concepts et imiter le raisonnement clinique, les approches d'agents IA existantes opèrent souvent de manière isolée. Sans l'orientation externe d'experts du domaine, ces agents peuvent apprendre des concepts trop simplistes, manquer de crédibilité clinique ou souffrir de fuites de données (data leakage), ce qui aboutit à des modèles qui ne parviennent pas à se traduire dans la pratique clinique. De plus, un « gouffre d'envisionnement » existe où les équipes cliniques manquent initialement de clarté pour spécifier les instructions de tâche exactes pour un agent IA, ce qui nécessite un processus itératif pour aligner les objectifs.

Méthodologie : Le cadre HACHI

Les auteurs présentent HACHI (Human+Agent Co-design for Healthcare Instruments), un cadre itératif de conception humaine dans la boucle, conçu pour accélérer le développement de MPC entièrement interprétables. HACHI alterne entre un agent IA explorant des concepts candidats et une équipe d'IA clinique fournissant des commentaires pour affiner le processus d'apprentissage.

Composants principaux

Définition des concepts : Les concepts sont définis comme des questions oui/non simples et interprétables par l'humain (par exemple, « La note mentionne-t-elle que le patient a... ? ») utilisées au sein de modèles linéaires.
La boucle de l'agent IA (Boucle interne) : L'agent effectue une procédure de recherche intensive (greedy hill-climbing) pour sélectionner $k$ $k$ concepts qui maximisent la précision de la prédiction. Cela implique trois étapes :
- Initialisation : L'agent extrait les mots-clés des notes cliniques et propose $k$ questions de concepts initiales basées sur les connaissances du monde et les mots-clés.
- Proposition : En utilisant un modèle de sac de mots (bag-of-words) sur les données d'entraînement, l'agent identifie les mots-clés associés au résultat et propose de nouvelles questions de concepts candidates.
- Évaluation : L'agent annote les notes cliniques pour chaque concept candidat, ajuste un MPC (en utilisant une régression logistique avec pénalité lasso) et évalue la performance sur un ensemble de validation. Le meilleur concept remplace l'actuel.
La boucle de l'équipe d'IA clinique (Boucle externe) : L'équipe examine les résultats du tour de l'agent IA via une interface web conforme aux normes PHI. Elle fournit des commentaires directionnels en :
- Modifiant les prompts en texte libre (par exemple, en changeant le préfixe des questions pour s'assurer qu'elles extraient des attributs du patient plutôt que des styles de rédaction de notes).
- Ajustant les critères d'inclusion des données (par exemple, en supprimant les patients ayant des résultats de scanner antérieurs pour éviter la fuite de données).
- Modifiant les outils statistiques (par exemple, en ajoutant des poids d'échantillonnage pour traiter les déséquilibres entre les sites).
- Imposant des priors cliniques (par exemple, exiger que les signes des coefficients correspondent à l'intuition clinique).

Mise en œuvre

Le cadre a été appliqué à deux tâches réelles à l'UCSF :

Traumatisme crânien (TBI) : Prédire le diagnostic de TBI chez les enfants présentant un traumatisme crânien.
Insuffisance rénale aiguë (AKI) : Prédire l'AKI postopératoire chez les patients adultes de chirurgie générale.
Le processus a généralement nécessité 3 à 4 cycles d'itération pour atteindre un modèle satisfaisant.

Résultats clés

Étude de cas 1 : Traumatisme crânien (TBI)

Performance : Le modèle HACHI final a atteint une AUC de 0,91 globale, surpassant la règle PECARN standard (AUC 0,75) et une approche de brainstorming à un seul tour (AUC 0,88).
Améliorations itératives :
- Tour 1 : A atteint une AUC élevée (0,92) mais reposait sur des corrélations spécieuses (ex: « la note mentionne le GCS ») et une fuite de données (patients avec des scanners antérieurs).
- Tour 2 : Après avoir supprimé les cas de scanner antérieur et affiné les prompts pour se concentrer sur les attributs du patient, l'AUC est tombée à 0,90, mais les concepts sont devenus cliniquement valides.
- Tour 3 : Les coefficients ont été alignés avec les priors cliniques (ex: assurer qu'un GCS normal ait un coefficient négatif).
- Tour 4 : A traité les problèmes de généralisation entre deux campus hospitaliers (Oakland vs Mission Bay) en introduisant des poids d'échantillonnage. Cela a amélioré l'AUC de Mission Bay de 0,71 à 0,80 tout en maintenant la performance globale.
Nouveauté : Le modèle final comprenait une caractéristique inédite : « Le patient a-t-il une démarche normale ? », qui ne figure pas dans les règles PECARN standards.

Étude de cas 2 : Insuffisance rénale aiguë (AKI)

Performance : Le modèle HACHI final a atteint une AUC de 0,73 sur l'ensemble de validation interne et de 0,76 sur un ensemble de test temporellement disjoint (Période 2). Cela a surpassé le modèle de Kheterpal (AUC ~0,65) et une approche de brainstorming à un seul tour (AUC 0,70).
Améliorations itératives :
- Tour 1 : S'est concentré uniquement sur les caractéristiques du patient (AUC 0,60).
- Tour 2 : A étendu l'analyse pour inclure les facteurs de risque chirurgicaux (ex: type de chirurgie), améliorant l'AUC à 0,70.
- Tour 3 : A affiné les définitions des concepts pour être plus précises (ex: définir une « infection systémique active » avec des exemples) et a inclus des facteurs médicamenteux. Cela a augmenté l'AUC à 0,73 et amélioré la généralisabilité temporelle.
Nouveauté : Le modèle a identifié des facteurs peu communs dans les scores d'AKI interprétables, tels que la « chirurgie mini-invasive » (protectrice), la « tachycardie » et l'« apnée du sommeil ».

Contributions clés

Cadre de co-conception : HACHI démontre qu'une collaboration significative entre les équipes d'IA clinique et les agents d'IA peut produire des modèles performants et interprétables, supérieurs aux approches d'IA zero-shot ou à l'ingénierie de caractéristiques manuelle traditionnelle.
Combler le « gouffre d'envisionment » : Le cadre répond au manque initial de clarté dans la spécification des tâches en utilisant une boucle de rétroaction itérative. Cela permet aux équipes d'aligner progressivement les capacités de l'agent IA avec les objectifs cliniques, en affinant les prompts, les données et les métriques d'évaluation au fil du temps.
Découverte de nouveaux prédicteurs : Le processus a mis au jour des concepts cliniquement pertinents souvent omis des MPC standards (ex: la démarche dans le TBI, la chirurgie mini-invasive dans l'AKI) tout en récupérant des prédicteurs connus.
Efficacité : Le cadre est efficace, ne nécessitant que 1 à 2 heures de revue par l'équipe par tour, 3 à 4 tours étant suffisants pour atteindre un modèle robuste.
Interprétabilité et confiance : En définissant les concepts comme des questions oui/non et en permettant la revue humaine de chaque étape, le cadre garantit que les modèles résultants sont transparents, auditables et cliniquement crédibles.

Signification et affirmations

L'article affirme que HACHI offre une voie pratique pour développer des MPC locaux et interprétables, adaptés à des populations de patients et des contextes institutionnels spécifiques. Contrairement aux modèles complexes de type « boîte noire », les modèles dérivés de HACHI sont assez simples pour une mise en œuvre au chevet du patient (calcul mental ou revue rapide du dossier) et peuvent être audités par des experts du domaine.

Les auteurs soulignent que la supervision humaine est essentielle non seulement pour la validation, mais aussi pour façonner le processus de développement de manières que les agents d'IA ne peuvent atteindre seuls — spécifiquement pour identifier la fuite de données, corriger les corrélations spécieuses, assurer l'équité entre les sites et affiner la granularité des concepts. Le cadre est conçu pour être accessible, ne nécessitant qu'un accès aux notes cliniques, un LLM conforme aux normes PHI et l'accompagnement d'une équipe d'IA clinique.

L'article conclut par des affirmations modestes concernant le déploiement : bien que la validation rétrospective ait montré de solides performances, une validation prospective dans des flux de travail cliniques en temps réel est encore nécessaire. De plus, la qualité des modèles dépend de la précision d'extraction du LLM et des pratiques de documentation spécifiques de l'institution. Les auteurs positionnent HACHI comme une étape vers la démocratisation de la création d'outils cliniques de haute qualité sans les coûts de ressources prohibitifs du développement traditionnel.