🤖 machine learning

Automatic Construction of Clinical Scoring Systems with LLM Agents

Ce papier présente AgentScore, un cadre d'agents LLM qui construit automatiquement des systèmes de scoring clinique déployables et pondérés par unité en combinant la génération de règles sémantiques avec une vérification ancrée dans les données, atteignant des performances comparables à celles des modèles flexibles tout en respectant les contraintes strictes d'interprétabilité et de flux de travail requises pour une utilisation clinique courante.

Auteurs originaux : Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Silas Ruhrberg Estévez, Christopher Chiu, Mihaela van der Schaar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un médecin se précipitant dans un service des urgences bondé. Vous devez prendre une décision rapide concernant le niveau de risque d'un patient, mais vous n'avez pas le temps de sortir une calculatrice, d'ouvrir une application complexe ou de vous souvenir d'une formule impliquant cinq nombres différents multipliés par des pondérations variées. Vous avez besoin d'une simple liste de contrôle : « Si le patient présente le symptôme A, ajoutez un point. S'il présente le symptôme B, ajoutez un point. Si le total est de 3 ou plus, appelez de l'aide. »

C'est ce que sont les systèmes de notation clinique : des listes de contrôle simples et mémorables que les médecins utilisent au chevet du patient.

Cependant, l'Intelligence Artificielle (IA) moderne est excellente pour prédire les risques, mais elle fonctionne généralement comme une « boîte noire » avec des mathématiques complexes impossibles à effectuer de tête. Les auteurs de cet article, Silas Ruhrberg Estévez et ses collègues, ont constaté un fossé : nous disposons d'une IA puissante, mais nous ne pouvons pas facilement la transformer en listes de contrôle simples que les médecins utilisent réellement.

Voici comment ils ont résolu le problème, en utilisant une nouvelle méthode créative appelée AgentScore.

Le Problème : Le « Chef » contre le « Dégustateur »

Habituellement, lorsque les scientifiques tentent de construire ces listes de contrôle, ils soit :

Demandent à des experts de sélectionner manuellement les règles (lents et difficiles à mettre à jour).
Utilisent l'IA pour trouver des motifs, mais l'IA suggère des mathématiques complexes (comme « Âge × 0,4 + Pression artérielle × -0,2 ») difficiles à utiliser dans un hôpital réel.

Les auteurs ont réalisé que pour construire une bonne liste de contrôle, il faut deux éléments travaillant ensemble :

Créativité : Quelqu'un capable d'imaginer de nouvelles combinaisons ingénieuses de symptômes (par exemple : « Et si nous comparions la fréquence cardiaque à la pression artérielle ? »).
Tests rigoureux : Quelqu'un qui vérifie strictement si cette idée fonctionne réellement avec des données réelles et n'est pas simplement une chance.

La Solution : AgentScore (L'Équipe d'IA)

L'article présente AgentScore, qui agit comme une petite équipe spécialisée d'agents IA travaillant ensemble pour construire ces listes de contrôle à partir de zéro.

Imaginez cela comme un concours de cuisine où l'objectif est de créer la recette parfaite et simple que n'importe qui peut suivre.

L'agent « Chef » (Le Propositeur LLM) :
Il s'agit d'un modèle de langage (comme l'IA derrière cette explication). Son travail est d'être créatif. Il examine les données des patients et dit : « Hé, et si on vérifiait si la respiration du patient est plus rapide que 30 respirations ? » ou « Et si on vérifiait si leur fonction rénale a diminué de 20 % ? »
- Règle cruciale : Le Chef n'a pas le droit de voir les noms réels des patients ou leurs dossiers privés. Il ne voit qu'un résumé des données (comme « la fréquence cardiaque moyenne est de 80 »). Cela garantit la confidentialité des patients.
- Le Chef propose une liste de règles potentielles pour la liste de contrôle.
L'agent « Dégustateur » (Le Vérificateur Déterministe) :
Il s'agit d'un programme informatique mathématique strict. Il prend les idées du Chef et les teste contre les données réelles.
- Cette règle prédit-elle réellement qui tombe malade ? (Si non, elle est éliminée).
- Cette règle est-elle simplement une copie d'une autre règle ? (Si oui, elle est éliminée pour garder la liste courte).
- La règle est-elle assez simple pour être écrite sur un morceau de papier ? (Si elle est trop complexe, elle est éliminée).
L'agent « Chef Exécutif » (L'Assembleur) :
Une fois que le Dégustateur a un ensemble de règles bonnes et vérifiées, cet agent sélectionne la meilleure combinaison. Il construit la liste de contrôle finale, en s'assurant qu'elle contient un nombre limité d'éléments (pour qu'elle soit facile à retenir) et que chaque élément compte exactement pour un point.

Pourquoi « Un Point » Compte

L'article souligne que les meilleures listes de contrôle sont pondérées de manière unitaire. Cela signifie que chaque élément de la liste vaut exactement 1 point.

Mauvaise liste de contrôle : « Âge > 65 ans = 3 points, mais une pression artérielle basse = -2 points. » (Difficile à faire de tête).
Liste de contrôle AgentScore : « Âge > 65 ans ? +1 point. Pression artérielle basse ? +1 point. Total > 2 ? Appelez de l'aide. » (Facile à faire de tête).

Les auteurs ont découvert que ces simples listes « 1 point » sont étonnamment puissantes. Elles sont presque aussi efficaces pour prédire les résultats que les modèles d'IA complexes et lourds de mathématiques, mais elles sont réellement utilisables par les humains.

Les Résultats : Battre les Experts

L'équipe a testé AgentScore sur huit tâches médicales différentes (comme la prédiction de l'insuffisance cardiaque, de l'insuffisance rénale ou du décès en réanimation) en utilisant des données hospitalières réelles.

Mieux que les anciennes méthodes : AgentScore a créé des listes de contrôle plus précises que les méthodes précédentes qui tentaient de forcer une IA complexe dans de simples listes de contrôle.
Mieux que les directives standard : Sur deux tests spécifiques, les listes de contrôle construites par AgentScore étaient en réalité meilleures pour repérer les patients à haut risque que les directives médicales officielles et de longue date actuellement utilisées dans les hôpitaux.
Approbation des médecins : Lorsqu'ils ont montré les résultats à 18 médecins réels, ces derniers ont massivement préféré les listes de contrôle AgentScore. Ils ont déclaré que les listes générées par l'IA semblaient plus naturelles, plus faciles à utiliser au chevet du patient et correspondaient mieux à la façon dont les médecins pensent réellement.

La Conclusion

L'article soutient que nous n'avons pas toujours besoin d'une IA plus grande et plus complexe pour sauver des vies. Parfois, la meilleure IA est celle capable de traduire ses connaissances complexes en une simple liste de contrôle papier et crayon qu'un médecin fatigué peut utiliser en une fraction de seconde.

AgentScore prouve qu'en utilisant l'IA pour proposer des idées et des mathématiques strictes pour les vérifier, nous pouvons automatiquement construire ces outils simples et sauveurs de vies sans qu'un expert humain ait à écrire manuellement chaque règle.

Note importante : Les auteurs sont très clairs sur le fait qu'il s'agit d'outils de recherche. Ils ne sont pas encore approuvés pour une utilisation dans les hôpitaux réels pour traiter des patients. Ils constituent une preuve de concept montrant une nouvelle façon de construire des outils médicaux à la fois intelligents et simples.

Résumé technique : Construction automatique de systèmes de score clinique avec des agents LLM

Énoncé du problème

La pratique clinique moderne repose sur des systèmes de score compacts et fondés sur des preuves (par exemple, CURB-65, SOFA) composés d'un petit nombre de règles décisionnelles interprétables. Ces systèmes sont conçus pour une exécution au chevet du patient, nécessitant une mémorabilité, une auditabilité et une opérationnalité sans aide informatique. Cependant, de nombreux modèles d'apprentissage automatique (ML) performants échouent à se traduire par une utilisation clinique de routine car ils sont inadaptés à ces contraintes de flux de travail. Ils reposent souvent sur des intrants inégalement disponibles, nécessitent un prétraitement complexe, ou produisent des calculs à poids continus difficiles à exécuter manuellement.

Les méthodes automatisées existantes pour l'apprentissage de scores cliniques font généralement face à un « écart génération-sélection ». Des approches comme RiskSLIM ou Optimal Checklists optimisent sur une matrice de caractéristiques fixe et préconstruite. Elles ne peuvent pas découvrir automatiquement des règles dérivées cliniquement significatives (par exemple, des rapports physiologiques, des tendances temporelles, ou des compositions logiques superficielles) à partir de variables brutes. Par conséquent, la charge de construire l'espace des hypothèses incombe à l'ingénierie manuelle des caractéristiques, limitant la couverture de l'espace des règles combinatoires que les lignes directrices cliniques considèrent habituellement.

Le défi central consiste à optimiser conjointement la construction de règles et la compatibilité avec les listes de contrôle au sein d'une classe de modèles contrainte (listes de contrôle non ordonnées à poids unitaires) tout en naviguant dans un espace de recherche discret exponentiellement grand, qui est intraitable par une énumération exhaustive ou une optimisation standard basée sur le gradient.

Méthodologie : AgentScore

Les auteurs introduisent AgentScore, un cadre qui fait le pont entre les grands modèles de langage (LLM) et l'optimisation discrète pour construire automatiquement des systèmes de score clinique déployables. Le système traite les LLM non pas comme des décideurs autonomes, mais comme des mécanismes de proposition sémantique structurée intégrés dans une boucle de vérification déterministe et ancrée dans les données.

1. Langage des règles et contraintes

AgentScore opère dans un langage de règles restreint et motivé cliniquement $\mathcal{R}$ qui prend en charge :

Seuils et plages numériques : Points de coupure standards (par exemple, $FC > 100$).
Règles de présence catégorielles et binaires : Diagnostics ou comorbidités.
Rapports et contrastes physiologiques : Indices dérivés (par exemple, $FC/PA$).
Règles basées sur le comptage : Critères de type M-sur-N (par exemple, critères SIRS).
Compositions logiques superficielles : Opérations ET/OU de profondeur limitée pour préserver la mémorabilité.
Règles temporelles et distributionnelles : Tendances, deltas et seuils basés sur les quantiles dérivés de données longitudinales.

Le modèle cible est une liste de contrôle N-sur-M à poids unitaires : un ensemble clairsemé de règles binaires $S$ où le score est le nombre de règles satisfaites ( $S(\tilde{x}) = \sum r_j(\tilde{x})$ ), et une décision est prise si le score dépasse un seuil $\tau$ .

2. Le pipeline AgentScore

La procédure d'apprentissage décompose le problème en trois étapes (Figure 2) :

Proposition de règles (Agent LLM) : Un LLM propose des règles candidates basées sur une description de l'ensemble de données et des statistiques agrégées fournies via une interface d'outils. Crucialement, le LLM n'observe jamais les dossiers individuels des patients, atténuant ainsi les risques de confidentialité et les hallucinations. Il génère des règles JSON structurées conformes à la grammaire.
Validation et filtrage déterministes :
- Dépistage statistique : Les règles proposées sont évaluées sur des données de rétention. Une règle n'est conservée que si elle atteint un seuil de discrimination minimum (par exemple, AUROC $\ge 0,60$ ) et passe des contrôles de redondance (similarité de Jaccard sur la couverture de la classe positive) par rapport au pool actuel.
- Vérification de la plausibilité clinique : Un second agent LLM agit comme une « auto-vérification » pour rejeter les règles qui sont statistiquement valides mais cliniquement absurdes ou sémantiquement incohérentes.
Assemblage du score (Agent LLM) : Un troisième agent sélectionne un sous-ensemble compact de règles du pool conservé pour former la liste de contrôle finale. Cet agent est guidé pour proposer des combinaisons sémantiquement diversifiées (par exemple, couvrant les domaines respiratoire, cardiovasculaire et rénal) plutôt que simplement des proxies statistiquement similaires.
Raffinement itératif : L'agent d'assemblage peut affiner itérativement la liste de contrôle, recevant des retours sur les métriques de discrimination et de couverture, jusqu'à ce qu'un critère d'arrêt soit atteint. Le seuil de décision final $\tau$ est optimisé automatiquement (par exemple, en maximisant la statistique J de Youden).

3. Objectif d'optimisation

Le système cherche à maximiser l'utilité clinique empirique (par exemple, AUROC, bénéfice net) sous réserve de contraintes strictes :
$\max_{S \subseteq \mathcal{R}} U(S(\tilde{x}), y; D_{val}) \quad \text{sous} \quad |S| \le m, \text{Profondeur}(r) \le d$
Il s'agit d'un problème combinatoire NP-difficile et non différentiable. AgentScore y répond en utilisant le LLM pour naviguer dans la structure sémantique de l'espace des règles, atténuant le problème du « démarrage à froid » consistant à trouver des règles à haute utilité dans un paysage clairsemé, tandis que des outils déterministes garantissent la validité statistique et la déployabilité.

Contributions clés

Conceptuelle : L'article formalise l'apprentissage de listes de contrôle cliniques déployables comme un problème d'optimisation combinatoire conjoint sur la construction de règles et la sélection de sous-ensembles, plutôt que simplement une sélection sur des caractéristiques fixes. Il encode explicitement les contraintes cognitives et opérationnelles du chevet (mémorabilité, auditabilité, utilisation sans calcul) dans la classe d'hypothèses.
Algorithmique : AgentScore introduit un cadre où les LLM proposent des candidats sémantiquement structurés dans une grammaire restreinte, tandis que des outils déterministes imposent la validité grammaticale, le dépistage statistique et le contrôle de la redondance. Cette séparation garantit que le score final est à la fois interprétable et empiriquement soutenu.
Empirique : La méthode est évaluée sur huit tâches de prédiction clinique (MIMIC-IV, eICU) et deux tâches de validation externe.

Résultats expérimentaux

Performance prédictive : Sur huit tâches, AgentScore surpasse significativement les bases de comparaison existantes pour la génération de scores (RiskSLIM, FasterRisk, Optimal Checklists, AutoScore) et égale ou dépasse les modèles interprétables flexibles (Régression logistique, Arbres de décision) malgré le fonctionnement sous des contraintes structurelles plus strictes (poids unitaires, petits nombres de règles).
Compétitivité par rapport aux lignes directrices : Dans des contextes de validation externe (mortalité en réanimation PhysioNet 2012 et cohortes de fibrose kystique au Royaume-Uni/Canada), AgentScore a obtenu une discrimination supérieure (AUROC) par rapport aux lignes directrices cliniques établies (SOFA, SAPS-I, lignes directrices pour la transplantation de fibrose kystique) tout en restant adapté à une exécution manuelle.
Déployabilité : Un examen structuré par 18 cliniciens en exercice a montré une préférence significative pour les listes de contrôle générées par AgentScore par rapport aux bases de comparaison à poids entiers (FasterRisk) concernant l'alignement avec le raisonnement de type ligne directrice (85 %), la facilité d'application au chevet (71 %) et la préférence de déploiement (81 %).
Études d'ablation : La suppression de la boucle contrainte de proposition-validation (en la remplaçant par une génération LLM non contrainte) a entraîné une baisse significative des performances (d de Cohen $\approx 2,8$ ), confirmant la nécessité de la boucle de vérification déterministe.

Importance et affirmations

L'article soutient que l'écart entre la performance du ML et l'adoption clinique n'est pas dû à une puissance prédictive insuffisante, mais à une optimisation sur des classes de modèles incompatibles avec le déploiement des lignes directrices. AgentScore démontre que l'optimisation sémantique contrainte — où la conception de la classe d'hypothèses, la déployabilité et la vérification sont traitées comme des préoccupations de modélisation de premier ordre — peut produire des modèles à la fois hautement précis et directement exécutables au chevet du patient.

Les auteurs soulignent que leur approche ne remplace pas les lignes directrices cliniques mais fournit une voie pour construire automatiquement des systèmes de score candidats qui s'alignent sur une utilisation de type ligne directrice et sont adaptés à une validation prospective. Le cadre aborde les principaux obstacles à l'adoption du ML clinique, notamment la gouvernance des données (en découplant les LLM de l'accès aux données brutes) et l'écart « génération-sélection » dans la découverte de règles.

Limites : Les auteurs notent que AgentScore est moins expressif que les modèles boîte noire flexibles et peut manquer de relations prédictives non accessibles sémantiquement au LLM. Il privilégie la déployabilité par rapport aux garanties d'optimisation formelle et n'impose pas intrinsèquement de contraintes d'équité, nécessitant une audit externe. Les systèmes de score sont des artefacts de recherche destinés à la validation, et non à un déploiement clinique immédiat.