💻 computer science

Language Models as Interfaces, Not Oracles: A Hybrid LLM-ML System for Pediatric Appendicitis

Cet article présente ClaMPAPP, un système hybride qui exploite les grands modèles de langage comme des interfaces robustes pour extraire des caractéristiques structurées à partir de récits cliniques pour un classifieur XGBoost stable, démontrant une performance diagnostique et une sécurité supérieures dans le triage de l'appendicite pédiatrique par rapport aux approches de LLM de bout en bout.

Auteurs originaux : Soheyl Bateni, Maryam Abdolali

Publié 2026-06-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Soheyl Bateni, Maryam Abdolali

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de diagnostiquer un enfant malade souffrant de maux d'estomac. Vous disposez de deux outils très différents pour vous aider :

Le « Conteur » (le Grand Modèle de Langage ou LLM) : C'est comme un étudiant en médecine brillant et très cultivé qui peut lire vos notes manuscrites désordonnées et comprendre l'histoire de la douleur du patient. Cependant, cet étudiant est sujet aux « hallucinations » (inventer des faits qui semblent réels mais qui ne sont pas vrais) et s'embrouille si vous racontez l'histoire dans un ordre différent. Si vous lui demandez de poser le diagnostic final, il pourrait se tromper.
La « Calculatrice » (le Modèle d'Apprentissage Automatique) : C'est comme une machine mathématique extrêmement précise et ennuyeuse. Elle est incroyablement douée pour traiter les chiffres (comme l'âge, la température et les résultats des analyses de sang) afin de calculer le risque exact d'appendicite. Mais elle ne peut pas lire une histoire désordonnée ; elle ne comprend que les feuilles de calcul propres et organisées.

Le Problème :
Les médecins ont des histoires désordonnées (notes cliniques) mais ont besoin de la précision mathématique pour un diagnostic sûr. Si vous demandez au « Conteur » de faire les calculs, il risque de deviner. Si vous essayez de forcer la « Calculatrice » à lire l'histoire, elle ne pourra pas la comprendre.

La Solution : ClaMPAPP
Les auteurs de cet article ont construit un système hybride appelé ClaMPAPP. Ils n'ont pas essayé de rendre le « Conteur » plus intelligent ; ils lui ont donné un nouveau travail.

Considérez ClaMPAPP comme une chaîne de montage d'usine hautement efficace :

Station 1 : Le Traducteur (le LLM comme interface)
Le « Conteur » (le LLM) se trouve à la première station. Sa seule tâche est de lire les notes cliniques désordonnées et de les traduire en une liste de contrôle propre et organisée. Il n'est pas autorisé à poser un diagnostic. Il dit simplement : « D'accord, le patient a 12 ans, une fièvre de 38 °C et une douleur dans le bas du ventre. »
Station 2 : L'Inspecteur de Sécurité (le Validateur)
Avant que la liste de contrôle ne passe à l'étape suivante, un inspecteur de sécurité strict vérifie si le « Traducteur » n'a pas fait d'erreur. Si le « Traducteur » a écrit par mégarde que le patient a 200 ans ou une température de 500 °C, l'inspecteur le détecte et le marque comme « manquant » au lieu de laisser passer la mauvaise donnée. Cela empêche le système d'être trompé par des erreurs absurdes.
Station 3 : La Calculatrice (le modèle XGBoost)
La liste de contrôle propre et vérifiée est remise à la « Calculatrice » (un type spécifique de modèle mathématique appelé XGBoost). Cette machine effectue le gros du travail. Elle examine les chiffres et calcule le risque d'appendicite. Comme elle ne fait que des mathématiques sur des chiffres vérifiés, elle est très fiable et ne se laisse pas déconcentrer par l'ordre de l'histoire.
Station 4 : Le Rapporteur (le LLM à nouveau)
Enfin, le « Traducteur » revient pour prendre le résultat de la « Calculatrice » et rédiger un résumé clair et facile à lire pour le médecin.

Pourquoi est-ce mieux ?
Les chercheurs ont testé ce système par rapport à l'utilisation du seul « Conteur » (demander au LLM de simplement deviner le diagnostic). Voici ce qu'ils ont découvert :

Le « Conteur » seul est instable : Lorsque les chercheurs ont mélangé l'ordre des phrases dans les notes (comme raconter l'histoire à l'envers), le « Conteur » s'est beaucoup embrouillé et a commis de nombreuses erreurs. Ils ont également manqué beaucoup de cas réels d'appendicite (faux négatifs), ce qui est dangereux dans un service d'urgence.
Le système hybride est stable : Même lorsque l'histoire était mélangée, ClaMPAPP continuait de fonctionner correctement. Comme la « Calculatrice » ne regardait que les chiffres, l'ordre des mots n'avait aucune importance.
La sécurité avant tout : L'objectif le plus important dans un service d'urgence est de ne pas manquer un enfant malade. ClaMPAPP a manqué beaucoup moins de cas d'appendicite que le « Conteur » seul. Il était prêt à donner l'alerte un peu plus souvent (ce qui peut signifier plus de tests pour des enfants en bonne santé) plutôt que de risquer de passer à côté d'un enfant malade.

L'essentiel
L'article soutient que nous ne devrions pas traiter l'IA comme un « Oracle » (une voix magique et omnisciente qui donne la réponse finale). Au lieu de cela, nous devrions la traiter comme une « Interface » (un assistant utile qui organise l'information).

En laissant l'IA gérer le langage et les mathématiques prendre les décisions, ClaMPAPP crée un système plus sûr, plus fiable et plus facile à faire confiance que de demander à une IA de simplement « deviner » le diagnostic. Les auteurs ont testé cela spécifiquement sur des enfants souffrant de douleurs abdominales dans des hôpitaux allemands et ont constaté que cette approche « Traducteur + Calculatrice » fonctionnait mieux qu'en utilisant une IA intelligente pour tout faire elle-même.

Résumé technique : ClaMPAPP – Un système hybride LLM–ML pour l'appendicite pédiatrique

Énoncé du problème

L'intégration de l'intelligence artificielle dans le support à la décision clinique pour l'appendicite pédiatrique fait face à une dichotomie fondamentale. Les modèles d'apprentissage automatique (ML) supervisés, entraînés sur des données cliniques structurées (ex: valeurs de laboratoire, mesures échographiques), offrent une prédiction de risque robuste et déterministe, mais peinent à s'interfacer avec la nature non structurée et narrative de la documentation clinique réelle. À l'inverse, les grands modèles de langage (LLM) excellent dans l'interprétation des récits en texte libre, mais présentent des problèmes de fiabilité critiques lorsqu'ils sont utilisés comme moteurs de diagnostic autonomes. Ces problèmes incluent la sensibilité à la formulation des prompts, le biais de position (ordre des informations) et la génération de sorties « hallucinées » mais d'apparence plausible. Dans les contextes de triage aigu à enjeux élevés, tels que l'appendicite pédiatrique, le risque de faux négatifs (diagnostics manqués) est une préoccupation majeure de sécurité, rendant l'instabilité d'un diagnostic par LLM de bout en bout inacceptable.

Méthodologie : L'architecture ClaMPAPP

Pour combler l'écart entre l'utilisabilité en langage naturel et la fiabilité diagnostique, les auteurs proposent ClaMPAPP (Clinical Language-assisted Machine-learning Pipeline for Appendicitis). Ce système hybride réassigne le LLM d'un rôle de décideur à un rôle d'interface, déléguant la prédiction de risque finale à un modèle de ML supervisé. Le pipeline se compose de quatre étapes séquentielles :

Extraction de caractéristiques basée sur le LLM : Un LLM (spécifiquement Llama-3.1-8B lors de la phase de réécriture) traite les récits cliniques non structurés de type notes. Au lieu de générer un diagnostic, le LLM est contraint via l'appel d'outils (tool calling) pour effectuer un parsing sémantique, cartographiant le texte libre en une représentation structurée contrainte par un schéma (JSON) contenant la démographie, les scores cliniques (Alvarado, PAS), les symptômes, les variables de laboratoire et les découvertes échographiques.
Validation déterministe des caractéristiques : Une porte de sécurité valide les caractéristiques extraites par rapport à des contraintes de plausibilité physiologique et clinique prédéfinies (ex: $0 \le \text{Âge} \le 18$ , $35,0 \le \text{Température} \le 42,0^\circ\text{C}$ ). Les valeurs violant ces limites sont mappées vers des valeurs manquantes (NaN) plutôt que d'être écrêtées, évitant ainsi l'introduction de données biaisées. Cette étape garantit que seules des données cliniquement plausibles entrent dans le prédicteur.
Prédiction du risque : Le vecteur de caractéristiques validé est transmis à un classificateur XGBoost entraîné sur des variables cliniques, de laboratoire et échographiques structurées. XGBoost a été sélectionné pour sa capacité à gérer nativement les données manquantes et sa forte performance dans les tâches de classification clinique. Le modèle produit un score de risque d'appendicite continu.
Génération de rapport : Le LLM agit comme un synthétiseur clinique, contextualisant le score de risque d'XGBoost et les caractéristiques extraites dans un rapport structuré pour les cliniciens, en utilisant un langage de triage non prescriptif (ex: « Risque élevé : envisager une consultation chirurgicale ») sans émettre de directives diagnostiques définitives.

Génération de données et évaluation :
Pour permettre une évaluation contrôlée avec une vérité de terrain préservée, les auteurs ont synthétisé des récits de type notes à partir de données de dossiers de santé électroniques (EHR) structurées en utilisant un rendu basé sur des modèles suivi d'une réécriture par LLM. Cette approche a permis de créer des récits « permutés » où l'ordre des informations était inversé pour tester la robustesse face au biais de position, une vulnérabilité connue des LLM.

Le système a été évalué sur deux cohortes rétrospectives indépendantes provenant d'hôpitaux allemands :

Cohorte interne (Regensburg) : 782 patients (580 entraînement, 202 test).
Cohorte externe (Düsseldorf) : 301 patients (utilisée exclusivement pour la validation externe).

Principales contributions

L'article expose trois contributions majeures :

Repositionnement du LLM : Le cadre contraint le LLM à un rôle d'extraction de caractéristiques et d'interface plutôt qu'à une classification diagnostique directe. Cela rend la prédiction finale déterministe, transparente et auditable en s'appuyant sur un modèle de ML validé pour l'estimation du risque.
Performance orientée vers la sécurité : ClaMPAPP démontre un compromis sensibilité-spécificité supérieur aux bases de référence LLM autonomes. Il réduit significativement les faux négatifs (cas d'appendicite manqués), ce qui est la métrique de sécurité critique dans le triage aigu.
Robustesse aux perturbations narratives : À travers des expériences de permutation de l'ordre des phrases, l'étude montre que si les bases de référence de type LLM pur souffrent d'une dégradation significative de performance due au biais de position, l'architecture hybride de ClaMPAPP reste comparativement stable.

Résultats expérimentaux

Le système a été comparé à un spectre de LLM (incluant OpenAI GPT-5.5, o3-pro, Anthropic Claude Opus 4.7, et des modèles open-source comme MedGemma et Llama-3.1) ainsi qu'à des modèles de ML traditionnels.

Performance diagnostique :
- Validation interne (Regensburg) : ClaMPAPP a atteint la précision la plus élevée (85,1 %) et le score F1 le plus élevé (84,8 %) avec une sensibilité de 97,7 %, ne manquant que 2 cas confirmés. En revanche, les LLM autonomes présentaient des compromis instables ; par exemple, MedGemma-4b-it avait une spécificité élevée mais a manqué 40 cas (sensibilité 53,5 %), tandis que OASST-Pythia-12b n'a manqué qu'un seul cas mais présentait un taux de faux positifs de 113 (spécificité 2,6 %).
- Validation externe (Düsseldorf) : ClaMPAPP a maintenu la précision la plus élevée (80,7 %) et le score F1 le plus élevé (0,881) avec une sensibilité de 93,5 %, manquant 15 cas. Il a surpassé toutes les bases de référence pour minimiser les diagnostics manqués, alors que des modèles comme OpenAI GPT-5.5 ont manqué 78 cas malgré une spécificité plus élevée.
Analyse de la robustesse :
- Sous permutation de l'ordre des phrases (inversion de la première et de la seconde moitié du récit), les bases de référence de type LLM pur ont subi un effondrement de performance significatif. Par exemple, la précision de Llama-3.1-8b est tombée à 0,475, et la sensibilité de MedGemma-4b-it a chuté à 0,128.
- ClaMPAPP a démontré une haute robustesse architecturale, maintenant une sensibilité parfaite (1,000) en interne et 0,926 en externe sous permutation, avec seulement une légère baisse de précision (5,2 %).
Calibration :
- Bien que ClaMPAPP ait montré une excellente discrimination (AUC interne = 0,982 ; AUC externe = 0,804), la calibration de la probabilité brute était imparfaite. Une recalibration logistique post-hoc exploratoire a amélioré les métriques de calibration (notamment en réduisant le score de Brier et l'ECE) sans altérer la performance de classement, suggérant que la décalage de calibration était dû à un écart d'échelle de probabilité plutôt qu'à une mauvaise capacité prédictive.

Signification et affirmations

L'article affirme que le paradigme « le LLM comme interface, le ML comme prédicteur » offre une voie plus auditable et orientée vers la sécurité pour le support à la décision clinique que le diagnostic génératif non contraint. En séparant l'utilisabilité du langage naturel de l'inférence prédictive, le système tire parti de l'utilité clinique des LLM pour l'extraction de données tout en s'appuyant sur des modèles de ML validés et déterministes pour l'étape critique de la décision.

Les auteurs soulignent que ClaMPAPP est conçu comme une aide à la stratification du risque orientée vers le triage, et non comme un test diagnostique autonome. Sa valeur principale réside dans la minimisation des diagnostics manqués (faux négatifs) dans les contextes aigus. L'étude conclut que, bien que les LLM de bout en bout soient actuellement inadaptés aux décisions diagnostiques critiques pour la sécurité en raison de leur instabilité et des risques d'hallucination, les systèmes hybrides peuvent efficacement combler l'écart entre la documentation narrative et les modèles prédictifs structurés. Les auteurs notent que ce modèle d'intégration est transférable à d'autres domaines médicaux où coexistent des prédicteurs tabulaires validés et une documentation narrative, tout en avertissant qu'une validation prospective dans des flux de travail réels est nécessaire avant tout déploiement clinique.