🤖 machine learning

Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care

Cet article présente MANANA, un cadre d'apprentissage de prompts non paramétrique qui améliore les recommandations de médicaments anti-crise basées sur les LLM dans les soins de l'épilepsie pédiatrique en Ouganda en apprenant les modèles de prescription locaux à partir de notes non structurées et en utilisant la moyenne de prompts bayésienne pour générer des signaux de report sensibles à l'incertitude, atteignant ainsi une précision plus élevée et permettant une prédiction sélective pour examen par un spécialiste.

Auteurs originaux : Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

Publié 2026-07-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un médecin généraliste travaillant dans une clinique très fréquentée en Ouganda. Vous avez un patient atteint d'épilepsie et vous devez décider quel médicament prescrire. Le problème est que le conseil « expert » sur lequel vous comptez habituellement (les grands manuels médicaux ou l'IA entraînée dans les pays riches) ne correspond souvent pas à votre réalité. Peut-être qu'un médicament coûteux n'est pas disponible, ou que la manière locale de traiter les patients est différente. Vous avez besoin d'un assistant IA qui comprenne votre quartier spécifique, et pas seulement les manuels scolaires.

Ce document présente MANANA, une nouvelle façon d'enseigner aux modèles de langage de grande taille (LLM) pour qu'ils deviennent cet assistant local utile, spécifiquement pour les soins liés à l'épilepsie dans les zones à ressources limitées.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le Docteur « Touriste »

Les modèles d'IA standards sont comme des touristes. Ils ont lu tous les livres de médecine (entraînés sur des données provenant de pays riches comme les États-Unis ou le Royaume-Uni), mais ils ne connaissent pas les règles locales.

Si vous demandez à une IA touriste de faire une prescription, elle pourrait suggérer un médicament trop cher ou simplement indisponible en Ouganda.
Elle commet des erreurs car elle applique des « règles occidentales » à une « réalité ougandaise ».
L'étude a révélé que si ces IA pouvaient deviner certaines choses correctement, leurs erreurs étaient systématiques : elles étaient sûres d'elles mais se trompaient, car elles ne connaissaient pas le contexte local.

2. La Solution : MANANA (Le système de l'« Apprenti »)

Au lieu d'essayer de réentraîner le cerveau de l'IA (ce qui est lourd, coûteux et difficile à auditer), les auteurs ont créé MANANA. Considérez MANANA comme un apprenti intelligent qui apprend en tenant un « journal de terrain » de ses erreurs et de ses leçons.

MANANA fonctionne comme une équipe de trois personnes :

Le Prédicteur (L'Apprenti) : Examine les notes du patient et suggère trois plans de médication possibles.
L'Inspecteur (Le Critique) : Vérifie les suggestions de l'Apprenti par rapport à ce que le vrai médecin a réellement prescrit. Si elles ne correspondent pas, l'Inspecteur écrit une note expliquant pourquoi cela était faux (ex : « Ne suggérez pas le Médicament X ici ; il est en rupture de stock »).
L'Architecte (L'Enseignant) : Examine toutes les notes de l'Inspecteur. Si la même erreur se répète avec différents patients, l'Architecte écrit une règle permanente dans le « Journal de terrain » (la mémoire) pour éviter que cela ne se reprodule.

La Magie : L'IA ne modifie pas son code cérébral interne. Au lieu de cela, elle met simplement à jour son « Journal de terrain ». Cela rend l'audit facile (les médecins peuvent lire le journal pour voir ce que l'IA a appris) et l'adaptation facile à de nouvelles cliniques.

3. Deux Façons d'Apprendre

L'étude a testé deux versions de cet apprenti :

MANANA-Single : L'équipe écrit une seule grande liste de règles (ex : « Toujours vérifier le Médicament A en premier »).
MANANA-Multi : L'équipe crée un groupe d'« agents spécialistes ». Un agent se concentre sur la disponibilité des médicaments, un autre sur les effets secondaires, un autre sur l'historique du patient. Ils travaillent ensemble pour résoudre l'énigme.

4. Savoir Dire « Je ne sais pas » (La Soupape de Sécurité)

En médecine, il est dangereux qu'une IA devine lorsqu'elle n'est pas sûre. Le document introduit une fonctionnalité appelée Moyennage de Prompt Bayésien (BPA).

Considérez cela comme l'IA vérifiant sa propre confiance.

À mesure que l'IA apprend, elle passe par différentes « étapes » de son Journal de terrain.
Le BPA examine toutes ces étapes et demande : « À quel point sommes-nous sûrs que cette réponse est correcte ? »
Confiance Élevée : Si l'IA est très sûre (ex : 99 % de certitude), elle donne la prescription au médecin pour utilisation.
Confiance Faible : Si l'IA est hésitante, elle lève un drapeau rouge et dit : « Je ne suis pas sûr de ce cas ; veuillez envoyer ce patient à un spécialiste. »

Ceci est crucial car dans les endroits où les spécialistes sont rares, vous ne voulez pas gaspiller leur temps sur des cas faciles. Vous voulez qu'ils ne voient que les cas difficiles et incertains.

5. Les Résultats

L'équipe a testé cela sur de vrais dossiers de patients provenant de deux hôpitaux différents en Ouganda.

Meilleur que les bases : MANANA était bien meilleur pour deviner le bon médicament que les prompts d'IA standards ou les anciens modèles informatiques.
L'équipe « Multi » a gagné : La version avec le groupe d'agents spécialistes (MANANA-Multi) a obtenu les meilleurs résultats.
Le filet de sécurité a fonctionné : Lorsque le système était autorisé à « différer » (passer la main) pour les cas dont il n'était pas sûr, la précision sur les cas qu'il gérait a grimpé en flèche.
- Il pouvait gérer les 50 % de cas les plus sûrs avec 95 % de précision.
- Il pouvait gérer les 25 % de cas les plus sûrs avec 99 % de précision.

Analogie de Résumé

Imaginez que vous essayez de naviguer dans une ville que vous n'avez jamais visitée.

L'IA Standard est comme un GPS entraîné uniquement sur New York. Il vous dira de « tourner à gauche vers le métro », mais dans votre ville, il n'y a pas de métro.
MANANA est comme un guide local qui commence avec un carnet de notes vierge. Chaque fois que le GPS fait un mauvais tournant, le guide note : « Pas de métro ici, tournez à droite à la place. » Après quelques jours, le guide possède une carte parfaite et personnalisée pour votre ville.
Le BPA (Le contrôle de confiance) est le guide qui dit : « Je connais parfaitement l'itinéraire pour aller au marché, mais je ne suis pas sûr de l'itinéraire pour aller à la montagne. Demandons l'avis d'un expert local pour la partie montagne. »

Le document conclut que cette approche permet à l'IA d'apprendre à partir de données locales limitées sans nécessordre de réentraînement coûteux, ce qui en fait un outil pratique pour aider les médecins dans les endroits où les soins spécialisés sont rares.

Résumé technique : Enseigner aux LLM la recommandation et le report de décision dans les soins d'épilepsie sous-représentés

Énoncé du problème
L'expertise spécialisée en épilepsie est rare dans les pays à revenu faible et intermédiaire (PRFI), où des cliniciens généralistes gèrent des traitements longitudinaux avec des ressources diagnostiques limitées (par exemple, l'absence d'EEG ou d'imagerie) et une disponibilité de médicaments contrainte. Bien que les modèles de langage de grande taille (LLM) offrent un potentiel de soutien à la décision, les benchmarks actuels de l'IA médicale sont dominés par des contextes à revenus élevés dotés de dossiers de santé électroniques (DSE) structurés. Par conséquent, les LLM standards ne parviennent pas à s'adapter aux pratiques de prescription locales, aux ruptures de stock de médicaments et aux normes de suivi dans les contextes à ressources limitées. De plus, les systèmes existants manquent de mécanismes pour quantifier l'incertitude, empênant le report stratégique des cas difficiles vers les spécialistes rares. Le défi central consiste à développer un système capable d'apprendre la logique de prescription locale à partir de notes cliniques non structurées sans nécessiter de mises à jour paramétriques des poids (qui sont coûteuses en calcul et difficiles à auditer) et pouvant fournir des scores de confiance pour permettre une prédiction sélective.

Méthodologie : Le cadre MANANA
Les auteurs introduisent MANANA, un cadre d'apprentissage de prompts non paramétrique conçu pour adapter les LLM aux environnements cliniques locaux en utilisant un petit ensemble d'entraînement au niveau du patient (50 patients dans l'étude). MANANA fonctionne sans mise à jour des poids du modèle, apprenant plutôt un état de mémoire explicite et auditable qui conditionne les prédictions futures.

Boucle d'apprentissage multi-agents :
- Prédicteur : Un agent LLM qui, étant donné l'historique d'un patient et l'état de mémoire actuel, propose trois régimes candidats d'anti-crise (ASM).
- Inspecteur : Un agent qui compare les régimes prédits à la prescription réelle du médecin. Il génère des rapports structurés et des « apprentissages candidats » (leçons concises fondées sur la note clinique spécifique).
- Architecte : Un agent qui agrège les preuves provenant d'un tampon (buffer) de type « append-only » de leçons candidates. Il met à jour l'état de la mémoire uniquement lorsque des motifs récurrents sont détectés à travers des visites cliniques distinctes, garantissant ainsi la robustesse face au bruit.
Variantes de la mémoire :
- MANANA-Single : Apprend une liste unique partagée de règles de correction (ex. : « Si le médicament X est indisponible, passer au médicament Y »).
- MANANA-Multi : Instancie une population d'« agents spécialistes », où chaque agent est responsable de l'extraction d'un signal clinique spécifique. L'Architecte peut créer, éditer ou supprimer ces agents en fonction des preuves récurrentes, maintenant un ensemble borné et inspectable de prompts experts.
Moyennage Bayésien des Prompts (BPA) :
Pour traiter l'incertitude, les auteurs proposent le BPA, une procédure de moyennage de modèles bayésiens sur la trajectoire apprise des prompts. Au lieu d'un seul prompt final, le système traite la séquence des états de mémoire ( $m_1, \dots, m_T$ ) comme un ensemble d'estimateurs.
- Pondération a posteriori : En utilisant un ensemble de validation laissé de côté, le BPA calcule la vraisemblance marginale de chaque état de mémoire. Les états qui performent mieux sur les données de validation reçoivent des poids plus élevés.
- Signal de report : La moyenne pondérée des prédictions produit une distribution de probabilité de prescription. Cela permet d'identifier les cas à haute confiance (qui peuvent être gérés automatiquement) et les cas à faible confiance (qui sont reportés aux spécialistes), permettant ainsi d'orienter l'attention spécialisée rare là où elle est le plus nécessaire.

Contributions clés

Cadre MANANA : Un système d'apprentissage de prompts non paramétrique et fondé sur l'erreur qui apprend les décisions de prescription locales à partir de notes non structurées sans règles écrites par des cliniciens ni examen expert des traces de raisonnement. Il est instancié sous les variantes à agent unique et multi-agents.
Performance dans les contextes à faibles ressources : A démontré que MANANA, entraîné sur un petit jeu de données, atteint des performances solides sur des données de test indépendantes à travers deux cohortes ougandaises de pédiatrie épileptique collectées indépendamment, surpassant les modèles de ML classiques, le prompting direct de LLM et les bases de comparaison d'optimisation de prompts de pointe (ex. : TextGrad, DSPy).
Report conscient de l'incertitude : L'introduction du BPA convertit la trajectoire apprise des prompts en probabilités de prescription. Cela permet une prédiction sélective cliniquement significative, permettant de gérer les cas les plus confiants (automatisés) et de reporter les cas incertains à l'examen des spécialistes.

Résultats expérimentaux
L'étude a utilisé deux cohortes provenant de centres de référence ougandais : la Cohorte A (332 patients, 1 040 visites) pour l'entraînement/validation et la Cohorte B (367 patients, 1 509 visites) pour le test de transfert indépendant. La tâche consistait à prédire les régimes d'ASM (monothérapie ou polythérapie) à partir de notes longitudinales non structurées.

Précision : MANANA-Multi a obtenu les scores Exact Match@3 (EM@3) les plus élevés. Sur la Cohorte A (Monothérapie, Visite 3), il a atteint 97,0 %, surpassant la meilleure base de comparaison d'optimisation de prompt (TextGrad à 87,3 %) et le prompting direct (59,3 %). Sur la Cohorte B (Transfert), MANANA-Multi a atteint 93,2 % (Monothérapie, Visite 3) et 69,8 % (Polythérapie, Visite 3), surpassant significativement les bases classiques et démontrant une robustesse à travers différents formats de documentation et cliniciens.
Incertitude et report : Le BPA a amélioré la précision Top-1 et a créé un écart de confiance plus important entre les prédictions correctes et incorrectes par rapport au simple vote majoritaire.
- Sur la Cohée B (mise de côté), le système a atteint 99 % de précision sur les 25 % de cas les plus confiants et 95 % de précision sur les 50 % de cas les plus confiants.
- Cela permet à une clinique de reporter les 50 % de cas inférieurs aux spécialistes tout en maintenant une précision de 95 % sur la moitié gérée automatiquement, effectuant ainsi un triage de la charge de travail.

Signification et revendications
L'article affirme que MANANA offre une voie vers des systèmes de LLM cliniques localement adaptés capables d'apprendre à partir de données spécifiques au site et limitées, sans le fardeau de la réentraînement des poids du modèle. En convertissant les erreurs de prescription observées en une mémoire de prompt auditable, le système capture les règles de prescription locales (ex. : contraintes de disponibilité des médicaments) que les bases de connaissances médicales standards ignorent.

Crucialement, les auteurs soulignent que la capacité du système à générer des signaux de report via le moyennage bayésien des prompts répond à un besoin de déploiement critique : garantir que l'attention spécialisée rare est réservée aux cas où le modèle est le moins certain. L'étude pose que cette approche comble le fossé entre la connaissance médicale de haut niveau et les réalités pratiques des environnements cliniques à ressources limitées, offrant une solution déployable pour la gestion des soins longitudinaux là où l'expertise spécialisée est indisponible.

Limites
Les auteurs notent que les seuils de report actuels sont choisis rétrospectivement sur des données mises de côté et nécessiteraient un ajustement prospectif dans une clinique réelle. De plus, le système optimise l'accord avec le régime du médecin traitant (ce qui reflète les contraintes de ressources locales) plutôt que de prouver que le régime est cliniquement optimal pour l'absence de crises. Des travaux futurs sont nécessaires pour valider les mémoires apprises par rapport aux résultats cliniques et pour intégrer la prédiction directe des crises.