🤖 machine learning

Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care

Dit artikel introduceert MANANA, een non-parametrisch prompt-learning framework dat LLM-gebaseerde aanbevelingen voor anti-epileptica in de Ugandese pediatrische epilepsie-zorg verbetert door lokale voorschrijfpatronen te leren uit ongestructureerde aantekeningen en Bayesiaanse prompt-averaging te gebruiken om onzekerheidsbewuste defer-signalen te genereren, waardoor een hogere nauwkeurigheid wordt bereikt en selectieve voorspelling voor specialistische beoordeling mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een algemeen arts bent die werkt in een drukke kliniek in Oeganda. Je hebt een patiënt met epilepsie en je moet beslissen welk medicijn je voorschrijft. Het probleem is dat het "deskundige" advies waarop je meestal vertrouwt (uit grote medische tekstboeken of AI getraind in rijke landen), vaak niet past bij jouw realiteit. Misschien is een duur medicijn niet beschikbaar, of is de lokale manier van behandelen anders. Je hebt een AI-assistent nodig die jouw specifieke buurt begrijpt, en niet alleen de tekstboeken.

Dit artikel introduceert MANANA, een nieuwe manier om Large Language Models (LLM's) te leren die nuttige lokale assistent te zijn, specifiek voor epilepsiebestrijding in omgevingen met beperkte middelen.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het Probleम: De "Toerist"-arts

Standaard AI-modellen zijn als toeristen. Ze hebben alle medische boeken gelezen (getraind op data uit rijke landen zoals de VS of het VK), maar ze kennen de lokale regels niet.

Als je een toeristische AI om een recept vraagt, stelt hij misschien een medicijn voor dat te duur is of simpelweg niet beschikbaar is in Oeganda.
Het maakt fouten omdat het "Westerse regels" toepast op een "Oegandese realiteit".
Het onderzoek toonde aan dat hoewel deze AI's sommige dingen correct konden raden, hun fouten systematisch waren — ze waren zelfverzekerd fout omdat ze de lokale context niet kenden.

2. De Oplossing: MANANA (Het "Leerling"-systeem)

In plaats van te proberen de hersenen van de AI te hertrainen (wat zwaar, duur en moeilijk te controleren is), creëerden de auteurs MANANA. Denk aan MANANA als een slimme leerling die leert door een "veldverslag" bij te houden van fouten en lessen.

MANANA werkt als een team van drie personen:

De Voorspeller (De Leerling): Bekijkt de aantekeningen van de patiënt en stelt drie mogelijke medicatieplannen voor.
De Inspecteur (De Criticus): Controleert de suggesties van de Leerling aan de hand van wat de echte arts daadwerkelijk heeft voorgeschreven. Als ze niet overeenkomen, schrijft de Inspecteur een notitie over waarom het fout was (bijv. "Stel hier geen Medicijn X voor; het is niet op voorraad").
De Architect (De Leraar): Bekijkt alle notities van de Inspecteur. Als dezelfde fout herhaaldelijk voorkomt bij verschillende patiënten, schrijft de Architect een permanente regel in het "Veldverslag" (het geheugen) om te voorkomen dat het opnieuw gebeurt.

De Magie: De AI verandert de interne code van zijn brein niet. In plaats daarvan werkt hij alleen zijn "Veldverslag" bij. Dit maakt het gemakkelijk te controleren (artsen kunnen het verslag lezen om te zien wat de AI heeft geleerd) en gemakkelijk aan te passen aan nieuwe klinieken.

3. Twee Manieren van Leren

Het team testte twee versies van deze leerling:

MANANA-Single: Het team schrijft één grote lijst met regels (bijv. "Controleer altijd eerst Medicijn A").
MANANA-Multi: Het team creëert een groep van "specialistische agenten". Eén agent focust op de beschikbaarheid van medicijnen, een andere op bijwerkingen, een andere op de patiëntgeschiedenis. Ze werken samen om de puzzel op te lossen.

4. Weten wanneer je "Ik weet het niet" moet zeggen (Het Veiligheidsventiel)

In de geneeskunde is het gevaarlijk als een AI gokt wanneer hij het niet zeker weet. Het papier introduceert een functie genaamd Bayesian Prompt Averaging (BPA).

Beschouw dit als de AI die zijn eigen vertrouwen controleert.

Terwijl de AI leert, gaat hij door verschillende "fasen" van zijn Veldverslag.
BPA kijkt naar al deze fasen en vraagt: "Hoe zeker weten we dat dit antwoord juist is?"
Hoge Vertrouwen: Als de AI erg zeker is (bijv. 99% zeker), geeft hij het recept aan de arts om te gebruiken.
Laag Vertrouwen: Als de AI wankelt, trekt hij een rode vlag en zegt: "Ik weet het niet zeker over deze; stuur deze patiënt naar een specialist."

Dit is cruciaal omdat je in plaatsen met weinig specialisten niet de tijd van specialisten wilt verspillen aan eenvoudige gevallen. Je wilt dat zij alleen de moeilijke, onzekere gevallen zien.

5. De Resultaten

Het team testte dit op echte patiëntendossiers uit twee verschillende ziekenhuizen in Oeganda.

Beter dan de Basis: MANANA was veel beter in het raden van de juiste medicatie dan standaard AI-prompts of traditionele computermodellen.
Het "Multi"-team won: De versie met de groep specialistische agenten (MANANA-Multi) presteerde het best.
Het Veiligheidsnet Werkte: Wanneer het systeem werd toegestaan om zaken te "deferren" (door te geven/over te dragen) waarvan het niet zeker was, schoot de nauwkeurigheid op de gevallen die het wél afhandelde omhoog.
- Het kon de meest zelfverzekerde 50% van de gevallen afhandelen met 95% nauwkeurigheid.
- Het kon de meest zelfverzekere 25% van de gevallen afhandelen met 99% nauwkeurigheid.

Samenvattende Analogie

Stel je voor dat je probeert te navigeren door een stad die je nog nooit hebt bezocht.

Standaard AI is als een GPS die alleen getraind is op New York City. Hij zal je vertellen: "Sla linksaf bij de metro", maar in jouw stad is er geen metro.
MANANA is als een lokale gids die begint met een leeg notitieblok. Elke keer als de GPS een verkeerde afslag neemt, schrijft de gids op: "Geen metro hier, sla rechtsaf in plaats daarvan." Na een paar dagen heeft de gids een perfecte, aangepaste kaart voor jouw stad.
BPA (De Vertrouwenscheck) is de gids die zegt: "Ik ken de route naar de markt perfect, maar ik ben niet zeker over de route naar de berg. Laten we een lokale expert vragen voor het deel over de berg."

Het artikel concludeert dat deze aanpak het mogelijk maakt voor AI om te leren van beperkte lokale data zonder dat er dure hertraining nodig is, wat het een praktisch hulpmiddel maakt om artsen te helpen in plaatsen waar gespecialiseerde zorg schaars is.

Technische Samenvatting: LLM's leren aanbevelen en uitstellen in de ondervertegenwoordigde epilepsie-zorg

Probleemstelling
Gespecialiseerde expertise op het gebied van epilepsie is schaars in lage- en middeninkomenslanden (LMIC's), waar algemene clinici langdurige behandelingen beheren met beperkte diagnostische middelen (bijv. een gebrek aan EEG of beeldvorming) en beperkte beschikbaarheid van medicatie. Hoewel Large Language Models (LLM's) potentieel bieden voor besluitvormingsondersteuning, worden huidige medische AI-benchmarks gedomineerd door hooginkomende settings met gestructureerde Elektronische Patiëntendossiers (EPD's). Gevolgelijk slagen standaard LLM's er niet in om zich aan te passen aan lokale voorschrijfpraktijken, medicatietekorten en follow-up normen in contexten met beperkte middelen. Bovendien missen bestaande systemen mechanismen om onzekerheid te kwantificeren, wat de strategische uitstelprocedure (deferral) van moeilijke gevallen naar schaarse specialisten verhindert. De kernuitdaging is het ontwikkelen van een systeem dat lokale voorschrijflogica leert uit ongestructureerde klinische aantekeningen zonder parametrische gewichtsupdates te vereisen (die computationeel duur en moeilijk te auditeren zijn) en dat betrouwbaarheidsscores kan leveren om selectieve voorspelling mogelijk te maken.

Methodologie: MANANA-framework
De auteurs introduceren MANANA, een non-parametrisch prompt-leerframework ontworpen om LLM's aan te passen aan lokale klinische omgevingen met behulp van een kleine patiëntniveau-trainingsset (50 patiënten in de studie). MANANA werkt zonder de modelgewichten bij te werken, maar leert in plaats daarvan een expliciete, controleerbare geheugenstatus die toekomstige voorspellingen conditioneert.

Multi-Agent Leerlus:
- Predictor: Een LLM-agent die, gegeven een patiëntgeschiedenis en de huidige geheugenstatus, drie kandidaat anti-epileptica (ASM) schema's voorstelt.
- Inspector: Een agent die de voorspelde schema's vergelijkt met het daadwerkelijke voorschrift van de arts. Deze genereert gestructureerde rapporten en "kandidaat-leringen" (beknopte lessen die gegrond zijn in de specifieke casusnotitie).
- Architect: Een agent die bewijs aggregeert uit een append-only buffer van kandidaat-leringen. Deze werkt de geheugenstatus alleen bij wanneer terugkerende patronen worden gedetecteerd over verschillende klinische bezoeken heen, wat robuustheid tegen ruis garandeert.
Geheugenvarianten:
- MANANA-Single: Leert een enkele gedeelde lijst van correctieregels (bijv. "Als medicijn X niet beschikbaar is, schakel over naar medicijn Y").
- MANANA-Multi: Instantieert een populatie van "specialistische agenten", waarbij elke agent verantwoordelijk is voor het extraheren van een specifiek klinisch signaal. De Architect kan deze agenten creëren, bewerken of verwijderen op basis van terugkerend bewijs, waardoor een begrensde, inspecteerbare set van expert-prompts wordt onderhouden.
Bayesian Prompt Averaging (BPA):
Om onzekerheid aan te pakken, stellen de auteurs BPA voor, een Bayesiaanse model-averaging procedure over het geleerde prompt-traject. In plaats van een enkele definitieve prompt, behandelt het systeem de sequentie van geheugenstatussen ( $m_1, \dots, m_T$ ) als een ensemble van estimators.
- Posterior Weging: Met behulp van een helder gehouden validatieset berekent BPA de marginale waarschijnlijkheid van elke geheugenstatus. Staten die beter presteren op de validatiedata krijgen een hogere weging.
- Uitstelsignaal (Deferral Signal): Het gewogen gemiddelde van de voorspellingen levert een voorschrijfwaarschijnlijkheidsverdeling op. Dit maakt het mogelijk om gevallen met een hoge betrouwbaarheid te identificeren (die automatisch afgehandeld kunnen worden) en gevallen met een lage betrouwbaarheid (die worden uitgesteld naar specialisten), waardoor schaarse expert-aandacht effectief wordt gerouteerd naar waar deze het meest nodig is.

Belangrijkste Bijdragen

MANANA-framework: Een non-parametrisch, fout-gegrond prompt-leeringssysteem dat lokale voorschrijfbeslissingen leert van ongestructureerde aantekeningen zonder dat hiervoor door clinici geschreven regels of expertbeoordeling van redeneringssporen nodig zijn. Het wordt geïnstantieerd in Single-agent en Multi-agent varianten.
Prestaties in omgevingen met beperkte middelen: Er is aangetoond dat MANANA, getraind op een kleine dataset, sterke prestaties levert op helder gehouden data over twee onafhankelijk verzamelde Ugandese pediatrische epilepsie-cohorten, waarbij het klassieke ML-modellen, directe LLM-prompting en state-of-the-art prompt-optimalisatie baselines (zoals TextGrad, DSPy) overtreft.
Onzekerheid-bewuste uitstelprocedure (Uncertainty-Aware Deferral): De introductie van BPA zet het geleerde prompt-traject om in voorschrijfwaarschijnlijkheden. Dit maakt klinisch zinvolle selectieve voorspelling mogelijk, waardoor het systeem de meest zelfverzekerde gevallen kan afhandelen met hoge precisie en minder zelfverzekerde gevallen kan uitstellen voor specialistische beoordeling.

Experimentele Resultaten
De studie maakte gebruik van twee cohorten uit Ugandese referentiezorgcentra: Cohort A (332 patiënten, 1.040 bezoeken) voor training/validatie en Cohogen B (367 patiënten, 1.509 bezoeken) voor onafhankelijke transfer-testen. De taak was het voorspellen van ASM-schema's (monotherapie of polytherapie) op basis van longitudinale ongestructureerde aantekeningen.

Nauwkeurigheid: MANANA-Multi behaalde de hoogste Exact Match@3 (EM@3) scores. Op Cohort A (Monotherapie, Bezoek 3) bereikte het 97,0%, waarmee het de beste prompt-optimalisatie baseline (TextGrad met 87,3%) en directe prompting (59,3%) versloeg. Op Cohort B (Transfer) behaalde MANANA-Multi 93,2% (Monotherapie, Bezoek 3) en 69,8% (Polytherapie, Bezoek 3), wat significant beter is dan de klassieke baselines en de robuustheid aantoont over verschillende documentatieformaten en clinici heen.
Onzekerheid en Uitstel: BPA verbeterde de Top-1 nauwkeurigheid en creëerde een grotere vertrouwenskloof tussen correcte en incorrecte voorspellingen vergeleken met eenvoudige meerderheidsstemming.
- Op de helder gehouden Cohort B behaalde het systeem 99% precisie op de top-25% meest zelfverzekerde gevallen en 95% precisie op de top-50% meest zelfverzekerde gevallen.
- Dit stelt een kliniek in staat om de onderste 50% van de gevallen aan specialisten uit te besteden, terwijl een nauwkeurigheid van 95% behouden blijft op de helft van de gevallen die automatisch worden afgehandeld, wat de werkdruk effectief roteert.

Betekenis en Claims
Het artikel beweert dat MANANA een pad biedt naar lokaal aangepaste klinische LLM-systemen die kunnen leren van beperkte, locatie-specifieke data zonder de last van het hertrainen van modelgewichten. Door geobserveerde voorschrijffouten om te zetten in een controleerbaar prompt-geheugen, legt het systeem lokale voorschrijfregels vast (bijv. beperkingen in de beschikbaarheid van medicijnen) die standaard medische kennisbanken missen.

Cruciaal is dat de auteurs benadrukken dat het vermogen van het systeem om uitstelsignalen te genereren via Bayesiaanse prompt-averaging een kritiek inzetbaar behoefte adresseert: ervoor zorgen dat schaarse specialistische aandacht wordt gereserveerd voor gevallen waar het model het minst zeker is. De studie stelt dat deze aanpak de kloof overbrugt tussen hoogwaardige medische kennis en de praktische realiteit van klinische omgevingen met beperkte middelen, en een inzetbare oplossing biedt voor langdurig zorgbeheer waar specialistische expertise niet beschikbaar is.

Beperkingen
De auteurs merken op dat de huidige uitstel-drempelwaarden retrospectief zijn gekozen op basis van helder gehouden data en dat deze prospectieve afstemming in een echte kliniek vereisen. Daarnaast optimaliseert het systeem voor overeenstemming met het regime van de behandelend arts (wat de lokale middelen beperkingen reflecteert), in plaats van te bewijzen dat het regime klinisch optimaal is voor vrijheid van aanvallen. Toekomstig werk is nodig om de geleerde geheugens te valideren tegen klinische uitkomsten en om directe voorspelling van aanvallen te integreren.