Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care

Sintesi Tecnica: Insegnare agli LLM a raccomandare e differire nell'assistenza all'epilessia in contesti sottorappresentati

Problematica
L'expertise specialistica in ambito epilettico è scarsa nei paesi a basso e medio reddito (LMIC), dove i clinici generalisti gestiscono trattamenti longitudinali con risorse diagnostiche limitate (ad esempio, mancanza di EEG o imaging) e disponibilità di farmaci vincolata. Sebbene i Large Language Models (LLM) offrano un potenziale supporto decisionale, i benchmark attuali dell'IA medica sono dominati da contesti ad alto reddito con cartelle cliniche elettroniche (EHR) strutturate. Di conseguenza, gli LLM standard non riescono ad adattarsi alle pratiche di prescrizione locali, alle carenze di scorte di farmaci e alle norme di follow-up nei contesti con risorse limitate. Inoltre, i sistemi esistenti mancano di meccanismi per quantificare l'incertezza, impedendo il differimento strategico dei casi difficili ai rari specialisti. La sfida centrale è sviluppare un sistema che apprenda la logica di prescrizione locale da note cliniche non strutturate senza richiedere aggiornamenti parametrici dei pesi (che sono computazionalmente costosi e difficili da auditare) e che possa fornire punteggi di confidenza per consentire la predizione selettiva.

Metodologia: Framework MANANA
Gli autori introducono MANANA, un framework di apprendimento di prompt non parametrico progettato per adattare gli LLM agli ambienti clinici locali utilizzando un piccolo set di addestramento a livello di paziente (50 pazienti nello studio). MANANA opera senza aggiornare i pesi del modello, apprendendo invece uno stato di memoria esplicito e auditabile che condiziona le predizioni future.

1. Ciclo di apprendimento multi-agente:

   • Predictor (Predittore): Un agente LLM che, dato lo storico di un paziente e lo stato di memoria corrente, propone tre regimi candidati di farmaci anti-crispali (ASM).
   • Inspector (Ispettore): Un agente che confronta i regimi predetti con la prescrizione effettiva del medico. Genera report strutturati e "apprendimenti candidati" (lezioni concise basate sulla specifica nota clinica).
   • Architect (Architetto): Un agente che aggrega le evidenze da un buffer di apprendimenti candidati di tipo "append-only", aggiornando lo stato di memoria solo quando vengono rilevati pattern ricorrenti attraverso visite cliniche distinte, garantendo così la robustezza contro il rumore.

2. Varianti di Memoria:

   • MANANA-Single: Apprende un singolo elenco condiviso di regole di correzione (es. "Se il farmaco X non è disponibile, sostituire con il farmaco Y").
   • MANANA-Multi: Istanzia una popolazione di "agenti specialisti", dove ogni agente è responsabile dell'estrazione di un segnale clinico specifico. L'Architect può generare, modificare o eliminare questi agenti in base all'evidenza ricorrente, mantenendo un insieme limitato e ispezionabile di prompt esperti.

3. Bayesian Prompt Averaging (BPA):
   Per affrontare l'incertezza, gli autori propongono la BPA, una procedura di media dei modelli bayesiani sulla traiettoria del prompt appreso. Invece di un singolo prompt finale, il sistema tratta la sequenza di stati di memoria ($m_1, \dots, m_T$) come un ensemble di stimatori.

   • Ponderazione della Posterior: Utilizzando un set di validazione tenuto separato (held-out), la BPA calcola la verosimiglianza marginale di ogni stato di memoria. Gli stati che performano meglio sui dati di validazione ricevono pesi più elevati.
   • Segnale di Deferimento: La media ponderata delle predizioni produce una distribuzione di probabilità della prescrizione. Ciò consente di identificare i casi ad alta confidenza (che possono essere gestiti automaticamente) e i casi a bassa confidenza (che vengono differiti agli specialisti), indirizzando efficacemente l'attenzione esperta scarsa dove è più necessaria.

Contributi Chiave

1. Framework MANANA: Un sistema di apprendimento di prompt non parametrico ed error-grounded che apprende le decisioni di prescrizione locali da note non strutturate senza regole scritte da clinici o revisione esperta delle tracce di ragionamento. È istanziato nelle varianti Single-agent e Multi-agent.
2. Performance in contesti a basse risorse: È stato dimostrato che MANANA, addestrato su un piccolo dataset, raggiunge prestazioni elevate sui dati di test indipendenti su due coorti ugandesi di epilessia pediatrica, superando i modelli di machine learning classico, il prompting diretto degli LLM e i baseline di ottimizzazione dei prompt allo stato dell'arte (es. TextGrad, DSPy).
3. Deferimento consapevole dell'incertezza: L'introduzione della BPA converte la traiettoria del prompt appreso in probabilità di prescrizione. Ciò consente una predizione selettiva clinicamente significativa, permettendo al sistema di gestire i casi più sicuri con alta precisione e di differire i casi incerti alla revisione specialistica.

Risultati Sperimentali
Lo studio ha utilizzato due coorti da centri di riferimento ugandesi: Coorte A (332 pazienti, 1.040 visite) per addestramento/validazione e Coorte B (367 pazienti, 1.509 visite) per il test di trasferimento indipendente. Il compito era predire i regimi ASM (monoterapia o politerapia) basandosi su note longitudinali non strutturate.

• Accuratezza: MANANA-Multi ha ottenuto i punteggi Exact Match@3 (EM@3) più elevati. Sulla Coorte A (Monoterapia, Visita 3), ha raggiunto il 97,0%, superando il miglior baseline di ottimizzazione dei prompt (TextGrad al 87,3%) e il prompting diretto (59,3%). Sulla Coorte B (Trasferimento), MANANA-Multi ha raggiunto il 93,2% (Monoterapia, Visita 3) e il 69,8% (Politerapia, Visita 3), superando significativamente i baseline classici e dimostrando robustezza rispetto a diversi formati di documentazione e clinici.
• Incertezza e Deferimento: La BPA ha migliorato l'accuratezza Top-1 e ha creato un divario di confidenza più ampio tra le predizioni corrette e quelle errate rispetto alla semplice votazione di maggioranza.
  • Sulla Coorte B tenuta separata, il sistema ha raggiunto una precisione del 99% sui casi più sicuri del top-25% e una precisione del 95% sui casi più sicuri del top-50%.
  • Ciò consente a una clinica di differire il 50% inferiore dei casi agli specialisti, mantenendo un'accuratezza del 95% sulla metà dei casi gestiti automaticamente, ottimizzando così il carico di lavoro.

Significatività e Rivendicazioni
Il paper sostiene che MANANA fornis la strada verso sistemi clinici LLM localmente adattati che possono apprendere da dati specifici del sito con un set limitato, senza l'onere di riaddestrare i pesi del modello. Convertendo gli errori di prescrizione osservati in una memoria di prompt auditabile, il sistema cattura le regole di prescrizione locali (es. vincoli di disponibilità di farmaci) che le basi di conoscenza medica standard trascurano.

Fondamentalmente, gli autori sottolineano che la capacità del sistema di generare segnali di deferimento tramite l'averaging dei prompt bayesiani affronta una necessità critica di implementazione: garantire che l'attenzione specialistica scarsa sia riservata ai casi in cui il modello è meno certo. Lo studio pone questo approccio come un ponte tra la conoscenza medica di alto livello e le realtà pratiche degli ambienti clinici a basse risorse, offrendo una soluzione implementabile per la gestione della cura longitudinale dove l'expertise specialistica non è disponibile.

Limitazioni
Gli autori notano che le attuali soglie di deferimento sono scelte retrospettivamente sui dati tenuti separati e richiederebbero una calibrazione prospettica in una clinica reale. Inoltre, il sistema ottimizza l'accordo con il regime del medico curante (che riflette i vincoli delle risorse locali) piuttosto che dimostrare che il regime sia clinicamente ottimale per la libertà dalle crisi. Sono necessari lavori futuri per validare le memorie apprese rispetto agli esiti clinici e per integrare la predizione diretta delle crisi.