Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care

Resumen Técnico: Enseñanza de LLMs para la Recomendación y el Aplazamiento en la Atención de Epilepsia Subrepresentada

Declaración del Problema
La experiencia especializada en epilepsia es escasa en los países de ingresos bajos y medios (PIBM), donde los clínicos generalistas gestionan tratamientos longitudinales con recursos diagnósticos limitados (p. ej., falta de EEG o imágenes) y disponibilidad de medicamentos restringida. Si bien los Modelos de Lenguaje de Gran Tamaño (LLMs) ofrecen un potencial para el soporte de decisiones, los benchmarks actuales de IA médica están dominados por entornos de ingresos altos con Registros de Salud Electrónicos (EHR) estructurados. En consecuencia, los LLMs estándar no logran adaptarse a las prácticas locales de prescripción, la falta de existencias de medicamentos y las normas de seguimiento en contextos de recursos limitados. Además, los sistemas existentes carecen de mecanismos para cuantificar la incertidumbre, lo que impide el aplazamiento estratégico de casos difíciles a especialistas escasos. El desafío central es desarrollar un sistema que aprenda la lógica de prescripción local a partir de notas clínicas no estructuradas sin requerir actualizaciones paramétricas de pesos (que son computacionalmente costosas y difíciles de auditar) y que pueda proporcionar puntuaciones de confianza para permitir la predicción selectiva.

Metodología: Marco MANANA
Los autores introducen MANANA, un marco de aprendizaje de prompts no paramétrico diseñado para adaptar los LLMs a entornos clínicos locales utilizando un pequeño conjunto de entrenamiento a nivel de paciente (50 pacientes en el estudio). MANANA opera sin actualizar los pesos del modelo, en su lugar, aprende un estado de memoria explícito y auditable que condiciona las predicciones futuras.

1. Bucle de Aprendizaje Multi-Agente:

   • Predictor: Un agente LLM que, dado el historial de un paciente y el estado de memoria actual, propone tres regímenes candidatos de medicamentos anticonvulsivos (ASM).
   • Inspector: Un agente que compara los regímenes predichos contra la prescripción real del médico. Genera informes estructurados y "aprendizajes candidatos" (lecciones concisas fundamentadas en la nota del caso específico).
   • Arquitecto: Un agente que agrega la evidencia de un búfer de aprendizajes candidatos de solo adición (append-only), actualizando el estado de la memoria solo cuando se detectan patrones recurrentes en distintas visitas clínicas, asegurando la robustez contra el ruido.

2. Variantes de Memoria:

   • MANANA-Single: Aprende una lista única y compartida de reglas de corrección (p. ej., "Si el fármaco X no está disponible, cambiar al fármaco Y").
   • MANANA-Multi: Instancia una población de "agentes especialistas", donde cada agente es responsable de extraer una señal clínica específica. El Arquitecto puede generar, editar o podar estos agentes basándose en la evidencia recurrente, manteniendo un conjunto acotado e inspeccionable de prompts expertos.

3. Promediado de Prompts Bayesiano (BPA):
   Para abordar la incertidumbre, los autores proponen BPA, un procedimiento de promediado de modelos bayesianos sobre la trayectoria del prompt aprendido. En lugar de un único prompt final, el sistema trata la secuencia de estados de memoria ($m_1, \dots, m_T$) como un conjunto de estimadores.

   • Ponderación de la Posterior: Utilizando un conjunto de validación mantenido aparte, BPA calcula la verosimilitud marginal de cada estado de memoria. Los estados que funcionan mejor en los datos de validación reciben pesos más altos.
   • Señal de Aplazamiento: El promedio ponderado de las predicciones genera una distribución de probabilidad de prescripción. Esto permite identificar casos de alta confianza (que pueden ser gestionados automáticamente) y casos de baja confianza (que se aplazan a especialistas), enrutando efectivamente la atención experta escasa hacia donde más se necesita.

Contribuciones Clave

1. Marco MANANA: Un sistema de aprendizaje de prompts no paramétrico y basado en errores que aprende las decisiones de prescripción locales a partir de notas no estructuradas sin necesidad de reglas escritas por clínicos o revisión experta de los rastros de razonamiento. Se instancia en variantes de Agente Único y Multi-Agente.
2. Desempeño en Entornos de Bajos Recursos: Se demostró que MANANA, entrenado con un conjunto de datos pequeño, logra un sólido desempeño en datos de prueba independientes de dos cohortes pediátricas de epilepsia ugandesa, superando a modelos clásicos de ML, el prompting directo de LLM y los puntos de referencia de optimización de prompts de última generación (p. ej., TextGrad, DSPy).
3. Aplazamiento Consciente de la Incertidumbre: La introducción de BPA convierte la trayectoria de prompts aprendida en probabilidades de prescripción. Esto permite una predicción selectiva clínicamente significativa, permitiendo que el sistema maneje los casos más seguros con alta precisión y aplace los casos inciertos para la revisión de un especialista.

Resultados Experimentales
El estudio utilizó dos cohortes de centros de referencia de Uganda: Cohorte A (332 pacientes, 1,040 visitas) para entrenamiento/validación y Cohorte B (367 pacientes, 1,509 visitas) para pruebas de transferencia independientes. La tarea consistió en predecir regímenes de ASM (monoterapia o politerapia) basados en notas longitudinales no estructuradas.

• Exactitud: MANANA-Multi logró los puntajes de Exact Match@3 (EM@3) más altos. En la Cohorte A (Monoterapia, Visita 3), alcanzó un 97.0%, superando al mejor baseline de optimización de prompts (TextGrad con 87.3%) y al prompting directo (59.3%). En la Cohorte B (Transferencia), MANANA-Multi logró un 93.2% (Monoterapia, Visita 3) y un 69.8% (Politerapia, Visita 3), superando significativamente a los baselines clásicos y demostrando robustez ante diferentes formatos de documentación y clínicos.
• Incertidumbre y Aplazamiento: BPA mejoró la exactitud de Top-1 y creó una brecha de confianza mayor entre predicciones correctas e incorrectas en comparación con el voto de mayoría simple.
  • En la Cohorte B mantenida aparte, el sistema logró un 99% de precisión en el top-25% de los casos más confiables y un 95% de precisión en el top-50% de los casos más confiables.
  • Esto permite que una clínica aplace el 50% inferior de los casos a especialistas mientras mantiene un 95% de exactitud en la mitad gestionada automáticamente, triando la carga de trabajo.

Significancia y Reivindicaciones
El artículo afirma que MANANA proporciona un camino hacia sistemas de LLM clínicos adaptados localmente que pueden aprender de datos específicos del sitio con recursos limitados sin la carga de reentrenar los pesos del modelo. Al convertir los errores de prescripción observados en una memoria de prompt auditable, el sistema captura las reglas de prescripción locales (p. ej., restricciones de disponibilidad de fármacos) que las bases de conocimiento médico estándar omiten.

Crucialmente, los autores enfatizan que la capacidad del sistema para generar señales de aplazamiento mediante el promediado de prompts bayesiano aborda una necesidad crítica de despliegue: asegurar que la atención especializada escasa se reserve para los casos donde el modelo tiene menor certeza. El estudio postula que este enfoque cierra la brecha entre el conocimiento médico de alto nivel y las realidades prácticas de los entornos clínicos de bajos recursos, ofreciendo una solución desplegable para la gestión del cuidado longitudinal donde la experiencia especializada no está disponible.

Limitaciones
Los autores señalan que los umbrales de aplazamiento actuales se eligen retrospectivamente en datos mantenidos aparte y requerirían un ajuste prospectivo en una clínica del mundo real. Además, el sistema optimiza para el acuerdo con el régimen del médico tratante (lo cual refleja las restricciones de recursos locales) en lugar de probar que el régimen es clínicamente óptimo para la ausencia de crisis. Se requiere trabajo futuro para validar las memorias aprendidas contra los resultados clínicos e integrar la predicción directa de crisis.