Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care

Resumo Técnico: Ensinando LLMs a Recomendar e Diferir no Cuidado da Epilepsia Sub-representada

Definição do Problema
A expertise especializada em epilepsia é escassa em países de baixa e média renda (LMICs), onde clínicos generalistas gerenciam o tratamento longitudinal com recursos diagnósticos limitados (ex: falta de EEG ou imagem) e disponibilidade de medicamentos restrita. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para suporte à decisão, os benchmarks atuais de IA médica são dominados por ambientes de alta renda com Registros Eletrônicos de Saúde (EHRs) estruturados. Consequentemente, os LLMs padrão falham em se adaptar às práticas locais de prescrição, desabastecimentos de medicamentos e normas de acompanhamento nesses contextos de recursos limitados. Além disso, os sistemas existentes carecem de mecanismos para quantificar a incerteza, impedindo o diferimento estratégico de casos difíceis para especialistas escassos. O desafio central é desenvolver um sistema que aprenda a lógica de prescrição local a partir de notas clínicas não estruturadas sem exigir atualizações paramétricas de pesos (que são computacionalmente caras e difíceis de auditar) e que possa fornecer pontuações de confiança para permitir a predição seletiva.

Metodologia: Estrutura MANANA
Os autores introduzem o MANANA, uma estrutura de aprendizado de prompt não paramétrico projetada para adaptar LLMs a ambientes clínicos locais usando um pequeno conjunto de treinamento ao nível do paciente (50 pacientes no estudo). O MANANA opera sem atualizar os pesos do modelo, em vez disso, aprendendo um estado de memória explícito e auditável que condiciona predições futuras.

1. Loop de Aprendizado Multi-Agente:

   • Preditor: Um agente de LLM que, dado o histórico de um paciente e o estado de memória atual, propõe três regimes candidatos de medicação anticonvulsivante (ASM).
   • Inspetor: Um agente que compara os regimes preditos contra a prescrição real do médico. Ele gera relatórios estruturados e "aprendizados candidatos" (lições concisas fundamentadas na nota do caso específico).
   • Arquiteto: Um agente que agrega evidências de um buffer de aprendizados candidatos de apenas adição (append-only buffer), atualizando o estado de memória apenas quando padrões recorrentes são detectados através de distintas visitas clínicas, garantindo robustez contra ruído.

2. Variantes de Memória:

   • MANANA-Single: Aprende uma lista única compartilhada de regras de correção (ex: "Se o medicamento X estiver indisponível, substitua pelo medicamento Y").
   • MANANA-Multi: Instancia uma população de "agentes especialistas", onde cada agente é responsável por extrair um sinal clínico específico. O Arquiteto pode criar, editar ou podar esses agentes com base em evidências recorrentes, mantendo um conjunto limitado e inspecionável de prompts especialistas.

3. Média de Prompts Bayesiana (BPA):
   Para abordar a incerteza, os autores propõem a BPA, um procedimento de média de modelos Bayesiano sobre a trajetória do prompt aprendido. Em vez de um único prompt final, o sistema trata a sequência de estados de memória ($m_1, \dots, m_T$) como um ensemble de estimadores.

   • Ponderação de Posterior: Usando um conjunto de validação retido (held-out), a BPA calcula a verossimilhança marginal de cada estado de memória. Estados que performam melhor nos dados de validação recebem pesos maiores.
   • Sinal de Diferimento: A média ponderada das predições gera uma distribuição de probabilidade de prescrição. Isso permite identificar casos de alta confiança (que podem ser tratados automaticamente) e casos de baixa confiança (que são diferidos para especialistas), efetivamente roteando a atenção especializada escassa para onde ela é mais necessária.

Principais Contribuições

1. Estrutura MANANA: Um sistema de aprendizado de prompt não paramétrico e baseado em erro que aprende decisões de prescrição locais a partir de notas não estruturadas sem a necessidade de regras escritas por clínicos ou revisão de especialistas sobre os rastros de raciocínio. É instanciado nas variantes de Agente Único e Multi-Agente.
2. Desempenho em Ambientes de Baixo Recurso: Demonstrou que o MANANA, treinado em um pequeno conjunto de dados, alcança um forte desempenho em dados de teste independentes em duas coortes pediátricas de epilepsia de Uganda, superando modelos clássicos de ML, prompting direto de LLM e baselines de otimização de prompt de última geração (ex: TextGrad, DSPy).
3. Diferimento Consciente de Incerteza: A introdução da BPA converte a trajetória de prompt aprendida em probabilidades de prescrição. Isso permite a predição seletiva clinicamente significativa, permitindo que o sistema lide com os casos de maior confiança e diferindo casos incertos para revisão especializada.

Resultados Experimentais
O estudo utilizou duas coortes de centros de referência de Uganda: Coorte A (332 pacientes, 1.040 visitas) para treinamento/validação e Coorte B (367 pacientes, 1.509 visitas) para teste de transferência independente. A tarefa era prever regimes de ASM (monoterapia ou politerapia) com base em notas longitudinais não estruturadas.

• Acurácia: O MANANA-Multi alcançou as pontuações de Exact Match@3 (EM@3) mais altas. Na Coorte A (Monoterapia, Visita 3), atingiu 97,0%, superando o melhor baseline de otimização de prompt (TextGrad com 87,3%) e o prompting direto (59,3%). Na Coorte B (Transferência), o MANANA-Multi atingiu 93,2% (Monoterapia, Visita 3) e 69,8% (Politerapia, Visita 3), superando significativamente os baselines clássicos e demonstrando robustez através de diferentes formatos de documentação e clínicos.
• Incerteza e Diferimento: A BPA melhorou a acurácia Top-1 e criou um hiato de confiança maior entre predições corretas e incorretas comparado à votação majoritária simples.
  • Na Coorte B retida, o sistema alcançou 99% de precisão nos 25% de casos mais confiantes e 95% de precisão nos 50% de casos mais confiantes.
  • Isso permite que uma clínica diferencie os 50% inferiores de casos para especialistas enquanto mantém 95% de acurácia na metade tratada automaticamente, triando a carga de trabalho.

Significância e Alegações
O artigo alega que o MANANA oferece um caminho para sistemas de LLM clínico localmente adaptados que podem aprender com dados limitados e específicos de um local sem o fardo de retreinar os pesos do modelo. Ao converter erros de prescrição observados em uma memória de prompt auditável, o sistema captura regras de prescrição locais (ex: restrições de disponibilidade de drogas) que as bases de conhecimento médico padrão ignoram.

Crucialmente, os autores enfatizam que a capacidade do sistema de gerar sinais de diferimento via média de prompts Bayesiana aborda uma necessidade crítica de implementação: garantir que a atenção especializada escassa seja reservada para casos onde o modelo é menos certo. O estudo postula que esta abordagem preenche a lacuna entre o conhecimento médico de alto nível e as realidades práticas dos ambientes clínicos de baixos recursos, ofereção uma solução implantável para o gerenciamento de cuidado longitudinal onde a expertise especializada está indisponível.

Limitações
Os autores observam que os limiares de diferimento atuais são escolhidos retrospectivamente em dados retidos e exigiriam ajuste prospectivo em uma clínica do mundo real. Além disso, o sistema otimiza para o acordo com o regime do médico assistente (o que reflete as restrições de recursos locais) em vez de provar que o regime é clinicamente ideal para a ausência de crises. Trabalhos futuros são necessários para validar as memórias aprendidas contra resultados clínicos e para integrar a predição direta de crises.