Importance of Prompt Optimisation for Error Detection in Medical Notes Using Language Models

1. Problema e Motivação

Erros em textos médicos podem levar a atrasos no tratamento ou a intervenções clínicas incorretas, resultando em morbidade e mortalidade significativas. Embora os Grandes Modelos de Linguagem (LLMs) mostrem potencial para detectar esses erros automaticamente, estudos anteriores (como o benchmark MEDEC) indicam que mesmo modelos de ponta (frontier models) têm dificuldades nessa tarefa, especialmente em conjuntos de dados não vistos durante o treinamento (out-of-distribution).

Além disso, existem desafios práticos na adoção de LLMs na medicina:

• Privacidade e Segurança: Modelos online (via API) muitas vezes não são adequados para dados sensíveis de pacientes.
• Custo e Complexidade: O fine-tuning (ajuste fino) é caro, exige grandes conjuntos de dados rotulados e é operacionalmente difícil de auditar e atualizar.
• Necessidade de Auditoria: Sistemas clínicos exigem que as decisões sejam auditáveis. Prompts são entradas explícitas e armazenáveis, ao contrário dos pesos internos de um modelo ajustado.

O objetivo do trabalho é investigar se a otimização automática de prompts pode melhorar significativamente a detecção de erros em notas clínicas, tanto para modelos grandes (LLMs) quanto pequenos (SLMs), sem a necessidade de re-treinamento custoso.

2. Metodologia

Os autores utilizaram o conjunto de dados MEDEC (Medical Error Detection and Correction), que contém notas clínicas com erros injetados (subconjuntos MS e UW). O foco foi na tarefa de classificação binária: identificar se uma nota contém um erro ou não.

A abordagem central foi o uso do algoritmo GEPA (Genetic-Pareto), implementado através da biblioteca DSPy. O fluxo experimental incluiu:

• Otimização de Prompt (GEPA): O algoritmo alterna entre executar o prompt atual em mini-batches e usar um "modelo refletor" para gerar revisões reflexivas baseadas em recompensas (acurácia) e feedback textual (explicação do erro).
• Seleção de Pareto: O GEPA mantém um conjunto de candidatos de prompts na "frente de Pareto", garantindo diversidade e evitando mínimos locais, selecionando prompts que performam bem em pelo menos uma instância de validação específica.
• Arquitetura de Modelos (Inferência vs. Refletor):
  • Modelos de Inferência: Foram testados modelos comerciais (GPT-5, Grok-4, Gemini-2.5-Pro, Claude-Sonnet) e modelos open-source locais da família Qwen3 (variações de 0.6B a 32B parâmetros).
  • Modelos Refletores: Um modelo mais potente (geralmente o GPT-5 ou o próprio modelo de inferência em configurações self-reflection) foi usado para analisar os erros e refinar os prompts.
• Configuração Experimental:
  • Treinamento/Otimização: Realizado no conjunto de validação MS (Microsoft).
  • Avaliação: Testes realizados nos conjuntos de teste MS e UW (University of Washington), sendo este último um teste out-of-distribution para verificar a generalização.
  • Total de configurações: 28 combinações de pares refletor-inferência.

3. Principais Contribuições

1. Avaliação Abrangente: Comparação de desempenho entre modelos de ponta comerciais e modelos locais (SLMs) para detecção de erros médicos.
2. Otimização Automatizada: Demonstração de que a engenharia de prompts automatizada (GEPA) supera a engenharia manual e o zero-shot padrão.
3. Viabilidade de Modelos Locais: Prova de que modelos pequenos (SLMs) podem ser otimizados para atingir desempenho competitivo, permitindo sua execução segura dentro de redes hospitalares (preservando a privacidade).
4. Resultados State-of-the-Art (SOTA): Alcançou o melhor desempenho registrado no benchmark MEDEC, superando as linhas de base anteriores e aproximando-se do desempenho de médicos humanos.

4. Resultados Chave

• Melhoria de Desempenho:
  • Com o GPT-5, a acurácia combinada (MS+UW) aumentou de 0.669 (baseline) para 0.785 com prompts otimizados pelo GEPA.
  • Com o Qwen3-32B (modelo open-source), a acurácia saltou de 0.578 para 0.690.
• Generalização: Os prompts otimizados no conjunto de dados MS demonstraram excelente transferência para o conjunto UW (não visto durante a otimização), com ganhos de até 15.2 pontos percentuais no conjunto UW para o GPT-5.
• Comparação com Humanos: O modelo GPT-5 otimizado (0.785) superou um dos dois médicos especialistas usados como baseline no artigo original do benchmark (Dr. #2 com 0.716) e foi comparável ao Dr. #1 (0.796).
• Análise de Erros: Os prompts otimizados corrigiram a tendência dos modelos de zero-shot de superestimarem erros (falsos positivos). O GEPA instruiu os modelos a serem mais conservadores, melhorando a especificidade (identificação correta de textos sem erros) com uma leve redução na sensibilidade, resultando em um equilíbrio mais clínico.
• Eficiência: A abordagem requer apenas uma chamada de modelo durante a inferência, diferentemente de métodos complexos que exigem múltiplas chamadas ou recuperação web.

5. Significado e Conclusão

O estudo conclui que a otimização de prompts é um fator crítico para o sucesso de LLMs em tarefas médicas, muitas vezes mais importante do que a escolha do modelo em si.

• Governança e Auditoria: Diferente do fine-tuning, os prompts otimizados são curtos, explícitos e totalmente auditáveis, atendendo a regulamentações como as da ELCAP (European Society for Medical Oncology) para sistemas de IA de "Tipo 3" (monitoramento contínuo).
• Privacidade: A capacidade de usar modelos locais (Qwen3) com prompts otimizados por modelos externos (GPT-5) oferece um caminho viável para implementar sistemas de verificação de erros em ambientes hospitalares seguros, sem expor dados de pacientes à nuvem.
• Impacto Prático: A técnica oferece uma rota prática para criar sistemas de alerta de fundo que monitoram prontuários eletrônicos em tempo real, melhorando a segurança do paciente com custos computacionais e operacionais reduzidos.

Em suma, o trabalho demonstra que a evolução reflexiva de prompts pode desbloquear capacidades adicionais substanciais em modelos de linguagem, tornando-os ferramentas viáveis e seguras para a prática clínica.