Employing General-Purpose and Biomedical Large Language Models with Advanced Prompt Engineering for Pharmacoepidemiologic Study Design

Título: Emprego de Modelos de Linguagem de Grande Escala (LLMs) de Uso Geral e Biomédicos com Engenharia de Prompt Avançada para o Desenho de Estudos de Farmacoepidemiologia

1. Problema e Contexto

A geração rápida de evidências em farmacoepidemiologia exige designs de estudo robustos e de alta qualidade, especialmente para populações sub-representadas em ensaios clínicos. Embora a Inteligência Artificial (IA) e os Modelos de Linguagem de Grande Escala (LLMs) sejam propostos para automatizar tarefas complexas, como o desenho de estudos, sua confiabilidade nesta área específica permanece insuficientemente caracterizada.

• Desafio: Existe incerteza sobre se as limitações observadas em LLMs "de prateleira" (uso geral) devem-se ao tipo de modelo, à estratégia de prompt ou a ambos.
• Lacuna: Não há estudos comparativos robustos sobre o desempenho de LLMs de uso geral versus LLMs especializados (finetunados para biomedicina) na tarefa de estruturar protocolos de estudos de farmacoepidemiologia, que envolvem elementos inter-relacionados como janelas temporais, critérios de inclusão/exclusão e mapeamento de ontologias.

2. Metodologia

O estudo realizou uma avaliação sistemática comparando diferentes arquiteturas de modelos e estratégias de prompt.

• Dados de Entrada: Foram utilizados 46 protocolos de estudos de farmacoepidemiologia (2018-2024) provenientes de três fontes principais:
  • Catálogo HMA-EMA (16 protocolos DARWIN EU® e 15 protocolos não-DARWIN).
  • Sistema Sentinel (15 protocolos).
• Modelos Avaliados:
  • Uso Geral: GPT-4o e DeepSeek-R1.
  • Biomedicina (Finetunados): QuantFactory/Bio-Medical-Llama-3-8B-GGUF, mradermacher/DeepSeek-r1-Medical-Mini-GGUF, Plaban81/gemma-medical_qa-Finetune e Irathernotsay/qwen2-1.5B-medical_qa-Finetune.
• Estratégias de Prompt: Foram testadas sete estratégias (incluindo Basic, Synthetic, Active Prompt, Plan-and-Solve, Least-to-Most (LTM), Tree-of-Thought e Decomposition). Após uma pré-avaliação, cinco combinações foram selecionadas para a análise principal.
• Tarefas de Avaliação: O desempenho foi medido com base em 10 conceitos-chave derivados da lista de verificação HARPER, incluindo:
  1. Identificação do desenho do estudo.
  2. Definição da data índice.
  3. Critérios de inclusão/exclusão.
  4. Janela de avaliação de critérios.
  5. Definição de exposição.
  6. Definição de desfecho.
  7. Período de acompanhamento.
  8. Covariáveis.
  9. Janela de avaliação de covariáveis.
  10. Mapeamento de códigos de ontologia (ex: ICD, SNOMED, ATC).
• Padrão Ouro: Duas especialistas humanas extraíram as respostas corretas dos protocolos originais.
• Métricas de Desempenho:
  • Relevância: Concordância com a resposta do especialista (Escala Likert 1-5).
  • Lógica da Justificativa: Qualidade do raciocínio (Escala Likert 1-5).
  • Concordância Ontológica: Percentual de acerto na conversão de conceitos para códigos padronizados.
  • Análise de Erros: Classificação qualitativa de falhas (ex: alucinações, falta de justificativa, não adesão ao algoritmo).

3. Resultados Principais

• Desempenho Geral (Uso Geral vs. Biomedicina):

  • Os LLMs de uso geral (especialmente GPT-4o e DeepSeek-R1) superaram consistentemente os LLMs biomédicos em todas as dimensões.
  • A combinação GPT-4o com a estratégia Least-to-Most (LTM) obteve as melhores pontuações, atingindo uma mediana de relevância de 4 em 8 de 9 questões para protocolos do HMA-EMA.
  • Os LLMs biomédicos apresentaram menor relevância geral e frequentemente falharam em fornecer justificativas adequadas, sendo muitas vezes inclassificáveis devido à falta de raciocínio.

• Impacto da Estratégia de Prompt:

  • A estratégia Least-to-Most (LTM) foi superior à Active Prompting, especialmente para tarefas complexas como definição de desenho de estudo, exposição e desfecho. A decomposição de tarefas complexas em subetapas sequenciais melhorou a estabilidade do raciocínio.
  • No entanto, o LTM também mostrou que erros iniciais podem se propagar para etapas subsequentes (outliers de baixa pontuação).

• Mapeamento de Ontologia-Código:

  • Esta foi a área de maior fraqueza para todos os modelos. A concordância foi baixa, especialmente para sistemas complexos como ICD, RxNorm e SNOMED.
  • O desempenho foi ligeiramente melhor para códigos ATC e HCPCS, mas ainda insuficiente para uso autônomo sem validação humana ou regras determinísticas.

• Influência da Fonte dos Protocolos:

  • Protocolos do HMA-EMA geraram os resultados mais estáveis e altos.
  • Protocolos do Sentinel mostraram maior variabilidade.
  • Protocolos do DARWIN EU® resultaram em desempenho mais baixo e instável, sugerindo que a estrutura e clareza do documento de entrada impactam diretamente a performance do LLM.

• Padrões de Erro:

  • Os LLMs biomédicos foram propensos a falhas estruturadas recorrentes, como a geração de perguntas irrelevantes (n=189) e falta de justificativa (n=105).
  • O modelo QuantFactory/Bio-Medical-Llama-3-8B apresentou clusters de erro concentrados nas questões centrais do desenho do estudo.

4. Contribuições e Significância

• Descoberta Contraintuitiva: O estudo demonstra que, para tarefas de desenho de estudo em farmacoepidemiologia, LLMs de uso geral superam os modelos especializados em biomedicina. Isso sugere que a tarefa exige mais raciocínio metodológico estruturado e compreensão de instruções do que apenas conhecimento vocabular biomédico. A adaptação de domínio (finetuning) pode, em alguns casos, comprometer a capacidade de seguir instruções complexas.
• Importância do Prompting: A estratégia de engenharia de prompt é um fator crítico. A abordagem Least-to-Most (LTM) provou ser essencial para decompor o raciocínio complexo, embora não elimine a necessidade de supervisão humana.
• Limitação Crítica no Mapeamento de Códigos: O estudo alerta que, embora os LLMs possam auxiliar na interpretação narrativa e no rascunho de protocolos, não são confiáveis para o mapeamento de ontologias (conversão de conceitos para códigos como ICD/SNOMED). O suporte determinístico (dicionários curados, regras) continua sendo indispensável para a validade dos dados.
• Implicações Regulatórias: A estrutura do protocolo de entrada influencia a saída do modelo. Isso reforça a necessidade de padronização rigorosa na documentação de estudos de dados do mundo real (RWD) para garantir a interoperabilidade com ferramentas de IA em ambientes regulatórios.

Conclusão: LLMs de uso geral, combinados com prompts de decomposição de tarefas (LTM), oferecem o melhor suporte atual para o desenho de estudos de farmacoepidemiologia, superando modelos biomédicos especializados. No entanto, a automação total ainda não é viável devido à baixa precisão no mapeamento de códigos e à necessidade de validação humana para garantir a integridade metodológica.