Biomedical Large Language Models and Prompt Engineering for Causality Assessment of Individual Case Safety Reports in Pharmacovigilance

Este estudo avaliou a eficácia de modelos de linguagem grandes biomédicos combinados com engenharia de prompts na avaliação de causalidade de relatórios de segurança de medicamentos, concluindo que, embora superem modelos gerais, eles ainda apresentam desempenho subótimo e baixa concordância com especialistas humanos para essa tarefa crítica.

O essencial

🩺 O Detetive de Remédios e o "Cérebro Digital"

Imagine que você trabalha em uma grande fábrica de remédios. Toda vez que alguém toma um remédio e passa mal, chega um relatório dizendo: "Tomei o remédio X e agora estou com dor de cabeça". O trabalho dos especialistas humanos é atuar como detetives: eles precisam investigar se a dor de cabeça foi realmente causada pelo remédio ou se foi apenas coincidência (talvez a pessoa tenha comido algo estrago ou pegado um vírus).

Esse processo de investigação chama-se avaliação de causalidade. É chato, demorado e exige muito conhecimento. Com milhões de relatórios chegando, os humanos estão ficando sobrecarregados.

Aí, os cientistas perguntaram: "E se usarmos uma Inteligência Artificial (IA) superinteligente para ajudar a fazer essa investigação?"

Este estudo é a resposta a essa pergunta. Eles testaram se IAs especializadas em medicina conseguem atuar como esses detetives.

🧪 A Grande Prova de Fogo

Os pesquisadores pegaram 150 casos reais de pessoas que tiveram reações adversas (algumas de remédios novos, outras de vacinas contra COVID-19). Eles dividiram o trabalho em três equipes de "detetives digitais" (Inteligências Artificiais) e pediram para elas analisarem os casos usando duas regras diferentes de investigação:

1. O Detetive Digital 1 (TinyLlama): Um modelo menor, mais leve.
2. O Detetive Digital 2 (Medicine LLaMA-3): Um modelo treinado especificamente com livros e artigos médicos.
3. O Detetive Digital 3 (MedLLaMA): Outro modelo focado em medicina.

Eles também testaram duas formas de "dar a ordem" para a IA pensar:

• Pensamento em Cadeia (Chain-of-Thought): Pedir para a IA explicar passo a passo como chegou à conclusão (como um aluno mostrando os cálculos).
• Decomposição: Pedir para a IA quebrar o problema em partes menores.

🏆 O Resultado: Quem foi o melhor?

Aqui está o que aconteceu, usando uma analogia de uma prova de culinária:

• O Vencedor (por pouco): O Medicine LLaMA-3 (o detetive treinado em medicina) foi o melhor. Quando usou o método de "Pensamento em Cadeia" e seguiu a regra chamada Naranjo (uma lista de verificação simples de 10 perguntas), ele concordou com os detetives humanos em 64% dos casos.

  • Analogia: Foi como se o robô tivesse estudado o livro de receitas do chef e conseguisse copiar o sabor do prato na maioria das vezes.

• O Problema das Regras: Quando o mesmo robô tentou usar a outra regra de investigação (chamada WHO-UMC, que é mais narrativa e complexa, como escrever um relatório longo), o desempenho caiu drasticamente (para 23%).

  • Analogia: É como pedir para um jogador de futebol jogar basquete. Ele é ótimo no campo (Naranjo), mas quando as regras mudam para quadra (WHO-UMC), ele se perde.

⚠️ Onde a IA "Quebrou a Cara"

Mesmo o melhor robô cometeu erros graves que impedem ele de trabalhar sozinho hoje em dia:

1. Alucinação e Copiador: Às vezes, a IA inventava fatos ou apenas repetia o que o usuário tinha dito (como um papagaio), em vez de realmente pensar.
2. Cegueira para o "Incerto": Se um relatório humano estava incompleto (faltava informação), o humano dizia: "Não sei, preciso investigar mais". A IA, porém, muitas vezes inventava uma resposta com 100% de certeza.
   • Analogia: É como um detetive que, ao não achar a arma do crime, diz: "O culpado é o vizinho!" com total confiança, apenas para não ficar em silêncio.
3. Dificuldade com "Provas Objetivas": A IA tinha muita dificuldade em saber se um sintoma estava listado na bula do remédio ou se havia uma prova de laboratório real. Ela confundia muito isso.

💡 A Conclusão Final

O estudo diz que a IA melhorou muito em relação aos modelos antigos (que eram como "generalistas" que sabiam um pouco de tudo, mas nada de medicina profunda). Agora, com treinamento médico, elas entendem melhor o contexto.

Porém, elas ainda não estão prontas para tomar a decisão final sozinhas.

• O Veredito: A IA é como um estagiário muito inteligente, mas inexperiente. Ela pode fazer o trabalho pesado de organizar os papéis e sugerir uma resposta, mas um humano experiente precisa revisar tudo antes de assinar o documento.
• O Futuro: Se a IA for treinada melhor, tiver acesso a informações em tempo real (como bulas atualizadas na internet) e for usada como uma ferramenta de apoio (não como chefe), ela poderá ajudar a salvar a vida de milhões de pessoas ao detectar reações perigosas muito mais rápido.

Resumo em uma frase: A Inteligência Artificial está aprendendo a ser um bom detetive de remédios, mas ainda precisa de um supervisor humano para não cometer erros graves e garantir que as decisões sejam seguras.

Resumo técnico

Título: Modelos de Linguagem de Grande Escala (LLMs) Biomédicos e Engenharia de Prompt para Avaliação de Causalidade em Relatos de Segurança Individual (ICSRs) na Farmacovigilância

1. Problema Investigado

A avaliação de causalidade de Relatos de Casos de Segurança Individual (ICSRs) é um processo crítico na farmacovigilância para determinar a probabilidade de uma associação causal entre medicamentos/vacinas e eventos adversos. O método atual, baseado em julgamento humano e algoritmos de regras, tornou-se insustentável devido ao volume crescente de dados e à escassez de recursos.
Estudos anteriores mostraram que LLMs de propósito geral têm desempenho subótimo nesta tarefa, frequentemente falhando na lógica de raciocínio clínico e na aplicação de algoritmos estruturados. Há uma lacuna significativa na investigação de LLMs treinados especificamente em literatura biomédica, combinados com técnicas avançadas de engenharia de prompt, para realizar avaliações de causalidade em nível individual com precisão e explicabilidade.

2. Metodologia

O estudo adotou uma abordagem quantitativa comparativa para avaliar a concordância entre LLMs biomédicos e avaliadores humanos especialistas.

• Dados: Foram analisados 150 ICSRs:
  • 140 casos extraídos do sistema FAERS (EUA), cobrindo diversas categorias terapêuticas (novos medicamentos, terapias gênicas, medicamentos comuns, etc.).
  • 10 casos de miocardite/pericardite pós-vacinação confirmados clinicamente, extraídos do VAERS.
• Avaliadores de Referência (Gold Standard): Dois especialistas humanos (um farmacêutico e um médico sênior) avaliaram todos os casos manualmente.
• Algoritmos de Causalidade: Foram utilizados dois algoritmos padronizados:
  1. Escala de Probabilidade de Reação Adversa a Medicamentos de Naranjo: Baseada em 10 perguntas pontuadas.
  2. Algoritmo do OMS-Centro de Monitoramento de Uppsala (WHO-UMC): Abordagem estruturada de quatro etapas (elegibilidade, lista de verificação, algoritmo e classificação).
• Modelos de LLM Testados: Três modelos de código aberto com treinamento biomédico:
  • TinyLlama 1.1B
  • Medicine LLaMA-3 8B
  • MedLLaMA v20
• Estratégias de Prompt:
  • Chain-of-Thought (CoT): Encoraja o raciocínio passo a passo.
  • Decomposition: Quebra a tarefa em subproblemas.
• Métricas de Avaliação:
  • Concordância interavaliador (Coeficiente de Concordância de Gwet AC1 e porcentagem de acordo).
  • Métricas de desempenho: Precisão, Sensibilidade, Especificidade, F1-score.
  • Análise qualitativa de erros (alucinações, falta de justificação, eco de prompt, loops).

3. Principais Contribuições

• Avaliação Sistemática de LLMs Biomédicos: É um dos primeiros estudos a comparar especificamente modelos treinados em literatura biomédica contra especialistas humanos em tarefas de farmacovigilância, superando as limitações de modelos de propósito geral.
• Análise de Sensibilidade ao Algoritmo: Demonstra que o desempenho do LLM é altamente dependente do algoritmo de causalidade utilizado (Naranjo vs. WHO-UMC), e não apenas do modelo ou do prompt.
• Identificação de Falhas Específicas: Mapeou padrões de erro recorrentes, como a incapacidade de acessar informações de "lista de efeitos adversos" (SmPC) não presentes no treinamento, alucinações de raciocínio e falta de justificativa transparente para pontuações atribuídas.
• Reprodutibilidade: O estudo segue os padrões FAIR e TRIPOD-LLM, disponibilizando todo o código, prompts e dados anonimizados em repositório público.

4. Resultados Chave

• Melhoria sobre Modelos Gerais: Os LLMs biomédicos alcançaram até 64% de concordância com especialistas humanos (usando a combinação Medicine LLaMA-3 8B + Naranjo + CoT), quase o dobro da concordância relatada anteriormente para modelos de propósito geral (34%).
• Desempenho por Algoritmo:
  • O algoritmo Naranjo mostrou-se muito mais robusto para os LLMs, com a melhor configuração atingindo 63,3% de concordância exata na classificação final.
  • O algoritmo WHO-UMC resultou em desempenho significativamente inferior (concordância de ~23-24%), indicando que estruturas narrativas complexas são mais difíceis de processar para os modelos atuais.
• Pontos Fortes e Fracos:
  • Os modelos tiveram bom desempenho em perguntas factuais e estruturadas (ex: "Ocorreu deschallenge?").
  • Falhas Críticas: Baixo desempenho na identificação de "causas alternativas", "evidência objetiva" e "plausibilidade temporal".
  • Erros Comuns: "Eco de prompt" (repetição da pergunta na resposta), falta de justificação clínica para as pontuações e alucinações de instrução.
• Incerteza Epistêmica: Os LLMs tendem a gerar respostas categóricas de alta confiança mesmo quando as evidências no relato são incompletas ou ambíguas, ao contrário dos humanos, que frequentemente atribuem "desconhecido" ou usam julgamentos cautelosos.

5. Significância e Conclusões

O estudo conclui que, embora os LLMs biomédicos representem um avanço significativo em relação aos modelos genéricos, ainda não são suficientemente robustos para substituir a avaliação humana em cenários regulatórios rigorosos (como na União Europeia), onde a transparência e a explicabilidade são obrigatórias.

• Limitações Atuais: A falta de justificativa consistente e a incapacidade de acessar fontes externas em tempo real (como bulas atualizadas) limitam a utilidade prática imediata.
• Futuro: A integração de IA Agêntica (que pode acessar ferramentas externas e SmPCs) e o ajuste fino de hiperparâmetros são passos necessários.
• Recomendação: O uso atual deve ser restrito a um modelo de "humano no loop", onde o LLM atua como assistente para triagem ou suporte à decisão, mas a validação final e a responsabilidade devem permanecer com especialistas humanos. A compatibilidade entre o LLM e o algoritmo de causalidade é um requisito de design fundamental para o sucesso da implementação.