Resumo Técnico: RxEval – Um Benchmark de Nível de Prescrição para Avaliação de Recomendação de Medicamentos por Modelos de Linguagem de Grande Porte (LLMs)

Definição do Problema

Os benchmarks atuais para avaliar Modelos de Linguagem de Grande Porte (LLMs) na área da saúde focam principalmente na recuperação de conhecimento médico (por exemplo, exames de licenciamento como o MedQA) ou na previsão de medicamentos em nível de admissão hospitalar de granularidade grosseira. Os benchmarks existentes de recomendação de medicamentos (por exemplo, GAMENet, SafeDrug) formulam a tarefa como a previsão de um único conjunto de códigos terapêuticos (nível ATC-3) para toda uma admissão hospitalar, com base em vetores multi-hot de códigos de diagnóstico e procedimento ICD.

Os autores argumentam que essa formulação falha em refletir a prática clínica real por três razões:

1. Granularidade Temporal: Agrega todas as prescrições de uma admissão em um único rótulo, ignorando que os clínicos tomam decisões repetidas e específicas no tempo à medida que a condição do paciente evolui.
2. Fidelidade de Entrada: Descarta dados clínicos ricos (valores laboratoriais, sinais vitais, notas clínicas, achados de imagem) em favor de códigos categóricos, removendo o contexto no qual os clínicos confiam para cuidados individualizados.
3. Especificidade de Saída: Colapsa medicamentos distintos em subclasses terapêuticas amplas e omite detalhes críticos, como dosagem e via de administração, que são essenciais para segurança e eficácia.

Metodologia

O artigo propõe o RxEval, um benchmark projetado para avaliar LLMs na tomada de decisão em nível de prescrição. A metodologia envolve a construção de um conjunto de dados a partir do banco de dados de prontuários eletrônicos de cuidados críticos MIMIC-IV e a formulação da avaliação como uma tarefa de Pergunta de Múltipla Escolha (MCQ).

1. Formulação da Tarefa

Diferentemente da previsão em nível de admissão, o RxEval trata cada ponto de tempo de prescrição dentro de uma admissão como uma instância de decisão distinta.

• Entrada: Um perfil detalhado do paciente ($P_a$) incluindo demografia, alergias e medicamentos domiciliares, combinado com uma trajetória clínica ordenada no tempo ($H_{a,<t}$) contendo resultados laboratoriais, procedimentos, laudos de radiologia e prescrições anteriores até o tempo $t$.
• Saída: Um conjunto específico de triplas medicamento-dose-via ($M_{a,t}$) prescritas no tempo $t$.
• Formato: Para evitar ambiguidade na avaliação causada por variações de nomes e múltiplas alternativas clinicamente aceitáveis, a tarefa é enquadrada como uma MCQ. O modelo deve selecionar o subconjunto correto de medicamentos de uma lista de opções.

2. Construção de Distratores via Perturbação de Cadeia de Raciocínio

Uma inovação central é a geração de distratores "específicos do paciente" (opções incorretas) que não podem ser eliminados apenas pelo conhecimento médico geral. Isso é alcançado através de um pipeline de três etapas:

1. Anotação da Cadeia de Raciocínio: Um LLM anota a cadeia de raciocínio clínico que explica por que um medicamento específico está correto para um paciente, vinculando observações específicas (fatos) a inferências clínicas. Um LLM crítico verifica se cada fato está fundamentado no prontuário do paciente e se a lógica é coerente.
2. Perturbação: A cadeia de raciocínio é perturbada ignorando uma observação clínica específica ou alterando uma condição (por exemplo, ignorando uma alergia documentada). Em seguida, um LLM gera um medicamento que seria apropriado sob a cadeia perturbada, mas que está incorreto para o paciente real.
3. Validação: Os distratores são validados para garantir que sejam verificavelmente errados com base no prontuário do paciente e suficientemente difíceis (exigindo dados específicos do paciente para serem descartados). Uma revisão por médicos de 95 distratores confirmou que 96,8% eram claramente inadequados.

3. Composição do Conjunto de Dados

O RxEval compreende 1.547 MCQs derivados de 584 pacientes únicos (587 admissões).

• Cobertura: Abrange 18 capítulos diagnósticos ICD e 969 medicamentos únicos com distribuição de cauda longa.
• Complexidade: As perguntas têm em média 7,03 opções (até 23) e exigem a seleção de subconjuntos de tamanho variável (média de 2,03 respostas corretas). 44,9% das perguntas são de múltiplas respostas.
• Comprimento do Contexto: Os prompts têm um comprimento mediano de 3.111 tokens (até 118.805), significativamente mais longos que os benchmarks padrão de QA médica.

Principais Resultados

Os autores avaliaram 16 LLMs (8 proprietários, 8 de código aberto) no RxEval.

• Poder Discriminativo: O RxEval separa efetivamente modelos de capacidades variadas. Os escores F1 variam de 45,18 (Llama-3.1-8B-Instruct) a 77,10 (Gemini-3.1-Pro).
• Dificuldade: Mesmo o modelo mais forte, o Gemini-3.1-Pro, alcança apenas 46,10% de precisão em Correspondência Exata, indicando que a tarefa está longe de ser resolvida.
• Conhecimento vs. Raciocínio: Embora modelos de ponta pontuem >89% no MedQA (recuperação de conhecimento), seu desempenho no RxEval é significativamente menor e mais variado. Isso sugere que o RxEval avalia o raciocínio clínico temporal em vez de conhecimento estático.
• Limitações do Ajuste Fino (Fine-Tuning): Modelos ajustados finamente para o domínio médico (por exemplo, HuatuoGPT-o1, MedGemma) mostraram ganhos negligenciáveis (+1,2 a +2,2 F1) sobre suas contrapartes ajustadas para instruções gerais, sugerindo que os paradigmas atuais de ajuste fino não capturam o raciocínio temporal específico necessário para decisões em nível de prescrição.
• Análise de Erros:
  • Erros de Omissão: Os modelos frequentemente ignoram informações do paciente explicitamente declaradas (por exemplo, alergias), como prescrever heparina a um paciente com alergia documentada à heparina. Repetir a lista de alergias no final do prompt corrigiu 85,4% desses erros.
  • Erros de Raciocínio: Os modelos falham em derivar conclusões clínicas de observações, como prescrever medicamentos eliminados renalmente para pacientes com creatinina elevada ou atribuir erroneamente a causa da hipertensão.
  • Degradação Temporal: O desempenho geralmente degrada na fase tardia das admissões, onde as trajetórias clínicas são mais longas e complexas.

Significado e Alegações

O artigo afirma que o RxEval representa uma mudança necessária na avaliação de LLMs para aplicações clínicas:

1. Realismo: Move a avaliação de previsões em nível de admissão, de granularidade grosseira, para a realidade de granularidade fina e específica no tempo da prescrição intrahospitalar.
2. Além do Conhecimento: Demonstra que alto desempenho em benchmarks de conhecimento médico não garante a capacidade de sintetizar dados clínicos complexos e em evolução em planos de tratamento seguros e específicos.
3. Valor Diagnóstico: O benchmark revela modos de falha sistemáticos em modelos de ponta, especificamente a incapacidade de manter a atenção a restrições específicas do paciente (omissão) e a falha em realizar raciocínio clínico de múltiplos passos (raciocínio).
4. Implicações de Segurança: Ao destacar que até mesmo modelos de primeira linha lutam com a integração de dosagem, via e contraindicações, os autores argumentam que os LLMs atuais ainda não estão prontos para implantação autônoma em recomendação de medicamentos sem supervisão humana rigorosa.

Os autores posicionam o RxEval como uma ferramenta para orientar o desenvolvimento de sistemas de IA clínica mais seguros e confiáveis, identificando lacunas específicas em mecanismos de raciocínio e atenção que devem ser abordadas antes da implantação clínica.