PACE-RAG: Patient-Aware Contextual and Evidence-based Policy RAG for Clinical Drug Recommendation

Resumo Técnico: PACE-RAG

1. O Problema

A recomendação de medicamentos é um desafio clínico complexo que exige uma estratégia altamente personalizada, baseada no contexto único de cada paciente, especialmente em condições crônicas e complexas como a Doença de Parkinson. Embora os Grandes Modelos de Linguagem (LLMs) possuam conhecimento médico amplo, eles frequentemente falham em capturar as nuances sutis dos padrões reais de prescrição clínica.

As abordagens atuais de Geração Aumentada por Recuperação (RAG) apresentam duas limitações principais:

1. RAG Baseado em Diretrizes: Recupera documentos padronizados (guias clínicos), resultando em recomendações excessivamente generalizadas que ignoram a heterogeneidade dos trajectórios clínicos individuais.
2. RAG Baseado em Pacientes Similares (ex: TreatRAG): Recupera casos históricos semelhantes, mas tende a replicar padrões de "maioria" (viés da maioria), copiando as prescrições mais frequentes sem considerar as razões clínicas específicas para cada caso individual.

O objetivo é preencher essa lacuna criando um sistema que sintetize o contexto do paciente individual com as tendências de prescrição baseadas em evidências de casos similares, garantindo precisão e explicabilidade.

2. Metodologia: PACE-RAG

O PACE-RAG (Patient-Aware Contextual and Evidence-based Policy RAG) é um novo framework que utiliza um processo de raciocínio em quatro estágios para gerar recomendações de medicamentos otimizadas e explicáveis. O pipeline opera sobre o histórico do paciente ($H$) e a nota clínica atual ($x_t$).

• Pré-processamento: Geração de uma prescrição inicial ($y_0$) pelo LLM baseada apenas no histórico e na nota atual.
• Estágio 1: Recuperação Específica de Foco (Focus-Specific Retrieval):
  • Em vez de usar notas clínicas não estruturadas inteiras, um extrator identifica palavras-chave clínicas específicas (substrings literais) que representam sinais clínicos agudos ou sintomas novos.
  • O sistema recupera pacientes do banco de dados histórico que correspondem a esses focos específicos, evitando ruído de histórico médico irrelevante.
• Estágio 2: Análise de Tendência de Prescrição (Prescribing Tendency Analysis):
  • O modelo analisa os casos recuperados para extrair padrões de adição de medicamentos específicos para o sintoma-alvo.
  • Critérios rigorosos são aplicados: isolar apenas medicamentos novos adicionados para o foco específico, exigir evidência causal direta e retornar um conjunto vazio se não houver evidência clara. Isso evita o viés de medicamentos de rotina ou crônicos que não se aplicam ao caso atual.
• Estágio 3: Refinamento de Prescrição Orientado por Políticas (Policy-Driven Prescription Refinement):
  • Atua como um mecanismo de verificação. Compara a prescrição inicial ($y_0$) com as tendências extraídas ($T$).
  • Aplica três políticas estritas:
    1. Manter (Maintain): Preserva o histórico ativo do paciente (âncora conservadora).
    2. Adicionar (Add): Adiciona novos medicamentos apenas se houver um sinal de alta confiança baseado nas tendências de casos similares.
    3. Remover (Remove): Remove medicamentos apenas se houver evidência definitiva de efeitos adversos ou contraindicações.
• Estágio 4: Resumo Clínico Explicável:
  • Sintetiza a trajetória de decisão (histórico, tendências extraídas, verificação e prescrição final) em um relatório interpretável para o médico, detalhando a razão clínica de cada decisão.

3. Contribuições Principais

1. Novo Framework Híbrido: O PACE-RAG supera a generalização excessiva do RAG baseado em diretrizes e o viés de maioria do RAG baseado em pacientes similares, identificando racionalidades específicas de sintomas dentro do contexto do paciente.
2. Metodologia de 4 Estágios: Introduz uma abordagem sistemática que extrai sinais clínicos focais para recuperação baseada em palavras-chave, analisa tendências de prescrição e valida a decisão final através de políticas de verificação.
3. Generalização e Eficiência: Demonstra robustez ao ser aplicado tanto em um conjunto de dados real de Doença de Parkinson (não estruturado) quanto no benchmark estruturado MIMIC-IV.
4. Desempenho com Modelos Pequenos: O framework, construído sobre modelos de código aberto de pequeno porte (ex: Llama-3.1-8B, Qwen3-8B), supera o desempenho de modelos massivos (ex: Qwen2.5-72B), provando que a arquitetura do pipeline é mais crítica que o tamanho do modelo para tarefas clínicas complexas.

4. Resultados Experimentais

O framework foi avaliado em dois conjuntos de dados principais:

• HPH (Parkinson's Disease): Um conjunto de dados real e não estruturado de 947 pacientes.
• MIMIC-IV: Um benchmark grande escala de registros eletrônicos de saúde.

Desempenho Quantitativo:

• No conjunto de dados HPH, usando o modelo Qwen3-8B, o PACE-RAG alcançou um F1-score de 80,84% e precisão de 83,78%, superando significativamente todas as linhas de base (Zero-shot, Guideline RAG, TreatRAG, MedReflect).
• No benchmark MIMIC-IV, alcançou um F1-score de 47,22% com Qwen3-8B, novamente superando modelos muito maiores (como o Qwen2.5-72B, que obteve 39,17%).
• O PACE-RAG demonstrou um equilíbrio superior entre precisão e recall, evitando a superprevisão (recall alto, precisão baixa) comum em outros métodos RAG.

Avaliação por Especialistas:

• Uma avaliação cega com dois especialistas em Doença de Parkinson mostrou que o PACE-RAG foi preferido em 70% dos casos em relação ao RAG baseado em diretrizes, com taxas de vitória/empate superiores a 70% em todas as dimensões clínicas (precisão, segurança, raciocínio clínico e utilidade).

5. Significado e Impacto

O PACE-RAG representa um avanço significativo na inteligência artificial aplicada à saúde, especificamente na tomada de decisão clínica personalizada.

• Viabilidade Clínica: Ao gerar resumos explicáveis e baseados em evidências, o sistema aumenta a confiança dos médicos, permitindo a integração segura em fluxos de trabalho reais.
• Custo e Privacidade: A capacidade de atingir estado da arte (SOTA) usando modelos de 8B parâmetros (abertos e executáveis localmente) oferece uma alternativa viável, econômica e que preserva a privacidade de dados, em contraste com a dependência de modelos fechados massivos e caros.
• Robustez: A abordagem de verificação baseada em políticas e a recuperação focada em sinais específicos mitigam alucinações e viéses de dados, tornando o sistema mais confiável para cenários clínicos complexos e heterogêneos.

Em suma, o PACE-RAG valida que a arquitetura do sistema de raciocínio (contexto + evidência + verificação) é fundamental para a personalização médica, superando as limitações tanto de modelos puramente generativos quanto de sistemas de recuperação tradicionais.