Lightweight Retrieval-Augmented Generation and Large Language Model-Based Modeling for Scalable Patient-Trial Matching

Resumo Técnico: Modelagem Baseada em LLM e RAG Leve para Correspondência Escalável de Pacientes e Ensaios Clínicos

1. O Problema

A correspondência entre pacientes e ensaios clínicos é um processo crítico para o avanço da medicina, mas enfrenta desafios significativos de escalabilidade e eficiência. Os principais obstáculos identificados são:

• Complexidade dos Dados: Os Registros Eletrônicos de Saúde (EHRs) são longos, heterogêneos e contêm tanto dados estruturados quanto narrativas clínicas não estruturadas (notas de texto livre).
• Limitações de Métodos Tradicionais: Métodos de Machine Learning (ML) clássicos têm dificuldade em capturar o contexto de textos não estruturados, enquanto o processamento de documentos completos por Grandes Modelos de Linguagem (LLMs) é computacionalmente proibitivo e caro.
• Privacidade e Generalização: O uso de modelos comerciais (como GPT-4) levanta preocupações de privacidade de dados sensíveis, e muitos modelos falham ao tentar generalizar para novos ensaios clínicos com critérios de elegibilidade distintos.

2. Metodologia Proposta

Os autores propõem um framework "lightweight" (leve) que separa o processo em duas etapas principais para otimizar a eficiência e a precisão:

• Etapa 1: Recuperação Aumentada por Geração (RAG): Em vez de processar todo o histórico do paciente, o sistema utiliza um módulo de recuperação (baseado em similaridade de cosseno com embeddings de modelos como BioBERT) para identificar e selecionar apenas os segmentos de texto do EHR que são clinicamente relevantes para os critérios de elegibilidade do ensaio. Isso reduz drasticamente o número de tokens de entrada.
• Etapa 2: Modelagem Baseada em LLM: Os segmentos recuperados são transformados em prompts estruturados e enviados para um LLM (como Mistral-7B, Llama 3 ou Falcon-7B). O modelo gera representações (embeddings) desses dados.
• Estratégias de Representação e Classificação: O framework testa duas variantes de processamento de saída:
  • Variante A (RAG-MLP): Os embeddings do LLM são passados diretamente para um classificador leve (MLP, SVM ou Árvore de Decisão).
  • Variante B (RAG-DimRed-MLP): Introduz um módulo de Redução de Dimensionalidade (DimRed). Os autores exploram a redução ao longo da dimensão da sequência (agregando informações de tokens) ou ao longo da dimensão oculta (comprimindo características), o que estabiliza o aprendizado e reduz o ruído.

3. Principais Contribuições

1. Framework Escalável e Leve: Demonstra que é possível obter performance de ponta sem o custo computacional de processar documentos longos de ponta a ponta, utilizando modelos de código aberto que podem ser implantados localmente (preservando a privacidade).
2. Descoberta sobre Representações: O estudo revela que, enquanto LLMs "congelados" (sem ajuste) são suficientes para dados estruturados, o ajuste fino (fine-tuning) é essencial para extrair sinais preditivos de notas clínicas não estruturadas.
3. Otimização de Dimensionalidade: Identificou que a redução de dimensionalidade ao longo do eixo da sequência atua como um mecanismo de agregação robusto, consolidando informações de múltiplos tokens em uma representação compacta do paciente.

4. Resultados

Os experimentos foram realizados em benchmarks públicos (n2c2, SIGIR, TREC) e em um conjunto de dados multimodal real da Mayo Clinic (MCPMD):

• Performance Competitiva: O pipeline proposto atingiu resultados comparáveis ou superiores a abordagens de ponta a ponta (como o TrialGPT) e métodos zero-shot, mas com um custo computacional significativamente menor.
• Efeito do Fine-tuning: O ajuste fino dos LLMs melhorou consistentemente métricas como Macro-F1 e AUPRC, especialmente em cenários de dados mistos (estruturados + não estruturados).
• Generalização entre Ensaios (Cross-Trial): Os testes mostraram que a performance cai quando um ensaio clínico específico é totalmente excluído do treinamento, evidenciando que cada ensaio possui uma distribuição de dados única e que a diversidade de dados no treinamento é crucial para a robustez.

5. Significância

Este trabalho fornece uma solução prática para a implementação de sistemas de IA em ambientes clínicos reais. Ao equilibrar eficiência computacional, privacidade de dados e precisão clínica, o framework permite que instituições de saúde utilizem o poder dos LLMs para acelerar o recrutamento de pacientes em ensaios clínicos de forma escalável, sem depender de APIs comerciais de terceiros ou infraestruturas de computação massivas.