On Using Large Language Models to Enhance Clinically-Driven Missing Data Recovery Algorithms in Electronic Health Records

Resumo Técnico: Melhorando a Recuperação de Dados Ausentes Clinicamente Orientados em EHRs com LLMs

Declaração do Problema
Os Registros Eletrônicos de Saúde (EHR) são fundamentais para os Sistemas de Saúde de Aprendizado (LHS) e para a operacionalização de fenótipos computáveis, porém sofrem com ausência significativa de dados e erros. No contexto do Índice de Carga Alostática (ALI) — um fenótipo que mede o "desgaste" fisiológico através dos sistemas cardiovascular, metabólico e inflamatório — biomarcadores críticos estão frequentemente ausentes dos dados extraídos dos EHRs. Essa ausência é frequentemente "não aleatória", dependendo da tomada de decisão clínica (por exemplo, se um médico solicita um teste específico). Embora revisões de prontuários por especialistas (verificação de documentos de origem) possam recuperar valores ausentes ao buscar diagnósticos auxiliares (âncoras) nos prontuários dos pacientes, essa abordagem é intensiva em recursos, demorada e carece de escalabilidade, limitando sua aplicação a pequenas subamostras.

Metodologia
O estudo propõe uma alternativa algorítmica escalável às revisões manuais de prontuários para recuperar componentes ausentes do ALI. A metodologia envolve três estágios principais:

1. Desenvolvimento de Algoritmo de Linha de Base: Os autores adaptaram um "roteiro" previamente desenvolvido por especialistas clínicos. Esse roteiro mapeia componentes específicos do ALI (ex: Hemoglobina A1c, Proteína C-Reativa) para termos de busca que podem ser confrontados com códigos da Classificação Internacional de Doenças, 10ª revisão (ICD-10). O algoritmo mescla os códigos ICD-10 do paciente com esses termos de busca; se uma correspondência for encontrada, o biomarcador ausente é imputado como "não saudável".
2. Geração de Roteiro Aprimorada por LLM: Para expandir os termos de busca além da lista original de especialistas, os autores utilizaram Modelos de Linguagem de Grande Escala (LLMs), especificamente o Gemini-2.5-Flash do Google, via pacote ellmer em R. Eles testaram duas estratégias de prompt:
   • LLM (Linha de Base): O LLM gerou termos de busca baseando-se apenas nos nomes dos biomarcadores e limiares de saúde, sem contexto.
   • LLM (Contexto): O LLM recebeu os exemplos do roteiro original dos especialistas e foi solicitado a gerar uma lista exaustiva de termos adicionais de forma iterativa (20 iterações por componente).
3. Adjudicação Clínica: Um roteiro final foi criado através da revisão independente e adjudicação, por dois clínicos, dos termos de busca propostos pelo roteiro LLM (Contexto). Este passo visou filtrar correspondências clinicamente irrelevantes (ex: "hipertensão pulmonar" para um marcador metabólico) e prevenir "alucinações", resultando no roteiro "LLM (Contexto + Clínicos)".

O estudo utilizou uma coorte de 1.000 adultos de um ambiente de cuidados primários ambulatoriais. Uma subamostra de 100 pacientes passou por revisões manuais de prontuário por especialistas para servir como "padrão-ouro" (aliado aos dados extraídos do EHR) para validar as abordagens algorítmicas.

Principais Resultados

• Desempenho de Recuperação: As abordagens algorítmicas recuperaram com sucesso dados comparáveis a, e em alguns casos excedendo, as revisões manuais de prontuário.
  • O roteiro LLM (Contexto) recuperou o maior volume de componentes ausentes (55/413 pontos ausentes, 13%), superando ligeiramente as revisões de prontuário por especialistas (45/413, 11%) e o roteiro original dos clínicos (51/413, 12%).
  • O roteiro LLM (Contexto + Clínicos) recuperou 45 pontos ausentes (11%), igualando-se exatamente à contagem da revisão por especialistas.
  • O roteiro LLM (Linha de Base) teve um desempenho insatisfatório, recuperando apenas 3 componentes ausentes (7%), demonstrando que o contexto é crucial para o desempenho do LLM neste domínio.
• Escalabilidade: Enquanto as revisões de especialistas foram limitadas a 100 pacientes (exigindo ~100 horas de esforço humano), o algoritmo foi aplicado à amostra total de 1.000 pacientes. Isso aumentou o número mediano de componentes do ALI não ausentes por paciente de 6 (EHR bruto) para 7 (recuperação algorítmica) em toda a coorte.
• Recuperação de Componentes Específicos: O algoritmo foi mais eficaz para a Proteína C-Reativa (CRP), recuperando 34% dos valores ausentes, e Homocisteína (14%). Não recuperou Albumina Sérica (nenhum termo de busca definido) ou Índice de Massa Corporal (raramente ausente).
• Impacto Estatístico: Quando aplicado à amostra total, os valores do ALI recuperados algoritmicamente mostraram uma relação linear com os valores brutos do EHR, mas alinharam-se mais proximamente aos valores "validados" derivados das revisões de prontuário. Em modelos de regressão logística prevendo o engajamento em cuidados de saúde, a "análise aumentada" (usando recuperação algorítmica) produziu razões de chances (odds ratios) e estimativas mais próximas do modelo baseado em revisão de prontuário do que a "análise ingênua" (dados brutos do EHR).

Significância e Alegações
O artigo afirma que algoritmos clinicamente orientados, quando aprimorados por LLMs e subsequentemente adjudicados por clínicos, oferecem um método custo-efetivo e escalável para reduzir a ausência de dados em registros de EHR. Os autores afirmam que esta abordagem:

1. Imita a Precisão do Especialista: Alcança taxas de recuperação semelhantes às revisões manuais de prontuário sem os custos associados de tempo e mão de obra.
2. Permite a Fenotipagem em Larga Escala: Permite a aplicação de fenótipos computáveis (como o ALI) a grandes amostras (ex: 1.000+ pacientes) onde a revisão manual é inviável.
3. Melhora as Dimensões da Qualidade dos Dados: O foco principal é melhorar a completude. Os autores observam que estender este framework para abordar outras dimensões da qualidade de dados, como plausibilidade ou correção, é uma direção promissora para o futuro.
4. Mantém a Privacidade: Ao passar apenas a estrutura do roteiro (termos de busca) para o LLM, em vez dos dados do paciente, o método evita preocupações de privacidade e restrições regulatórias associadas ao compartilhamento de Informações de Saúde Protegidas (PHI).

Os autores concluem que, embora LLMs de uso geral sejam práticos para esta tarefa, trabalhos futuros poderão beneficiar-se de treinamento de modelos específicos de domínio em terminologia médica para refinar ainda mais a precisão da correspondência de termos diagnósticos.