Resumo Técnico: Modelos de Linguagem de Grande Escala Aumentados por Grafos de Conhecimento para Predição de Doenças

Declaração do Problema

Os Registros Eletrônicos de Saúde (EHRs) contêm dados longitudinais adequados para predição clínica, mas os modelos existentes frequentemente falham em fornecer um raciocínio ao nível do paciente que seja acionável para clínicos. Modelos clássicos (ex: regressão logística, conjuntos de árvores) oferecem robustez e interpretabilidade global, mas tipicamente fornecem apenas explicações pós-hoc grosseiras (ex: pontuações de importância de características) que carecem da narrativa passo a passo necessária para decisões clínicas específicas. Por outro lado, embora os Modelos de Linguagem de Grande Escala (LLMs) possam gerar narrativas de Cadeia de Pensamento (CoT - Chain-of-Thought), sua aplicação não restrita na medicina é dificultada pela escassez de conjuntos de dados de raciocínio de alta qualidade e validados clinicamente, além do risco de passos intermediários alucinados ou medicamente incorretos. O desafio central é permitir que os LLMs realizem a predição de doenças por visita de forma precisa, gerando explicações que sejam fundamentadas factualmentes em conhecimento biomédico e temporalmente consistentes com o histórico do paciente.

Metodologia

Os autores propõem uma estrutura de CoT guiada por Grafo de Conhecimento (KG) projetada para estruturar o raciocínio do LLM usando a estrutura do PrimeKG, um grafo de conhecimento biomédico de larga escala. O pipeline consiste em quatro estágios primários:

1. Mapeamento de Entidades do KG:

   • Códigos ICD-9 do MIMIC-III são alinhados aos nós do PrimeKG via um procedimento de três estágios:
     • Correspondência Exata: Correspondência direta de strings entre as descrições do ICD-9 e os rótulos dos nós do KG.
     • Correspondência por Similaridade: Recuperação baseada em embeddings (similaridade de cosseno > 0,85) para correspondências não exatas.
     • Filtragem por LLM: O GPT-4o valida ou revisa os mapeamentos provisórios para garantir a correção clínica.
   • Este processo resulta em 1.513 nós de características mapeados e 10 nós de doenças mapeados.

2. Mineração de Relevância e Caminhos do KG:

   • Para cada doença alvo, o sistema identifica um conjunto compacto de nós de características relevantes ($R_d$) usando o GPT-4o.
   • Caminhos de Raciocínio: Caminhos mais curtos (limitados por $L=5$ saltos) são extraídos entre os nós de características relevantes e o nó da doença alvo dentro do PrimeKG.
   • Seleção de Caminhos: O GPT-4o filtra esses caminhos para reter apenas aqueles que são clinicamente relevantes e mecanisticamente sólidos, podando cadeias espúrias.

3. Geração e Filtragem de CoT:

   • O LLM é instruído a gerar explicações de CoT ($C_{t,d}$) para uma visita específica $t$, incorporando as características de ICD-9 observadas, o conjunto de relevância específico da doença e os caminhos minerados do KG.
   • Filtragem de Consistência de Rótulo: Os traços de CoT gerados são retidos apenas se a conclusão binária explícita ($\hat{y}$) derivada do raciocínio corresponder ao desfecho real ($y$). Isso cria um corpus de supervisão de alta qualidade e fundamentado no KG.

4. Ajuste Fino do Modelo (Fine-Tuning):

   • Modelos leves de pesos abertos (LLaMA-3.1-Instruct-8B e Gemma-7B) são ajustados finamente neste corpus curado.
   • Na inferência, esses modelos recebem as características de ICD-9 e a evidência do KG específica da doença como entrada para produzir tanto uma predição de doença quanto um traço de raciocínio no estilo clínico.

Principais Contribuições

• Estrutura de CoT Guiada por KG: Um método inovador que integra a estrutura do grafo de conhecimento biomédico diretamente no processo de geração de CoT, indo além das explicações de forma livre não restringida para um raciocínio fundamentado clinicamente.
• Supervisão Eficiente em Dados: A construção de um corpus de supervisão compacto e de alta qualidade via filtragem de consistência de rótulo permite que pequenos LLMs (8 bilhões de parâmetros) aprendam raciocínio prognóstico com dados limitados (400–1.000 amostras).
• Transferência Zero-Shot: A estrutura demonstra a capacidade de transferir padrões de raciocínio aprendidos para uma coorte distinta (CRADLE) sem retreinamento, mantendo alta precisão na previsão de eventos cardiovasculares após o diagnóstico de diabetes.
• Avaliação Centrada no Clínico: Um estudo humano cego valida que as explicações guiadas pelo KG são preferidas em relação às bases de comparação em termos de clareza, relevância e correção clínica.

Resultados Experimentais

A estrutura foi avaliada na coorte MIMIC-III (10 doenças mapeadas para o PrimeKG) e na coorte CRADLE (Diabetes Tipo 2 para eventos cardiovasculares).

• Desempenho no MIMIC-III:

  • Em cenários de baixos dados (400 e 1.000 visitas de índice), o ajuste fino de CoT guiado por KG melhorou o desempenho do LLaMA-3.1-8B e do Gemma-7B, alcançando resultados competitivos ou superiores a bases clássicas fortes (XGBoost, Random Forest, Regressão Logística).
  • LLaMA-3.1 (1.000 amostras): Alcançou um AUROC de 0,6995 e macro-AUPR de 0,4685, excedendo ligeiramente a melhor base clássica (Regressão Logística: AUROC 0,6874, AUPR 0,4178; XGBoost: AUROC 0,6799).
  • Gemma-7B: Mostrou melhorias semelhantes, com o macro-AUPR aumentando de 0,25 (original) para 0,4363 (ajustado via KG-CoT), embora seu AUROC (0,6609) tenha permanecido ligeiramente abaixo das principais bases clássicas.
  • Ablação: Remover a orientação do KG ou a filtragem reduziu o desempenho, confirmando que tanto o embasamento estrutural quanto o filtro de consistência de rótulo são críticos.

• Transferência Zero-Shot para CRADLE:

  • Modelos ajustados no MIMIC-III foram aplicados ao CRADLE sem retreinamento.
  • A precisão melhorou de 0,40–0,51 (sem ajuste) para 0,72–0,77 (ajustado via KG-CoT).
  • Embora o AUROC e o AUPR tenham visto ganhos modestos, o salto significativo na precisão sugere que os modelos aprenderam uma fronteira de decisão mais robusta que se generaliza entre coortes.

• Avaliação Humana:

  • Em um estudo cego com 115 casos, os clínicos preferiram o modelo guiado por KG sobre a base não ajustada em 96,5% dos casos para Clareza/Coerência, 94,8% para Cobertura/Relevância e 98,3% para Correção/Solidez.
  • Os clínicos observaram que os traços guiados pelo KG eram melhor organizados temporalmente, destacavam fatores de risco significativos e evitavam saltos sem suporte.

Significância e Alegações

O artigo alega que a supervisão de CoT ancorada em KG permite que pequenos LLMs de pesos abertos aprendam um raciocínio prognóstico eficiente em dados e clinicamente fundamentado. A significância reside em unir a predição precisa à justificativa interpretável:

1. Confiabilidade: Ao fundamentar o raciocínio no PrimeKG e filtrar pela consistência de rótulo, o sistema mitiga alucinações e garante plausibilidade médica.
2. Generalização: Os padrões de raciocínio aprendidos transferem-se efetivamente para coortes fora da distribuição (CRADLE), sugerindo que os modelos capturam mecanismos de doenças subjacentes em vez de artefatos específicos de conjuntos de dados.
3. Utilidade Clínica: A estrutura produz explicações que os clínicos consideram mais claras e confiáveis, potencialmente facilitando a adoção de LLMs em sistemas de suporte à decisão clínica onde a transparência é primordial.

Os autores observam modestamente que a abordagem depende da cobertura do PrimeKG e que trabalhos futuros devem explorar visões mais ricas de EHR (notas, laboratórios) e contextos de múltiplas visitas.