An artificial intelligence framework for end-to-end rare disease phenotyping from clinical notes using large language models

Título do Estudo

RARE-PHENIX: Um framework de Inteligência Artificial (IA) de ponta a ponta para fenotipagem de doenças raras a partir de notas clínicas utilizando Grandes Modelos de Linguagem (LLMs).

---

1. O Problema

O diagnóstico de doenças raras é frequentemente atrasado (em média 4 a 8 anos) devido à complexidade clínica e à dificuldade de identificar padrões específicos. A fenotipagem (a caracterização precisa dos traços clínicos de um paciente) é fundamental para o diagnóstico, mas enfrenta desafios críticos:

• Dados Não Estruturados: As informações clínicas relevantes estão dispersas em notas clínicas não estruturadas, em vez de campos estruturados de prontuários eletrônicos (EHR).
• Carga Manual: A curadoria manual de fenótipos e sua padronização para a Ontologia de Fenótipos Humanos (HPO) é intensiva em mão de obra e difícil de escalar.
• Limitações das Abordagens Atuais: Métodos existentes de IA geralmente otimizam componentes isolados (como apenas a extração de texto ou apenas a normalização) e não operam o fluxo de trabalho clínico completo. Eles frequentemente falham em priorizar os fenótipos que são realmente informativos para o diagnóstico, diluindo sinais importantes com sintomas comuns e inespecíficos.

---

2. Metodologia: O Framework RARE-PHENIX

Os autores desenvolveram o RARE-PHENIX, um sistema modular de IA que replica o fluxo de trabalho clínico real em três etapas sequenciais:

Módulo 1: Extração de Fenótipos

• Objetivo: Identificar e extrair características de doenças raras de notas clínicas não estruturadas.
• Técnicas:
  • Ajuste Fino de Instrução (Instruction Fine-Tuning): Ajuste de modelos de código aberto (família LLaMA, variando de 1B a 70B de parâmetros) usando Parameter-Efficient Fine-Tuning (PEFT/QLoRA). O treinamento utilizou o corpus RareDis (832 documentos anotados) e narrativas clínicas sintéticas geradas por IA baseadas em dados de 2.671 pacientes.
  • Few-Shot Prompting: Uso de modelos fechados (ChatGPT-4o) com exemplos rotulados para extrair entidades em formato HTML.

Módulo 2: Padronização para Termos HPO

• Objetivo: Converter as strings de texto livre extraídas em termos estruturados da Ontologia de Fenótipos Humanos (ex: "pé pequeno" → HP:0001945).
• Técnica: Geração Aumentada por Recuperação (RAG).
  • Um banco de dados vetorial contendo definições de termos HPO é consultado semanticamente.
  • O LLM recebe os termos recuperados e o contexto da nota clínica para selecionar o termo HPO mais apropriado, reduzindo alucinações e garantindo interoperabilidade.

Módulo 3: Priorização de Fenótipos Informativos

• Objetivo: Classificar os termos HPO para destacar aqueles mais relevantes para o diagnóstico, filtrando sintomas comuns (ex: febre) em favor de sinais específicos.
• Técnica: Aprendizado Supervisionado para Classificação (Learning-to-Rank).
  • Modelo: XGBoost com objetivo de classificação pareada.
  • Features: Incluem características do paciente (idade, sexo) e metadados derivados de bases de conhecimento (OMIM, Orphanet), como informação de conteúdo, número de genes associados e frequência inversa de documento (IDF).
  • Treinamento: O modelo aprende a ranquear os termos curados por clínicos acima de termos negativos (similares, médios, fáceis e implausíveis).

---

3. Dados e Validação

• Coorte de Treinamento: 2.671 pacientes de 11 sites da Undiagnosed Diseases Network (UDN).
• Coorte de Validação Externa: 143 pacientes do Vanderbilt University Medical Center (VUMC), não utilizados no treinamento.
• Volume de Dados: 16.357 notas clínicas reais (progressos, consultas, procedimentos) da coorte de validação.
• Comparativo (Baseline): O sistema foi comparado ao PhenoBERT, um modelo de deep learning de última geração para extração de termos HPO.

---

4. Resultados Principais

Desempenho de Ponta a Ponta

• O RARE-PHENIX superou consistentemente o PhenoBERT em todas as métricas.
• Similaridade Semântica Baseada em Ontologia: O RARE-PHENIX (com LLaMA-2-70b) atingiu uma pontuação de 0,70, comparado a 0,58 do PhenoBERT. Isso indica uma concordância muito maior com a curadoria humana.
• Precisão e F1: Houve ganhos significativos na precisão e no F1-score, especialmente após a aplicação dos módulos de padronização e priorização.

Análise de Ablação (Contribuição dos Módulos)

• Padronização (Módulo 2): Foi o maior contribuinte para o aumento da precisão. Mapear texto livre para HPO reduziu o ruído e aumentou a especificidade (ex: precisão do LLaMA-2-70b saltou de 0,25 para 0,43).
• Priorização (Módulo 3): Melhorou significativamente a utilidade clínica, especialmente nos top-k (k=10 a 30). A priorização aumentou a similaridade semântica em ~0,06-0,09 e a precisão em ~0,11-0,14 em comparação com uma ordenação aleatória, provando que o sistema consegue identificar os sinais mais diagnósticos.

Análise de Erros

• O RARE-PHENIX reduziu os falsos negativos em 29% e os falsos positivos em 24% em relação ao PhenoBERT.
• A maioria dos erros não foi de extração, mas sim devido à variação linguística nas notas clínicas ou granularidade da ontologia (ex: o modelo extraiu um termo pai em vez do termo filho específico).

---

5. Contribuições e Significância

1. Fluxo de Trabalho Clínico Realista: Diferente de sistemas anteriores que focam apenas na extração, o RARE-PHENIX modela o processo completo (Extração → Padronização → Priorização), alinhando-se à prática clínica real.
2. Validação Externa Robusta: É um dos primeiros estudos a validar um pipeline completo de fenotipagem de doenças raras em uma coorte externa independente e em grande escala (16k+ notas).
3. Arquitetura Modular: O design permite que os módulos sejam usados separadamente ou integrados a outros sistemas de diagnóstico (ex: pipelines de priorização de genes).
4. Impacto Potencial: O sistema tem o potencial de reduzir a carga de curadoria manual, acelerar o diagnóstico de doenças raras e servir como uma ferramenta escalável para apoiar a decisão clínica em cenários do mundo real.

Conclusão

O estudo demonstra que tratar a fenotipagem como um fluxo de trabalho integrado, e não apenas como uma tarefa de extração de texto, resulta em fenótipos estruturados e classificados que são muito mais concordantes com a curadoria humana. O RARE-PHENIX representa um avanço significativo na aplicação de LLMs para saúde, oferecendo uma solução escalável para o desafio crítico do diagnóstico de doenças raras.