The Provenance Gap in Clinical AI: Evidence-Traceable Temporal Knowledge Graphs for Rare Disease Reasoning

Título: A Lacuna de Proveniência em IA Clínica: Grafos de Conhecimento Temporais Rastreáveis por Evidência para Raciocínio em Doenças Raras

1. O Problema: A "Lacuna de Proveniência" (Provenance Gap)

O artigo identifica um problema crítico na aplicação de Modelos de Linguagem de Grande Escala (LLMs) de ponta na medicina: a Lacuna de Proveniência.

• Definição: É a discrepância entre a capacidade de um sistema de cobrir características clínicas e sua capacidade de fornecer rastreabilidade confiável das evidências que sustentam essas afirmações.
• O Fenômeno: Embora LLMs avançados (como GPT-4, Claude, etc.) gerem diagnósticos diferenciais clinicamente precisos, suas citações bibliográficas são frequentemente fabricadas ("alucinações").
• Evidência Empírica: Em testes com 36 cenários clínicos validados por médicos (focando em pares de doenças raras com fenótipos confusos: Miastenia Gravis/Lambert-Eaton, Distrofia Muscular de Duchenne/Becker, e CIDP/Síndrome de Guillain-Barré), os modelos padrão produziram zero identificadores PubMed (PMID) clinicamente relevantes sem prompts específicos.
• Falha do Prompting: Mesmo quando instruídos explicitamente a citar, os melhores modelos alcançaram apenas 15,3% de PMIDs relevantes. A maioria das citações resolvia para artigos reais, mas em campos não relacionados, criando uma "rigor falso" que enganaria uma verificação superficial.
• Risco: Sem rastreabilidade, os médicos não confiam nas saídas da IA. Um erro de diagnóstico (ex: confundir MG com LEMS) pode levar a terapias imunológicas incorretas ou atrasos no tratamento, o que é inaceitável em doenças raras.

2. Metodologia: HEG-TKG

Os autores propõem o HEG-TKG (Hierarchical Evidence-Grounded Temporal Knowledge Graphs), um sistema projetado para fechar essa lacuna através de uma arquitetura de dois níveis e ancoragem temporal.

• Arquitetura do Conhecimento:

  • Tier 1 (Base Curada): Fatos clínicos autoritativos extraídos programaticamente de GeneReviews, OMIM, Orphanet e diretrizes do CDC. Essas arestas são "protegidas" e têm prioridade em caso de conflito.
  • Tier 2 (Extração de Literatura): Extração de conhecimento de 4.512 registros do PubMed (987 PMIDs únicos) utilizando um pipeline de múltiplos LLMs com consenso.
  • Estratificação de Qualidade: As evidências são classificadas em três níveis baseados em consenso e fonte:
    • GOLD: Confirmado por Tier 1 ou cruzamento entre Tier 1 e Tier 2 (Confiança 0,95).
    • SILVER: Consenso entre múltiplos modelos de extração ou múltiplos PMIDs (Confiança 0,85).
    • BRONZE: Fonte única (Confiança 0,70).
  • Ancoragem Temporal: Diferente de grafos de conhecimento biomédicos estáticos (como PrimeKG ou UMLS), o HEG-TKG inclui 1.280 marcos temporais (ex: "Sinal de Gowers aos 3-5 anos", "Perda da marcha aos 9-13 anos"). Isso permite raciocínio sobre a evolução da doença, não apenas relações estáticas.

• Processo de Inferência:

  • O sistema recupera subgrafos relevantes do Neo4j baseados na consulta clínica.
  • O LLM de síntese gera a resposta clínica, obrigatoriamente ancorando cada afirmação a arestas do grafo com seus respectivos PMIDs e níveis de qualidade.
  • Privacidade: O sistema permite implantação on-premise (local) usando modelos de código aberto (ex: Qwen, Gemma), garantindo que dados de pacientes (PHI) nunca saiam da infraestrutura institucional, atendendo ao GDPR e HIPAA.

3. Principais Contribuições

1. Definição e Medição da Lacuna de Proveniência: Formalização do conceito e medição empírica mostrando que LLMs de ponta falham em fornecer citações verificáveis.
2. Arquitetura HEG-TKG: Um grafo de conhecimento temporal com citações totalmente verificadas, estratificação de qualidade de evidência e ancoragem temporal.
3. Descoberta sobre Julgadores de IA: Demonstração de que "juízes" baseados em LLMs não conseguem distinguir citações fabricadas de reais sem dados de auditoria externa (como uma verificação via API do PubMed).
4. Teste de Segurança Contrafactual: Experimento onde erros clínicos foram injetados no pipeline. O sistema resistiu a 80% dos erros (usando conhecimento paramétrico) e, nos 20% restantes, a rastreabilidade da citação permitiu que o erro fosse detectado instantaneamente.
5. Recurso de Dados: Liberação de grafos de conhecimento completos para seis doenças neuromusculares raras (5.481 nós, 6.316 arestas).

4. Resultados Chave

O estudo comparou três abordagens: Vanilla (apenas conhecimento paramétrico), Guideline-RAG (texto bruto de diretrizes) e HEG-TKG.

• Verificabilidade de Citações:
  • Vanilla e Guideline-RAG: 0% de PMIDs verificáveis. O acesso a texto bruto não gera rastreabilidade estruturada.
  • HEG-TKG: 100% de PMIDs relevantes e verificáveis. Cada saída é gerada a partir de uma média de 181 arestas de conhecimento baseadas em PMID.
• Cobertura de Características Clínicas: O HEG-TKG manteve uma cobertura de características clínicas comparável aos baselines (aprox. 71,7%), demonstrando que a estruturação não sacrifica a utilidade clínica.
• Redução da Lacuna de Proveniência: O HEG-TKG reduziu a "Lacuna de Proveniência" pela metade em comparação aos baselines (0,366 vs 0,743), mantendo a qualidade clínica.
• Avaliação por Médicos:
  • Médicos avaliaram o HEG-TKG significativamente superior em Verificabilidade (D1: +1,64 pontos, p < 0,001) e Ação (D2).
  • Não houve degradação em segurança ou completude.
• Falha dos Juízes de IA (LLM-as-Judge):
  • Na avaliação "cega" (v1), os juízes de IA não conseguiram diferenciar os sistemas (todos receberam notas altas de verificabilidade).
  • Na avaliação "consciente de citação" (v2), com auditoria do PubMed, as notas de Vanilla e RAG colapsaram para ~1,4/5, enquanto o HEG-TKG manteve ~4,6/5. Isso prova que a verificação de citações requer dados externos, não apenas análise de texto.
• Resistência a Erros: Em um experimento de injeção de 15 erros clínicos, o sistema resistiu a 80% dos erros. Nos casos de falha, a rastreabilidade da citação permitiu a detecção 100% dos erros.

5. Significado e Implicações

• Para a Prática Clínica: O HEG-TKG transforma a IA de uma "caixa preta" em uma ferramenta auditável. Um médico de família pode verificar uma recomendação em segundos consultando o PMID fornecido, facilitando a triagem e a referência a especialistas.
• Para Regulamentação: O sistema atende a requisitos de leis como o AI Act da UE e as diretrizes da FDA para suporte à decisão clínica, que exigem transparência e capacidade de verificação independente.
• Para Pesquisa em IA: O trabalho demonstra que a simples adição de prompts ou acesso a texto bruto (RAG) não resolve o problema de alucinação de citações. A estrutura (grafos de conhecimento com metadados de proveniência) é essencial para a confiabilidade.
• Segurança de Dados: A arquitetura permite que hospitais rodem sistemas de IA de ponta localmente, protegendo dados sensíveis de pacientes, algo impossível com APIs de nuvem de modelos proprietários.

Em resumo, o artigo argumenta que a precisão clínica sozinha é insuficiente; a proveniência verificável é o pré-requisito para a adoção clínica de IA, especialmente em doenças raras onde o conhecimento é escasso e o risco de erro é alto. O HEG-TKG oferece uma solução técnica viável para esse desafio.