Resumo Técnico: EpiGraph

Declaração do Problema

O diagnóstico e tratamento da epilepsia exigem raciocínio intensivo em evidências que integre conhecimento clínico heterogêneo, incluindo padrões de biossinais (EEG), mecanismos genéticos, farmacogenômica e estratégias de tratamento. Os desafios atuais incluem:

1. Fragmentação do Conhecimento: Os grafos de conhecimento biomédico (KGs) existentes são frequentemente agnósticos à doença ou projetados para anotação semântica, em vez de raciocínio clínico complexo e multi-hop específico para epilepsia.
2. Lacunas de Raciocínio: Modelos de Linguagem de Grande Escala (LLMs) têm dificuldade com a curadoria de evidências em nível de especialista e o raciocínio em cenários realistas de epilepsia, particularmente quando as tarefas exigem a integração de variantes genéticas com contraindicações de tratamento ou a interpretação de relatórios de EEG contra conhecimento específico da síndrome.
3. Déficits de Avaliação: Os benchmarks existentes focam em tarefas estreitas e artificiais que não refletem o espectro completo da prática clínica da epilepsia, como o planejamento de pesquisa profunda ou a integração de dados de EEG com regras farmacogenômicas.

Metodologia

Os autores propõem o EPIGRAPH, um framework unificado composto por dois componentes principais: EPIKG (um grafo de conhecimento especializado) e EPIBENCH (um benchmark de avaliação multi-tarefa).

1. EPIKG: Grafo de Conhecimento sobre Epilepsia

O EPIKG é construído por meio de um pipeline estruturado de evidência para grafo:

• Definição de Esquema: O grafo organiza entidades em cinco camadas clínicas: (1) Síndromes, (2) Diagnósticos (EEG/biomarcadores), (3) Genes, (4) Tratamentos e (5) Desfechos. Define 1.370 tipos de relação entre camadas (por exemplo, causado_por_gene, tratado_com, contraindicado_com).
• Fontes de Dados: O esquema é fundamentado em sete recursos autoritativos (ILAE 2022, MeSH, OMIM, ChEBI, HPO, AES 2024, UMLS).
• Extração de Evidências: Os autores processaram mais de 120.000 publicações do PubMed/PMC. Um processo de triagem em duas etapas (filtragem assistida por LLM seguida de adjudicação por especialista do domínio) resultou em 48.166 artigos revisados por pares para extração.
• Construção: Um pipeline híbrido de extração foi utilizado:
  • Baseado em Regras: Correspondência de padrões derivada de ontologias para relações de alta confiança.
  • Baseado em LLM: Uso do MiniMax-Text-01 para extrair associações novas de artigos de texto completo.
• Estatísticas: O grafo resultante contém 24.324 entidades únicas e 32.009 triplets fundamentados em evidências, com 14.576 conexões entre camadas permitindo raciocínio multi-hop.

2. EPIBENCH: Benchmark de Avaliação

O EPIBENCH avalia LLMs em cinco tarefas motivadas clinicamente, utilizando uma abordagem Graph-RAG (Geração Aumentada por Recuperação de Grafo), onde um Recuperador de Grafo extrai subgrafos relevantes do EPIKG para aumentar as entradas do LLM:

• Tarefa 1: Precisão na Decisão Clínica (CDA): 1.000 questões de múltipla escolha e 5.199 questões abertas sobre diagnóstico de síndrome, interpretação de EEG e seleção de tratamento.
• Tarefa 2: Geração de Relatórios Clínicos (CRG): Geração de relatórios de impressão de EEG fundamentados em evidências a partir de descrições brutas de EEG e histórico do paciente.
• Tarefa 3: Medicina de Precisão Orientada por Biomarcadores (BPM): Seleção de medicamentos antiepilépticos com base em variantes genéticas e fenótipos (farmacogenômica).
• Tarefa 4: Recomendação de Tratamento (TR): Recomendação de terapias consistentes com diretrizes sob restrições específicas do paciente (por exemplo, gravidez, comorbidades).
• Tarefa 5: Planejamento de Pesquisa Profunda (DRP): Proposição de direções de pesquisa viáveis e desenhos de estudo com base em lacunas na literatura atual sobre epilepsia.

3. Configuração Experimental

O framework foi avaliado em seis LLMs (GPT-4o, Claude Sonnet 4, Gemini 2.0 Flash, Llama-3.3-70B, Qwen2.5-72B, Mistral Small 3.1). O desempenho foi comparado entre prompts padrão e configurações Graph-RAG. As linhas de base incluíram MedRAG, DR.KNOWS e AMG-RAG.

Resultados Principais

A integração do EPIGRAPH melhorou consistentemente o desempenho em todas as tarefas e modelos:

• Ganhos Gerais: O Graph-RAG proporcionou uma melhoria relativa média de +11,3% na precisão de questões de múltipla escolha e +34,8% no raciocínio farmacogenômico (Tarefa 3).
• Farmacogenômica (Tarefa 3): Esta tarefa apresentou os maiores ganhos. Por exemplo, o Claude Sonnet 4 melhorou de 66% para 82% de precisão. Modelos de código aberto tiveram melhorias dramáticas (por exemplo, Qwen +42%, Llama +36%), sugerindo que o conhecimento farmacogenômico está amplamente ausente nos parâmetros pré-treinados de LLMs e requer recuperação externa.
• Qualidade do Raciocínio Clínico: As pontuações de LLM-como-Juiz para qualidade de raciocínio melhoraram em +31,9% em média, superando significativamente os ganhos em métricas de nível superficial como ROUGE-L, indicando que o Graph-RAG aprimora a estrutura lógica dos argumentos clínicos.
• Segurança e Diretrizes: Na Recomendação de Tratamento (Tarefa 4), o Graph-RAG melhorou as Pontuações de Segurança de Medicamentos em +12,4% e a Concordância com Diretrizes em +14,1%, demonstrando melhor evitação de medicamentos contraindicados.
• Geração de Relatórios de EEG (Tarefa 2): No conjunto de dados Harvard EEG, a integração do EPIKG melhorou as pontuações METEOR, com o MedGemma-4B mostrando uma melhoria relativa de +30,8%. Os relatórios gerados foram mais precisos na descrição de anomalias de ondas e no alinhamento com impressões escritas por neurologistas.
• Estudos de Ablação: A análise de sensibilidade confirmou que o desempenho ótimo requer a travessia de 3 a 4 hops no grafo, validando a necessidade de raciocínio multi-hop para tarefas farmacogenômicas. A recuperação baseada em grafos (PPR-PCST) superou a recuperação semântica plana em até 8,4 pontos percentuais em tarefas de medicina de precisão.

Significado e Alegações

O artigo afirma que o EPIGRAPH estabelece um novo padrão para a avaliação de LLMs aumentados por conhecimento em neurologia clínica. Seu significado reside em:

1. Primeiro KG de Grande Escala sobre Epilepsia: Fornece o primeiro grafo de conhecimento relacional multi-hop de código aberto dedicado à epileptologia, preenchendo a lacuna entre mecanismos genéticos, fenótipos e tratamentos.
2. Avaliação Modular: O EPIBENCH oferece um framework abrangente e plug-and-play para avaliar LLMs em diversas tarefas de raciocínio clínico, indo além da simples resposta a perguntas para incluir geração de relatórios e planejamento de pesquisa.
3. Impacto Clínico Prático: Ao fundamentar as saídas de LLMs em conhecimento estruturado e baseado em evidências, o framework demonstra que a IA pode apoiar significativamente os clínicos na evitação de contraindicações, interpretação de dados complexos de EEG e adesão a diretrizes clínicas.
4. Endereçando a "Caixa Preta" do Conhecimento Médico: Os resultados sugerem que, para domínios complexos e intensivos em evidências como a epilepsia, recuperar conhecimento estruturado de um KG curado é mais eficaz do que confiar exclusivamente no conhecimento paramétrico dos maiores LLMs.

Os autores posicionam o EPIGRAPH não como uma solução final, mas como um recurso fundamental para impulsionar o desenvolvimento futuro em ajuste fino aumentado por recuperação e abordagens de memória para IA clínica.