Resumo Técnico: ClinicalBench e EpiKG

1. Declaração do Problema

As atuais benchmarks de raciocínio clínico (por exemplo, HealthBench Professional, MedQA) avaliam Modelos de Linguagem de Grande Escala (LLMs) em "vignettes" limpas onde os fatos são pré-fornecidos. No entanto, o uso real de Registros Eletrônicos de Saúde (RES) exige uma etapa precedente: fidelidade de recuperação a partir de prontuários desordenados e longitudinais.

Em RES reais, uma resposta correta depende da navegação por:

• Negação: "O paciente nega dor torácica."
• Temporalidade: Distinguir entre condições atuais, condições históricas resolvidas e hipóteses futuras.
• Atribuição de Experienciador: Diferenciar entre a condição do paciente e o histórico de um familiar (por exemplo, "irmã teve IAM").

Sistemas existentes de Geração Aumentada por Recuperação (RAG) e Grafos de Conhecimento (KG) frequentemente achatam esse contexto. Eles descartam metadados de asserção (por exemplo, tratando "descartar diabetes" da mesma forma que "tem diabetes") e falham em rotear a recuperação com base na intenção da pergunta. Isso cria uma lacuna de propagação epistêmica, onde a perda do estado de asserção durante a extração e o armazenamento leva a raciocínios incorretos, mesmo que o modelo subjacente seja capaz.

2. Metodologia

2.1 O Sistema EpiKG

Os autores propõem o EpiKG, um sistema KG-RAG clínico em nível de paciente projetado para preservar metadados epistêmicos de ponta a ponta. Ele implementa três mecanismos principais:

1. Esquema de Asserção Epistêmica: Uma taxonomia de 7 valores ($\alpha \in \{Pres., Abs., Poss., Cond., Hypo., Fam.Hx., Hist.\}$) estende a taxonomia i2b2 ao separar Histórico de Histórico Familiar. Este rótulo é propagado através da extração, mapeamento OMOP e materialização do KG.
2. Armazenamento Bi-Temporal + NLP-Asserido: As arestas armazenam tempo de validade, tempo de transação (tradição Snodgrass) e um rótulo de temporalidade derivado de NLP ($\tau_a \in \{Passado, Presente, Futuro\}$).
3. Roteamento Consciente de Intenção: Um classificador mapeia perguntas para estratégias específicas de travessia de grafo:
   • Mudança: Diferenciação de conjuntos entre admissões.
   • Estado_Atual: Filtragem de arestas com $\tau_a = Presente$ ou validade aberta.
   • Histórico: Seleção de arestas passadas e inferência do status "resolvido" para condições presentes em admissões anteriores, mas ausentes na mais recente.
   • Padrão: Travessia BFS bidirecional.

2.2 ClinicalBench: A Benchmark de Avaliação

Para testar sob estresse a recuperação consciente de asserções, os autores introduzem o ClinicalBench:

• Cohorte: 43 pacientes MIMIC-IV (amostra de conveniência; 32 com duas admissões, 11 com uma).
• Escopo: 400 perguntas em 9 categorias sensíveis a asserções (negação, condicional, incerteza, histórico_familiar, sequência, estado_atual, duração, histórico, mudança).
• Design: Um teste de estresse in-distribution onde as perguntas são elaboradas a partir dos mesmos prontuários desidentificados usados para recuperação, focando na fidelidade de recuperação em vez de generalização entre sites.
• Condições de Ablação:
  • C1: LLM sozinho.
  • C2/C2b: RAG Vanilla (TF-IDF / Densa/Contriever).
  • C3: KG-RAG sem asserções.
  • C4: KG-RAG com asserções, mas sem roteamento de intenção.
  • C4g: KG-RAG Consciente de Intenção (sistema completo).
  • C6: Longo Contexto (todas as notas concatenadas).
  • C7: KG Determinístico (sem LLM).

2.3 Protocolo de Avaliação

• Modelos: Avaliados em seis LLMs (Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B).
• Métricas:
  • Endpoint Primário: Teste exato pareado de McNemar com exclusão do autor em $n=50$ itens adjudicados por dois médicos externos (Hird e Nadeem) com classificações estritas unânimes.
  • Endpoints de Sensibilidade: Avaliador determinístico por palavra-chave ($n=362$, mudança-excluída), votação majoritária de três médicos ($n=100$) e classificação de intenção oracle.
• Integridade dos Dados: Os autores reconhecem uma taxa de defeitos de 56% nas respostas de referência v2 geradas automaticamente (devido a erros do classificador de NLP) e relatam resultados com base em um conjunto parcialmente corrigido, com transparência quanto às limitações do padrão-ouro.

3. Resultados Principais

3.1 Endpoint Primário (Cego ao Autor)

O teste exato pareado de McNemar com exclusão do autor na adjudicação de médicos externos ($n=50$) mostrou:

• C4g vs. C1: $\Delta = +22,0$ pontos percentuais (pp).
• Intervalo de Confiança: IC 95% de Newcombe $[+5,1, +31,5]$.
• Significância: $p = 0,0192$.
  Isso confirma que o KG-RAG consciente de intenção supera significativamente as linhas de base de LLM sozinho quando avaliado por médicos independentes.

3.2 Novidade Arquitetural e Ablação

• Recuperação vs. Roteamento: A recuperação sozinha (C2b, RAG Densa) forneceu um grande ganho sobre C1 (+29,0 pp). No entanto, adicionar asserções sem roteamento (C4) na verdade degradou o desempenho em comparação com C3 (-3,8 pp) em categorias temporais.
• O Efeito do Roteamento: O roteamento consciente de intenção (C4g) recuperou e estendeu os ganhos.
  • C2b $\to$ C4g (palavra-chave): +8,84 pp ($p = 1,79 \times 10^{-3}$).
  • C2b $\to$ C4g (oracle): +12,43 pp.
• Interações de Categoria: As asserções sozinhas ajudaram categorias sensíveis a asserções (por exemplo, Negação +22,7 pp), mas prejudicaram as temporais (por exemplo, Histórico -30,0 pp). O roteamento reverteu esses déficits.

3.3 Convergência Cross-Modelo

Todos os seis modelos se beneficiaram da arquitetura C4g. No entanto, a magnitude da melhoria foi inversamente correlacionada com a força de base do modelo ($\beta = -1,123, r = -0,921, p = 0,009$). Os autores interpretam isso como regressão à média em vez de evidência de que a recuperação estruturada substitui a contagem de parâmetros do modelo.

3.4 SliceBench (Estudo de Complexidade)

Um estudo de caso menor (6 pacientes, 144 perguntas) sugeriu um efeito dependente de complexidade, onde os ganhos do KG-RAG foram maiores para pacientes com mais atendimentos (Nível C: +5,0 pp vs. Nível A: +0,6 pp), embora isso não tenha atingido significância estatística agregada.

4. Contribuições e Significância

O artigo faz três contribuições principais:

1. ClinicalBench: Uma benchmark novel, sensível a asserções, projetada para testar sob estresse a fidelidade de recuperação em RES reais, expondo interações condição-categoria que escores agregados ocultam.
2. EpiKG e a Lacuna de Propagação Epistêmica: Uma formalização da perda de metadados de asserção em pipelines de NLP clínico e uma implementação de sistema que preserva metadados de asserção e temporalidade como propriedades de primeira classe através da recuperação.
3. Validação Arquitetural: Evidência empírica de que o roteamento consciente de intenção é o componente crítico para realizar os benefícios da recuperação estruturada. O artigo demonstra que carregar rótulos de asserção sem roteamento pode degradar o desempenho, enquanto o roteamento por intenção da pergunta melhora significativamente a QA clínica entre admissões.

Significância:
Os autores argumentam que, enquanto benchmarks de raciocínio medem a "última milha" do raciocínio clínico em entradas limpas, a "primeira milha" é ler o paciente certo a partir de prontuários desordenados. Este trabalho postula que a representação é o pré-requisito submedido para IA clínica. As descobertas sugerem que, para QA clínica, preservar metadados epistêmicos (negação, temporalidade, atribuição) e alinhar estratégias de recuperação com a intenção da pergunta são mais impactantes do que simplesmente aumentar o tamanho do modelo ou usar janelas de longo contexto.

Limitações e Escopo:
O artigo é modesto em suas alegações:

• É um teste de estresse de um único site, in-distribution, não uma validação de fenótipo multi-site.
• As respostas de referência possuem defeitos conhecidos (taxa de erro de 56% na v2), e os autores afirmam explicitamente que a benchmark é uma "sonda" em vez de uma medida definitiva de prontidão para implantação clínica.
• A circularidade do autor (designer, construtor e avaliador interno) é mitigada por adjudicação de médicos externos e replicação cross-modelo, mas permanece uma limitação estrutural.
• O trabalho não reivindica prontidão para implantação clínica; identifica governança, segurança e validação multi-site como pré-requisitos para futuras implantações.