Resumo Técnico: Rumo a Prontuários Eletrônicos de Saúde (EHRs) Livres de Erros

Declaração do Problema

Os Prontuários Eletrônicos de Saúde (EHRs) dependem da interdependência de duas modalidades de dados primárias: tabelas estruturadas (por exemplo, sinais vitais, prescrições, resultados de laboratório) e notas clínicas não estruturadas (por exemplo, notas de médicos, resumos de alta). Embora os clínicos sintetizem essas fontes para a tomada de decisões, discrepâncias surgem frequentemente devido a arquiteturas de sistemas administrativos e práticas de documentação. Essas inconsistências representam riscos significativos à segurança do paciente e criam responsabilidades legais.

As abordagens automatizadas existentes para verificar a consistência entre notas e tabelas, como o trabalho anterior EHRCon, dependem principalmente de correspondência em nível superficial. Esses métodos verificam se valores numéricos específicos ou eventos discretos mencionados nas notas aparecem nas tabelas estruturadas. No entanto, eles falham em capturar a natureza intensiva de raciocínio da documentação clínica do mundo real, que frequentemente envolve:

1. Interpretação Clínica: As notas descrevem estados interpretados (por exemplo, "anemia") que exigem verificar se medições subjacentes (por exemplo, níveis de hemoglobina) atendem a critérios clínicos específicos.
2. Relações de Eventos: As notas descrevem relações entre múltiplos eventos (por exemplo, um medicamento administrado porque de uma tendência específica de laboratório), exigindo validação de relações de eventos em vez de entradas isoladas.
3. Dinâmicas Temporais: As notas descrevem mudanças ao longo do tempo (por exemplo, "PA declinou consistentemente"), exigindo a avaliação de tendências e intervalos de tempo em vez de pontos de dados únicos.

A falta de benchmarks e estruturas capazes de lidar com esses aspectos intensivos de raciocínio limita a confiabilidade da verificação automatizada de consistência.

Metodologia

1. EHR-ReasonCon: Um Benchmark Intensivo de Raciocínio

Para abordar a lacuna de dados, os autores introduzem o EHR-ReasonCon, um benchmark de alta qualidade construído sobre o conjunto de dados MIMIC-III.

• Escala e Composição: O conjunto de dados compreende 8.048 entidades anotadas derivadas de 105 notas clínicas (resumos de alta, notas de médicos e notas de enfermagem) vinculadas a 14 tabelas estruturadas.
• Protocolo de Anotação: O processo de anotação foi guiado por quatro especialistas clínicos e envolveu um protocolo rigoroso de múltiplos estágios:
  • Desenvolvimento de Ferramentas: Oito ferramentas especializadas de exploração de tabelas foram criadas para suportar a recuperação sistemática de evidências. Essas ferramentas se enquadram em três categorias: Alinhamento de Entidade para Item de Tabela (lidando com variações lexicais/semânticas), Exploração de Banco de Dados e Perfilamento de Valores (compreendendo esquemas e distribuições de valores) e Recuperação de Registros Temporais e Condicionais (consultando tendências e janelas de tempo).
  • Processo: Os anotadores identificaram entidades âncora, usaram ferramentas para recuperar evidências estruturadas e realizaram verificação intensiva de raciocínio envolvendo raciocínio temporal, raciocínio de senso comum e interpretação médica.
  • Controle de Qualidade: Um processo de dupla anotação com arbitragem de médicos garantiu alta confiabilidade, alcançando pontuações de concordância entre anotadores de 0,897 para Reconhecimento de Entidades Nomeadas (NER) e 0,888 para rotulagem de consistência.
• Verdade Terrena: O conjunto de dados fornece rótulos de alta qualidade que distinguem entre entidades Consistentes e Inconsistentes, com foco em discrepâncias intensivas de raciocínio (por exemplo, erros de tempo, erros de valor e evidências ausentes).

2. EHR-INSPECTOR: Uma Estrutura Baseada em LLM

Os autores propõem o EHR-INSPECTOR, uma estrutura baseada em LLM projetada para espelhar o fluxo de trabalho de anotação humana para verificação de consistência. Ela opera através de quatro módulos sequenciais:

1. Segmentação de Notas e Extração de Referência Temporal: A estrutura segmenta notas clínicas em segmentos coerentes por tópico e resolve expressões temporais relativas (por exemplo, "Dia 3 pós-operatório") em carimbos de data/hora absolutos usando referências temporais globais.
2. Extração de Entidades Baseada em LLM em Múltiplos Estágios: Para evitar ineficiência computacional ao buscar toda a ontologia do EHR (~14.000 itens), a estrutura emprega uma estratégia de dois passos:
   • Extração Específica do Paciente: Extrai entidades alinhadas com itens já registrados para o paciente específico.
   • Extração Hierárquica Guiada por Ontologia: Usa uma ontologia hierárquica pré-construída para estreitar o espaço de busca para entidades não presentes nos registros específicos do paciente, extraindo grupos e subgrupos de alto nível relevantes antes de identificar itens específicos.
3. Raciocínio Temporal e Filtragem de Escopo: As entidades são filtradas para reter apenas aquelas associadas à hospitalização atual (Ativas), excluindo histórico passado e planos futuros para evitar falsos alertas de inconsistência.
4. Verificação de Consistência Aumentada por Ferramentas: O LLM interage com tabelas estruturadas através das oito ferramentas de exploração de tabelas definidas no benchmark. Para melhorar a eficiência, um Cache de Validação armazena entidades verificadas recentemente e suas evidências, permitindo que entidades relacionadas (por exemplo, "macio" e "distendido" de um único exame abdominal) compartilhem resultados de verificação e evitem chamadas de ferramentas redundantes.

3. Estratégia de Avaliação

A estrutura é avaliada usando um paradigma de LLM como juiz, validado contra julgamentos de especialistas clínicos. Dois critérios de avaliação são usados:

• Rigoroso: Exige concordância exata com anotações de ouro.
• Flexível: Aceita variações clinicamente plausíveis onde o raciocínio é sólido, mesmo que o segmento de entidade específico ou o mapeamento da tabela difiram do padrão de ouro.

Principais Resultados

Desempenho

Avaliado em múltiplas bases de modelos (incluindo Gemini 2.5 Flash, Qwen3 32B, MedGemma 27B e GPT-OSS 20B), o EHR-INSPECTOR consistentemente alcança desempenho de última geração em comparação com a linha de base CheckEHR.

• Melhoria: A estrutura melhora substancialmente tanto o recall quanto a precisão. Por exemplo, usando o Gemini 2.5 Flash, o EHR-INSPECTOR alcançou uma pontuação F1 Flexível de 74,75, comparada aos 67,27 do CheckEHR.
• Capacidade de Raciocínio: A lacuna de desempenho se amplia com modelos que possuem capacidades de raciocínio mais fortes, sugerindo que a estrutura aproveita efetivamente o raciocínio avançado para lidar com verificações de consistência complexas.
• Generalização: O EHR-INSPECTOR demonstra forte generalização, superando as linhas de base no conjunto de dados de nível superficial EHRCon e mantendo desempenho robusto no MIMIC-IV e em variações de esquema perturbadas.

Ablação e Análise

• Contribuições dos Componentes: Estudos de ablação confirmam que a segmentação de notas, a filtragem de escopo e a estratégia específica de extração de entidades são críticas para o desempenho. A remoção da segmentação ou filtragem leva a quedas significativas na pontuação F1.
• Uso de Ferramentas: A análise das trilhas de uso de ferramentas revela que, enquanto os anotadores humanos seguem caminhos otimizados e conservadores, os LLMs tendem a explorar caminhos mais amplos e dispersos. Curiosamente, a remoção de certas ferramentas de "redução de espaço" (projetadas para restrições de memória de trabalho humana) às vezes melhorou o desempenho do LLM, sugerindo que os agentes devem manipular dinamicamente conjuntos de ferramentas.
• Análise de Erros: O erro mais frequente entre os modelos é "Conclusão Prematura", onde os modelos terminam a verificação antes de reunir evidências suficientes. Modelos mais fortes exibem menos erros de cache de validação, indicando melhor rastreamento de estados intermediários.

Significado e Alegações

O artigo afirma que EHR-ReasonCon e EHR-INSPECTOR representam um passo significativo para frente na automação da verificação de consistência de EHRs, avançando além da correspondência em nível superficial para verificação intensiva de raciocínio.

• Ponte da Lacuna: O trabalho aborda a lacuna crítica entre a natureza matizada e interpretativa das notas clínicas e a estrutura rígida das tabelas de EHR, que os métodos existentes falham em capturar.
• Confiabilidade: Ao incorporar anotações guiadas por especialistas e raciocínio aumentado por ferramentas especializadas, a estrutura fornece um mecanismo mais confiável para detectar discrepâncias que poderiam comprometer a segurança do paciente.
• Escalabilidade: O uso de LLMs com fluxos de trabalho aumentados por ferramentas oferece uma alternativa escalável à verificação manual impraticável, capaz de lidar com dados clínicos temporais e relacionais complexos.

Os autores reconhecem limitações, incluindo a dependência de um conjunto de dados específico (MIMIC-III) que pode não representar totalmente todos os cenários clínicos do mundo real, e os riscos inerentes de vieses orientados por modelos na avaliação de LLM como juiz. Eles sugerem que trabalhos futuros devem focar na expansão da diversidade de dados e na incorporação de estruturas com especialistas no loop para aprimorar ainda mais a robustez.