Development and temporal validation of an auditable EHR-based risk-ranking pipeline integrating Chinese admission notes and laboratory data for cardiac intensive care: a retrospective cohort study

Resumo Técnico: Desenvolvimento e Validação Temporal de um Pipeline de Classificação de Risco Auditável Baseado em Prontuário Eletrônico para Unidade de Terapia Intensiva Cardiológica

Definição do Problema
A estratificação de risco precoce em Unidades de Terapia Intensiva Cardiológica (UTIC) é atualmente dificultada pela incapacidade dos campos estruturados do Prontuário Eletrônico (EHR) de capturar plenamente o contexto clínico documentado nas narrativas de admissão. Embora as ferramentas de risco existentes utilizem variáveis estruturadas, elas frequentemente perdem detalhes contextuais críticos, como trajetórias de sintomas, vias de encaminhamento e instabilidade percebida pelo clínico, presentes em notas de admissão de texto livre. Além disso, a definição de desfechos adversos em dados hospitalares chineses é complicada pelo "Alta a Pedido do Paciente" (DAMA - Discharge Against Medical Advice), uma categoria heterogênea que pode refletir doença crítica, restrições financeiras ou melhora precoce. Tratar todos os casos de DAMA como equivalentes à morte leva à classificação errônea de desfechos. O estudo aborda se as características das notas de admissão chinesas podem ser convertidas em variáveis auditáveis e baseadas em regras para melhorar a classificação de risco além dos dados estruturados isolados, enquanto refina as definições de desfecho por meio de adjudicação clínica.

Metodologia
O estudo empregou um desenho de coorte retrospectiva de centro único, envolvendo 1.365 pacientes únicos de UTIC admitidos entre 2023 e 2025 em hospitais afiliados ao Wannan Medical College.

• Divisão da Coorte: Pacientes admitidos em 2023–2024 formaram a coorte de desenvolvimento ($N=822$), e os admitidos em 2025 serviram como a coorte de validação temporal ($N=536$).
• Definição de Desfecho: O desfecho primário foi definido como morte intra-hospitalar ou DAMA devido a doença crítica/retirada de tratamento ativo. Os casos de DAMA foram clinicamente adjudicados em três categorias: doença crítica/retirada, transferência para outro hospital ou alta precoce após melhora. Apenas a primeira categoria foi incluída no desfecho primário; transferências e altas por melhora foram excluídas para reduzir a classificação errônea. Dois casos de DAMA não adjudicados foram excluídos, restando 1.363 pacientes para análise.
• Preditores:
  • Dados Estruturados: Variáveis clínicas (idade, sexo, sinais vitais, via de admissão, grupo diagnóstico) e valores laboratoriais precoces (hemoglobina, WBC, plaquetas, NLR, SII, BNP, hs-cTnI, hs-CRP, creatinina).
  • Dados Não Estruturados: Notas de admissão (queixa principal, história da doença atual, histórico médico pregresso, histórico de tabagismo/etilismo) foram processadas usando uma abordagem de Processamento de Linguagem Natural (NLP) baseada em regras. Expressões clínicas chinesas predefinidas foram usadas para extrair sinalizadores de características (feature flags) para sintomas específicos (ex: dor no peito, dispneia), procedimentos e comorbidades. O comprimento do texto também foi incluído.
• Modelagem: Quatro modelos foram comparados usando regressão logística com regularização L2:
  1. Modelo clínico.
  2. Modelo Clínico + Laboratorial.
  3. Modelo de características de texto baseadas em regras.
  4. Modelo multimodal (integrando os três).
     Um modelo exploratório utilizando TF-IDF de nível de caractere também foi testado.
• Avaliação: O desempenho foi avaliado via discriminação (AUC, AUPRC), calibração (intercepto, inclinação, gráficos), análise de curva de decisão (DCA) e métricas de valor incremental (IDI, cNRI). O reamostragem por bootstrap (1.000 iterações) foi utilizada para intervalos de confiança.

Resultados Principais

• Prevalência de Desfecho: Na coorte de análise primária, 115 pacientes (8,4%) apresentaram o desfecho primário (morte ou DAMA relacionada a doença crítica).
• Desempenho da Validação Temporal:
  • O Modelo Multimodal alcançou um AUC de 0,726 (95% CI: 0,656–0,793).
  • O Modelo Clínico + Laboratorial alcançou um AUC de 0,693 (95% CI: 0,615–0,768).
  • O Modelo de características de texto baseadas em regras sozinho alcançou um AUC de 0,602.
• Ganho Incremental: A adição de características de texto ao modelo clínico e laboratorial resultou em um aumento modesto de AUC de 0,033 (95% CI: -0,001 a 0,065; bootstrap $P=0,054$). O intervalo de confiança de 95% cruzou o zero, indicando que a melhoria foi estatisticamente incerta.
• Precisão-Recall e Calibração: O desempenho de precisão-recall não mostrou vantagem clara para o modelo multimodal. Crucialmente, as inclinações de calibração estavam substancialmente abaixo de 1,0 em todos os modelos no conjunto de validação temporal, indicando que os modelos estavam sofrendo overfitting ou produzindo estimativas de risco excessivamente extremas, tornando-os inadequados para comunicação de risco absoluto sem recalibração.
• Análises de Sensibilidade: As características de texto mostraram contribuição mais aparente quando a definição de desfecho incluiu transferências como eventos adversos (AUC 0,738 vs. 0,694) em comparação com a morte isolada. O modelo não melhorou as previsões para tempo de internação prolongado.

Principais Contribuições

1. Pipeline Auditável: O estudo desenvolveu um pipeline de NLP transparente e baseado em regras para texto clínico chinês que integra dados estruturados de EHR, resultados laboratoriais e notas de admissão. Esta abordagem prioriza a auditabilidade sobre o aprendizado profundo de "caixa-preta", o que é crítico para a implementação clínica em cenários de centro único com eventos limitados.
2. Adjudicação de Desfecho Refinada: A pesquisa demonstra que a adjudicação clínica dos casos de DAMA melhora significamente a interpretabilidade do desfecho. Ao distinguir a retirada por doença crítica de transferências e altas por melhora, o estudo criou uma definição mais clinicamente significativa de desfechos adversos graves.
3. Avaliação de Desempenho Realista: O artigo fornece uma validação temporal rigorosa que destaca as limitações das abordagens multimodais atuais. Ele mostra explicitamente que, embora as características de texto adicionem discriminação numérica, o ganho é modesto e a calibração permanece um obstáculo significativo.

Significância e Alegações
Os autores alegam que seu trabalho fornece uma estrutura auditável fundamental para integrar o texto clínico chinês não estruturado na estratificação de risco. Eles enfatizam que, embora o pipeline multimodal tenha mostrado maior discriminação numérica do que apenas os dados estruturados, o ganho incremental foi modesto e a calibração foi suboptimal.

O artigo conclui que o modelo atual é apropriado para a classificação de risco relativo (sinalizar pacientes de alto risco para revisão mais próxima) em vez de para comunicar probabilidades de risco individual absoluto. Os autores afirmam explicitamente que, antes da implementação clínica, o pipeline requer:

• Validação externa em coortes independentes.
• Recalibração logística ou atualização do modelo.
• Validação manual independente das características derivadas de texto.
• Avaliação prospectiva de limiares de decisão e fluxos de trabalho clínicos.

O estudo posiciona-se não como uma solução pronta para implantação, mas como um passo gerador de hipóteses, demonstrando que as características de texto baseadas em regras podem ser integradas a um pipeline de EHR, desde que as limitações relativas à calibração e a necessidade de validação rigorosa sejam reconhecidas.