Can Physician Expertise Improve Machine Learning Identification of Delirium?

Resumo Técnico: A Expertise Médica Pode Melhorar a Identificação de Delirium por Aprendizado de Máquina?

Declaração do Problema
O delirium, uma condição neuropsiquiátrica aguda que afeta até 50% dos pacientes idosos hospitalizados, é frequentemente negligenciado nos cuidados de rotina. O delirium não tratado leva a desfechos graves, incluindo o dobro dos custos de saúde, aumento da mortalidade e declínio cognitivo a longo prazo. Embora esses casos possam ser prevenidos em até 40% por meio de programas multicomponentes, essas intervenções são subutilizadas devido à falta de protocolos padronizados e de ferramentas de detecção precoce escaláveis. Os modelos de predição de aprendizado de máquina (ML) existentes frequentemente sofrem com limitações, como a dependência de dados não coletados rotineiramente (ex: avaliações cognitivas), baixa precisão, negligência de dados de texto não estruturados e suscetibilidade ao drift (desvio) do modelo. Além disso, as abordagens padrão de aprendizado de máquina automatizado (aML) muitas vezes carecem de transparência (natureza de "caixa-preta"), dificultando a confiança e a adoção clínica.

Metodologia: Aprendizado de Máquina Interativo Centrado no Usuário (UC-iML)
Os autores propõem um framework de Aprendizado de Máquina Interativo Centrado no Usuário (UC-iML), projetado para integrar diretamente a expertise médica no ciclo de vida do desenvolvimento de ML. Diferente dos fluxos de trabalho tradicionais, onde os clínicos apenas revisam os modelos finais, este framework emprega uma abordagem de "humano no circuito" (human-in-the-loop) através de três estágios iterativos:

1. Aquisição de Requisitos (RA): Médicos (atuando como "Professores de Máquina") colaboram com desenvolvedores para definir prioridades clínicas. Eles priorizam variáveis que abrangem dados administrativos (ex: tempo de permanência, destino de alta), sinais clínicos (ex: anormalidades laboratoriais, admissão na UTI) e padrões de medicação. O objetivo é priorizar a alta sensibilidade para triagem, em vez de depender exclusivamente da acurácia, que pode ser enganosa em conjuntos de dados desbalanceados.
2. Design e Prototipagem (DP): Este estágio envolve engenharia de atributos de múltiplas fontes e refinamento guiado por médicos. O sistema integra:
   • Dados Administrativos e Clínicos: Códigos ICD-10, sinais vitais e resultados laboratoriais (ex: sódio, creatinina, WBC).
   • Indicadores Derivados de Texto: Relatórios de radiologia (TC/RM) são processados usando Term Frequency–Inverse Document Frequency (TF-IDF) e um classificador de gradient boosting para criar um indicador de probabilidade de delirium derivado de texto.
   • Refinamento por Especialistas: Após a triagem inicial baseada em Lasso, os médicos refinam manualmente a retenção de atributos para preservar preditores clinicamente significativos e sinais etiologicamente relevantes.
3. Avaliação Centrada nos Professores de Máquina (MTCE): Médicos avaliam modelos candidatos usando um painel interativo. Os critérios de seleção incluem desempenho de discriminação (F1-score, ROC-AUC), estabilidade temporal (desvio padrão entre segmentos de tempo) e qualidade de calibração.

Conjunto de Dados e Configuração Experimental
O estudo utiliza o conjunto de dados GEMINI (General Medicine Inpatient Initiative), composto por 3.862 admissões hospitalares rotuladas de seis hospitais de Toronto. Os dados incluem variáveis administrativas, resultados laboratoriais, medicações e indicadores de texto derivados de radiologia.

• Fases: O estudo abrange a Fase 1 (abril de 2010 – março de 2015) e a Fase 2 (janeiro de 2018 – janeiro de 2020).
• Estratégia de Validação: Foi utilizada uma abordagem de teste de holdout temporalmente separada. Os dados da Fase 1 foram segmentados em dez intervalos de 6 meses; os modelos foram treinados nos nove primeiros e testados no décimo para simular a predição prospectiva. Um teste de drift entre fases avaliou o modelo treinado na Fase 1 aplicado aos dados da Fase 2.
• Comparadores: O modelo proposto UC-iML-Delirium foi comparado contra:
  • aML-Delirium: Seleção de atributos baseada puramente em dados, sem intervenção médica.
  • Baseline-Delirium: Excluiu atributos derivados de texto e o refinamento guiado por médicos.
• Algoritmos: Doze classificadores foram testados, incluindo Gradient Boosting (GBC), AdaBoost, Regressão Logística e Random Forest. O GBC foi selecionado como o melhor desempenho.
• Interpretabilidade: Explicações de Shapley (Shapley Additive Explanations - SHAP) foram usadas para quantificar a atribuição de atributos e garantir a interpretabilidade clínica.

Principais Resultados

• Desempenho: O framework UC-iML-Delirium demonstrou uma discriminação geral superior em comparação com as variantes automatizadas e de linha de base (baseline). No teste de holdout prospectivo (Fase 1), o modelo UC-iML baseado em GBC alcançou um F1 score de 0,719, Acurácia de 0,851 e ROC-AUC de 0,902.
• Robustez Temporal: O modelo UC-iML mostrou uma estabilidade temporal significativamente maior. Em janelas móveis de 6 meses, o F1 score para o UC-iML-GBC foi de 0,701 ± 0,024, comparado a 0,749 ± 0,136 para o aML-Delirium e 0,402 ± 0,046 para o Baseline-Delirium.
• Validação entre Fases: Ao ser testado nos dados da Fase 2 (3 a 5 anos depois), o modelo manteve um desempenho robusto (F1 = 0,693 para GBC), embora tenha subestimado levemente a prevalência de delirium, consistente com o aumento do desbalanceamento de classes no conjunto de dados posterior.
• Importância dos Atributos: A análise SHAP revelou que as variáveis engenheiradas, particularmente um indicador de probabilidade de delirium derivado de texto de relatórios de radiologia, estavam entre os preditores mais fortes. Outros principais fatores de risco incluíram códigos de diagnóstico específicos (ex: F05 para delirium no pronto-socorro), prescrições de antipsicóticos e níveis de lactato.
• Compromissos Clínicos: Embora o modelo UC-iML tenha alcançado maior recall (sensibilidade) e F1 scores, apresentou menor precisão em comparação ao modelo Baseline. Os autores observam que, para fins de triagem, minimizar casos perdidos (alto recall) é priorizado em relação à precisão.

Significância e Alegações
O artigo alega que o framework UC-iML é uma abordagem prática de humano no circuito (human-in-the-loop) que melhora significamente a predição de delirium em comparação com métodos automatizados padrão. As principais contribuições são:

1. Integração de Expertise: Demonstrar que o refinamento de atributos guiado por médicos e a avaliação resultam em modelos com melhor relevância clínica e robustez temporal do que abordagens puramente baseadas em dados.
2. Replicabilidade: Estabelecer um pipeline replicável para aplicações clínicas que equilibra eficiência automatizada com supervisão de especialistas do domínio.
3. Robustez: Mostrar que o modelo mantém a estabilidade de desempenho ao longo do tempo e entre diferentes coortes hospitalares, abordando o problema do drift de modelo comum na saúde.
4. Interpretabilidade: Utilizar SHAP para destacar sinais clinicamente significativos (como indicadores de texto de radiologia), promovendo assim a confiança entre os clínicos.

Os autores concluem que nem a engenharia de atributos nem a expertise médica isoladamente alcançaram resultados comparáveis; a sinergia de ambos dentro do framework UC-iML é essencial para o desenvolvimento de ferramentas de detecção de delirium confiáveis e clinicamente acionáveis. Sugere-se que trabalhos futuros foquem em integrar ainda mais a expertise médica e refinar a metodologia para uma integração clínica mais ampla.