Can Machine Learning Algorithms use Contextual Factors to Detect Unwarranted Clinical Variation from Electronic Health Record Encounter Data during the Treatment of Children Diagnosed with Acute Viral Pharyngitis

Este estudo demonstra a viabilidade de utilizar algoritmos de aprendizado de máquina para detectar variações clínicas injustificadas no tratamento de faringite viral aguda em crianças, utilizando dados contextuais de registros eletrônicos de saúde para identificar prescrições inadequadas de antibióticos sem a necessidade de agregação centralizada de dados.

O essencial

Imagine que a medicina é como uma grande orquestra. Em teoria, todos os músicos (médicos) deveriam tocar a mesma partitura (as diretrizes médicas) da mesma maneira para cada música (cada doença). Mas, na vida real, às vezes um violinista toca mais rápido, outro mais devagar, ou decide adicionar um improviso que não estava na partitura.

Quando essa variação não é necessária e vai contra o que a ciência diz ser o melhor para o paciente, chamamos isso de Variação Clínica Indesejada. É como se um músico decidisse tocar uma nota errada só porque "achou que ficaria legal", sem perceber que está estragando a música para todos.

Este artigo de pesquisa é como um detector de "notas erradas" inteligente, criado para ajudar a orquestra a tocar melhor.

O Cenário: A "Gripe" que não precisa de antibióticos

Os pesquisadores focaram em um caso muito específico: crianças com faringite viral (dor de garganta causada por vírus).

• A Regra de Ouro: A ciência diz que antibióticos não funcionam contra vírus. Eles só matam bactérias. Dar antibióticos para uma gripe viral é como tentar apagar um incêndio com água para um incêndio de óleo: não só não resolve, como pode piorar a situação (criando resistência a medicamentos).
• O Problema: Mesmo com essa regra clara, muitos médicos ainda receitam antibióticos para essas crianças. Por quê? Às vezes é por pressão dos pais, às vezes por hábito, e às vezes por falta de informação.

A Solução: O "Detetive de Dados" (Inteligência Artificial)

Em vez de ter um supervisor humano olhando cada prontuário médico (o que é lento e caro), os pesquisadores criaram um algoritmo de Machine Learning (um tipo de inteligência artificial).

Pense nesse algoritmo como um detetive super-rápido que lê milhares de prontuários eletrônicos em segundos. Mas, para ser justo, ele não olha apenas o paciente. Ele olha o contexto, como se estivesse analisando o cenário da orquestra:

• O Médico: Quantos pacientes ele atende? Há quanto tempo trabalha? É médico, enfermeiro ou assistente?
• O Hospital/Clínica: É um lugar muito movimentado ou tranquilo?
• O Paciente: Onde ele mora? (Isso ajuda a entender se há pressão social ou falta de recursos).

Como eles fizeram?

1. Treinamento: Eles ensinaram o "detetive" com dados reais de 132 consultas. Eles mostraram para a IA: "Veja, aqui o médico deu o remédio errado (antibiótico para vírus)" e "Aqui ele fez certo (não deu nada)".
2. O Teste: Depois de treinado, o algoritmo conseguiu identificar com 91% de precisão quem estava fazendo o tratamento errado, apenas olhando para os dados do contexto (quantos pacientes o médico viu, onde ele trabalha, etc.).
3. A Surpresa: Eles descobriram que o algoritmo funcionou quase tão bem quando usou "rascunhos" de dados (informações automáticas do sistema) quanto quando usou "dados de ouro" (prontuários revisados manualmente por especialistas). Isso é ótimo porque significa que podemos usar o sistema automaticamente, sem precisar de horas de trabalho humano.

O Que o "Detetive" Descobriu?

Ao analisar os dados, o algoritmo apontou alguns padrões curiosos, como se estivesse dizendo:

• Volume de Pacientes: Médicos que atendem muito volume de casos de dor de garganta tendem a prescrever antibióticos com mais frequência. Talvez, por estarem tão ocupados, eles não tenham tempo de explicar para o pai que o remédio não vai funcionar, ou tomam decisões rápidas por "segurança".
• Experiência: Médicos mais experientes (com mais de 10 anos) às vezes prescrevem mais errado do que os mais novos. É como um músico veterano que, por confiar demais no "feeling" dele, ignora a partitura nova. Os mais novos tendem a seguir as regras à risca.
• Profissão: Enfermeiros e assistentes (NPs) tendiam a seguir as regras corretamente mais do que os médicos (MDs).
• Classe Social: Curiosamente, pacientes de áreas com menos recursos (mais necessitados) recebiam menos antibióticos errados. Talvez os médicos nesses locais sejam mais cautelosos com o uso de remédios, ou os pacientes tenham menos pressão para exigir o remédio.

Por que isso é importante?

Antes, para achar esses erros, precisávamos de estatísticos complexos olhando para médias e comparações entre regiões. Era como tentar achar uma agulha num palheiro olhando apenas o tamanho do palheiro.

Agora, com essa Inteligência Explicável, podemos:

1. Identificar o erro em tempo real: O sistema pode avisar: "Ei, Dr. Silva, você está prescrevendo antibiótico para vírus com mais frequência que a média. Vamos revisar?".
2. Ser justo: O sistema não julga o médico como "burro", mas mostra que o contexto (excesso de trabalho, falta de tempo) pode estar influenciando a decisão.
3. Economizar: Evitar remédios desnecessários economiza dinheiro e protege a saúde pública contra a resistência bacteriana.

Resumo Final

Este estudo prova que podemos usar a tecnologia não para substituir o médico, mas para ser o segundo par de olhos que ajuda a garantir que a "música" da medicina seja tocada da maneira correta, seguindo a partitura da ciência, especialmente quando o contexto do dia a dia tenta nos fazer improvisar notas erradas.

É um passo gigante para tornar o cuidado médico mais consistente, justo e baseado em evidências, usando dados que já temos, mas que antes ninguém sabia como ler direito.

Resumo técnico

Título do Estudo

Algoritmos de Aprendizado de Máquina Utilizam Fatores Contextuais para Detectar Variação Clínica Não Justificada em Dados de Registros Eletrônicos de Saúde (EHR) durante o Tratamento de Crianças com Faringite Viral Aguda.

---

1. Problema e Motivação

A Variação Clínica Não Justificada (UCV - Unwarranted Clinical Variation) refere-se a cuidados de saúde que não se alinham com as características clínicas, necessidades ou preferências do paciente, nem com as melhores práticas baseadas em evidências. A UCV resulta em custos elevados, tratamentos desnecessários e desvios de diretrizes clínicas.

• Desafio Atual: Os métodos tradicionais de detecção de UCV dependem de agregação centralizada de dados e regressão de efeitos mistos, que medem apenas a variação relativa entre entidades (hospitais, regiões), falhando em detectar a variação absoluta (desvio direto de uma diretriz).
• Complexidade: O processo de cuidado clínico é complexo, tornando difícil julgar a adequação do tratamento.
• Caso de Uso: O estudo foca na prescrição de antibióticos para faringite viral aguda em crianças. Segundo as diretrizes da Infectious Diseases Society of America (IDSA), antibióticos não devem ser prescritos para casos virais. A prescrição nesses casos é um desvio claro e mensurável da evidência.

2. Metodologia

Fonte de Dados e População

• Dados: Registros Eletrônicos de Saúde (EHR) do Big-ARC Clinical Data Warehouse da UTHealth (Texas), padronizados pelo modelo de dados comum PCORnet.
• Período: 1º de janeiro de 2021 a 30 de dezembro de 2024.
• População: Crianças de 3 a 19 anos com código ICD-10 J02.8 (faringite aguda devido a outro organismo especificado).
• Critérios de Exclusão: Uso prévio de antibióticos, teste positivo para estreptococo do grupo A, ou ausência de notas clínicas.
• Amostra Final: 132 encontros ambulatoriais (20 prescrições de antibióticos consideradas "não justificadas" após revisão de prontuário por especialistas, e 112 sem prescrição).

Fatores Contextuais (LCF - Local Context Factors)

Os dados foram mapeados para a Ontologia UCVA para padronização. As variáveis incluíram:

• Nível do Site: Volume de casos (todos os diagnósticos e J02.8).
• Nível do Provedor: Credenciais (MD, NP, PA), sexo, especialidade, anos de experiência, volume de casos.
• Nível do Paciente: Sexo, raça/etnia e Índice de Privação de Área (ADI) para avaliar o status socioeconômico.

Pipeline de Modelagem

1. Algoritmos Testados: Regressão Logística (LR), Random Forest (RF), Explainable Boosting Machine (EBM) e CatBoost.
2. Validação: Validação cruzada aninhada (10-fold) para evitar viés e otimização de hiperparâmetros.
3. Rótulos (Labels):
   • Padrão Ouro (Gold-Standard): Classificação manual por revisão de prontuário de 6 médicos.
   • Rótulos Fracos (Weak Labels): Inferidos diretamente dos dados de tratamento do EHR (prescrição de antibiótico = não justificada).
4. Interpretabilidade: Uso de SHAP values (para CatBoost) e modelos intrinsecamente explicáveis (EBM) para identificar os fatores mais influentes.

3. Principais Contribuições

• Abordagem de Variação Absoluta: Demonstra a viabilidade de usar ML para detectar desvios absolutos de diretrizes (prescrição de antibiótico em caso viral) usando apenas dados contextuais, sem necessidade de análise centralizada complexa.
• Estratégia de Decomposição: Foca na fase de tratamento do cuidado (prescrição) para simplificar a complexidade do processo clínico e torná-lo tratável por algoritmos clássicos de ML.
• Validação de Rótulos Fracos: Prova que modelos treinados com rótulos inferidos automaticamente do EHR têm desempenho comparável aos treinados com revisão manual de especialistas, reduzindo custos de anotação.
• Interpretabilidade Clínica: Utilização de modelos explicáveis (EBM e SHAP) para fornecer transparência, essencial para a adoção clínica.

4. Resultados

Desempenho do Modelo

• Algoritmos: Os modelos de ensemble (RF, CatBoost, EBM) superaram a Regressão Logística.
• Métricas: Todos os modelos de ensemble alcançaram uma AUC mediana de 0,91 (Intervalo de Confiança: 0,89–0,92).
• Seleção Final: O CatBoost foi selecionado como modelo final devido à sua otimização para dados categóricos e robustez.
• Rótulos Fracos vs. Padrão Ouro: Não houve diferença estatisticamente significativa no desempenho entre modelos treinados com rótulos fracos e os treinados com revisão manual (AUC ~0,84 a 0,92 para ambos).

Fatores de Importância (Feature Importance)

A análise de importância global identificou os seguintes preditores mais influentes para a prescrição inadequada:

1. Volumes de Casos: O volume de casos do provedor e do site foram os preditores mais fortes.
   • Descoberta Inesperada: Provedores com menor volume de casos foram menos propensos a prescrever antibióticos inadequados (contrariando a intuição de que maior volume leva a mais erros por pressão de tempo).
2. Credenciais do Provedor: Enfermeiros Práticos (NPs) foram menos propensos a prescrever inadequadamente em comparação com Médicos (MDs).
3. Experiência: Provedores com menos experiência (início de carreira) foram menos propensos a prescrever inadequadamente do que os experientes.
4. Tipo de Encontro: O tipo de consulta (ex: ambulatorial vs. emergência) influenciou a decisão.
5. ADI (Privação de Área): Pacientes de áreas de alta necessidade (ADI alto) tiveram menor probabilidade de receber tratamento inadequado em comparação com áreas de baixa necessidade.

Análise Estatística Adicional

• Modelos de efeitos mistos mostraram que a variância intraclasse (clustering) entre sites e provedores foi próxima de zero após o ajuste das covariáveis, indicando que os fatores contextuais capturados explicaram a variação.

5. Significado e Conclusão

• Viabilidade do ML: Algoritmos de aprendizado de máquina clássicos e de ensemble podem detectar eficazmente a variação clínica não justificada usando dados rotineiros de EHR, servindo como alternativa escalável aos métodos estatísticos tradicionais.
• Eficiência Operacional: A capacidade de usar "rótulos fracos" (inferidos do sistema) elimina a necessidade de revisões manuais caras e demoradas para treinar modelos de detecção de UCV.
• Insights Clínicos: Os resultados sugerem que a variação não justificada é impulsionada mais por fatores sistêmicos (volume de trabalho, experiência do provedor) do que por características do paciente.
• Interpretabilidade: O uso de modelos como EBM e CatBoost com SHAP permite que os clínicos entendam por que um caso foi classificado como variação, facilitando intervenções direcionadas (feedback ao provedor).
• Limitações: O estudo foi realizado em um único sistema de saúde (limitando a generalização externa) e possui um tamanho de amostra pequeno (132 casos), o que impede o uso de Deep Learning. No entanto, a metodologia baseada em ontologia (UCVA) permite comparações padronizadas entre diferentes instituições no futuro.

Em suma, o estudo estabelece um marco para o uso de IA explicável na auditoria de qualidade de saúde, focando na detecção proativa de desvios de diretrizes baseadas em evidências.