Concordance of a ChatGPT-4o–based triage model with emergency physician categorization in the emergency department: a prospective observational comparison with emergency medical technicians

Resumo Técnico: Concordância de um Modelo de Triagem Baseado em ChatGPT-4o com a Categorização de Médicos de Emergência

Problema
A triagem no departamento de emergência (DE) é crítica para a segurança do paciente e alocação de recursos, mas depende do julgamento humano subjetivo, o que leva à variabilidade entre avaliadores influenciada pela experiência, fadiga e viés cognitivo. Embora os Grandes Modelos de Linguagem (LLMs), como o ChatGPT, tenham mostrado promessa em tarefas clínicas, as evidências existentes sobre o desempenho de triagem desses modelos são heterogêneas. Muitos estudos enquadram a avaliação de LLMs como "acurácia diagnóstica" contra um rótulo de clínico tratado como um padrão-ouro objetivo, uma falha metodológica dado que a acuidade da triagem carece de uma verdade verificável única. Além disso, estudos anteriores frequentemente utilizam entradas de texto livre, sistemas de triagem de cinco níveis (ex: Sistema de Triagem de Manchester) ou desenhos retrospectivos, limitando sua aplicabilidade a ambientes de triagem estruturados de três zonas comuns na Turquia, onde Técnicos de Emergência Médica (TEMs) frequentemente realizam as avaliações iniciais. Há uma falta de evidência prospectiva quantificando o quão proximamente um LLM reproduz a categorização de um médico em um ambiente padronizado de três zonas (Vermelho/Alto, Amarelo/Moderado, Verde/Baixo) em comparação com avaliadores humanos à beira do leito.

Metodologia
Este estudo observacional prospectivo foi conduzido em um hospital universitário terciário em Denizli, Turquia, entre junho e novembro de 2024.

• Participantes: 788 pacientes adultos (≥18 anos) que se apresentaram ao DE. Os critérios de exclusão incluíram alteração do estado mental, transtornos psiquiátricos agudos, barreiras linguísticas, intoxicação aguda, necessidade de RCP ou visitas repetidas em 72 horas.
• Sistema de Triagem: Foi utilizado um sistema de três zonas (Vermelho/alto, Amarelo/moderado, Verde/baixo) baseado nas diretrizes do Ministério da Saúde da Turquia.
• Avaliadores: Três categorizações independentes foram obtidas para cada paciente:
  1. Médico de Referência: Um único médico de emergência certificado pelo conselho, designado para a categoria de referência com base em um formulário de dados estruturados padronizados.
  2. Modelo de IA: Um modelo ChatGPT-4o (API, temperatura 0) recebeu o mesmo formulário estruturado (em turco) e gerou uma única categoria de triagem.
  3. TEM: Técnicos de Emergência Médica de rotina realizaram a triagem à beira do leito como parte do fluxo de trabalho padrão, sem conhecimento do estudo.
• Entrada de Dados: O médico e a IA compartilharam entradas estruturadas idênticas (demografia, sinais vitais quando disponíveis, queixa principal, histórico). Os TEMs avaliaram os pacientes presencialmente. Os sinais vitais foram registrados de forma incompleta para pacientes de menor acuidade, refletindo a prática rotineira.
• Análise Estatística: A concordância foi medida usando o kappa de Cohen não ponderado, kappa linear ponderado e kappa quadrático ponderado, com intervalos de confiança de 95% derivados via bootstrap de percentil (B=5000). A comparação primária foi IA vs. Médico; a comparação secundária foi TEM vs. Médico. Análises de subgrupos (idade, sexo, modo de chegada) foram ajustadas usando a correção de Holm. O desempenho por nível de categoria foi avaliado via recall de referência e valor preditivo.

Resultos Principais

• Concordância Geral: O modelo de IA demonstrou alta concordância com o médico de referência (kappa de Cohen = 0,842; IC 95% 0,806–0,875; kappa quadrático ponderado = 0,901). Isso excedeu significativamente a concordância entre os TEMs e o médico (κ = 0,629; IC 95% 0,580–0,676). A diferença na concordância (Δκ) favoreceu a IA em 0,213 (p < 0,001).
• Acordo Bruto: A IA alcançou 90,74% de acordo bruto com o médico, comparado a 78,68% para os TEMs.
• Desempenho de Alta Acuidade (Vermelho):
  • Recall: A IA identificou corretamente 92,41% dos pacientes designados como vermelhos pelo médico, enquanto os TEMs identificaram apenas 43,04%. Os TEMs rebaixaram 57,0% dos pacientes vermelhos para amarelo; a IA rebaixou apenas 7,6%.
  • Valor Preditivo (Sobre-triagem): O alto recall da IA ocorreu às custas da sobre-triagem. Apenas 72,28% dos pacientes que a IA rotulou como "vermelhos" foram confirmados como vermelhos pelo médico (28 eram, na verdade, amarelos). Em contraste, os TEMs tiveram um valor preditivo mais alto para vermelho (87,18%), embora tenham perdido mais casos críticos.
• Subgrupos: A vantagem da IA sobre os TEMs foi consistente entre os grupos de sexo e idade. No entanto, no subgrupo de chegada por ambulância (n=67), a diferença não foi estatisticamente significativa após a correção, provavelmente devido ao pequeno tamanho da amostra e ao enriquecimento de alta acuidade.
• Sinais Vitais: O registro incompleto de sinais vitais não afetou materialmente a concordância IA-médico em análises de sensibilidade restritas a pacientes com sinais vitais registrados.

Significância e Alegações
Os autores posicionam este estudo como uma demonstração de prova de conceito, em vez de uma validação de acurácia diagnóstica.

• Concordância vs. Acurácia: O estudo afirma explicitamente que, como a referência é o julgamento subjetivo de um único médico e nenhum desfecho do paciente foi avaliado, os resultados refletem o acordo entre avaliadores, não a validade diagnóstica. O modelo reproduz as tendências de categorização do médico, mas não pode ser afirmado que seja "mais acurado" que um humano.
• Potencial de Rede de Segurança: A capacidade do modelo de identificar pacientes de alta acuidade (vermelhos) de forma mais consistente do que os TEMs (92,41% vs. 43,04% de recall) sugere utilidade potencial como uma rede de segurança para reduzir a sub-triagem, um risco conhecido para desfechos adversos.
• Compromissos (Trade-offs): O estudo destaca um compromisso crítico: o modelo alcança maior sensibilidade para casos críticos, mas ao custo de uma sobre-triagem significativa (reduzindo a eficiência dos recursos).
• Limitações e Trabalho Futuro: Os autores reconhecem que a entrada estruturada compartilhada entre a IA e o médico provavelmente infla o acordo deles em comparação aos TEMs, tornando a diferença IA-TEM um "limite superior" do potencial de vantagem. Eles concluem que, antes da implementação clínica, é necessária uma validação multicêntrica com referências independentes e ancoradas em desfechos para determinar se o modelo pode reduzir a sub-triagem sem impor um ônus inaceitável de sobre-triagem.

Em resumo, o artigo demonstra que um modelo ChatGPT-4o pode mimetizar de perto a categorização de triagem de um médico em um ambiente estruturado de três zonas, superando os TEMs na identificação de casos críticos, mas introduzindo uma taxa mais alta de sobre-triagem. Esses achados apoiam o potencial do modelo como uma ferramenta de suporte à decisão, mas enfatizam a necessidade de validação rigorosa baseada em desfechos antes da implementação clínica.