Performance evaluation and benchmarking across 16 large language models on a comprehensive real-world emergency department triage data set

Resumo Técnico: Avaliação de Desempenho e Benchmarking de Grandes Modelos de Linguagem em Dados Reais de Triagem de Departamentos de Emergência

Definição do Problema
A triagem em Departamentos de Emergência (DE) é um processo de alto risco que determina a priorização de pacientes e a alocação de recursos sob pressão de tempo. Embora Grandes Modelos de Linguagem (LLMs) tenham sido propostos como ferramentas de suporte à decisão na triagem, as avaliações existentes baseiam-se predominantemente em cenários simulados ou conjuntos de dados curados (ex: MIMIC-IV, NEJM Healer). Há uma carência crítica de evidências sobre o desempenho, a calibração e a reprodutibilidade de LLMs contemporâneos quando aplicados a dados clínicos reais abrangentes e não curados. Além disso, permanece incerto o impacto das estratégias de prompting versus a arquitetura do modelo na precisão da triagem.

Metodologia
Este estudo de benchmarking transversal retrospectivo foi conduzido em um centro de emergência acadêmico terciário na Alemanha, apresentando um Ponto Central de Avaliação (CPA) integrado.

• Conjunto de Dados: O estudo utilizou 16.107 atendimentos de adultos espontâneos consecutivos (outubro de 2023–fevereiro de 2024). Os dados foram extraídos de um sistema de suporte à decisão clínica (CDSS) estruturado, capturando queixas principais (CEDIS-PCL), sinais vitais (estrutura ABCDE) e decisões finais de triagem tomadas por pessoal de enfermagem especializado. Os dados foram totalmente anonimizados.
• Modelos Avaliados: O estudo avaliou 16 configurações, incluindo 14 LLMs individuais (proprietários e de código aberto, variando em tamanho e capacidades de raciocínio), uma estratégia de ensemble ("Conselho de Modelos") e uma abordagem específica de prompting por etapas (stepwise).
• Protocolo de Avaliação:
  • Inputs: Os modelos receberam variáveis clínicas estruturadas para cada atendimento.
  • Outputs: Os modelos foram incumbidos de prever o nível do Índice de Gravidade de Emergência (ESI) (1–5), a alocação setorial (DE vs. Consultório de Cuidados Urgentes/UCP) e um nível de confiança verbalizado autorrelatado (0–100%).
  • Estratégias:
    • Prompting Padrão: Classificação direta baseada nos dados disponíveis.
    • Conselho de Modelos: Agregação de previsões de nove modelos, com um modelo "presidente" determinando o ESI final.
    • ESI Stepwise: Uma abordagem de árvore de decisão estruturada que guia o modelo sequencialmente através do algoritmo ESI (necessidade de intervenção de suporte à vida, características de alto risco, sinais vitis na zona de perigo, estimativa de recursos).
  • Reprodutibilidade: Um subconjunto de 100 pacientes foi consultado 100 vezes cada (10.000 classificações no total) utilizando inputs idênticos para medir a variabilidade estocástica.
• Métricas: Os desfechos primários incluíram concordância medida pelo $\kappa$ de Cohen ponderado quadrático ($\kappa_{qw}$), padrões de erro de classificação (sobretriagem/subtriagem), Erro de Calibração Esperado (ECE) e reprodutibilidade de saída.

Principais Resultados

• Precisão de Triagem (Classificação ESI):
  • O desempenho foi altamente heterogêneo entre os modelos. Os valores de $\kappa$ ponderado quadrático variaram de 0,18 (GPT 5 Nano) a 0,75.
  • Apenas a abordagem ESI Stepwise alcançou concordância "substancial" ($\kappa_{qw} = 0,747$), aproximando-se do limite inferior da confiabilidade inter-avaliador relatada em humanos.
  • A maioria dos outros modelos demonstrou concordância apenas "moderada" a "razoável" ($\kappa_{qw}$ 0,18–0,52).
  • Os erros mais comuns ocorreram entre níveis adjacentes, particularmente entre ESI 3 e ESI 4.
• Alocação Setorial (DE vs. UCP):
  • A concordância na atribuição setorial foi uniformemente baixa em todos os modelos ($\kappa \leq 0,30$).
  • As má alocações foram frequentes; por exemplo, alguns modelos alocaram incorretamente até 75% dos pacientes destinados à DE para o UCP, ou vice-versa.
• Viés e Calibração:
  • Excesso de Confiança: Todos os 14 modelos avaliados individualmente foram sistematicamente excessivamente confiantes. Os índices de excesso de confiança variaram de +5,2 a +33,7 pontos percentuais (confiança verbalizada média menos a precisão real).
  • Calibração: O Erro de Calibração Esperado (ECE) foi alto (0,099–0,355). A confiança verbalizada não mostrou associação significativa com respostas corretas (Confiança-Precisão $\approx$ 0), indicando que os modelos não conseguem sinalizar sua própria incerteza de forma confiável.
  • Viés Direcional: 13 dos 16 modelos exibiram sobretriagem líquida (atribuindo maior gravidade do que os enfermeiros), enquanto a abordagem ESI Stepwise e as variantes do GPT 5 Nano mostraram subtriagem significativa.
• Reprodutibilidade:
  • A saída foi não-determinística para uma minoria substancial de casos. No experimento de reprodutibilidade, 23% dos pacientes receberam sua classificação ESI mais comum em menos de 70 de 100 execuções.
  • A votação majoritária ao longo de 100 execuções não melhorou significativamente a precisão, sugerindo que a variabilidade provém de uma incerteza genuína nas fronteiras de decisão, e não de simples ruído de amostragem.

Principais Contribuições

1. Benchmarking de Mundo Real: Este é o primeiro estudo a avaliar sistematicamente mais de uma dúzia de LLMs contemporâneos em um conjunto de dados real abrangente e não curado de um departamento de emergência ativo, indo além de vinhetas fictícias ou arquivos curados.
2. Prompting vs. Arquitetura: O estudo demonstra que a estratégia de prompting é mais influente do que o tamanho ou a arquitetura do modelo. Uma abordagem stepwise estruturada e guiada por algoritmos superou significativamente modelos de alto raciocínio que utilizavam prompts não estruturados, sugerindo que codificar a lógica clínica no prompt é crítico para o desempenho.
3. Análise de Segurança e Confiabilidade: O artigo quantifica empiricamente a variabilidade da saída dos LLMs em um ambiente clínico, revelando que uma parte significativa dos casos gera classificações inconsistentes mesmo com inputs idênticos. Também destaca a vulnerabilidade crítica de segurança dos escores de confiança verbalizados não calibrados.

Significância e Alegações
Os autores concluem que os atuais grandes modelos de linguagem demonstram desempenho heterogêneo e geralmente limitado em tarefas reais de triagem de emergência. Embora os LLMs possuam potencial como ferramentas de suporte, suas características atuais — especificamente a falta de calibração, as saídas não-determinísticas para um subconjunto de pacientes e a baixa precisão na alocação setorial — não sustentam a implantação autônoma ou de segurança crítica em ambientes de triagem clínica.

O estudo enfatiza que melhorias na calibração, confiabilidade e integração ao fluxo de trabalho são pré-requisitos para a implementação clínica. Sugere que o desenvolvimento futuro deve priorizar o prompting estruturado guiado por algoritmos e a validação regulamentar em ambientes prospectivos, em vez de simplesmente selecionar modelos maiores ou mais complexos. Os achados reforçam a necessidade de mecanismos de calibração externa e alertam contra a apresentação de escores de confiança autorrelatados aos clínicos como estimativas de probabilidade.