🤖 AI

EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses

Este artigo apresenta o EarlyDx, um benchmark de larga escala para diagnóstico de emergência aberto e baseado em evidências utilizando apenas dados de admissão do MIMIC-IV, o qual revela que os atuais grandes modelos de linguagem têm dificuldade em inferir diagnósticos de forma confiável a partir de evidências iniciais limitadas, apesar das melhorias de pós-treinamento.

Autores originais: Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Publicado 2026-08-03

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiahui Li, Ruili Fang, Zishuai Liu, Yutong Guo, Nan Yang, Wenzhan Song, Jin Lu, Fei Dou

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um mistério, mas só tem permissão para observar a cena do crime pelos primeiros cinco minutos. Você tem um caderno cheio de pistas: uma pegada de lama, uma janela quebrada e uma testemunha que ainda está tremendo. Seu trabalho é adivinhar o que aconteceu exatamente agora, antes da polícia chegar, antes dos testes de laboratório voltarem e antes do suspeito confessar. Este é o cotidiano de médicos em uma Unidade de Emergência (UE). Eles devem fazer um "diagnóstico de trabalho" — um palpite sobre o que há de errado com o paciente — usando apenas as informações limitadas disponíveis no momento em que o paciente entra pela porta.

Por muito tempo, cientistas tentaram ensinar computadores a fazer esse trabalho usando Inteligência Artificial (IA). Eles construíram "benchmarks", que são como notas de testes para a IA, para ver o quão inteligentes essas máquinas são. Mas a maioria desses testes era manipulada. Eles davam à IA toda a história da permanência do paciente no hospital (incluindo o diagnóstico final feito dias depois) e pediam que ela previsse o início. É como dar ao detetive a solução do mistério e pedir que ele adivinhe as pistas. Além disso, esses testes forçavam a IA a escolher de uma lista curta e fixa de respostas, como um teste de múltipla escolha, em vez de deixá-la escrever sua própria resposta em linguagem livre. Este artigo, chamado EarlyDx, decide consertar o jogo. Ele constrói um novo teste mais justo que força a IA a agir como um verdadeiro médico de emergência: observando apenas as evidências disponíveis no exato momento da admissão e escrevendo um diagnóstico em texto livre, exatamente como um humano faria.

O Novo Jogo: EarlyDx

Os pesquisadores criaram um novo playground massivo chamado EarlyDx, construído a partir de mais de 154.000 visitas reais a prontos-socorros. Imagine uma biblioteca gigante de histórias de pacientes. Nesta biblioteca, eles cortaram cuidadosamente cada história exatamente no momento em que o paciente era admitido no hospital. Eles descartaram quaisquer notas escritas posteriormente, quaisquer resultados de exames que retornaram no dia seguinte e quaisquer diagnósticos finais feitos após o tratamento completo do paciente. Eles mantiveram apenas as evidências do "momento da admissão": a idade do paciente, sua queixa principal (o que dói), seus sinais vitais e quaisquer testes imediatos, como raios-X ou monitores cardíacos, que foram realizados naquele instante.

Mas aqui está a parte difícil: as "respostas" nesta biblioteca não são apenas os diagnósticos finais. Os pesquisadores usaram uma IA "auditora" especial para verificar cada diagnóstico registrado no prontuário do paciente. Eles perguntaram: "Este diagnóstico pode ser comprovado apenas pelas evidências que temos no momento da admissão?"

Suportado: A evidência está lá (ex: um raio-X mostra um osso quebrado).
Parcialmente Suportado: A evidência é um indício, mas não é uma certeza absoluta (ex: o paciente tem histórico de diabetes, mas ainda não temos um exame de sangue).
Não Suportado: O diagnóstico é verdadeiro, mas não poderíamos tê-lo conhecido na admissão (ex: uma cultura de sangue que leva três dias para crescer).

Os modelos de IA são avaliados apenas pelas respostas "Suportadas" e "Parcialmente Suportadas". Se a IA adivinhar um diagnóstico que exige informações que ainda não tínhamos, ela não recebe crédito. Isso garante que o teste meça o raciocínio real, não apenas um palpite de sorte ou a memorização da chave de respostas final.

A Grande Surpresa: A IA Depende de Texto Explícito

Quando os pesquisadores rodaram seus testes, descobriram algo surpreendente. Eles testaram os modelos de IA mais inteligentes do mundo, incluindo modelos de uso geral gigantescos e modelos médicos especializados. Os resultados mostraram que a maioria desses modelos "zero-shot" (modelos que não foram especificamente treinados para este novo teste) são, na verdade, péssimos em inferir um diagnóstico.

Em vez de pensar como um detetive, eles agem como uma fotocopiadora. Cerca de 43% das vezes, o diagnóstico correto estava escrito literalmente nas notas do paciente (ex: a nota dizia "suspeita de pneumonia" e a IA apenas copiou "pneumonia"). Quando a IA tinha que inferir um diagnóstico — conectando pontos que não estavam explicitamente declarados — esses modelos colapsavam. Eles consegravam encontrar apenas de 3% a 31% dos diagnósticos ocultos. É como um aluno que consegue copiar a resposta se ela estiver escrita no quadro, mas falha completamente se tiver que resolver o problema matemático por conta própria.

Mesmo quando os pesquisadores fizeram o "fine-tuning" (retreinamento) de um modelo de IA menor para esta tarefa específica, ele melhorou muito, mas ainda não alcançou o nível de um médico humano. O modelo ajustado conseguiu encontrar cerca de 56% dos diagnósticos ocultos, o que é uma grande melhoria, mas ainda deixa para trás muitos casos críticos.

O Fator Humano e a Lacuna de "Tempo Crítico"

O estudo também comparou esses modelos de IA com um médico real que analisou as mesmas notas de admissão. O médico humano foi muito melhor em encontrar as pistas ocultas, capturando cerca de 68% dos diagnósticos suportados. No entanto, o médico humano também listou muitas outras possibilidades, criando um "diagnóstico diferencial" (uma lista do que poderia ser). Os modelos de IA tendiam a listar coisas demais (sendo muito vagos) ou poucas coisas (perdendo o perigo).

A descoberta mais preocupante surgiu quando observaram as condições de tempo crítico — emergências de vida ou morte, como ataques cardíacos, derrames ou sepse. Nesses casos, perder um diagnóstico é muito pior do que dar um alarme falso. O médico humano estabelece um equilíbrio cuidadoso: ele sinaliza muitos perigos potenciais para ser seguro. Os modelos de IA, contudo, lutaram para encontrar esse equilíbrio. Alguns eram tão cautelosos que perdiam o perigo; outros eram tão imprudentes que sinalizavam tudo. Nenhum sistema de IA testado até agora conseguiu igualar a habilidade do médico humano de dizer: "Isso parece perigoso, vamos investigar", com o nível correto de confiança.

O Veredito

O artigo conclui que, embora a IA esteja ficando melhor em ler notas médicas, ela ainda não está pronta para substituir o trabalho de detetive humano exigido em uma unidade de emergência. Os modelos atuais são majoritariamente bons em extração (encontrar o que já está escrito), mas ruins em inferência (compreender o que está implícito). Os pesquisadores sugerem que, para a IA ser verdadeiramente útil, ela precisa aprender a raciocinar com incerteza, admitindo quando não tem certeza e sinalizando perigos potenciais, em vez de apenas tentar adivinhar a resposta final. Até lá, o jogo do "diagnóstico precoce" continua sendo uma especialidade humana, com a IA atuando como um assistente útil, porém imperfeito.

Resumo Técnico: EarlyDx

Declaração do Problema

O diagnóstico clínico no momento da admissão hospitalar requer a síntese de evidências limitadas e incompletas (sinais vitais, exames laboratoriais, imagem, histórico) para formar um diagnóstico de trabalho sob incerteza. Os benchmarks existentes para diagnóstico médico são inadequados para avaliar os modernos Modelos de Linguagem de Grande Escala (LLMs) neste cenário específico devido a três limitações primárias:

Rótulos de Conjunto Fechado: Os diagnósticos são mapeados para conjuntos fixos de códigos ICD, descartando a nuance clínica e a informação perdida durante a conversão de texto para código.
Modalidades Restritas: Os benchmarks frequentemente excluem sinais ricos de texto livre (queixas principais, achados radiológicos) em favor de características tabulares.
Inconsistência Temporal: Os modelos recebem entradas do momento da admissão, mas são supervisionados com diagnósticos de alta que incorporam todo o curso intra-hospitalar, incluindo informações indisponíveis no momento da admissão.

Consequentemente, os benchmarks atuais falham em distinguir entre a capacidade de um modelo de extrair informações explícitas de um registro e sua capacidade de inferir diagnósticos a partir de sinais parcialmente observados.

Metodologia

Os autores introduzem o EarlyDx, um benchmark de larga escala ( $N=154.834$ encontros) derivado do MIMIC-IV, projetado para avaliar o diagnóstico precoce de vocabulário aberto, ancorado estritamente ao tempo de admissão ( $t_0$ ).

Construção dos Dados

Coorte: Inclui todos os encontros no departamento de emergência (ED) que resultaram em admissão hospitalar.
Entrada: Um prompt de texto serializado contendo apenas os registros disponíveis no ou antes de $t_0$ (tempo de admissão). Isso inclui demografia, queixa principal, sinais vitais de triagem, sinais vitais seriados da emergência, medicações domiciliares, medições de base, resultados de exames laboratoriais, interpretações de ECG, achados radiológicos e histórico prévio. Sinais fisiológicos e de imagem são renderizados como achados de relatórios, não como dados brutos.
Rótulos: Os diagnósticos de referência são os títulos de vocabulário aberto do ICD da tabela de diagnóstico do encontro da emergência, em vez de códigos de conjunto fechado ou diagnósticos de alta.

Verificação Baseada em Evidências

Uma inovação crítica é o uso de um auditor de LLM (MiniMax M3) para verificar cada rótulo de texto livre contra a evidência do tempo de admissão. Os rótulos são categorizados em:

Suportados: A evidência direta no input (exames, imagem, sinais vitais) substancia o diagnóstico.
Parcialmente Suportados: A evidência é indireta ou circunstancial (ex: histórico passado, medicações domiciliares), mas não definitiva na admissão.
Não Suportados: O diagnóstico depende de informações indisponíveis na admissão (ex: culturas microbiológicas, investigação pós-admissão).

A trilha de avaliação primária pontua os modelos apenas em rótulos totalmente suportados (32,7% do total de rótulos), garantindo que o benchmark meça a inferência diagnóstica em vez da recuperação de informações futuras.

Protocolo de Avaliação

Correspondência Semântica: A correspondência exata de strings é pouco confiável para texto livre. Os autores empregam um protocolo de LLM-como-juiz (Qwen3.5-27B) para computar a correspondência um-para-um entre os diagnósticos previstos e de referência, lidando com sinônimos e abreviações.
Métricas: São reportados a Precisão, Recall e F1 de média micro.
Baselines: O estudo avalia LLMs de zero-shot gerais (ex: GPT-5.5, Claude Opus), LLMs especializados em medicina (ex: MedGemma, HuatuoGPT) e um modelo pós-treinado (Qwen3.5-4B ajustado com Cadeia de Pensamento condicionada a ouro).

Principais Contribuições

Benchmark Ancorado na Admissão: Um conjunto de dados de larga escala onde a supervisão é estritamente limitada à evidência disponível na admissão, utilizando rótulos de texto livre de vocabulário aberto em vez de códigos fechados.
Verificação de Evidência: Um pipeline que filtra rótulos com base em se eles são suportados pela evidência de entrada, separando tarefas de "extração" de tarefas de "inferência".
Análise Empírica das Capacidades de LLM: Uma avaliação sistemática mostrando que os LLMs atuais têm dificuldade com a inferência de diagnóstico precoce, frequentemente dependendo da extração de texto em vez de raciocinar sobre a incerteza.

Resultados

Lacuna de Desempenho: Modelos zero-shot (tanto gerais quanto médicos) geralmente pontuam abaixo de 0,40 F1 na trilha primária. O pós-treinamento gera ganhos significativos, com o Qwen3.5-4B ajustado alcançando um F1 de 0,51 nos rótulos suportados, superando o baseline zero-shot mais forte em +0,11.
Extração vs. Inferência:
- 43% dos diagnósticos suportados aparecem literalmente no input (explícitos). Modelos zero-shot recuperam 37–65% destes.
- 57% dos diagnósticos suportados são implícitos (devem ser inferidos). Modelos zero-shot recuperam apenas 3–31% destes, com modelos especializados em medicina recuperando tão pouco quanto 3–6% e modelos gerais recuperando 9–31%.
- O pós-treinamento melhora o recall implícito para 56% para o modelo ajustado, mas uma lacuna significativa permanece em comparação ao desempenho humano.
Condições Críticas de Tempo: Em seis diagnósticos críticos de tempo (ex: infarto do miocárdio, sepse), nenhum sistema avaliado atinge o equilíbrio de sensibilidade e precisão de um clínico. Modelos zero-shot tendem a ter alta sensibilidade, mas precisão muito baixa (25–28%), enquanto o modelo pós-treinado alcança alta precisão (78%), mas menor sensibilidade (54%).
Referência Humana: Um clínico humano avaliou os mesmos inputs e alcançou o maior recall suportado (0,68), mas um F1 comparável aos melhores modelos zero-shot, devido à sobre-predição (listando um diferencial amplo), sugerindo que até especialistas têm dificuldade em estreitar o diferencial sem o encontro clínico completo.

Significância e Alegações

O artigo afirma que o EarlyDx revela uma limitação fundamental nos LLMs atuais: eles são eficazes na extração de diagnósticos explicitamente declarados nos registros, mas falham em sintetizar evidências para inferir diagnósticos sob incerteza.

Descoberta Negativa, mas Útil: O benchmark demonstra que LLMs de fronteira, tanto gerais quanto médicos, não sintetizam de forma confiável a evidência do tempo de admissão. O gargalo não é o conhecimento médico, mas a capacidade de traduzir esse conhecimento em um diagnóstico calibrado sob incerteza.
Validade da Avaliação: Ao filtrar rótulos baseados em evidências de suporte, o benchmark evita o "vazamento temporal" do uso de diagnósticos de alta, proporcionando um teste mais rigoroso da capacidade de diagnóstico precoce.
Limitações: Os autores observam que os rótulos de referência são códigos administrativos de faturamento (não diagnósticos clínicos adjudicados) e que o input carece de achados de exame físico (ex: aparência do paciente), o que limita o teto alcançável tanto para modelos quanto para humanos. Eles sugerem que trabalhos futuros explorem predições graduais (ex: diagnósticos "suspeitos") para melhor alinhar com a prática clínica, onde perigos não confirmados devem ser levantados.

O artigo conclui que, embora o pós-treinamento reduza a lacuna, nenhum sistema atual atinge o ponto de operação de um clínico para condições críticas de tempo, destacando a necessidade de mais pesquisas em raciocínio baseado em evidências sob incerteza.