GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

Resumo Técnico: GPT-5 versus Residentes Seniores de Anestesiologia e Terapia Intensiva em Casos Clínicos Sequenciais

Definição do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado alta precisão em exames de licenciamento médico, as métricas de desempenho em testes de múltipla escolha não elucidam o quão explicitamente uma resposta documenta o processo de raciocínio clínico subjacente. O raciocínio clínico é uma atividade cognitiva dependente de contexto que envolve representação de problemas, geração de hipóteses e interpretação de evidências. A literatura existente frequentemente carece de designs empíricos rigorosos que comparem LLMs com estagiários especificamente nestas habilidades de documentação de raciocínio. Além disso, há uma escassez de evidências sobre o desempenho de LLMs em ambientes de formação de pós-graduação em língua francesa, particularmente em contextos médicos do Norte da África. Este estudo aborda a lacuna entre "respostas corretas" e "raciocínio documentado", comparando a qualidade dos outputs de raciocínio clínico escritos entre um LLM de última geração (GPT-5) e estagiários médicos.

Metodologia
O estudo foi um piloto comparativo transversal de centro único, realizado no Centre Hospitalier Universitaire Ibn Rochd em Casablanca, Marrocos.

• Participantes: O estudo utilizou um censo exaustivo de 14 residentes do quarto ano de anestesiologia e terapia intensiva (100% de participação).
• Estímulos: Vinte casos clínicos reais e totalmente anonimizados (2020–2024) foram selecionados e padronizados. Os casos foram divididos em duas partes sequenciais: Parte 1 (história, antecedentes, exame físico) e Parte 2 (resultados laboratoriais e de imagem).
• Alocação de Tarefas: Cada residente completou quatro casos distintos (56 respostas totais de residentes). O GPT-5 completou todos os 20 casos uma vez. O design foi uma estrutura de bloco incompleto onde cada residente foi pareado com o GPT-5 nos mesmos quatro casos para a análise primária.
• Engenharia de Prompt: O GPT-5 foi acessado via API da OpenAI (alias do modelo gpt-5, temperatura 0.3, esforço de raciocínio "médio"). O prompt atribuiu ao modelo o papel de um anestesiologista intensivista e solicitou explicitamente um output estruturado espelhando os componentes do Revised-IDEA (R-IDEA): um checklist conceitual, uma representação de problema concisa, investigações priorizadas e um diagnóstico diferencial com evidência explícita a favor e contra cada hipótese. O modelo não recebeu o diagnóstico de referência nem a rubrica de pontuação.
• Avaliação: Dois membros do corpo docente desenvolveram rubricas de referência específicas para cada caso baseadas no instrumento R-IDEA. Um avaliador mascarado pontuou todas as respostas (residentes e GPT-5) contra estas rubricas. A pontuação R-IDEA (0–10) avalia quatro domínios: Resumo Interpretativo, Diagnóstico Diferencial, Explicação do Diagnóstico Principal e Explicação de Diagnósticos Alternativos.
• Análise Estatística: A análise primária utilizou um teste t de Student pareado comparando a pontuação média total R-IDEA de cada residente (através dos seus quatro casos) contra a pontuação média do GPT-5 nos mesmos quatro casos. A precisão diagnóstica foi reportada descritivamente.

Resultos Principais

• Desfecho Primário: O GPT-5 alcançou uma pontuação média total R-IDEA significativamente superior (9.5, DP 0.9) em comparação aos residentes (7.0, DP 2.4). A diferença média pareada foi de 2.5 pontos a favor do GPT-5 (IC 95% 1.4–3.6; p < 0.001). O tamanho do efeito foi grande (d_z pareado = 1.39).
• Desempenho por Domínio: O GPT-5 superou os residentes em todos os quatro domínios R-IDEA. A maior diferença absoluta ocorreu no domínio "Resumo Interpretativo" (diferença de 1.0 ponto). As pontuações do GPT-5 concentraram-se próximo ao máximo da escala, sugerindo um potencial efeito de teto, enquanto as pontuações dos residentes mostraram maior variabilidade (Coeficiente de Variação: 34% para residentes vs. 9% para GPT-5).
• Precisão Diagnóstica: O GPT-5 identificou o diagnóstico de referência da faculdade em 75% dos casos (15/20), enquanto a precisão diagnóstica média para os residentes foi de 68%. O design do estudo impediu a comparação estatística inferencial destas percentagens devido a observações não independentes e replicação desigual de casos.

Principais Contribuições

• Replicação Conceitual num Novo Contexto: Este estudo estende achados anteriores (ex., Cabral et al.) relativos à IA generativa e raciocínio clínico para um cenário de língua francesa, um centro acadêmico marroquino e uma coorte sênior de anestesiologia.
• Diferenciação de Documentação vs. Competência: O estudo distingue explicitamente entre a qualidade do raciocínio documentado (no qual o GPT-5 se destacou sob o prompt específico) e a competência clínica ou desempenho à beira do leito real.
• Framework Metodológico: Demonstra um protocolo para comparar outputs de LLM contra o trabalho escrito de estagiários utilizando rubricas estruturadas (R-IDEA) e mascaramento de fonte, destacando a importância do alinhamento do prompt com os critérios de avaliação.

Significância e Alegações
Os autores concluem que, sob um prompt alinhado aos componentes R-IDEA, o GPT-5 produz uma documentação de raciocínio clínico escrito que pontua mais alto do que os residentes seniores. No entanto, o artigo mantém uma postura modesta sobre as implicações deste achado:

• Não há Alegação de Superioridade de Competência: Os autores afirmam explicitamente que pontuações de documentação mais altas não estabelecem superioridade de competência clínica, equivalência diagnóstica ou eficácia educacional.
• Hipótese Educacional: A principal significância reside no potencial do GPT-5 para servir como um "andaime de documentação de raciocínio" (reasoning-documentation scaffold). Os autores propõem que os outputs do GPT-5, validados e supervisionados pelo corpo docente, poderiam ser usados como exemplos resolvidos para ajudar os residentes a comparar as suas próprias representações de problemas contra um modelo estruturado, tornando o raciocínio mais visível.
• Limitações e Direções Futuras: O estudo reconhece limitações, incluindo o design de centro único, o uso de um único avaliador, a falta de uma segunda execução do modelo para avaliar a variabilidade estocástica e o alinhamento específico do prompt com a rubrica, o que pode ter favorecido o modelo. Os autores sugerem que pesquisas futuras devam envolver ensaios educacionais prospectivos e de múltiplos avaliadores para testar se o uso de exemplos resolvidos gerados pelo modelo realmente melhora os resultados dos alunos sem induzir o viés de automação.