Performance of Large Language Model on Real-World Patient Histories for Imaging Appropriateness.

Resumo Técnico: Desempenho de Modelo de Linguagem de Grande Escala em Históricos Reais de Pacientes para Adequação de Imagem

Definição do Problema
A dor lombar (LBP) é uma queixa musculoesquelética global prevalente, levando a solicitações frequentes de ressonância magnética (RM) da coluna lombossacra. Revisões sistemáticas indicam que aproximadamente 29–34% dessas solicitações de imagem são inadequadas, muitas vezes carecendo de "sinais de alerta" (red flags), como infecção, malignidade ou trauma. RM desnecessárias aumentam os custos de saúde, a ansiedade do paciente e o risco de sobrediagnóstico. Embora existam ferramentas de suporte à decisão clínica e diretrizes, sua implementação no mundo real é dificultada por desafios de integração ao fluxo de trabalho e fadiga de alertas. Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham emergido como uma alternativa escalável para reduzir a utilização desnecessária, estudos anteriores basearam-se amplamente em cenários clínicos hipotéticos em vez de históricos reais de pacientes, utilizaram um padrão de referência de radiologista único e focaram em versões anteriores de modelos (ex: GPT-4) sem avaliar sistematicamente a ligação entre a qualidade do raciocínio e a confiabilidade da decisão.

Metodologia
Este estudo transversal avaliou a acurácia diagnóstica do GPT-5.2 na classificação da adequação de RM da coluna lombossacra utilizando históricos reais de pacientes e critérios do American College of Radiology (ACR).

• Coleta de Dados: Os dados foram coletados retrospectivamente de 160 pacientes adultos (idade média 48 ± 15 anos; 58% do sexo masculino) que realizaram RM lombossacra entre setembro e novembro de 2025. Pacientes com histórico insuficiente, cirurgia de coluna prévia, suspeita de infecção ou trauma agudo foram excluídos. Um questionário estruturado, validado por cinco especialistas, foi utilizado para coletar históricos clínicos pré-imagem.
• Prompting do Modelo: Os históricos dos pacientes foram inseridos no GPT-5.2 via prompts estruturados, atribuindo ao modelo o papel de radiologista e exigindo que ele classificasse as indicações de RM como "Geralmente Adequadas" (UA), "Podem Ser Adequadas" (MBA), "Geralmente Não Adequadas" (UNA) ou "Informação Clínica Insuficiente" (ICI) com base nas diretrizes do ACR, incluindo raciocínio explícito.
• Padrão de Referência: Dois radiologistas independentes (com 5 e 10 anos de experiência) serviram como o padrão de referência.
  • Fase 1: Os radiologistas avaliaram a adequação com base nos mesmos prompts fornecidos ao LLM, cegos ao output do modelo.
  • Fase 2: Os radiologistas avaliaram a acurácia das recomendações do LLM e a qualidade de seu raciocínio clínico usando uma escala Likert de 5 pontos (1–5), cegos às avaliações um do outro.
• Análise Estatística: A concordância foi medida utilizando o kappa de Cohen ponderado ($\kappa_w$) e o teste de assimetria de Bowker. Para análise binária, UA e MBA foram agrupados como "Adequado", e UNA como "Inadequado". As métricas de desempenho incluíram Sensibilidade, Especificidade, VPP, VPN e Área Sob a Curva (AUC). Análises de subgrupo foram conduzidas com base na qualidade do raciocínio avaliada pelo radiologista (Alta: $\ge$4 vs. Baixa: <4).

Resultados Principais

• Concordância: O GPT-5.2 demonstrou concordância moderada com ambos os radiologistas ($\kappa_w = 0,58$ vs. Radiologista 1; $\kappa_w = 0,50$ vs. Radiologista 2). Este nível de concordância foi comparável à concordância inter-radiologista ($\kappa_w = 0,575$).
• Classificação Binária: O modelo mostrou alta sensibilidade (~85% contra ambos os radiologistas), mas especificidade variável (92,9% vs. Radiologista 1; 61,7% vs. Radiologista 2). O Valor Preditivo Negativo (VPN) foi moderado (57,8% vs. R1; 64,4% vs. R2), indicando uma tendência ao uso de RM conservador (restritivo).
• Poder Discriminatório: A análise ROC mostrou discriminação de boa a excelente contra o Radiologista 1 (AUC 0,891) e de razoável a boa contra o Radiologista 2 (AUC 0,751).
• Correlação da Qualidade do Raciocínio: Um achado crítico foi a forte associação entre a qualidade do raciocínio e a confiabilidade da decisão. Quando os radiologistas avaliaram o raciocínio do modelo como alto ($\ge$4), a concordância exata sobre a adequação foi alta (83,3% vs. R1; 90,4% vs. R2), e a discordância oposta (o tipo de erro mais perigoso) foi baixa (2,3–4,7%). Por outro lado, quando o raciocínio foi avaliado como baixo (<4), a concordância exata caiu para 0–7,1%, e a discordância oposta disparou para 71,4–92,8%.
• Avaliação de Especialistas: Os radiologistas avaliaram o output do modelo de forma positiva, com medianas de escore Likert de 5 (máximo) tanto para adequação quanto para raciocínio.

Significância e Alegações
Os autores afirmam que o GPT-5.2 performa dentro da faixa de variabilidade inter-radiologista ao classificar a adequação de RM lombossacra utilizando históricos reais de pacientes. O estudo destaca que a qualidade do raciocínio do modelo é um preditor robusto de sua confiabilidade de decisão. Especificamente, outputs de raciocínio de alta qualidade correlacionam-se com alta concordância com o julgamento especialista, enquanto o raciocínio de baixa qualidade correlaciona-se com discordância significativa.

O artigo postula que LLMs como o GPT-5.2 têm o potencial de servir como ferramentas de suporte à triagem prévia para reduzir solicitações de imagem desnecessárias. No entanto, os autores enfatizam que esse potencial é contingente à qualidade do raciocínio do modelo, sugerindo um fluxo de trabalho híbrido onde outputs de baixo raciocínio são escalonados para revisão especializada. O estudo conclui que, embora o modelo seja promissor, a integração clínica segura exige supervisão humana contínua, validação prospectiva multicêntrica e o estabelecimento de padrões de referência de consenso para abordar a variabilidade interobservador em casos ambíguos.