Comparison of the Diagnostic Reliability of ChatGPT in Letournel–Judet Acetabulum Fracture Classification Based on Judet Radiographs According to Orthopaedic Residents

Resumo Técnico: Confiabilidade Diagnóstica do ChatGPT-4o na Classificação de Fraturas Acetabulares de Letournel–Judet

Definição do Problema
As fraturas acetabulares representam lesões ortopédicas complexas que exigem uma avaliação radiográfica precisa para o planejamento cirúrgico. O sistema de classificação de Letournel–Judet é o padrão para essas lesões, porém é conhecido pela moderada variabilidade interobservador, mesmo entre cirurgiões de trauma experientes. Embora a Inteligência Artificial (IA) e os Modelos de Linguagem de Grande Escala (LLMs) tenham demonstrado sucesso na detecção de fraturas mais simples e características radiográficas básicas, sua eficácia em navegar pela sofisticada integração espacial de múltiplas etapas, necessária para a classificação complexa de fraturas acetabulares, permanece inexplorada. Este estudo aborda a lacuna na literatura sobre se os modelos atuais de IA multimodal podem servir de forma confiável como ferramentas de suporte à decisão para esta tarefa específica de alta complexidade.

Metodologia
Este estudo observacional retrospectivo avaliou 184 casos anonimizados de fraturas acetabulares tratados cirurgicamente entre maio de 2022 e dezembro de 2026 no Hospital Ankara Bilkent City.

• Fonte de Dados: Radiografias Judet padrão (projeções anteroposterior, oblíqua ilíaca e oblíqua obturadora) foram coletadas. Casos com fraturas não acetabulares, imagens incompletas ou cirurgia pélvica prévia foram excluídos.
• Avaliação por IA: O ChatGPT-4o foi utilizado como o principal modelo de IA. Uma estratégia de prompting estruturada foi empregada, realizando o upload de um artigo de checklist radiográfico sistemático (Brandser e Marsh) para o modelo. O modelo foi instruído a responder a sete perguntas binárias específicas sobre marcos radiográficos (ex: interrupção da linha ilioisquiática, presença do sinal do esporão, fratura da parede posterior) individualmente antes de sintetizar uma classificação final de Letournel–Judet.
• Avaliação Humana: Dois residentes de ortopedia do quarto ano classificaram independentemente as mesmas radiografias sem acesso a exames de TC ou dados intraoperatórios.
• Padrão de Referência: Um cirurgião de trauma experiente, com mais de uma década de experiência em trauma pélvico, serviu como o padrão de referência. Crucialmente, o padrão de referência teve acesso a tomografias computadorizadas multiplanares e registros intraoperatórios, enquanto a IA e os residentes estavam cegos a esses dados avançados.
• Análise Estatística: A acurácia diagnóstica foi calculada em relação ao padrão de referência. A concordância interobservador foi medida pelo coeficiente kappa de Cohen, e as diferenças de desempenho foram analisadas pelo teste de McNemar.

Resultos Principais
O estudo apresentou contrastes marcantes entre o desempenho humano e o modelo de IA:

• Acurácia Diagnóstica Geral: O ChatGPT-4o alcançou uma acurácia de classificação final de apenas 17,9% (33/184 casos). Em comparação, os dois residentes de ortopedia alcançaram acurácias de 88,6% e 91,8%, respectivamente.
• Métricas de Concordância:
  • Os residentes mostraram concordância "quase perfeita" com o padrão de referência (Kappa = 0,860 e 0,900).
  • O ChatGPT-4o demonstrou concordância "negligenciável" com o padrão de referência (Kappa = -0,014) e apenas "leve" concordância com os residentes (Kappa = 0,095–0,112).
  • A diferença de desempenho entre os residentes e a IA foi estatisticamente significativa (p < 0,001).
• Identificação de Marcos vs. Síntese: Embora o ChatGPT-4o tenha mostrado acurácia moderada na identificação de marcos isolados (ex: fratura da asa ilíaca em 82,1%, sinal do esporão em 86,4%), sua acurácia geral de checklist foi de 67,9%. O modelo teve dificuldades significativas com tarefas de integração complexa, como determinar se uma fratura dividia o acetábulo em metades superior/inferior ou anterior/posterior (56,0% de acurácia) e detectar fraturas da parede posterior (52,7% de acurácia).
• Padrões de Erro: A análise da matriz de confusão revelou um viés sistemático onde o ChatGPT-4o frequentemente classificava erroneamente vários tipos de fraturas (incluindo fraturas de parede posterior, coluna posterior e tipo T) como fraturas de "ambas as colunas". Notavelmente, o modelo falhou em classificar corretamente qualquer fratura verdadeira de coluna posterior ou de parede anterior–coluna.

Significância e Alegações
O artigo alega que os modelos atuais de IA multimodal, especificamente o ChatGPT-4o, são fundamentalmente inadequados para classificar fraturas acetabulares complexas utilizando o sistema de Letournel–Judet. Os autores afirmam que a falha do modelo não é meramente uma falta de reconhecimento visual de marcos individuais, mas uma falha na "síntese de decisão hierárquica" — a incapacidade de integrar dados binários adquiridos sequencialmente em um padrão de fratura global coerente.

O estudo conclui que o uso deste modelo de IA como ferramenta diagnóstica ou de suporte à decisão na prática clínica para trauma pélvico não é definitivamente recomendado devido à sua acurácia inaceitavelmente baixa e incapacidade de integrar de forma confiável múltiplos marcos radiográficos em comparação com residentes clínicos. Os autores sugerem que, embora essas ferramentas mostrem potencial para aplicações futuras, particularmente no treinamento, elas carecem atualmente das capacidades de síntese espacial e anatômica exigidas para a classificação de traumas complexos. O artigo enfatiza que, até que esses sistemas evoluam para dominar tais tarefas de múltiplas etapas, a supervisão clínica especializada permanece o único padrão confiável.