High Overall Performance but Limited Multidisciplinary Depth: A Cross- Sectional Evaluation of ChatGPT in Pathological Fractures of Plasma Cell Tumors

Resumo Técnico: Avaliação Transversal do ChatGPT em Fraturas Patológicas de Tumores de Células Plasmáticas

Definição do Problema
Modelos de linguagem de grande escala (LLMs) são cada vez mais utilizados por pacientes para acessar informações médicas; no entanto, seu desempenho em cenários oncológicos multidisciplinares complexos permanece subavaliado. Embora estudos anteriores tenham avaliado a IA em estruturas de especialidade única, há uma lacuna na compreensão de como esses modelos lidam com a tomada de decisão coordenada necessária para fraturas patológicas associadas a tumores de células plasmáticas (ex: plasmocitoma solitário e mieloma múltiplo). Estas condições exigem uma colaboração intrincada entre cirurgiões ortopédicos e oncologistas radioterápicos em relação à estabilização cirúrgica, cronologia da radioterapia e sequenciamento de tratamento. O estudo aborda a necessidade de determinar se as respostas geradas por IA podem abordar de forma precisa e consistente perguntas orientadas ao paciente através desses domínios clínicos divergentes.

Metodologia
Este estudo transversal avaliou o desempenho do ChatGPT-5.1 (OpenAI) utilizando uma estrutura estruturada:

• Geração de Perguntas: Um painel multidisciplinar de quatro especialistas seniores (dois cirurgiões ortopédicos e dois oncologistas radioterápicos, cada um com >20 anos de experiência) desenvolveu 25 perguntas orientadas ao paciente. Estas foram derivadas de encontros ambulatoriais do mundo real e discussões de comitês de tumores (tumor boards), categorizadas em cinco domínios: (1) Diagnóstico e Compreensão, (2) Estabilização Cirúrgica, (3) Radioterapia, (4) Sequenciamento de Tratamento e (5) Recuperação e Acompanhamento.
• Geração de Respostas: As perguntas foram enviadas individualmente à IA via um prompt neutro padronizado ("Por favor, responda à seguinte pergunta de uma forma que o paciente possa entender facilmente") em sessões de chat temporárias separadas para minimizar efeitos de memória. Apenas a primeira resposta gerada foi registrada.
• Avaliação: Quatro médicos especialistas (o mesmo painel) avaliaram as respostas de forma independente usando uma escala Likert de 5 pontos em cinco critérios: Precisão Científica, Suficiência de Informação, Compreensibilidade para o Paciente, Relevância Clínica e Atualidade da Informação. Os avaliadores foram cegados para as avaliações uns dos outros.
• Análise Estatística: A confiabilidade interexaminador foi avaliada por meio de Coeficientes de Correlação Intraclasse (ICC) baseados em um modelo de efeitos aleatórios de duas vias. As diferenças entre avaliadores e critérios foram analisadas usando o teste de Friedman. A legibilidade foi avaliada por métricas Flesch–Kincaid.

Resultados Principais

• Desempenho Geral: A IA alcançou uma pontuação média geral alta de 21,90 ± 0,83 de 25, indicando um desempenho geralmente alto em precisão e clareza.
• Variabilidade de Domínio: O desempenho foi mais alto em "Diagnóstico e Compreensão" (22,55 ± 0,62) e "Radioterapia" (22,15 ± 0,74). Pontuações ligeiramente menores foram observadas em domínios multidisciplinares que exigem raciocínio complexo, especificamente em "Estabilização Cirúrgica" (21,60 ± 0,72) e "Sequenciamento de Tratamento" (21,65 ± 0,42).
• Critérios de Avaliação: A "Compreensibilidade para o Paciente" recebeu consistentemente as pontuações mais altas (até 4,80 ± 0,21), enquanto a "Suficiência de Informação" foi o critério consistentemente mais baixo (média ≈ 3,95), particularmente em contextos cirúrgicos e de sequenciamento. Isso sugere que as respostas são claras, mas podem carecer de profundidade técnica.
• Confiabilidade Interexaminador: O acordo entre os avaliadores especialistas foi baixo no geral, com valores de ICC variando de negativos a moderados. Notavelmente, valores de ICC negativos foram observados em "Estabilização Cirúrgica" e "Sequenciamento de Tratamento", indicando que os julgamentos dos avaliadores divergiram significativamente, muitas vezes excedendo as expectativas de acaso.
• Legibilidade: O Nível de Série Flesch–Kincaid foi calculado em 8,05, correspondendo a um nível de leitura de 10ª a 12ª série (ensino médio/final do fundamental).

Principais Contribuições

1. Estrutura Multidisciplinar: Diferente de avaliações anteriores de especialidade única, este estudo testou explicitamente o desempenho da IA através da interface entre a cirurgia ortopédica e a oncologia radioterápica, destacando como as expectativas disciplinares influenciam a avaliação do output da IA.
2. Identificação da Variabilidade como uma Característica: O estudo reformula a baixa confiabilidade interexaminador observada não apenas como uma falha estatística, mas como um reflexo da inerente complexidade e dependência de contexto do julgamento clínico multidisciplinar. A divergência na pontuação ressalta que a "adequação clínica" é interpretada de forma diferente por diferentes especialidades.
3. Diferenciação de Capacidades: A pesquisa delineia uma distinção clara entre a força da IA em sintetizar informações gerais e amigáveis ao paciente e sua relativa fraqueza em fornecer a profundidade matizada e acionável necessária para o sequenciamento de tratamento complexo e tomada de decisão cirúrgica.

Significância e Alegações
O artigo conclui que, embora o ChatGPT gere respostas claras, geralmente precisas e amigáveis ao paciente, adequadas para educação geral e explicação conceitual, ele atualmente funciona como um "explicador generalista" em vez de uma "ferramenta de decisão de nível especialista". Os autores afirmam que, no contexto de fraturas patológicas em tumores de células plasmáticas, a IA deve ser vista como uma ferramenta informativa adjunta para apoiar a literacia do paciente, mas é insuficiente para substituir o julgamento clínico especializado em cenários multidisciplinares complexos. O estudo enfatiza que a variabilidade na avaliação especializada reflete a complexidade do mundo real do cuidado multidisciplinar, sugerindo que a futura integração da IA deve considerar essas nuances específicas de cada especialidade, em vez de depender de uma única pontuação composta de desempenho.