Predicting Expert-Rated Quality of Large Language Model Responses to Orthopaedic Patient Questions Using Computational Intelligence

Resumo Técnico: Predição da Qualidade de Respostas de LLMs Avaliadas por Especialistas em Ortopedia

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados na saúde para educação de pacientes e acesso a informações clínicas. No entanto, o desempenho deles varia significativamente entre modelos, domínios clínicos e tipos específicos de perguntas. Existe uma lacuna crítica na avaliação sistemática das dimensões de qualidade clínica — especificamente precisão, completude e desinformação — para além da simples fluência linguística. Além disso, embora a avaliação por especialistas continue sendo o padrão ouro, ela é intensiva em recursos. O estudo aborda dois desafios primários: (1) quantificar a qualidade clínica comparativa dos atuais LLMs (ChatGPT, Claude, DeepSeek e Gemini) no contexto de perguntas de pacientes ortopédicos e (2) investigar se as pontuações de qualidade avaliadas por especialistas podem ser preditas automaticamente usando inteligência computacional (Processamento de Linguagem Natural, representação semântica e aprendizado de máquina) para permitir a pré-triagem automatizada.

Metodologia
O estudo empregou uma abordagem rigorosa de duas frentes, envolvendo avaliação clínica e modelagem computacional:

1. Construção do Conjunto de Dados:

   • Perguntas: Foram selecionadas 50 perguntas orientadas ao paciente em três categorias clínicas: lesões do Ligamento Cruzado Anterior (LCA) (n=15), rupturas de menisco (n=15) e Artroplastia Total de Joelho (ATJ) (n=20).
   • Geração: Quatro LLMs (ChatGPT, Gemini, Claude, DeepSeek) geraram respostas para todas as 50 perguntas, resultando em 200 respostas únicas. A coleta de dados foi padronizada via automação de navegador para garantir consistência de tempo e entrega de prompts.
   • Avaliação por Especialistas: Três especialistas em ortopedia avaliaram independentemente todas as 200 respostas (600 avaliações no total) de forma cega.
   • Métricas: As respostas foram pontuadas em Precisão (0–4), Completude (0–4) e Desinformação (0–2). Comentários em texto livre também foram coletados para caracterizar problemas específicos.

2. Análise Estatística:

   • O desempenho dos modelos foi comparado usando métodos estatísticos pareados (teste de Friedman, teste de postos sinalizados de Wilcoxon com correção de Holm) para considerar o fato de que todos os modelos responderam às mesmas perguntas.
   • As análises foram conduzidas nos níveis global, de categoria clínica e de pergunta individual.
   • A confiabilidade inter-avaliador foi aferida através do alfa de Krippendorff e Coeficientes de Correlação Intraclasse (ICC).

3. Inteligência Computacional e Aprendizado de Máquina:

   • Extração de Características:
     • Recursos de PLN: Contagem de palavras, contagem de sentenças, diversidade lexical, escores de legibilidade (Flesch-Kincaid, Flesch Reading Ease).
     • Recursos Semânticos: Embeddings Sentence-BERT (SBERT) foram usados para calcular a Similaridade de Cosseno entre Pergunta-Resposta e a similaridade semântica entre modelos.
     • Recursos Textuais Explicáveis: Contagens de expressões numéricas, estruturas de listas, hedging (termos de cautela), avisos clínicos e termos de risco/tratamento.
   • Modelagem: Um modelo de Regressão de Vetores de Suporte com função de base radial (RBF-SVR) foi desenvolvido para prever as médias das pontuações dos especialistas para Precisão e Completude.
   • Estratégia de Validação: Para evitar o vazamento de dados (data leakage) — onde as respostas para a mesma pergunta aparecem tanto no conjunto de treinamento quanto no de teste — o estudo utilizou validação cruzada agrupada aninhada (nested grouped cross-validation). A variável de agrupamento foi o Question_ID, garantindo que todas as quatro respostas do LLM para uma única pergunta permanecessem dentro do mesmo fold. O ajuste de hiperparâmetros foi realizado via um loop interno, enquanto o desempenho final foi avaliado nos folds de teste externos.

Principais Resultados

• Desempenho Clínico:

  • Todos os quatro LLMs demonstraram, de modo geral, alta qualidade clínica, com pontuações médias de Precisão variando de 3,607 a 3,827 (de 4) e baixas pontuações de Desinformação (0,093–0,127 de 2).
  • Ausência de Diferenças Estatisticamente Significativas: No geral, não houve diferenças estatisticamente significativas entre os modelos para Precisão (p=0,070), Completude (p=0,361) ou Desinformação (p=0,451).
  • Variabilidade: O desempenho variou por categoria clínica. Um efeito de modelo global significativo foi observado para a Precisão na categoria ATJ (p=0,041), embora nenhuma diferença pareada específica tenha permanecido significativa após a correção de Holm.
  • Insights ao Nível de Pergunta: 13 perguntas foram identificadas como de "baixo desempenho" (média de Precisão ≤ 3,667), sendo 7 delas da categoria ATJ. A pergunta de menor desempenho (Q44) referia-se ao tempo de internação hospitalar, uma variável dependente de contexto.
  • Similaridade Semântica: As respostas de diferentes modelos para a mesma pergunta mostraram alta similaridade semântica (similaridade de cosseno média SBERT: 0,813–0,850), porém isso não se correlacionou diretamente com a precisão clínica.
  • Comentários dos Especialistas: O problema mais frequente identificado nos comentários de texto livre foi "conteúdo desnecessário, excessivamente detalhado ou fora do tópico" (72 respostas), em vez de desinformação direta.

• Predição por Aprendizado de Máquina:

  • Predição de Precisão: O modelo RBF-SVR final alcançou um Erro Médio Absoluto (MAE) de 0,261, representando uma redução de 11,6% no erro em comparação com um modelo de predição de média basal. No entanto, o coeficiente de determinação ($R^2$) foi negativo (-0,161), e a correlação de rank (Spearman $\rho$) foi fraca, mas significativa (0,202, p=0,004).
  • Predição de Completude: O modelo alcançou um MAE de 0,294 com um $R^2$ de -0,106 e uma correlação de rank não significativa.
  • Contribuição de Características: As análises de ablação indicaram que a combinação de recursos de PLN, similaridade semântica e recursos textuais explicáveis resultou nos menores erros de predição e nos maiores valores de $R^2$ em configurações exploratórias, sugerindo que recursos linguísticos de superfície isolados são insuficientes para a predição de qualidade.

Significância e Alegações
O artigo postula que os LLMs atuais são capazes de gerar respostas de alta qualidade para a educação de pacientes ortopédicos, mas seu desempenho não é uniforme; ele flutua com base no tópico clínico e, mais criticamente, na natureza específica da pergunta. O estudo enfatiza que a alta similaridade semântica entre modelos não garante a precisão clínica, reforçando a necessidade de avaliação por especialistas.

Em relação ao componente de aprendizado de máquina, os autores alegam modestamente que, embora os recursos linguísticos, semânticos e explicáveis forneçam um "sinal mensurável" para prever as pontuações dos especialistas, a capacidade preditiva atual é limitada. Os valores negativos de $R^2$ e as correlações fracas indicam que a predição de qualidade automatizada ainda não pode substituir a avaliação por especialistas. Em vez disso, o framework proposto é posicionado como uma ferramenta potencial para pré-triagem automatizada para identificar respostas potencialmente de menor qualidade, em vez de um sistema autônomo de tomada de decisão clínica ou de avaliação de qualidade. O estudo conclui que os LLMs devem servir como ferramentas de suporte na educação do paciente, sendo a verificação por especialistas essencial, especialmente para perguntas sensíveis ao contexto.