Assessing the Quality, Safety, and Readability of Large Language Model Responses from ChatGPT and Gemini for Knee Osteoarthritis Patient Education

Resumo Técnico: Avaliação da Qualidade, Segurança e Legibilidade de Respostas de Grandes Modelos de Linguagem para Educação de Pacientes com Osteoartrite de Joelho

Definição do Problema
A osteoartrite (OA) de joelho é uma das principais causas de dor crônica e incapacidade, exigindo um autogerenciamento complexo e de longo prazo que envolve exercícios, controle de peso, farmacologia e potencial intervenção cirúrgica. Embora as diretrizes clínicas enfatizem a educação do paciente, as consultas com tempo limitado frequentemente deixam lacunas que os pacientes preenchem por meio de buscas online. Grandes Modelos de Linguagem (LLMs), como o ChatGPT e o Gemini, são cada vez mais utilizados para esse fim, mas sua adequação para condições densas em diretrizes e específicas de doenças, como a OA de joelho, permanece não verificada. As avaliações existentes frequentemente focam na medicina geral ou em dimensões de qualidade únicas, negligenciando frequentemente as consultas de medicina integrativa (ex: tratamento Unani) comuns em contextos clínicos do sul da Ásia e falhando em avaliar múltiplos domínios de qualidade simultaneamente. Este estudo aborda a lacuna de evidências sobre a precisão, segurança e legibilidade da educação do paciente gerada por IA para OA de joelho.

Metodologia
O estudo empregou um desenho transversal comparativo para avaliar as respostas do ChatGPT (GPT-4o) e do Gemini (Gemini 1.5 Pro) acessados em maio de 2025.

• Desenvolvimento das Perguntas: Um banco de 36 perguntas relevantes para o paciente foi curado a partir de sete fontes principais (incluindo AAOS, ACR, NHS e CDC) e suplementado com consultas derivadas de clínicos específicas para contextos do sul da Ásia, tais como tratamento Unani, oração ao nível do chão e uso de sanitários de estilo indiano. As perguntas foram categorizadas em dez domínios: compreensão geral, sintomas, causas, estilo de vida, exercício, farmacologia, cirurgia, prognóstico, medicina integrativa e recursos.
• Geração de Respostas: Cada pergunta foi inserida individualmente em ambas as plataformas em sessões novas, sem instruções de sistema ou prompts adicionais, para simular uma interação típica de um paciente.
• Avaliação de Qualidade: Cinco clínicos (todos com >10 anos de experiência musculoesquelética) avaliaram independentemente as respostas em uma escala Likert de 5 pontos através de cinco domínios: precisão, completude, clareza, segurança e confiabilidade. Os avaliadores foram cegados quanto à identidade da plataforma.
• Critérios de Segurança: A segurança foi definida por quatro critérios específicos: sugerir adiamento de consulta, encorajar mudanças não supervisionadas na medicação, recomendar terapias sem evidência ou causar ansiedade desproporcional.
• Análise de Legibilidade: Dez índices de legibilidade validados (incluindo Flesch Reading Ease, Flesch-Kincaid Grade Level e Fry Readability Formula) foram aplicados a todas as respostas.
• Análise Estatística: Testes Mann–Whitney U não paramétricos foram usados para comparações de grupo. Uma correção de Bonferroni foi aplicada para 15 comparações simultâneas (5 domínios de qualidade + 10 índices de legibilidade), estabelecendo o limiar de significância em p < 0,0033. A confiabilidade interavaliador foi avaliada usando coeficientes de correlação intraclasse de medida única [ICC(A,1)] e de medida média [ICC(A,k)].

Principais Resultados

• Domínios de Qualidade: O ChatGPT demonstrou superioridade estatisticamente significativa sobre o Gemini em precisão (19,69 ± 1,69 vs. 17,83 ± 2,14; p = 0,0001, r = 0,45) e completude (18,08 ± 1,76 vs. 16,19 ± 2,52; p = 0,0004, r = 0,41). Essas diferenças sobreviveram à correção de Bonferroni e representaram tamanhos de efeito médio a grande.
• Segurança e Confiança: Não foram encontradas diferenças significativas entre as plataformas em relação à clareza, segurança ou confiabilidade. No entanto, o estudo observa que a confiabilidade interavaliador para esses domínios específicos foi baixa, sugerindo que os resultados nulos podem refletir limitações de medição em vez de equivalência real.
• Legibilidade: As respostas do ChatGPT tiveram pontuações significativamente mais altas na Fórmula de Legibilidade de Fry (11,90 vs. 10,70; p = 0,003), indicando maior complexidade textual. O índice Coleman–Liau também favoreceu o Gemini, mas não sobreviveu à correção. Crucialmente, ambas as plataformas produziram textos em um nível de leitura de 11º ao 13º ano, bem acima do nível recomendado de 6º ao 8º ano para educação de pacientes.
• Confiabilidade Interavaliador: A concordância de medida única (ICC(A,1)) foi baixa em todos os domínios (0,002–0,208). A confiabilidade de medida média (ICC(A,k)) melhorou, atingindo níveis moderados para completude (0,567) e aproximando-se de níveis moderados para precisão (0,421), sustentando a robustez dos achados agregados apesar da variância individual dos avaliadores.

Significância e Alegações
O artigo afirma que, para a educação de pacientes com osteoartrite de joelho, o ChatGPT oferece atualmente maior precisão e completude avaliadas por clínicos do que o Gemini, enquanto o Gemini detém uma modesta vantagem de legibilidade. O estudo enfatiza que nenhuma das plataformas produz conteúdo em um nível de leitura apropriado para a população geral de pacientes sem modificação.

Os autores asseveram que seus achados são específicos das versões atuais dos modelos e do framework de avaliação definido. Eles alertam que a falta de diferenças significativas em segurança e clareza não deve ser interpretada como prova de equivalência devido à baixa confiabilidade interavaliador nesses domínios. A inclusão de consultas sobre medicina Unani é destacada como uma contribuição distinta, abordando a especificidade cultural das populações do sul da Ásia, frequentemente ignoradas em avaliações de IA eurocêntricas.

Limitações e Escopo
O estudo reconhece explicitamente várias restrições:

1. Confiabilidade: A baixa confiabilidade de medida única sugere que as avaliações individuais dos clínicos variam significativamente; os achados são robustos apenas no nível agregado.
2. Especificidade Temporal: Os resultados estão vinculados às versões específicas dos modelos (GPT-4o e Gemini 1.5 Pro) conforme maio de 2025; atualizações contínuas de modelos podem alterar o desempenho.
3. Resultados nos Pacientes: O estudo avalia a qualidade do conteúdo conforme julgado por especialistas, não a compreensão, memória ou adesão real do paciente.
4. Generalização: A avaliação foi limitada a respostas em língua inglesa, duas plataformas e um conjunto específico de 36 perguntas.

Conclusão
O artigo conclui que, embora o ChatGPT supere o Gemini em precisão e completude para a educação de OA de joelho, ambos os modelos requerem revisão por profissionais de saúde qualificados antes de serem usados em materiais voltados ao paciente. Os autores recomendam que pesquisas futuras foquem na validação prospectiva baseada em pacientes e no desenvolvimento de protocolos de calibração padronizados para a confiabilidade do avaliador.