Evaluating the Usefulness, Quality, Reliability, and Readability of Large Language Model Responses About Pediatric Laser Dentistry: A Parent-Oriented Study

Resumo Técnico: Avaliando Respostas de LLM sobre Odontologia a Laser Pediátrica

Definição do Problema
Os pais dependem cada vez mais de chatbots baseados em Modelos de Linguagem de Grande Escala (LLM) para obter informações de saúde, mas a confiabilidade desses sistemas no domínio específico da odontologia a laser pediátrica permanece não verificada. Embora os LLMs ofereçam informações acessíveis, seus resultados em contextos de saúde exigem validação quanto à precisão factual, adequação clínica e legibilidade. Especificamente, as informações relativas ao laser dental devem equilibrar os benefícios potenciais com as limitações, evitando a apresentação dos lasers como universalmente superiores ou indolores. Estudos anteriores destacaram a variabilidade no desempenho dos LLMs com base no modelo, tópico e método de avaliação, mas as evidências sobre informações geradas por chatbots especificamente para perguntas orientadas a pais sobre odontologia a laser pediátrica são limitadas. Este estudo aborda a necessidade de avaliar se os atuais LLMs avançados podem servir como complementos confiáveis para a educação parental nesta área clínica de nicho.

Metodologia
O estudo empregou um design quantitativo e comparativo para avaliar quatro plataformas de LLM pagas e avançadas: ChatGPT-5.5 Thinking, Google Gemini 3.1 Pro, Claude Opus 4.7 e DeepSeek-V4.

• Coleta de Dados: Um conjunto de 20 perguntas abertas, orientadas a pais e com conteúdo validado (S-CVI/Ave = 0,86), foi desenvolvido abrangendo indicações, limitações, segurança e comparações com procedimentos convencionais. Essas perguntas foram submetidas uma vez ao dia durante sete dias consecutivos (30 de abril a 6 de maio de 2026) a cada modelo, gerando um total de 560 respostas. Para garantir a independência, as perguntas foram inseridas em novas sessões anônimas, sem utilizar recursos de memória ou prompts de acompanhamento.
• Métricas de Avaliação: Dois especialistas em odontopediatria, cegos ao processo, avaliaram as respostas de forma independente utilizando três domínios primários:
  1. Utilidade: Uma escala modificada de 4 pontos (1 = muito útil a 4 = não útil).
  2. Escala de Qualidade Global (GQS): Uma escala de 5 pontos que avalia o fluxo geral e a abrangência.
  3. Pontuação CLEAR: Uma ferramenta de 25 pontos (Completude, Ausência de informações falsas, Baseado em evidências, Adequação, Relevância) que avalia a qualidade do conteúdo e a confiabilidade.
• Legibilidade e Extensão: As respostas foram analisadas quanto à contagem de palavras/caracteres e legibilidade usando o Flesch Reading Ease (FRE), o Flesch–Kincaid Grade Level (FKGL) e o Índice SMOG.
• Análise Estatística: Os dados foram analisados por meio de testes de Friedman para comparações omnibus entre os quatro modelos, com testes de postos sinalizados de Wilcoxon com correção de Bonferroni para comparações pareadas. O coeficiente de Kendall's W foi calculado como o tamanho do efeito. A confiabilidade interexaminador foi avaliada via coeficientes de correlação intraclasse (ICC).

Resultados Principais

• Avaliações de Especialistas: Observaram-se diferenças significativas entre todos os modelos para utilidade, GQS e pontuações CLEAR (p < 0,001).
  • ChatGPT-5.5 Thinking alcançou os resultados mais favoráveis, com uma mediana de utilidade de 1,0 ("muito útil"), um GQS de 5,0 e uma pontuação CLEAR de 22,0 ("conteúdo muito bom"). Superou significativamente todos os outros modelos.
  • DeepSeek-V4 produziu a menor qualidade avaliada pelos especialistas (mediana da pontuação CLEAR de 15,0, "conteúdo médio") e utilidade (mediana de 2,0), apesar de gerar as respostas mais longas.
  • Claude Opus 4.7 e Google Gemini 3.1 Pro demonstraram desempenho intermediário, sem diferença estatisticamente significativa entre eles em utilidade ou GQS após a correção, embora tenham diferido nas pontuações CLEAR.
• Legibilidade e Extensão:
  • DeepSeek gerou as respostas mais longas (mediana de ~608 palavras) e alcançou os maiores escores de legibilidade (maior FRE, menor FKGL e SMOG), indicando o nível de leitura mais fácil.
  • ChatGPT gerou as respostas mais curtas.
  • Crucialmente, todos os modelos exigiram níveis de leitura (FKGL e SMOG) significativamente superiores aos níveis tipicamente recomendados para materiais de educação de pacientes.
• Variabilidade Temporal: Embora as diferenças dia a dia nos resultados avaliados pelos especialistas tenham sido estatisticamente significativas, os tamanhos de efeito (Kendall's W ≈ 0,06) foram negligenciáveis, indicando um desempenho de curto prazo praticamente estável durante o período de coleta de sete dias.
• Confiabilidade: A confiabilidade interexaminador entre os dois avaliadores foi excelente (ICC > 0,97 para todas as métricas).

Principais Contribuições

• Este é o primeiro estudo a avaliar e comparar sistematicamente quatro LLMs avançados e pagos especificamente em perguntas orientadas a pais sobre odontologia a laser pediátrica.
• O estudo utiliza um design de blocos pareados ao longo de sete dias para avaliar a variabilidade temporal de curto prazo, um fator frequentemente negligenciado em avaliações de instância única.
• Introduz uma dissociação crítica entre acessibilidade linguística e qualidade de conteúdo: o modelo que produz as respostas mais legíveis e verbosas (DeepSeek) recebeu as menores classificações dos especialistas para precisão factual e adequação clínica.
• A pesquisa fornece uma estrutura de avaliação cega e validada (Utilidade, GQS, CLEAR) aplicada a um subdomínio específico e de alto risco da odontopediatria.

Significância e Alegações
O artigo afirma que, embora os atuais LLMs possam apoiar a educação parental, eles não devem substituir a consulta profissional de odontopediatria. O estudo rejeita a hipótesa nula, demonstrando que existem disparidades de desempenho significativas entre os modelos. Os autores enfatizam que o ChatGPT-5.5 Thinking oferece atualmente as informações mais confiáveis e de alta qualidade para este tópico específico, enquanto a verbosidade do DeepSeek não equivale à precisão clínica.

Os autores concluem que, apesar do potencial dos LLMs como ferramentas educacionais, a variabilidade na qualidade do conteúdo e os níveis de leitura consistentemente altos necessários para compreender as respostas sugerem cautela. Os pais que utilizam essas ferramentas devem estar cientes de que a informação pode ser incompleta, excessivamente complexa ou potencialmente enganosa, particularmente em relação às limitações e considerações de segurança do uso do laser. O estudo ressalta a necessidade de avaliações específicas por tópico antes que os LLMs possam ser considerados complementos confiáveis no cuidado odontológico pediátrico.