Evaluating the Usefulness, Quality, Reliability, and Readability of Large Language Model Responses About Pediatric Laser Dentistry: A Parent-Oriented Study

Resumen Técnico: Evaluación de las respuestas de los LLM sobre odontología láser pediátrica

Planteamiento del problema
Los padres dependen cada vez más de los chatbots basados en Modelos de Lenguaje de Gran Escala (LLM) para obtener información de salud, pero la fiabilidad de estos sistemas en el dominio específico de la odontología láser pediátrica sigue sin verificarse. Aunque los LLM ofrecen información accesible, sus resultados en contextos sanitarios requieren validación en cuanto a exactitud fáctica, adecuación clínica y legibilidad. Específicamente, la información relativa a los láseres dentales debe equilibrar los beneficios potenciales con las limitaciones, evitando la presentación de los láseres como universalmente superiores o indolores. Estudios previos han destacado la variabilidad en el rendimiento de los LLM según el modelo, el tema y el método de evaluación, pero la evidencia sobre la información generada por chatbots específicamente para preguntas orientadas a padres sobre odontología láser pediátrica es limitada. Este estudio aborda la necesidad de evaluar si los actuales LLM avanzados pueden servir como complementos fiables para la educación de los padres en esta área clínica de nicho.

Metodología
El estudio empleó un diseño comparativo cuantitativo para evaluar cuatro plataformas de LLM avanzadas y de pago: ChatGPT-5.5 Thinking, Google Gemini 3.1 Pro, Claude Opus 4.7 y DeepSeek-V4.

• Recolección de datos: Se desarrolló un conjunto de 20 preguntas abiertas orientadas a padres y validadas por contenido (S-CVI/Ave = 0.86) que cubrían indicaciones, limitaciones, seguridad y comparaciones con procedimientos convencionales. Estas preguntas se enviaron una vez al día durante siete días consecutivos (30 de abril al 6 de mayo de 2026) a cada modelo, generando un total de 560 respuestas. Para garantizar la independencia, las preguntas se introdujeron en sesiones nuevas e incógnito sin utilizar funciones de memoria ni prompts de seguimiento.
• Métricas de evaluación: Dos especialistas en odontopediatría, tras un proceso de cegamiento, evaluaron las respuestas utilizando tres dominios principales:
  1. Utilidad: Una escala modificada de 4 puntos (1 = muy útil a 4 = no útil).
  2. Escala de Calidad Global (GQS): Una escala de 5 puntos que evalúa la fluidez general y la exhaustividad.
  3. Puntuación CLEAR: Una herramienta de 25 puntos (Completitud, Falta de información falsa, Basado en evidencia, Adecuación, Relevancia) que evalúa la calidad del contenido y la fiabilidad.
• Legibilidad y longitud: Las respuestas se analizaron mediante recuento de palabras/caracteres y legibilidad utilizando Flesch Reading Ease (FRE), Flesch–Kincaid Grade Level (FKGL) y el índice SMOG.
• Análisis estadístico: Los datos se analizaron mediante pruebas de Friedman para comparaciones omnibus entre los cuatro modelos, con pruebas de rango con signo de Wilcoxon con corrección de Bonferroni para comparaciones por pares. Se calculó la W de Kendall como tamaño del efecto. La fiabilidad inter-evaluador se evaluó mediante coeficientes de correlación intraclase (ICC).

Resultados clave

• Calificaciones de expertos: Se observaron diferencias significativas entre todos los modelos para utilidad, GQS y puntuaciones CLEAR (p < 0.001).
  • ChatGPT-5.5 Thinking logró los resultados más favorables, con una mediana de utilidad de 1.0 ("muy útil"), un GQS de 5.0 y una puntuación CLEAR de 22.0 ("contenido muy bueno"). Superó significativamente a todos los demás modelos.
  • DeepSeek-V4 produjo la calidad calificada por expertos más baja (mediana de puntuación CLEAR de 15.0, "contenido promedio") y utilidad (mediana de 2.0), a pesar de generar las respuestas más largas.
  • Claude Opus 4.7 y Google Gemini 3.1 Pro demostraron un rendimiento intermedio, sin diferencias estadísticamente significativas entre ellos en utilidad o GQS tras la corrección, aunque difirieron en las puntuaciones CLEAR.
• Legibilidad y longitud:
  • DeepSeek generó las respuestas más largas (mediana ~608 palabras) y alcanzó las puntuaciones de legibilidad más altas (mayor FRE, menor FKGL y SMOG), lo que indica el nivel de lectura más fácil.
  • ChatGPT generó las respuestas más cortas.
  • Crucialmente, todos los modelos requirieron niveles de lectura (FKGL y SMOG) significativamente superiores a los niveles recomendados habitualmente para materiales de educación al paciente.
• Variabilidad temporal: Aunque las diferencias día a día en los resultados calificados por los expertos fueron estadísticamente significativas, los tamaños del efecto (W de Kendall ≈ 0.06) fueron insignificantes, lo que indica un rendimiento a corto plazo prácticamente estable durante el periodo de recolección de siete días.
• Fiabilidad: La fiabilidad inter-evaluador entre los dos evaluadores fue excelente (ICC > 0.97 para todas las métricas).

Contribuciones clave

• Este es el primer estudio que evalúa y compara sistemáticamente cuatro LLM avanzados de pago específicamente en preguntas orientadas a padres sobre odontología láser pediátrica.
• El estudio utiliza un diseño de bloques emparejados durante siete días para evaluar la variabilidad temporal a corto plazo, un factor que suele pasarse por alto en las evaluaciones de instancia única.
• Introduce una disociación crítica entre la accesibilidad lingüística y la calidad del contenido: el modelo que produce las respuestas más legibles y verbosas (DeepSeek) recibió las calificaciones de expertos más bajas en cuanto a exactitud fáctica y adecuación clínica.
• La investigación proporciona un marco de evaluación cegado y validado (Utilidad, GQS, CLEAR) aplicado a un subdominio odontológico pediátrico específico y de alto riesgo.

Significado y afirmaciones
El artículo afirma que, si bien los actuales LLM pueden apoyar la educación de los padres, no deben sustituir la consulta profesional de odontopediatría. El estudio rechaza la hipótesis nula, demostrando que existen disparidades de rendimiento significativas entre los modelos. Los autores enfatizan que ChatGPT-5.5 Thinking ofrece actualmente la información más fiable y de mayor calidad para este tema específico, mientras que la verbosidad de DeepSeek no equivale a la precisión clínica.

Los autores concluyen que, a pesar del potencial de los LLM como herramientas educativas, la variabilidad en la calidad del contenido y los niveles de lectura consistentemente altos requeridos para comprender las respuestas sugieren cautela. Los padres que utilicen estas herramientas deben ser conscientes de que la información puede ser incompleta, excesivamente compleja o potencialmente engañosa, particularmente en lo que respecta a las limitaciones y consideraciones de seguridad del uso de láser. El estudio subraya la necesidad de evaluaciones específicas por tema antes de que los LLM puedan considerarse complementos fiables en la atención odontológica pediátrica.