Evaluating the Usefulness, Quality, Reliability, and Readability of Large Language Model Responses About Pediatric Laser Dentistry: A Parent-Oriented Study

Technische Samenvatting: Evaluatie van LLM-responsen over Pediatrische Laserendodontie

Probleemstelling
Ouders vertrouwen steeds vaker op op Large Language Models (LLM) gebaseerde chatbots voor gezondheidsinformatie, maar de betrouwbaarheid van deze systemen in het specifieke domein van de pediatrische laserendodontie blijft onverifieerd. Hoewel LLM's toegankelijke informatie bieden, vereisen hun outputs in de context van de gezondheidszorg validatie met betrekking tot feitelijke juistheid, klinische geschiktheid en leesbaarheid. Specifiek moet informatie over dentale lasers een balans vinden tussen potentiële voordelen en beperkingen, waarbij vermeden moet worden dat lasers als universeel superieur of pijnloos worden gepresenteerd. Eerdere studies hebben variabiliteit in LLM-prestaties benadrukt op basis van model, onderwerp en evaluatiemethode, maar bewijs met betrekking tot door chatbots gegenereerde informatie specifiek voor oudergerichte vragen over pediatrische laserendodontie is beperkt. Deze studie adresseert de noodzaak om te evalueren of huidige geavanceerde LLM's als betrouwbare hulpmiddelen kunnen dienen voor de educatie van ouders in dit niche klinische gebied.

Methodologie
De studie maakte gebruik van een kwantitatief, comparatief ontwerp om vier betaalde, geavanceerde LLM-platforms te evalueren: ChatGPT-5.5 Thinking, Google Gemini 3.1 Pro, Claude Opus 4.7 en DeepSeek-V4.

• Dataverzameling: Een set van 20 inhoudsgevalideerde, open vragen gericht op ouders werd ontwikkeld (S-CVI/Ave = 0,86), dekkend over indicaties, beperkingen, veiligheid en vergelijkingen met conventionele procedures. Deze vragen werden zeven opeenvolgende dagen lang (30 april–6 mei 2026) één keer per dag ingediend bij elk model, wat resulteerde in een totaal van 56-0 responsen. Om onafhankelijkheid te waarborgen, werden vragen ingevoerd in nieuwe, incognito sessies zonder gebruik te maken van geheugenfuncties of vervolgvragen.
• Evaluatiemetrieken: Twee geblindeerde specialisten in de pediatrische tandheelkunde beoordeelden de responsen onafhankelijk aan de hand van drie primaire domeinen:
  1. Bruikbaarheid: Een aangepaste 4-punts schaal (1 = zeer bruikbaar tot 4 = niet bruikbaar).
  2. Global Quality Scale (GQS): Een 5-punts schaal die de algehele flow en volledigheid beoordeelt.
  3. CLEAR Score: Een instrument van 25 punten (Volledigheid, Gebrek aan onjuiste informatie, Onderbouwd door bewijs, Geschiktheid, Relevantie) dat de inhoudelijke kwaliteit en betrouwbaarheid beoordeelt.
• Leesbaarheid en Lengte: De responsen werden geanalyseerd op woord-/karakteraantal en leesbaarheid met behulp van de Flesch Reading Ease (FRE), Flesch–Kincaid Grade Level (FKGL) en de SMOG-index.
• Statistische Analyse: De gegevens werden geanalyseerd met behulp van Friedman-tests voor omnibusvergelijkingen tussen de vier modellen, met Bonferroni-gecorrigeerde Wilcoxon signed-rank tests voor paargewijze vergelijkingen. Kendall's W werd berekend als effectgrootte. De interbeoordelaarsbetrouwbaarheid werd beoordeeld via intraclass-correlatiecoëfficiënten (ICC).

Belangrijkste Resultaten

• Expertbeoordelingen: Significante verschillen werden waargenomen tussen alle modellen voor bruikbaarheid, GQS en CLEAR-scores (p < 0,001).
  • ChatGPT-5.5 Thinking behaalde de meest gunstige resultaten, met een mediane bruikbaarheidsscore van 1,0 ("zeer bruikbaar"), een GQS van 5,0 en een CLEAR-score van 22,0 ("zeer goede inhoud"). Het presteerde significant beter dan alle andere modellen.
  • DeepSeek-V4 produceerde de laagst door experts beoordeelde kwaliteit (mediane CLEAR-score van 15,0, "gemiddelde inhoud") en bruikbaarheid (mediaan 2,0), ondanks het genereren van de langste responsen.
  • Claude Opus 4.7 en Google Gemini 3.1 Pro vertoonden een intermediaire prestatie, waarbij geen statistisch significant verschil tussen hen werd waargenomen in bruikbaarheid of GQS na correctie, hoewel zij verschilden in CLEAR-scores.
• Leesbaarheid en Lengte:
  • DeepSeek genereerde de langste responsen (mediaan ~608 woorden) en behaalde de hoogste leesbaarheidsscores (hoogste FRE, laagste FKGL en SMOG), wat duidt op het makkelijkste leesniveau.
  • ChatGPT genereerde de kortste responsen.
  • Cruciaal is dat alle modellen leesniveaus (FKGL en SMOG) vereisten die significant hoger lagen dan de niveaus die typisch worden aanbevolen voor patiënteneducatiemateriaal.
• Temporele Variabiliteit: Hoewel dagelijkse verschillen in door experts beoordeelde uitkomsten statistisch significant waren, waren de effectgroottes (Kendall's W ≈ 0,06) verwaarloosbaar, wat wijst op een praktisch stabiele korte-termijnprestatie gedurende de zeven dagen van de dataverzameling.
• Betrouwbaarheid: De interbeoordelaarsbetrouwbaarheid tussen de twee beoordelaars was uitstekend (ICC > 0,97 voor alle metrieken).

Belangrijkste Bijdragen

• Dit is de eerste studie die vier geavanceerde, betaalde LLM's systematisch evalueert en vergelijkt op oudergerichte vragen over pediatrische laserendodontie.
• De studie maakt gebruik van een matched-block design over zeven dagen om de korte-termijn temporele variabiliteit te beoordelen, een factor die vaak wordt over het hoofd gezien bij evaluaties met een enkel moment.
• Het introduceert een kritische dissociatie tussen linguïstische toegankelijkheid en inhoudelijke kwaliteit: het model dat de meest leesbare en uitgebreide responsen genereerde (DeepSeek), ontving de laagste expertbeoordelingen voor feitelijke juistheid en klinische geschiktheid.
• Het onderzoek biedt een gevalideerd, geblindeerd beoordelingskader (Bruikbaarheid, GQS, CLEAR) toegepast op een specif specifieke, hoog-risico pediatrische tandheelkundige subdomein.

Betekenis en Claims
Het artikel stelt dat hoewel huidige LLM's de educatie van ouders kunnen ondersteunen, zij de professionele pediatrische tandheelkundige consultatie niet mogen vervangen. De studie verwerpt de nulhypothese en toont aan dat er significante prestatieverschillen bestaan tussen de modellen. De auteurs benadrukken dat ChatGPT-5.5 Thinking momenteel de meest betrouwbare en hoogwaardige informatie biedt voor dit specifieke onderwerp, terwijl de verbositeit van DeepSeek niet gelijkstaat aan klinische nauwkeurigheid.

De auteurs concluderen dat, ondanks het potentieel van LLM's als educatieve instrumenten, de variabiliteit in inhoudelijke kwaliteit en de consequent hoge leesniveaus die nodig zijn om de responsen te begrijpen, aanleiding geven tot voorzichtigheid. Ouders die deze tools gebruiken, moeten zich ervan bewust zijn dat de informatie incompleet, te complex of potentieel misleidend kan zijn, met name met betrekking tot de beperkingen en veiligheidsoverwegingen van lasergebruik bij kinderen. De studie onderstreept de noodzaak van onderwerp-specifieke evaluaties voordat LLM's als betrouwbare hulpmiddelen in de pediatrische tandheelkundige zorg kunnen worden beschouwd.