Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

Technische Samenvatting: Multimodale Large Language Models in Preklinische Endodontische Beoordeling

Probleemstelling
De integratie van Kunstmatige Intelligentie (AI) in het tandheelkundig onderwijs biedt potentieel voor geautomatiseerde feedback en schaalbare beoordeling. Er blijft echter een kritieke kloof bestaan in de validatie van de vraag of Multimodale Large Language Models (MLLM's) betrouwbaar het oordeel van menselijke experts kunnen vervangen bij hoog-risico, veiligheidskritische preklinische evaluaties. Specifiek is onduidelijk of huidige MLLM's nauwkeurig de genuanceerde psychomotorische vaardigheden en veiligheidsoordelen kunnen beoordelen die vereist zijn bij endodontische toegangscaviteit-preparaties, waarbij fouten tot schade bij de patiënt kunnen leiden. De studie adresseert de nulhypothese dat er geen significant verschil bestaat tussen de beoordelingen van deskundige endodontologen en de evaluaties van AI-modellen van deze procedures.

Methodologie

• Studieontwerp: Een single-center, cross-sectionele, comparatieve overeenkomendheidsstudie uitgevoerd aan de Istanbul Aydın University tijdens het academisch jaar 2025–2026.
• Deelnemers en Specimens: 25 derdejaars bachelorstudenten tandheelkunde voerden toegangscaviteit-preparaties uit op gestandaardiseerde 3D-geprinte tanden. Dit resulteerde in 200 specimens verdeeld over acht type-tandgroepen (maximillaire en mandibulaire centrale incisivi, canini, premolaren en molaren).
• Data-acquisitie: Elk specimen werd geëvalueerd met behulp van een gestandaardiseerde vier-afbeeldingen-dataset: occlusale, buccale, linguale/palatale foto's, en een periapicale röntgenfoto.
• Beoordelingsgroepen:
  • Expert Groep: Drie ervaren endodontologen scoorden onafhankelijk alle specimens met een geblindeerde, vijf-criteria analytische rubric (schaal 0–10). De criteria waren: (1) outline vorm, (2) locatie en centrering, (3) omvang en conservatisme, (4) straight-line access, en (5) iatrogene schade en veiligheid. Een strafregel beperkte de scores tot maximaal 5/10 indien kritieke fouten (bijv. perforatie) werden gedetecteerd.
  • AI Groepen: Vier configuraties van state-of-the-art MLLM's werden getest: ChatGPT-5.2 (Standard en Reasoning Modes) en Gemini 3 (Standard en Reasoning Modes). Modellen werden gepromptt om te handelen als deskundige endodontologen, de vier afbeeldingen te verwerken en gestructureerde JSON-scores te genereren.
• Statistische Analyse: Inter-beoordelaar betrouwbaarheid werd beoordeeld met behulp van Intraclass Correlation Coefficients (ICC). Groepsverschillen werden geanalyseerd met een een-weg ANOVA met Tukey post-hoc testen. Effectgroottes werden berekend met eta squared ($\eta^2$).

Belangrijkste Resultaten

• Expert Betrouwbaarheid: Expert-beoordelaars vertoonden een uitstekende inter-beoordelaar betrouwbaarheid over alle metingen (ICC-bereik: 0,916–0,981), waarmee een robuuste gouden standaard werd vastgesteld.
• Discrepantie tussen AI en Expert: De nulhypothese werd verworpen. Significante verschillen ($p<0,001$) werden gevonden tussen expert- en AI-beoordelingen over de meeste metingen en tandgroepen.
  • Systematische Overbeoordeling: Alle AI-configuraties gaven consequent hogere scores dan experts.
  • Falen van Veiligheidscriterium: Het meest kritieke falen lag in het criterium "Iatrogene Schade en Veiligheid". Terwijl experts een hoge betrouwbaarheid vertoonden (ICC: 0,924) en variabiliteit die klinisch oordeel reflecteerde, clusterden AI-modellen nabij maximale scores (≈1,87–2,00) met bijna nul standaarddeviaties. De AI-ICCs voor dit criterium varieerden van 0,165 tot 0,572, wat duidt op een zwakke tot matige overeenstemming.
  • Modelprestaties: Gemini 3 en Gemini 3/R vertoonden de grootste divergentie van de expert-scores (overschrijdend met tot wel 4,5 punten in sommige groepen ten opzichte van de expert-gemiddelden). ChatGPT-5.2 en ChatGPT-5.2/R vertoonden een nauwere aansluiting, maar misten nog steeds de precisie van experts.
  • Reasoning Mode: De "Reasoning Mode" (chain-of-thought) presteerde niet consistent beter dan de "Standard Mode", wat suggereert dat verhoogde computationele complexiteit niet vertaalde naar een betere klinische scoring.
  • Variabiliteit per Tandtype: De Upper Premolar groep was de enige categorie waar de AI-prestaties de expert-overeenstemming benaderden op specifieke dimensionale parameters (Outline Form, Extent, Straight-Line Access). Daarentegen leverden complexe morfologieën zoals de Lower Canines en Lower Premolars de grootste score-divergenties op.
• Interne Consistentie: Hoewel AI-modellen een redelijke interne consistentie vertoonden over herhaalde runs (bijv. Gemini 3/R had een hoge consistentie), correleerde deze consistentie niet met nauwkeurigheid. Een model kon intern consistent zijn, maar toch systematisch afwijken van het oordeel van een expert.

Belangrijkste Bijdragen

• Empirische Validatie van Beperkingen: De studie levert empirisch bewijs dat huidige MLLM's niet geschikt zijn als zelfstandige vervanging voor deskundige beoordeling in de endodontische preklinische fase, met name voor veiligheidskritische oordelen.
• Identificatie van Veiligheidskritisch Falen: Het benadrukt een specifieke, gevaarlijke beperking waarbij AI-modellen er niet in slagen te differentiëren tussen veilige en onveilige preparaties, waarbij ze standaard hoge veiligheidsscores toekennen ongeacht de werkelijke iatrogene schade.
• Onderscheid tussen Consistentie en Nauwkeurigheid: Het onderzoek toont aan dat een hoge interne consistentie binnen een AI-model niet gelijkstaat aan nauwkeurigheid of afstemming op menselijke expertise, wat waarschuwt voor het gebruik van consistentiemetingen als surrogaat voor validiteit in klinische educatie.
• Vergelijking van Modus: Het daagt de aanname uit dat "Reasoning Mode" of chain-of-thought verwerking inherent de prestaties verbetert in visueel gegronde klinische taken.

Betekenis en Claims
Het artikel concludeert dat hoewel AI-modellen veelbelovend zijn voor het evalueren van objectieve, dimensionale parameters (zoals de outline form in eenvoudigere tandtypen), zij momenteel de betrouwbaarheid missen die vereist is voor hoog-risico competentie-evaluatie, met name met betrekking tot patiëntveiligheid. De auteurs stellen dat het onvermogen om "Iatogene Schade en Veiligheid" accuraat te beoordelen, deze tools ongeschikt maakt voor het vervangen van deskundig oordeel in de preklinische opleiding.

De auteurs stellen een hybride mens-AI-framework voor als de meest pragmatische weg voorwaarts. In dit model zou AI de educatie kunnen ondersteunen door directe, voorlopige feedback te geven op minder risicovolle, kwantificeerbare metrieken, terwijl de beoordeling door menselijke experts de essentiële standaard blijft voor veiligheidskritische oordelen en complex klinisch redeneren. De studie benadrukt dat voordat een AI-tool wordt geadopteerd voor klinische competentie-evaluatie, rigoureuze, criterium-specifieke validatie — specif seguito op veiligheidsmetrieken — verplicht is.