Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

Technisches Resümee: Multimodale Large Language Models in der präklinischen endodontischen Beurteilung

Problemstellung
Die Integration von Künstlicher Intelligenz (KI) in die zahnmedizinische Ausbildung bietet das Potenzial für automatisiertes Feedback und skalierbare Bewertung. Es besteht jedoch eine kritische Lücke hinsichtlich der Validierung, ob Multimodale Large Language Models (MLLMs) in der Lage sind, das Urteil von Experten in hochsensiblen, sicherheitskritischen präklinischen Evaluationen zuverlässig zu ersetzen. Insbesondere ist unklar, ob aktuelle MLLMs die nuancierten psychomotorischen Fähigkeiten und Sicherheitsurteile bewerten können, die bei der Präparation von endodontischen Zugangskavitäten erforderlich sind, wo Fehler zu Patientenschäden führen können. Die Studie untersucht die Nullhypothese, dass kein signifikanter Unterschied zwischen den Bewertungen durch Experten für Endodontie und den Bewertungen durch KI-Modelle dieser Verfahren besteht.

Methodik

• Studiendesign: Eine einzentrische, Querschnitts-, Vergleichsstudie, durchgeführt an der Istanbul Aydın University im akademischen Jahr 2025–2026.
• Teilnehmer und Präparate: 25 Studierende des dritten Studienjahres der Zahnmedizin führten Präparationen von Zugangskavitäten an standardisierten 3D-gedruckten Zähnen durch. Dies resultierte in 200 Präparaten über acht Zahntyp-Gruppen hinweg (oberkiefer- und Unterkiefer-zentrale Inzisiven, Canini, Prämolaren und Molaren).
• Datenerfassung: Jedes Präparat wurde unter Verwendung eines standardisierten Vier-Bild-Datensatzes evaluiert: okklusal, bukkal, lingual/palatinal sowie ein periapikaler Röntgenbild.
• Bewertungsgruppen:
  • Expertengruppe: Drei erfahrene Endodontologen bewerteten alle Präparate unabhängig voneinander anhand einer blindgestellten, fünf-kriteriellen analytischen Rubrik (0–10 Skala). Die Kriterien waren: (1) Form der Kavität (Outline Form), (2) Lage und Zentrierung, (3) Ausmaß und Konservativität, (4) geradliniger Zugang (Straight-line access) und (5) iatrogene Schädigung und Sicherheit. Eine Strafregel begrenzte die Punktzahl auf 5/10, falls kritische Fehler (z. B. Perforation) festgestellt wurden.
  • KI-Gruppen: Vier Konfigurationen modernster MLLMs wurden getestet: ChatGPT-5.2 (Standard- und Reasoning-Modus) und Gemini 3 (Standard- und Reasoning-Modus). Die Modelle wurden angewiesen, als Experten für Endodontie zu agieren, die vier Bilder zu verarbeiten und strukturierte JSON-Scores auszugeben.
• Statistische Analyse: Die Interrater-Reliabilität wurde mittels Intraklassen-Korrelationskoeffizienten (ICC) bewertet. Gruppenunterschiede wurden mittels One-Way-ANOVA mit Tukey-Post-hoc-Test analysiert. Effektstärken wurden mittels Eta-Quadrat ($\eta^2$) berechnet.

Wichtigste Ergebnisse

• Experten-Reliabilität: Die Experten-Rater zeigten eine exzellente Interrater-Reliabilität über alle Messungen hinweg (ICC-Bereich: 0,916–0,981), was einen robusten Goldstandard etablierte.
• Diskrepanz zwischen KI und Experte: Die Nullhypothese wurde abgelehnt. Signifikante Unterschiede ($p<0,001$) wurden zwischen Experten- und KI-Bewertungen bei den meisten Messungen und Zahngruppen gefunden.
  • Systematische Überbewertung: Alle KI-Konfigurationen vergaben konsistent höhere Punktzahlen als die Experten.
  • Versagen des Sicherheitskriteriums: Das kritischste Versagen lag im Kriterium „Iatrogene Schädigung und Sicherheit“. Während die Experten eine hohe Reliabilität (ICC: 0,924) und eine klinische Urteilskraft widerspiegelnde Variabilität zeigten, häuften sich die KI-Modelle bei Maximalwerten (≈1,87–2,00) mit einer Standardabweichung nahe Null. Die KI-ICCs für dieses Kriterium lagen zwischen 0,165 und 0,572, was auf eine schwache bis moderate Übereinstimmung hindeutet.
  • Modellleistung: Gemini 3 und Gemini 3/R wiesen die größte Divergenz zu den Expertenwerten auf (Abweichungen von bis zu 4,5 Punkten über dem Expertenmittelwert in einigen Gruppen). ChatGPT-5.2 und ChatGPT-5.2/R zeigten eine engere Übereinstimmung, ließen jedoch dennoch die Präzision auf Expertenniveau vermissen.
  • Reasoning-Modus: Der „Reasoning Mode“ (Chain-of-Thought) war nicht konsistent leistungsfähiger als der „Standard Mode“, was darauf hindeutet, dass eine erhöhte Rechenkomplexität nicht zwangsläufig zu einer besseren klinischen Bewertung führte.
  • Variabilität des Zahntyps: Die Gruppe der Oberkiefer-Prämolaren war die einzige Kategorie, in der die KI-Leistung bei spezifischen dimensionalen Messungen (Form der Kavität, Ausmaß, geradliniger Zugang) eine Annäherung an die Expertenübereinstimmung zeigte. Im Gegensatz dazu lieferten komplexe Morphologien wie Unterkiefer-Canini und Unterkiefer-Prämolaren die größten Score-Divergenzen.
• Interne Konsistenz: Während die KI-Modelle eine angemessene interne Konsistenz über wiederholte Durchläufe hinweg zeigten (z. B. hatte Gemini 3/R eine hohe Konsistenz), korrelierte diese Konsistenz nicht mit der Genauigkeit. Ein Modell konnte intern konsistent sein und dennoch systematisch vom Expertenurteil abweichen.

Zentrale Beiträge

• Empirische Validierung von Limitationen: Die Studie liefert empirische Belege dafür, dass aktuelle MLLMs nicht als eigenständiger Ersatz für die Expertenbewertung in der präklinischen Endodontie geeignet sind, insbesondere bei sicherheitskritischen Urteilen.
• Identifizierung von sicherheitskritischem Versagen: Sie hebt eine spezifische, gefährliche Einschränkung hervor, bei der KI-Modelle nicht zwischen sicheren und unsicheren Präparationen unterscheiden können und statsdessen zu hohen Sicherheitswerten tendieren, unabhängig von tatsächlichen iatrogenen Schäden.
• Unterscheidung zwischen Konsistenz und Genauigkeit: Die Forschung zeigt, dass eine hohe interne Konsistenz innerhalb eines KI-Modells nicht mit Genauigkeit oder Übereinstimmung mit menschlicher Expertise gleichzusetzen ist, und warnt davor, Konsistenzmetriken als Proxy für die Validität in der klinischen Ausbildung zu verwenden.
• Vergleich der Modi: Sie stellt die Annahme in Frage, dass ein „Reasoning Mode“ oder Chain-of-Thought-Prozesse die Leistung bei visuell fundierten klinischen Aufgaben inhärent verbessern.

Bedeutung und Behauptungen
Die Autoren kommen zu dem Schluss, dass KI-Modelle zwar vielversprechend bei der Bewertung objektiver, dimensionaler Parameter (wie der Form der Kavität bei einfacheren Zahntypen) sind, aber derzeit nicht die erforderliche Zuverlässigkeit für die hochverantwortliche Kompetenzbewertung, insbesondere im Hinblick auf die Patientensicherheit, besitzen. Die Autoren argumentieren, dass das Unvermögen, „iatrogene Schädigung und Sicherheit“ korrekt zu bewerten, diese Werkzeuge für den Ersatz des Expertenurteils in der präklinischen Ausbildung ungeeignet macht.

Die Autoren schlagen ein hybrides Mensch-KI-Framework als den pragmatischsten Weg vor. In diesem Modell könnte die KI die Ausbildung unterstützen, indem sie unmittelbares, vorläufiges Feedback zu weniger sensiblen, quantifizierbaren Metriken gibt, während die menschliche Expertenbewertung das essenzielle Standardmaß für sicherheitskritische Urteile und komplexe klinische Entscheidungsfindung bleibt. Die Studie betont, dass vor der Einführung eines KI-Tools zur Bewertung der klinischen Kompetenz eine rigorose, kriterienbasierte Validierung – insbesondere bezüglich der Sicherheitsmetriken – zwingend erforderlich ist.