Can Multimodal Large Language Models Replace Expert Assessment in Preclinical Endodontic Education? A Cross-Sectional Agreement Study

तकनीकी सारांश: प्रीक्लिनिकल एंडोडोंटिक मूल्यांकन में मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs)

समस्या विवरण
दंत चिकित्सा शिक्षा में आर्टिफिशियल इंटेलिजेंस (AI) का एकीकरण स्वचालित फीडबैक और स्केलेबल मूल्यांकन के लिए क्षमता प्रदान करता है। हालांकि, एक महत्वपूर्ण अंतराल यह प्रमाणित करने में बना हुआ है कि क्या मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) उच्च-जोखिम वाले, सुरक्षा-महत्वपूर्ण प्रीक्लिनिकल मूल्यांकनों में विशेषज्ञ मानव निर्णय का विश्वसनीय रूप से प्रतिस्थापन कर सकते हैं। विशेष रूप से, यह स्पष्ट नहीं है कि क्या वर्तमान MLLMs एंडोडोंटिक एक्सेस कैविटी प्रैपरेशन के सूक्ष्म साइकोमोटर कौशल और सुरक्षा निर्णयों का सटीक आकलन कर सकते हैं, जहाँ त्रुटियाँ रोगी को नुकसान पहुँचा सकती हैं। यह अध्ययन इस शून्य परिकल्पना (null hypothesis) को संबोधित करता है कि विशेषज्ञ एंडोडोंटिस्ट के मूल्यांकन और AI मॉडल के मूल्यांकन के बीच कोई महत्वपूर्ण अंतर नहीं है।

कार्यप्रणाली

• अध्ययन डिजाइन: इस्तांबुल आयडिन विश्वविद्यालय में शैक्षणिक वर्ष 2025-2026 के दौरान आयोजित एक सिंगल-सेंटर, क्रॉस-सेक्शनल, तुलनात्मक सहमति अध्ययन।
• प्रतिभागी और नमूने: 25 तृतीय वर्ष के स्नातक दंत चिकित्सा छात्रों ने मानकीकृत 3D-प्रिंटेड दांतों पर एक्सेस कैविटी प्रैपरेशन किया। इसके परिणामस्वरूप आठ दांत-प्रकार समूहों (मैक्सिलरी और मैंडिबुलर सेंट्रल इन्सिशर, कैनाइन, प्रीमोलर और मोलर) में 200 नमूने प्राप्त हुए।
• डेटा अधिग्रहण: प्रत्येक नमूने का एक मानकीकृत चार-छवि डेटासेट का उपयोग करके मूल्यांकन किया गया: ऑक्लूज़ल, बक्कल, लिंगुअल/पैलटल फोटोग्राफ, और एक पेरियापिकल रेडियोग्राफ।
• मूल्यांकन समूह:
  • विशेषज्ञ समूह: तीन अनुभवी एंडोडोंटिस्टों ने एक ब्लाइंडेड, पांच-मानदंड विश्लेषणात्मक रुब्रिक (0–10 स्केल) का उपयोग करके सभी नमूनों का स्वतंत्र रूप से स्कोर किया। मानदंड थे: (1) आउटलाइन फॉर्म, (2) स्थान और केंद्रण (centering), (3) विस्तार और संरक्षण (extent and conservatism), (4) स्ट्रेट-लाइन एक्सेस, और (5) इआट्रोजेनिक क्षति और सुरक्षा। एक पेनल्टी नियम ने स्कोर को 5/10 तक सीमित कर दिया यदि महत्वपूर्ण त्रुटियां (जैसे, परफोरशन) पाई गईं।
  • AI समूह: चार अत्याधुनिक MLLM कॉन्फ़िगरेशन का परीक्षण किया गया: ChatGPT-5.2 (स्टैंडर्ड और रीजनिंग मोड) और Gemini 3 (स्टैंडर्ड और रीजनिंग मोड)। मॉडल्स को विशेषज्ञ एंडोडोंटिस्ट के रूप में कार्य करने, चार छवियों को प्रोसेस करने और स्ट्रक्चर्ड JSON स्कोर आउटपुट करने के लिए प्रॉम्प्ट किया गया।
• सांख्यिकीय विश्लेषण: इंटर-रेटर विश्वसनीयता का आकलन इंट्राक्लास सहसंबंध गुणांक (ICC) का उपयोग करके किया गया। समूह अंतरों का विश्लेषण टकी पोस्ट-हॉक परीक्षण के साथ वन-वे ANOVA का उपयोग करके किया गया। प्रभाव आकार (effect sizes) को एटा स्क्वेयर्ड ($\eta^2$) के रूप में गणना किया गया।

मुख्य परिणाम

• विशेषज्ञ विश्वसनीयता: विशेषज्ञ रेटर्स ने सभी मापों में उत्कृष्ट इंटर-रेटर विश्वसनीयता (ICC रेंज: 0.916–0.981) प्रदर्शित की, जिससे एक मजबूत गोल्ड स्टैंडर्ड स्थापित हुआ।
• AI बनाम विशेषज्ञ विसंगति: शून्य परिकल्पना को खारिज कर दिया गया। अधिकांश मापों और दांत समूहों में विशेषज्ञ और AI मूल्यांकन के बीच महत्वपूर्ण अंतर ($p<0.001$) पाए गए।
  • व्यवस्थित ओवरस्कोरिंग (Systematic Overscoring): सभी AI कॉन्फ़िगरेशन ने लगातार विशेषज्ञों की तुलना में उच्च स्कोर दिए।
  • सुरक्षा मानदंड की विफलता: सबसे महत्वपूर्ण विफलता "इआट्रोजेनिक क्षति और सुरक्षा" मानदंड में थी। जबकि विशेषज्ञों ने उच्च विश्वसनीयता (ICC: 0.924) और नैदानिक निर्णय को दर्शाने वाली परिवर्तनशीलता दिखाई, AI मॉडल अधिकतम स्कोर (≈1.87–2.00) के करीब क्लस्टर थे, जिनमें नगण्य मानक विचलन था। इस मानदंड के लिए AI के ICCs 0.165 से 0.572 के बीच थे, जो खराब से मध्यम सहमति का संकेत देते हैं।
  • मॉडल प्रदर्शन: Gemini 3 और Gemini 3/R ने विशेषज्ञ स्कोर से सबसे अधिक विचलन दिखाया (कुछ समूहों में विशेषज्ञ माध्य से 4.5 अंक अधिक)। ChatGPT-5.2 और ChatGPT-5.2/R ने विशेषज्ञ के करीब संरेखण दिखाया, लेकिन फिर भी विशेषज्ञ-स्तर की सटीकता का अभाव था।
  • रीजनिंग मोड: "रीजनिंग मोड" (चेन-ऑफ-थॉट) ने "स्टैंडर्ड मोड" से लगातार बेहतर प्रदर्शन नहीं किया, जो यह सुझाव देता है कि बढ़ी हुई कम्प्यूटेशनल जटिलता बेहतर नैदानिक स्कोरिंग में अनुवादित नहीं हुई।
  • दांत प्रकार की परिवर्तनशीलता: अपर प्रीमोलर समूह एकमात्र ऐसा समूह था जहाँ AI का प्रदर्शन विशिष्ट आयामी मापों (आउटलाइन फॉर्म, विस्तार, स्ट्रेट-लाइन एक्सेस) पर विशेषज्ञ सहमति के करीब था। इसके विपरीत, लोअर कैनाइन और लोअर प्रीमोलर जैसी जटिल संरचनाओं ने सबसे बड़े स्कोर विचलन दिए।
• आंतरिक निरंतरता: हालांकि AI मॉडल्स ने बार-बार किए गए रन के माध्यम से उचित आंतरिक निरंतरता दिखाई (जैसे, Gemini 3/R में उच्च निरंतरता थी), यह निरंतरता सटीकता के साथ सहसंबद्ध नहीं थी। एक मॉडल आंतरिक रूप से सुसंगत हो सकता है फिर भी विशेषज्ञ निर्णय से व्यवस्थित रूप से विचलित हो सकता है।

प्रमुख योगदान

• सीमाओं का अनुभवजन्य सत्यापन: यह अध्ययन इस बात का अनुभवजन्य प्रमाण प्रदान करता है कि वर्तमान MLLMs प्रीक्लिनिकल एंडोडोंटिक्स में विशेषज्ञ मूल्यांकन के स्टैंडअलोन प्रतिस्थापन के रूप में उपयुक्त नहीं हैं, विशेष रूप से सुरक्षा-महत्वपूर्ण निर्णयों के लिए।
• सुरक्षा-महत्वपूर्ण विफलता की पहचान: यह एक विशिष्ट, खतरनाक सीमा को उजागर करता है जहाँ AI मॉडल सुरक्षित और असुरक्षित प्रैपरेशन के बीच अंतर करने में विफल रहते हैं, और वास्तविक इआट्रोजेनिक क्षति के बावजूद उच्च सुरक्षा स्कोर की ओर झुक जाते हैं।
• निरंतरता और सटीकता के बीच अंतर: शोध यह प्रदर्शित करता है कि एक AI मॉडल के भीतर उच्च आंतरिक निरंतरता, विशेषज्ञता के साथ सटीकता या संरेखण के बराबर नहीं है, जो नैदानिक शिक्षा में वैधता के प्रॉक्सी के रूप में निरंतरता मेट्रिक्स के उपयोग के प्रति आगाह करती है।
• मोड तुलना: यह इस धारणा को चुनौती देता है कि "रीजनिंग मोड" या चेइन-ऑफ-थॉट प्रोसेसिंग स्वाभाविक रूप से विजुअली ग्राउंडेड क्लिनिकल कार्यों में प्रदर्शन में सुधार करता है।

महत्व और दावे
पेपर यह निष्कर्ष निकालता है कि जबकि AI मॉडल वस्तुनिष्ठ, आयामी मापदंडों (जैसे सरल दांतों के प्रकारों में आउटलाइन फॉर्म) के मूल्यांकन में आशाजनक दिखते हैं, वे वर्तमान में उच्च-जोखिम वाली सक्षमता मूल्यांकन के लिए आवश्यक विश्वसनीयता, विशेष रूप से रोगी सुरक्षा के संबंध में, की कमी रखते हैं। लेखक तर्क देते हैं कि इआट्रोजेनिक क्षति और सुरक्षा का सटीक मूल्यांकन करने में AI मॉडल की विफलता इन उपकरणों को प्रीक्लिनिकल शिक्षा में विशेषज्ञ निर्णय के प्रतिस्थापन के लिए अनुपयुक्त बनाती है।

लेखक एक हाइब्रिड ह्यूमन-AI फ्रेमवर्क का प्रस्ताव करते हैं जो सबसे व्यावहारिक मार्ग है। इस मॉडल में, AI कम जोखिम वाले, मात्रात्मक मेट्रिक्स पर तत्काल, प्रारंभिक फीडबैक प्रदान करके शिक्षा का समर्थन कर सकता है, जबकि विशेषज्ञ मानव मूल्यांकन सुरक्षा-महत्वपूर्ण निर्णयों और जटिल नैदानिक तर्क के लिए आवश्यक मानक बना रहेगा। अध्ययन इस बात पर जोर देता है कि किसी भी AI टूल को नैदानिक सक्षमता मूल्यांकन के लिए अपनाने से पहले, मानदंड-स्तरीय सत्यापन—विशेष रूप से सुरक्षा मेट्रिक्स पर—अनिवार्य है।