Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

मुंह का कैंसर एक गंभीर स्थिति है जिसके लिए सटीक और समन्वित देखभाल की आवश्यकता होती है। जब किसी रोगी के निदान (डायग्नोसिस) होता है, तो डॉक्टरों को उपचार का मार्ग तय करना होता है, जिसमें अक्सर सर्जरी, रेडिएशन या दवा शामिल होती है, जो इस बात पर निर्भर करता है कि ट्यूमर वास्तव में कहाँ है और यह कितनी दूर तक फैल चुका है। ये निर्णय सख्त चिकित्सा नियमों द्वारा निर्देशित होते हैं जिन्हें क्लिनिकल गाइडलाइन्स कहा जाता है, जिन्हें विशेषज्ञों द्वारा यह सुनिश्चित करने के लिए लिखा जाता है कि प्रत्येक रोगी को नवीनतम विज्ञान के आधार पर सर्वोत्तम संभव देखभाल मिले। हाल ही में, 'लार्ज लैंग्वेज मॉडल' नामक एक नए प्रकार के कंप्यूटर प्रोग्राम का उदय हुआ है। ये प्रोग्राम विशाल मात्रा में टेक्स्ट पढ़ सकते हैं और प्रश्नों के उत्तर प्रवाहपूर्ण तरीके से लिख सकते हैं, जिससे कई लोग यह सोचने लगे हैं कि क्या वे डॉक्टरों को जटिल नियमों का सारांश निकालने या उपचार योजना सुझाने में मदद कर सकते हैं। हालाँकि, केवल इसलिए कि एक कंप्यूटर स्पष्ट रूप से बोलता है, इसका मतलब यह नहीं है कि उसकी चिकित्सा सलाह सही है। कैंसर देखभाल की इस उच्च-जोखम वाली दुनिया में, एक आत्मविश्वास से भरा लेकिन गलत उत्तर खतरनाक हो सकता है, जिससे यह परीक्षण करना आवश्यक हो जाता है कि क्या ये डिजिटल उपकरण वास्तव में चिकित्सा दिशानिर्देशों को समझ और लागू कर सकते हैं।

चीन के जिलिन विश्वविद्यालय के शोधकर्ताओं ने तीन सबसे उन्नत लार्ज लैंग्वेज मॉडल्स को ओरल कैंसर के मामलों पर काम पर लगाकर इस विचार का परीक्षण करने का निर्णय लिया। उन्होंने तीन विशिष्ट मॉडल चुने: GPT-4o, DeepSeek-R1, और Grok-3। यह देखने के लिए कि ये प्रोग्राम कैसा प्रदर्शन करते हैं, शोधकर्ताओं ने हेड एंड नेक कैंसर के आधिकारिक नेशनल कॉम्प्रिहेंसिव कैंसर नेटवर्क दिशानिर्देशों के आधार पर एक मानकीकृत परीक्षण तैयार किया। इस परीक्षण के दो मुख्य भाग थे। पहले, मॉडल्स को विशेषज्ञ सर्जन के रूप में कार्य करने और बिना किसी चिकित्सा प्रशिक्षण वाले व्यक्ति को मुंह के कैंसर के उपचार के नियमों को समझाने के लिए कहा गया। उन्हें कारणों, रोग के पता लगाने के तरीकों, और उपचार एवं रिकवरी के चरणों को कवर करना था। दूसरा, मॉडल्स को मानकीकृत ओरल कैंसर परिदृश्य और क्लिनिकल विग्नेट्स दिए गए और उनसे एक पूर्ण प्रबंधन योजना प्रदान करने के लिए कहा गया, जिसमें यह शामिल था कि निदान क्या होना चाहिए, बीमारी का स्टेजिंग कैसे किया जाना चाहिए, और कौन सी सर्जरी या रेडिएशन उपयुक्त होगा।

उत्तरों का मूल्यांकन करने के लिए, तीन अनुभवी ओरल एंड मैक्सिलोफेशियल सर्जनों ने आउटपुट की समीक्षा की। उन्होंने सारांश कार्य के लिए शून्य से दस के पैमाने पर और केस मैनेजमेंट कार्य के लिए शून्य से सौ के पैमाने पर स्कोर दिया, जिसमें सटीकता, स्पष्टता और यह कारक देखे गए कि क्या उपचार योजना आधिकारिक नियमों का पालन करती है। परिणामों ने दिखाया कि मॉडल्स ने अलग-अलग प्रदर्शन किया, और कोई भी एक प्रोग्राम हर चीज़ में पूर्ण नहीं था। सामान्य दर्शकों के लिए दिशानिर्देशों को सारांशित करने के कार्य में, DeepSeek-R1 मॉडल को 10 में से 8.8 का उच्चतम समग्र स्कोर मिला, इसके बाद GPT-4o 8.3 और Grok-3 7.8 के साथ रहा। DeepSeek-R1 ने स्पष्टता और तार्किक प्रवाह जैसे विशिष्ट क्षेत्रों में भी उच्चतम स्कोर प्राप्त किया।

जब मॉडल्स अधिक कठिन कार्य यानी विशिष्ट रोगी मामलों के प्रबंधन की ओर बढ़े, तो स्कोर कुल मिलाकर अधिक थे, लेकिन मॉडल्स के बीच का अंतर अधिक स्पष्ट हो गया। DeepSeek-R-1 ने फिर से 100 में से 87.44 का उच्चतम व्यापक स्कोर प्राप्त किया। इसने विशेष रूप से सही उपचार योजना सुझाने, सर्जरी की सीमा (एक्स्टेंट ऑफ सर्जरी) की योजना बनाने और रोगी के प्रोग्नोसिस, या संभावित परिणाम का आकलन करने में अच्छा प्रदर्शन किया। Grok-3 77.77 के स्कोर के साथ दूसरे स्थान पर आया, और GPT-4o को 68.61 का स्कोर मिला। दिलचस्प बात यह है कि जबकि DeepSeek-R-1 अधिकांश श्रेणियों में अग्रणी था, Grok-3 ने सही रेडिएशन डोज़ सुझाने के लिए उच्चतम स्कोर प्राप्त किया। शोधकर्ताओं ने यह भी नोट किया कि टेक्स्ट सिमिलैरिटी स्कोर, जो यह मापते हैं कि कंप्यूटर के शब्द संदर्भ उत्तर से कितने मेल खाते हैं, हमेशा मानव विशेषज्ञों द्वारा आंके गए चिकित्सा सटीकता के अनुरूप नहीं थे। यह सुझाव देता है कि एक कंप्यूटर ऐसे शब्द लिख सकता है जो सही उत्तर के बहुत समान दिखते हैं, लेकिन फिर भी चिकित्सा विवरणों में गलत हो सकता है।

सबसे अच्छा प्रदर्शन करने वाले मॉडल द्वारा प्राप्त उच्च स्कोर के बावजूद, अध्ययन में ऐसे महत्वपूर्ण दोष पाए गए जो इन उपकरणों को स्वतंत्र निर्णय लेने वालों के रूप में उपयोग करने से रोकते हैं। तीनों मॉडल्स ने कभी-कभी मुंह के कैंसर को गले के कैंसर के साथ भ्रमित किया, जो एक गंभीर त्रुटि है क्योंकि दोनों बीमारियों का उपचार अलग-अलग होता है। उन्होंने कभी-कभी विशिष्ट विवरण भी गढ़े, जैसे कि सटीक सर्जिकल मार्जिन या एंटीबायोटिक शेड्यूल, जो रोगी के मामले या आधिकारिक दिशानिर्देशों द्वारा समर्थित नहीं थे। शोधकर्ताओं ने देखा कि हालांकि मॉडल्स जानकारी को व्यवस्थित करने में सक्षम थे, लेकिन उनमें किसी विशिष्ट रोगी की अनूठी स्थिति के अनुसार योजना बनाने के लिए आवश्यक गहरा, प्रासंगिक बोध (कॉन्टेक्स्टुअल अंडरस्टैंडिंग) की कमी थी। अध्ययन निष्कर्ष निकालता है कि इन आर्टिफिशियल इंटेलिजेंस टूल्स को सहायकों के रूप में देखा जाना चाहिए जो डॉक्टरों को योजनाएं ड्राफ्ट करने या जानकारी का सारांश निकालने में मदद करते हैं, न कि स्वायत्त डॉक्टरों के रूप में जो अंतिम निर्णय ले सकते हैं। लेखक इस बात पर जोर देते हैं कि मानव विशेषज्ञों को हमेशा आउटपुट को सत्यापित करना चाहिए, और वे इन तकनीकों को सुरक्षित रूप से कैंसर देखभाल का समर्थन करने के लिए और अधिक परिष्कृत करने हेतु बड़े अध्ययनों का आह्वान करते हैं।