Performance of Five Mainstream Large Language Models on Common Small Cell Lung Cancer Questions: Readability, Patient- Education Suitability, and Information Quality
इस अध्ययन ने स्मॉल सेल लंग कैंसर के प्रश्नों पर पांच बड़े भाषा मॉडलों का बेंचमार्क परीक्षण किया, जिसमें पाया गया कि जहाँ GPT-5 रोगी-शिक्षा उपयुक्तता और समग्र सूचना गुणवत्ता में उत्कृष्ट था, वहीं वेनक्सिन यियन ने अधिक पठनीय पाठ तैयार किया, जो इस बात को रेखांकित करता है कि कोई भी एकल मॉडल सभी आयामों में इष्टतम नहीं है और नैदानिक समीक्षा आवश्यक बनी हुई है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक गंभीर बीमारी से हाल ही में निदानित (diagnosed) एक मरीज, एक शांत कमरे में बैठा है, यह समझने की कोशिश कर रहा है कि उसके शरीर के साथ क्या हो रहा है। वह स्पष्ट उत्तरों की तलाश में इंटरनेट की ओर मुड़ता है, इस उम्मीद में कि उसे अपनी स्थिति, उपलब्ध उपचारों और भविष्य में क्या हो सकता है, इसके बारे में जानकारी मिल सके। हाल के वर्षों में, कई लोगों ने इन सवालों के जवाब पाने के लिए आर्टिफिशियल इंटेलिजेंस (AI) सिस्टम से पूछना शुरू कर दिया है, इस उम्मीद में कि उन्हें तुरंत, मानवीय जैसे स्पष्टीकरण मिल सकें। 'लार्ज लैंग्वेज मॉडल्स' के रूप में जाने जाने वाले ये सिस्टम, विशाल मात्रा में टेक्स्ट पर प्रशिक्षित हैं और लगभग किसी भी प्रश्न का प्रवाहपूर्ण और सुसंगत उत्तर दे सकते हैं। हालाँकि, प्रवाहपूर्ण होने का अर्थ स्पष्टता या सटीकता की गारंटी नहीं है। एक जटिल बीमारी का सामना कर रहे मरीज के लिए, एक सहायक स्पष्टीकरण और चिकित्सा शब्दों के भ्रमित करने वाले ढेर के बीच का अंतर, सशक्त महसूस करने और खोया हुआ महसूस करने के बीच का अंतर हो सकता है। यह विशेष रूप से 'स्मॉल सेल लंग कैंसर' (small cell lung cancer) के मामले में सच है, जो इस बीमारी का एक तेजी से बढ़ने वाला और आक्रामक रूप है जहाँ उपचार योजनाएं तेजी से बदलती हैं और मरीज को आवश्यक जानकारी बहुत सघन और तकनीकी होती है।
डालियन, चीन के अस्पतालों के शोधकर्ताओं की एक टीम ने यह परीक्षण करने के लिए हाथ लगाया कि पांच सबसे लोकप्रिय आर्टिफिशियल इंटेलिजेंस सिस्टम, इस विशिष्ट बीमारी को एक सामान्य व्यक्ति को समझाने के लिए कितनी अच्छी तरह प्रदर्शन करते हैं। उन्होंने केवल यह नहीं पूछा कि क्या उत्तर सही थे; उन्होंने यह भी पूछा कि क्या उत्तर वास्तव में एक मरीज के लिए उपयोगी थे जो अपने स्वास्थ्य के बारे में सीखने की कोशिश कर रहा है। शोधकर्ताओं ने बीस मानक प्रश्न तैयार किए जो एक मरीज की सबसे आम चिंताओं को कवर करते हैं: बीमारी के कारण क्या हैं, किन लक्षणों पर नज़र रखनी चाहिए, डॉक्टर इसका निदान कैसे करते हैं, मानक उपचार क्या हैं, और उपचार के बाद जीवन को कैसे प्रबंधित किया जाए। फिर उन्होंने इन बीस प्रश्नों को पांच अलग-अलग AI मॉडल में डाला: DeepSeek, Douba, GPT-5, Tongyi Qianwen, और Wenxin Yiyan। इससे एक सौ अद्वितीय प्रतिक्रियाएँ उत्पन्न हुईं, जिनका शोधकर्ताओं ने दो चीजों को मापने के लिए डिज़ाइन किए गए उपकरणों का उपयोग करके विश्लेषण किया: पाठ को पढ़ना कितना आसान था, और जानकारी को समझने और उस पर अमल करने में मदद करने के लिए इसकी संरचना कितनी अच्छी थी।
परिणामों से पता चला कि रोगी शिक्षा के मामले में सभी आर्टिफिशियल इंटेलिजेंस समान नहीं हैं। एक मॉडल, GPT-5 ने लगातार ऐसे उत्तर दिए जिन्हें विशेषज्ञों ने उच्चतम गुणवत्ता वाला माना। ये प्रतिक्रियाएं सुव्यवस्थित थीं, आवश्यक जानकारी को स्पष्ट रूप से कवर करती थीं, और रोगी शिक्षा के लिए सबसे उपयुक्त मानी गईं। इसके विपरीत, दूसरे मॉडल, Wenxin Yiyan ने ऐसा टेक्स्ट तैयार किया जो पढ़ने में काफी आसान था, जिसमें सरल वाक्य संरचनाओं और कम जटिल शब्दों का उपयोग किया गया था, लेकिन इसकी गुणवत्ता और उपयोगिता समग्र रूप से कम रही। यह खोज एक महत्वपूर्ण विसंगति को उजागर करती: जिस सिस्टम ने सबसे अधिक पठनीय (readable) टेक्स्ट लिखा, वह जरूरी नहीं कि सबसे सहायक टेक्स्ट लिखता हो, और जिस सिस्टम ने सबसे अच्छी जानकारी लिखी, वह हमेशा पढ़ने में सबसे आसान टेक्स्ट नहीं लिखता था।
शोधकर्ताओं ने यह भी पाया कि प्रश्न का विषय उतना ही महत्वपूर्ण था जितना कि उपयोग किया गया AI मॉडल। लक्षणों और संकेतों से संबंधित प्रश्नों का उत्तर आमतौर पर ऐसी भाषा में दिया गया जो समझने में आसान था, संभवतः इसलिए क्योंकि ये विषय भावनाओं और दृश्य परिवर्तनों का वर्णन करने पर निर्भर करते हैं। हालाँकि, मानकीकृत उपचारों, स्टेजिंग (staging) और फॉलो-अप देखभाल से संबंधित प्रश्नों के परिणामस्वरूप लगातार अधिक जटिल भाषा सामने आई, चाहे किसी भी AI का उपयोग किया गया हो। यह सुझाव देता है कि विषय की कठिनाई स्वयं AI को अधिक तकनीकी शब्दों और लंबे वाक्यों का उपयोग करने के लिए मजबूर करती है, जिससे इन विशिष्ट चरणों को सरल बनाना कठिन हो जाता है।
इस अध्ययन का शायद सबसे महत्वपूर्ण निष्कर्ष यह है कि पठनीयता (readability) और गुणवत्ता एक ही चीज नहीं हैं। शोधकर्ताओं ने पाया कि टेक्स्ट को पढ़ना कितना आसान है और उसके भीतर की जानकारी कितनी अच्छी है, इसके बीच केवल एक कमजोर संबंध था। एक प्रतिक्रिया पढ़ने में बहुत सरल हो सकती है लेकिन फिर भी महत्वपूर्ण विवरणों को छोड़ सकती है या मरीज को आगे क्या करना है, इस पर मार्गदर्शन करने में विफल हो सकती है। इसके विपरीत, एक प्रतिक्रिया उच्च-गुणवत्ता वाली, सटीक जानकारी से भरी हो सकती है लेकिन इसे इस तरह से लिखा जा सकता है जिसे एक गैर-विशेषज्ञ के लिए समझना कठिन हो। इसका अर्थ यह है कि केवल उस AI को चुनना जो "आसान" वाक्य लिखता है, यह सुनिश्चित करने के लिए पर्याप्त नहीं है कि मरीज को सर्वोत्तम देखभाल मिले।
अध्ययन निष्कर्ष निकालता है कि हालांकि ये आर्टिफिशियल इंटेलिजेंस उपकरण मरीजों को उनके स्वास्थ्य को समझने में मदद करने के लिए आशाजनक हैं, लेकिन अभी तक इन पर अकेले भरोसा नहीं किया जा सकता। सबसे अच्छा दृष्टिकोण इन सिस्टम्स को एक शुरुआती बिंदु के रूप में उपयोग करना है, लेकिन फिर एक चिकित्सा पेशेवर द्वारा आउटपुट की समीक्षा की जानी चाहिए। AI ड्राफ्ट तैयार कर सकता है, लेकिन एक मानव डॉक्टर या नर्स को यह जांचना होगा कि जानकारी सटीक है, सलाह सुरक्षित है, और भाषा वास्तव में विशिष्ट मरीज के लिए उपयुक्त है। स्मॉल सेल लंग कैंसर की उच्च-जोखिम वाली दुनिया में, जहाँ उपचार के निर्णय जटिल और समय-संवेदनशील होते हैं, वहां मानवीय तत्व कच्चे डेटा और जीवन रक्षक समझ के बीच एक अनिवार्य फिल्टर बना हुआ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।