Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

जब किसी पुरुष को प्रोस्टेट कैंसर का निदान होता है, तो आगे का रास्ता अक्सर एक बड़े निर्णय से होकर गुजरता है: क्या रोबोट-असिस्टेड सर्जिकल तकनीक का उपयोग करके पूरी प्रोस्टेट ग्रंथि को निकाल देना चाहिए। यह प्रक्रिया, जिसे रोबोट-असिस्टेड रेडिकल प्रोस्टेटेक्टोमी के रूप में जाना जाता है, स्थानीयकृत रोग (localized disease) के लिए एक मानक उपचार है, लेकिन इसके साथ सूचनाओं का एक जटिल जाल आता है जिसे रोगी को समझना आवश्यक है। उन्हें यह जानने की आवश्यकता होती है कि सर्जरी कैसे काम करती है, रिकवरी कैसी दिखती है, उनके मूत्राशय को नियंत्रित करने की क्षमता या यौन कार्य को बनाए रखने पर इसका क्या प्रभाव पड़ सकता है, और डॉक्टर कैंसर की वापसी को कैसे देखेंगे। अतीत में, रोगी इन प्रश्नों के समाधान के लिए मुद्रित ब्रोशर या अपने सर्जन के साथ एक एकल बातचीत पर निर्भर रहते थे। आज, कई लोग त्वरित उत्तरों के लिए आर्टिफिशियल इंटेलिजेंस चैटबॉट्स की ओर रुख करते हैं। ये लार्ज लैंग्वेज मॉडल ऐसा टेक्स्ट जेनरेट कर सकते हैं जो मानवीय सलाह जैसा दिखता और सुनाई देता है, लेकिन महत्वपूर्ण प्रश्न अभी भी यही है: क्या वे इस तरह की जीवन बदलने वाली चिकित्सा यात्रा को सटीक और स्पष्ट रूप से समझाने के लिए भरोसेमंद हैं?

उत्तरी सिचुआन मेडिकल कॉलेज के संबद्ध अस्पताल के शोधकर्ताओं की एक टीम ने इसी प्रश्न का परीक्षण करने के लिए हाथ मिलाया। उन्होंने तीन लोकप्रिय आर्टिफिशियल इंटेलिजेंस सिस्टम पर ध्यान केंद्रित किया: ChatGPT, DeepSeek, और Doubao। टीम ने मशीनों से सर्जरी करने या किसी विशिष्ट व्यक्ति का निदान करने के लिए नहीं कहा; इसके बजाय, उन्होंने मॉडलों को सूचना प्रदाता के रूप में माना। उन्होंने बीस-पांच विशिष्ट प्रश्नों की एक सूची तैयार की जो एक रोगी द्वारा देखभाल प्रक्रिया के विभिन्न चरणों में पूछे जा सकते हैं, जैसे कि कैंसर की प्रारंभिक स्क्रीनिंग से लेकर सर्जरी के बाद दीर्घकालिक फॉलो-अप तक। इन प्रश्नों में कैंसर के परीक्षण परिणामों की व्याख्या करने से लेकर तंत्रिका क्षति (nerve damage) के जोखिमों को समझने तक सब कुछ शामिल था। फिर शोधकर्ताओं ने प्रत्येक के इन पच्चीस प्रश्नों को तीनों मॉडलों में डाला, जिससे कुल पचहत्तर अलग-अलग प्रतिक्रियाएं उत्पन्न हुईं। एक निष्पक्ष परीक्षण सुनिश्चित करने के लिए, प्रश्नों को अलग-अलग बातचीत में अलग-अलग पूछा गया था ताकि मॉडल एक ही चैट सत्र में पिछली प्रतिक्रियाओं से सीख न सकें।

एक बार प्रतिक्रियाएं एकत्र हो जाने के बाद, शोधकर्ताओं को उनकी गुणवत्ता तय करने के लिए एक तरीके की आवश्यकता थी। उन्होंने तीन चिकित्सा विशेषज्ञों को नियुक्त किया जिन्होंने 'ब्लाइंड रिव्यूअर' के रूप में कार्य किया, जिसका अर्थ है कि वे नहीं जानते थे कि किस आर्टिफिशियल इंटेलिजेंस ने कौन सा उत्तर लिखा था। विशेषज्ञों ने टेक्स्ट का मूल्यांकन करने के लिए कई स्थापित उपकरणों का उपयोग किया जो रोगी शिक्षा के मापदंडों को मापते हैं। उन्होंने देखा कि क्या जानकारी पूर्ण थी, क्या इसने व्यावहारिक सलाह दी जिसे एक रोगी वास्तव में उपयोग कर सके, और क्या इसे इस तरह से लिखा गया था कि इसे समझना आसान हो। उन्होंने विशिष्ट त्रुटियों की भी जांच की, जैसे कि मनगढ़ंत तथ्य या पुराने चिकित्सा सुझाव, और यह भी गणना की कि टेक्स्ट को पढ़ना एक औसत व्यक्ति के लिए कितना कठिन होगा। लक्ष्य यह देखना था कि क्या एक मशीन लगातार दूसरों से बेहतर प्रदर्शन करती है या क्या वे सभी एक ही तरह की समस्याओं से जूझ रही हैं।

परिणामों से पता चला कि हालांकि तीनों मॉडलों ने आम तौर रूप से सुरक्षित और सटीक जानकारी प्रदान की, लेकिन उनके व्यक्तित्व और ताकत अलग-अलग थीं। एक मॉडल, ChatGPT, ने लगातार सबसे अधिक व्यावहारिक (actionable) सलाह प्रदान की। जब किसी रोगी ने पूछा कि आगे क्या करना है, तो यह मॉडल अधिक स्पष्ट, चरण-दर-चरण निर्देश देने की संभावना रखता था जिन्हें एक व्यक्ति अपना सके। यह इस पैमाने पर भी उच्च स्कोर करता था कि जानकारी निर्णय लेने में सहायता के लिए कितनी अच्छी तरह संरचित थी। एक अन्य मॉडल, DeepSeek, ने ऐसा टेक्स्ट तैयार किया जो स्पष्ट रूप से पढ़ने में आसान था। इसके वाक्य थोड़े कम जटिल थे, और इसकी शब्दावली अन्य की तुलना में कुछ अधिक सुलभ थी। हालांकि, DeepSeek से प्राप्त "आसान" टेक्स्ट भी एक ऐसे स्तर पर लिखा गया था जिसे कई वयस्कों के लिए सहज रूप से पढ़ना कठिन होगा, जो सार्वजनिक स्वास्थ्य सामग्री के लिए अनुशंसित सामान्य रीडिंग लेवल से अधिक था। तीसरा मॉडल, Doubao, सटीकता के मामले में दूसरों के समान प्रदर्शन करता था, लेकिन इसकी पठनीयता (readability) के साथ संघर्ष अधिक था और इसने कभी-कभी महत्वपूर्ण विवरण छोड़ दिए।

इन अंतरों के बावजूद, अध्ययन ने पाया कि कोई भी मॉडल पूर्ण नहीं था, और उनमें से किसी को भी डॉक्टर की सलाह के विकल्प के रूप में उपयोग नहीं किया जाना चाहिए। शोधकर्ताओं ने पाया कि जबकि मशीनों ने शायद ही कभी गलत तथ्य बनाए या खतरनाक रूप से पुराने सुझाव दिए, लेकिन उन्होंने कभी-कभी महत्वपूर्ण जानकारी छोड़ दी, विशेष रूप से DeepSeek और Doubao की प्रतिक्रियाओं में। इसके अलावा, उत्तरों को ग्रेड देने वाले मानव विशेषज्ञों के बीच हमेशा सहमति नहीं थी। सहमति की यह कमी बताती है कि चिकित्सा सलाह की गुणवत्ता को आंकना एक कठिन कार्य है, यहाँ तक कि प्रशिक्षित पेशेवरों के लिए भी, और मॉडलों के बीच स्कोर में छोटे अंतर उतने सार्थक नहीं हो सकते जितने वे दिखाई देते हैं। अध्ययन ने एक निरंतर चुनौती को भी रेखांकित किया: तीनों मॉडलों ने ऐसा टेक्स्ट तैयार किया जो औसत व्यक्ति के लिए बहुत जटिल था। चिकित्सा शब्दावली और वाक्य संरचनाओं को पूरी तरह से समझने के लिए हाई स्कूल शिक्षा या उससे बेहतर की आवश्यकता थी, जो उन कई रोगियों के लिए एक बाधा उत्पन्न करता है जिन्हें इस जानकारी की सबसे अधिक आवश्यकता होती है।

शोधकर्ताओं ने निष्कर्ष निकाला कि ये आर्टिफिशियल इंटेलिजेंस उपकरण डॉक्टरों के सहायक के रूप में आशाजनक हैं, शायद शैक्षिक सामग्री के लिए एक 'प्रथम ड्राफ्ट' के रूप में जिनका एक यूरोलॉजिस्ट समीक्षा और सुधार कर सके। वे तेजी से ऐसी व्याख्याएं उत्पन्न कर सकते हैं जो विषयों की एक विस्तृत श्रृंखला को कवर करती हैं, लेकिन वे अभी तक उस सूक्ष्म, व्यक्तिगत बातचीत की जगह नहीं ले सकते जो एक सर्जन और रोगी के बीच होती है। एक रोबोट सर्जरी के जोखिमों की सूची तो बना सकता है, लेकिन वह रोगी की आँखों में नहीं देख सकता, उनके विशिष्ट डर को नहीं समझ सकता, या उनके चिकित्सा इतिहास और व्यक्तिगत मूल्यों के अनूठे संतुलन को नहीं तौल सकता। फिलहाल, इन शक्तिशाली मशीनों का सबसे अच्छा उपयोग चिकित्सकों के लिए एक सहायता उपकरण के रूप में है, न कि स्वतंत्र चिकित्सा मार्गदर्शन के स्रोत के रूप में। यह अध्ययन इस बात की याद दिलाता है कि हालांकि तकनीक सूचना को अधिक सुलभ बना सकती है, लेकिन देखभाल का मानवीय तत्व यह सुनिश्चित करने के लिए आवश्यक बना हुआ है कि जानकारी न केवल सटीक हो, बल्कि वास्तव में समझ में भी आए।