Drivers of Oncologist Preference of AI-Generated Literature Review in a Randomized Mixed-Methods Study
यह यादृच्छिक मिश्रित-पद्धति वाला अध्ययन प्रकट करता है कि एआई-जनित साहित्य समीक्षाओं के प्रति ऑन्कोलॉजिस्ट का विश्वास और प्राथमिकता केवल सटीकता के बजाय रिपोर्ट डिजाइन की विशेषताओं—जैसे कि संक्षिप्तता, सत्यापन योग्य उद्धरण और स्पष्ट अनिश्चितता—पर अधिक निर्भर करती है, जैसा कि समान संदर्भ गुणवत्ता के बावजूद मानक स्वरूपों की तुलना में साक्ष्य-श्रेणीबद्ध (एविडेंस-ग्रेडेड) रिपोर्टों के लिए काफी कम उपयोगिता रेटिंग से प्रमाणित होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कैंसर देखभाल की उच्च-दांव वाली दुनिया में, डॉक्टरों को नए उपचारों, विकसित होते दिशा-निर्देशों और जटिल आणविक डेटा के बदलते परिदृश्य के बीच निरंतर रास्ता बनाना पड़ता है। एक मरीज के लिए सही चुनाव करने के लिए, उन्हें अक्सर तेजी से नवीनतम चिकित्सा अनुसंधान को खोजने और समझने की आवश्यकता होती है। हाल ही में, कृत्रिम बुद्धिमत्ता (AI) उपकरण इस कार्य में मदद करने के लिए उभरे हैं, जो डिजिटल सहायकों के रूप में कार्य करते हैं जो चिकित्सा साहित्य के विशाल पुस्तकालयों में खोज कर सकते हैं और निष्कर्षों को सरल भाषा में सारांशित कर सकते हैं। हालांकि, एक महत्वपूर्ण प्रश्न बना हुआ है: केवल इसलिए कि एक AI सही तथ्यों को खोज सकता है, क्या वह उन्हें इस तरह से प्रस्तुत करता है कि एक थका हुआ डॉक्टर उन पर भरोसा कर सके और उनका उपयोग कर सके? चुनौती केवल इस बारे में नहीं है कि कंप्यूटर सही है या नहीं, बल्कि इस बारे में है कि जानकारी को कैसे सजाया और प्रस्तुत किया गया है। यदि कोई रिपोर्ट पढ़ने में कठिन, भ्रमित करने वाली है, या ऐसा लगता है कि वह अपने स्रोतों को छिपा रही है, तो एक चिकित्सक एक पूरी तरह से सटीक उत्तर को भी अनदेखा कर सकता है। कच्चे डेटा और मानवीय विश्वास के बीच का यह अंतर ही क्लिनिकल आर्टिफिशियल इंटेलिजेंस का वास्तविक कार्यक्षेत्र है।
स्टैनफोर्ड यूनिवर्सिटी और अन्य संस्थानों के शोधकर्ताओं की एक टीम ने तीस-चार ऑन्कोलॉजिस्ट (कैंसर विशेषज्ञों) से विभिन्न आर्टिफिशियल इंटेलिजेंस प्रणालियों द्वारा तैयार की गई रिपोर्टों की समीक्षा करने के लिए कहकर इस अंतर को समझने का प्रयास किया। उन्होंने केवल यह नहीं पूछा कि कौन सा AI सबसे स्मार्ट है; इसके बजाय, उन्होंने यह परीक्षण किया कि रिपोर्ट का डिज़ाइन डॉक्टरों के आत्मविश्वास को कैसे प्रभावित करता है। इस अध्ययन में रेडिएशन ऑन्कोलॉजी से लेकर बाल चिकित्सा हेमेटोलॉजी तक, पांच अलग-अलग रोगी परिदृश्य शामिल थे, जिसमें रेजिडेंट से लेकर अनुभवी फैकल्टी तक के विभिन्न प्रशिक्षण स्तरों का मिश्रण था। प्रत्येक परिदृश्य के लिए, डॉक्टरों ने एक ही चिकित्सा प्रश्न के चार अलग-अलग AI-जनित सारांशों की समीक्षा की। ये सारांश तीन अलग-अलग स्रोतों से आए थे: 'ओपनएविडेंस' (OpenEvidence) नामक एक विशेष चिकित्सा AI टूल, 'चैटजीपीटी' (ChatGPT) नामक एक सामान्य-उद्देश्य वाला चैटबॉट, और ओपनएविडेंस का एक संस्करण जिसे शोधकर्ताओं ने मैन्युअल रूप से संशोधित किया था। शोधकर्ताओं का इस संशोधित संस्करण के लिए एक विशिष्ट परिकल्पना थी: उनका मानना था कि यदि वे रिपोर्ट को साक्ष्य की मजबूती को उजागर करने के लिए पुनर्गठित करते—अर्थात, सबसे विश्वसनीय, बड़े पैमाने के नैदानिक परीक्षणों को शीर्ष पर रखते और कमजोर अध्ययनों को नीचे दबा देते—तो डॉक्टर इसे अधिक उपयोगी और भरोसेमंद पाएंगे।
इस प्रयोग के परिणाम शोधकर्ताओं के लिए आश्चर्यजनक थे। बिल्कुल समान तथ्यों और उद्धरणों का उपयोग करने के बावजूद, टीम द्वारा सावधानीपूर्वक तैयार की गई संशोधित रिपोर्ट, जो साक्ष्य की शक्ति पर जोर देने के लिए बनाई गई थी, समग्र उपयोगिता में मानक, बिना संशोधित ओपनएविडेंस रिपोर्ट की तुलना में काफी कम रेटिंग पर रही। वास्तव में, अनुकूलित संस्करण चारों विकल्पों में सबसे कम पसंदीदा विकल्प था। डॉक्टरों को पुनर्गठित लेआउट अधिक स्पष्ट या तार्किक नहीं लगा; इसके बजाय, उन्हें यह कम व्यवस्थित और स्कैन करने में कठिन लगा। यह निष्कर्ष बताता है कि केवल सूचना के क्रम को बदलकर "साक्ष्य के पदानुक्रम" को अधिक दृश्यमान बनाने से अपेक्षित परिणाम नहीं मिले। डॉक्टर नहीं चाहते थे कि AI उनके लिए यह निर्णय ले कि कौन से अध्ययन सर्वश्रेष्ठ हैं; वे चाहते थे कि AI जानकारी को इस तरह से प्रस्तुत करे जिससे वे स्वयं इसकी त्वरित रूप से पुष्टि कर सकें।
साक्षात्कार और विस्तृत रेटिंग की एक श्रृंखला के माध्यम से, शोधकर्ताओं ने खोज निकाला कि डॉक्टरों को वास्तव में क्या चाहिए था। सबसे मूल्यवान विशेषताएं जटिल रैंकिंग प्रणालियों के बारे में नहीं, बल्कि स्पष्टता और गति के बारे में थीं। डॉक्टर उन रिपोर्टों को पसंद करते थे जो संक्षिप्त हों और जिन्हें सेकंडों में स्कैन किया जा सके, जिसमें सबसे ऊपर एक स्पष्ट सारांश हो। वे नैदानिक परीक्षणों से विशिष्ट संख्याएं देखना चाहते थे, जैसे कि जीवित रहने की दर या दुष्प्रभाव प्रतिशत, न कि अस्पष्ट विवरण। महत्वपूर्ण रूप से, उन्होंने मांग की कि प्रत्येक दावे को उसके स्रोत से सीधे एक क्लिक करने योग्य उद्धरण (citation) के साथ जोड़ा जाए, जिससे वे तुरंत जानकारी को सत्यापित कर सकें। वे यह भी चाहते थे कि कच्चे साक्ष्य और AI द्वारा दिए जाने वाले किसी भी सुझाव के बीच एक स्पष्ट अंतर हो, और वे पसंद करते थे कि AI अत्यधिक आत्मविश्वासी या निर्देशात्मक हुए बिना केवल डेटा का सारांश दे। जब AI ने अपने स्रोतों को छिपाया, या बहुत अधिक बात करने वाला (chatty) लहजा अपनाया, या उच्च-गुणवत्ता और निम्न-गुणवत्ता के अध्ययनों का बिना किसी अंतर के मिश्रण प्रस्तुत किया, तो विश्वास समाप्त हो गया।
अध्ययन से यह भी पता चला कि मानक ओपनएविडेंस टूल अपने समग्र उपयोगिता के मामले में सामान्य-उद्देश्य वाले चैटजीपीटी के समान ही अच्छा प्रदर्शन करता था, लेकिन इसे अपने उद्धरणों की गुणवत्ता के लिए उच्च रेटिंग मिली। यह दर्शाता है कि चिकित्सा पेशेवरों के लिए, किसी दावे को उसके मूल स्रोत से जोड़ने की क्षमता उतनी ही महत्वपूर्ण है जितना कि स्वयं उत्तर। शोधकर्ताओं ने पाया कि सूचना को प्रस्तुत करने का तरीका यह बदल सकता है कि एक डॉक्टर इसके मूल्य को कैसे देखता है, भले ही सामग्री समान हो। एक रिपोर्ट जो अव्यवस्थित दिखती है या ऐसा महसूस कराती है कि वह अपना काम छिपा रही है, उसे खारिज कर दिया जाएगा, जबकि एक साफ, अच्छी तरह से संरचित रिपोर्ट जो डॉक्टर के समय और सत्यापन की आवश्यकता का सम्मान करती है, उसे अपनाया जाएगा। अध्ययन का निष्कर्ष है कि अस्पताल में वास्तव में सहायक होने के लिए, आर्टिफिशियल इंटेलिजेंस को न केवल सटीकता के लिए, बल्कि मानव वर्कफ़्लो (कार्यप्रवाह) के लिए भी डिज़ाइन किया जाना चाहिए। सबसे अच्छा उपकरण वह नहीं है जो सबसे अधिक जानता है, बल्कि वह है जो अपने ज्ञान को इस तरह से प्रस्तुत करता है जो सुरक्षित, पारदर्शी और उपयोग में आसान महसूस हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।