Authority Signals in AI Cited Health Sources: A Framework for Evaluating Source Credibility in ChatGPT Responses
यह अध्ययन ChatGPT की स्वास्थ्य संबंधी प्रतिक्रियाओं में स्रोत विश्वसनीयता का मूल्यांकन करने के लिए एक 'अथॉरिटी सिग्नल्स फ्रेमवर्क' पेश करता है, जिसमें यह पाया गया कि 100 प्रश्नों के एक नमूने में उद्धृत 615 स्रोतों में से 75% से अधिक स्थापित संस्थागत संगठनों से आते हैं न कि वैकल्पिक स्वास्थ्य सूचना प्रदाताओं से।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय में जा रहे हैं जहाँ लाइब्रेरियन एक अविश्वसनीय रूप से स्मार्ट रोबोट है जिसका नाम ChatGPT है। आप पूछते हैं, "मेरा सिरदर्द कैसे ठीक करें?" या "मधुमेह (डायबिटीज) का क्या कारण है?" रोबोट केवल अनुमान नहीं लगाता; वह अलमारियों की ओर दौड़ता है, किताबों का एक ढेर उठाता है और उत्तर देने के लिए उन्हें पढ़ता है।
यह शोध पत्र एक जासूसी रिपोर्ट की तरह है जो इस बात की जांच करता है कि रोबोट वास्तव में कौन सी किताबें उठाता है और वह उन्हें क्यों चुनता है।
समस्या: रोबोट की बुकशेल्फ़ पर भरोसा करना
अधिक से अधिक लोग रोबोट से स्वास्थ्य संबंधी सलाह मांग रहे हैं। कुछ तो इसका उपयोग स्वयं का निदान (diagnose) करने के लिए भी कर रहे हैं। समस्या यह है कि हमें हमेशा पता नहीं होता कि रोबोट किसी विश्व प्रसिद्ध डॉक्टर द्वारा लिखी गई किताब उठा रहा है या किसी ऐसे व्यक्ति द्वारा लिखे गए पर्चे (pamphlet) को, जिसे चिकित्सा प्रशिक्षण प्राप्त नहीं है।
इस अध्ययन के लेखकों ने एक "ट्रस्ट चेकलिस्ट" (विश्वास सूची) बनाने की कोशिश की ताकि यह देखा जा सके कि क्या रोबोट सबसे विश्वसनीय स्रोतों को चुन रहा है। उन्होंने इस चेकलिस्ट को अथॉरिटी सिग्नल फ्रेमवर्क (Authority Signals Framework) नाम दिया। इसे हर उस किताब के लिए चार-चरणीय निरीक्षण की तरह समझें जिसे रोबोट शेल्फ से निकालता है:
- इसे किसने लिखा? (लेखक की योग्यता/Author Credentials) – क्या कवर पर किसी डॉक्टर का नाम है, या यह गुमनाम है?
- इसे किसने प्रकाशित किया? (संस्थागत संबद्धता/Institutional Affiliation) – क्या यह मेयो क्लिनिक जैसे किसी प्रसिद्ध अस्पताल से है, किसी सरकारी एजेंसी से है, या किसी रैंडम ब्लॉग से है?
- इसकी जांच कैसे की गई? (गुणवत्ता आश्वासन/Quality Assurance) – क्या विशेषज्ञों ने तथ्यों की जांच की? क्या इसमें अन्य अध्ययनों के संदर्भ दिए गए हैं? क्या जानकारी अपडेटेड है?
- रोबोट इसे कैसे ढूंढता है? (डिजिटल अथॉरिटी/Digital Authority) – क्या इस किताब में विशेष "डिजिटल टैग" (जैसे बारकोड) हैं जो रोबोट के लिए इसे पहचानना आसान बनाते हैं?
जांच
शोधकर्ताओं ने लाइब्रेरियन की भूमिका निभाई। उन्होंने 100 सामान्य स्वास्थ्य प्रश्न लिए (जैसे "फ्लू के लक्षण क्या हैं?") और ChatGPT से उनके उत्तर मांगे। फिर उन्होंने उन सभी वेबसाइटों की जांच की जिनका रोबोट ने अपने उत्तरों में उल्लेख किया था। कुल मिलाकर, उन्होंने 615 विभिन्न स्रोतों का विश्लेषण किया।
उन्होंने क्या पाया: "बिग थ्री" रणनीतियाँ
अध्ययन से पता चला कि रोबोट आमतौर पर सुरक्षित खेलता है, लेकिन विभिन्न प्रकार की वेबसाइटें ध्यान आकर्षित करने के लिए अलग-अलग तरकीबों का उपयोग करती हैं।
1. "प्रसिद्ध नाम" की रणनीति (75% समय)
ज्यादातर समय (75% से अधिक), रोबोट स्थापित संस्थानों से किताबें उठाता है। ये बड़े खिलाड़ी हैं: मेयो क्लिनिक, क्लीवलैंड क्लिनिक, एनएचएस (NHS), विकिपीडिया और सरकारी स्वास्थ्य साइटें।
- उपमा: ये स्वास्थ्य जगत के सेलिब्रिटी हैं। उन्हें ध्यान खींचने के लिए चिल्लाने या भड़कीले कपड़े पहनने की जरूरत नहीं है; उनकी प्रतिष्ठा ही काम करती है। भले ही उनके पास हर पन्ने पर डॉक्टर का नाम या नवीनतम "डिजिटल टैग" न हो, रोबोट उन पर भरोसा करता है क्योंकि वे प्रसिद्ध और स्थापित हैं।
2. "कड़ी मेहनत" की रणनीति (व्यावसायिक साइटें)
बाकी स्रोत मुख्य रूप से व्यावसायिक स्वास्थ्य वेबसाइटें (जैसे स्वास्थ्य ब्लॉग या उत्पाद साइटें) थीं। इन साइटों के पास प्रसिद्ध अस्पतालों जैसी प्रतिष्ठा नहीं होती, इसलिए उन्हें रोबोट का ध्यान खींचने के लिए अधिक मेहनत करनी पड़ती है।
- उपमा: ये वे अंडरडॉग्स हैं जो मंच पर आने की कोशिश कर रहे हैं। रोबोट को जीतने के लिए, वे "डिजिटल वेशभूषा" (स्कीमा मार्कअप नामक तकनीकी टैग) पहनते हैं, बहुत लंबे और विस्तृत लेख लिखते हैं, और अपने पेजों पर बड़े स्टिकर लगाते हैं कि "चिकित्सीय रूप से समीक्षा की गई" (Medically Reviewed)। वे यह साबित करने की कोशिश कर रहे हैं कि वे ट्रस्ट चेकलिस्ट के हर बॉक्स को भरकर प्रसिद्ध अस्पतालों के समान ही अच्छे हैं।
3. "ताजगी" की रणनीति (प्रोफेशनल प्रैक्टिस साइट्स)
कुछ स्रोत व्यक्तिगत डॉक्टरों या छोटे क्लीनिकों की वेबसाइटें थे।
- उपमा: ये साइटें "ताजा उपज" होने पर निर्भर करती हैं। अक्सर इनके लेखों पर सबसे हालिया तारीखें होती हैं। रोबोट को शायद यह पसंद आता है कि वे अपडेटेड हैं, भले ही वे सबसे बड़े नाम न हों।
चौंकाने वाले विवरण
- गुमनामी आम है: लगभग दो-तिहाई स्रोतों में, रोबोट यह भी नहीं बता सका कि लेख किसने लिखा था। वहां कोई लेखक का नाम सूचीबद्ध नहीं था।
- संदर्भ दुर्लभ हैं: केवल लगभग 40% स्रोतों ने वास्तव में उन अध्ययनों या डेटा का उल्लेख किया था जिनका उपयोग उन्होंने अपने दावों को पुष्ट करने के लिए किया था।
- "AI" कारक: जब उन्होंने जांच की कि सामग्री मानव द्वारा लिखी गई थी या किसी अन्य AI द्वारा, तो लगभग 23% विश्लेषित सामग्री AI-जनरेटेड प्रतीत हुई।
निष्कर्ष
अध्ययन यह निष्कर्ष निकालता है कि वर्तमान में ChatGPT मुख्य रूप से अपने स्वास्थ्य स्रोतों को चुनने के लिए प्रसिद्धि और प्रतिष्ठा (संस्थागत अधिकार) पर निर्भर करता है। यह बाकी सब के बजाय "बड़े नामों" को प्राथमिकता देता है।
हालांकि, पेपर चेतावनी देता है कि जैसे-जैसे इंटरनेट विकसित होगा, छोटी या व्यावसायिक वेबसाइटें "ट्रिक्स" (जैसे बेहतर डिजिटल टैग या बहुत हालिया तारीखें) का उपयोग करके रोबोट को भरोसेमंद अस्पतालों के बजाय उन्हें चुनने के लिए धोखा दे सकती हैं। यह अध्ययन एक "बेसलाइन" निर्धारित करता है—आज के पुस्तकालय का एक स्नैपशॉट—ताकि हम देख सकें कि क्या भविष्य में रोबोट अलग किताबें चुनना शुरू करता है।
महत्वपूर्ण नोट: लेखक जोर देते हैं कि यह एक प्रीप्रिंट (एक ड्राफ्ट) है और अभी तक इसकी पीयर-रिव्यू (विशेषज्ञ समीक्षा) नहीं हुई है। वे यह भी स्पष्ट रूप से कहते हैं कि इस शोध का उपयोग वास्तविक चिकित्सा निर्णय लेने के लिए नहीं किया जाना चाहिए। यह केवल इस बात का मानचित्र है कि रोबोट वर्तमान में पुस्तकालय को कैसे पढ़ रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।