When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models
यह अध्ययन प्रदर्शित करता है कि विविध भाषा मॉडल एक "उद्धरण एकसंस्कृति" (citation monoculture) प्रदर्शित करते हैं, क्योंकि वे साझा सामग्री-स्तरीय प्राथमिकता फिल्टरों के कारण वास्तविक शोध पत्रों के एक ही संकीर्ण उपसमुच्चय को असमान रूप से चुनते हैं, जो एक प्रणालीगत पूर्वाग्रह है जो तब भी बना रहता है जब मतिभ्रम (hallucinations) को समाप्त कर दिया जाता है और इसे केवल पुनर्प्राप्ति (retrieval) को समान करने या विक्रेताओं को मिलाने से हल नहीं किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दशकों से, विज्ञान के आगे बढ़ने का तरीका एक सरल, मानवीय आदत पर निर्भर रहा है: शोधकर्ता दूसरों के काम को पढ़ते हैं और तय करते हैं कि वे अपने लेखन में किन शोध पत्रों (पेपर्स) का उल्लेख करेंगे। उद्धरण (citation) देने का यह कार्य केवल एक औपचारिकता नहीं है; यह वैज्ञानिक श्रेय की मुद्रा है। जब किसी शोध पत्र को अक्सर उद्धृत किया जाता है, तो उसे दृश्यता प्राप्त होती है, जिससे अधिक उद्धरण मिलते हैं—एक चक्र जिसे 'मैथ्यू प्रभाव' (Matthew effect) कहा जाता है, जहाँ समृद्ध और अधिक समृद्ध होता जाता है। यह गतिशीलता हमेशा मानव पाठकों पर निर्भर रही है, जो एक लेखक की प्रतिष्ठा, एक जर्नल की प्रतिष्ठा या किसी शोध पत्र की पिछली सफलता को देख सकते हैं और उन संकेतों को अपने चयन के लिए मार्गदर्शक बना सकते हैं। लेकिन एक नई शक्ति कमरे में प्रवेश कर रही है। आर्टिफिशियल इंटेलिजेंस (AI) केवल व्याकरण की जाँच करने से आगे बढ़कर पूरे साहित्य समीक्षा (literature reviews) का मसौदा तैयार करने और उन संदर्भों को चुनने तक पहुँच गया है जो वैज्ञानिक समुदाय को क्या दिखाई देता है, इसे आकार देते हैं। प्रश्न अब केवल यह नहीं है कि क्या ये मशीनें लिख सकती हैं, बल्कि यह है कि वे क्या चुनती हैं। यदि AI को किसी विषय पर सबसे महत्वपूर्ण कार्य खोजने के लिए कहा जाए, तो क्या वह केवल मानवीय पूर्वाग्रह की नकल करता है, या वह अपने आप में एक नए प्रकार का पूर्वाग्रह बनाता है?
शोधकर्ताओं की एक टीम ने एक नियंत्रित प्रयोग बनाकर इसका उत्तर देने का प्रयास किया जिसने उन सभी चीजों को हटा दिया जो आमतौर पर एक उद्धरण को प्रभावित करती हैं। उन्होंने एक विशिष्ट विषय पर 12 ही वास्तविक वैज्ञानिक शोध पत्र एकत्र किए, लेकिन AI को दिखाने से पहले, उन्होंने सभी सामान्य स्थिति संकेतों (status signals) को छिपा दिया। लेखकों के नाम बदलकर फर्जी कर दिए गए, प्रकाशन के वर्ष बदल दिए गए, और प्रत्येक शोध पत्र को कितनी बार उद्धृत किया गया था, इसे पूरी तरह से हटा दिया गया। AI मॉडल को संक्षिप्त समीक्षाएँ या स्थिति पत्र (position papers) लिखने के लिए कहा गया, लेकिन एक सख्त नियम के साथ: वे उन्हें दिखाए गए तीस शोध पत्रों में से अधिकतम दस का ही उल्लेख कर सकते थे। इस कमी ने मॉडलों को सब कुछ सूचीबद्ध करने के बजाय वास्तविक चुनाव करने के लिए मजबूर किया। परिणाम केवल एक इत्तेफाक न हो, यह सुनिश्चित करने के लिए, शोधकर्ताओं ने AI के विकल्पों की तुलना एक आधार रेखा (baseline) से की जहाँ एक कंप्यूटर ने उसी सूची से यादृच्छिक रूप से (at random) शोध पत्र चुने थे, और उन्होंने आठ मानव विशेषज्ञों को भी बिल्कुल समान परिस्थितियों में वही चुनाव करने के लिए कहा।
परिणामों ने एक चौंकाने वाला और एकसमान पैटर्न प्रकट किया। जबकि मानव विशेषज्ञों ने अपने उद्धरणों को काफी समान रूप से वितरित किया, शोध पत्रों के साथ वैसा ही व्यवहार किया जैसा कि एक रैंडम पिकर करता, प्रत्येक परीक्षण किए गए AI मॉडल ने अपना ध्यान शोध पत्रों के एक बहुत ही छोटे, संकीर्ण उपसमूह पर केंद्रित किया। मानव समूह में, शीर्ष दस प्रतिशत शोध पत्रों को लगभग 19 प्रतिशत उद्धरण मिले, जो कि संयोग से अपेक्षित स्तर के करीब है। इसके विपरीत, AI मॉडलों ने अपने उद्धजनों में से 23 से 30 प्रतिशत हिस्सा केवल शीर्ष दस प्रतिशत शोध पत्रों को दिया। इससे भी महत्वपूर्ण बात यह थी कि मॉडलों ने लगातार शोध पत्रों की एक बड़ी संख्या को अनदेखा किया, जिससे कुछ शोध पत्र दर्जनों बार दिखाए जाने के बाद भी पूरी तरह से अन-उद्धृत (uncited) रह गए। यह काल्पनिक संदर्भ बनाने का मामला नहीं था; उनके द्वारा उद्धृत किया गया प्रत्येक शोध पत्र वास्तविक था, और जिस शोध पत्र को उन्होंने अनदेखा किया, वह भी वास्तविक था। विफलता 'हैलुसिनेशन' (hallucination) में नहीं थी, बल्कि एक साझा, अदृश्य फिल्टर में थी जिसने यह तय किया कि कौन से वास्तविक शोध पत्र पढ़ने योग्य हैं।
शायद सबसे परेशान करने वाली खोज यह थी कि यह फिल्टर सभी मॉडलों के लिए समान था, चाहे उन्हें बनाने वाली कंपनी कोई भी हो। चाहे AI OpenAI, Google या Anthropic द्वारा बनाया गया हो, वे सभी ठीक उन्हीं शोध पत्रों का पक्ष लेते थे और उन्हीं को अनदेखा करते थे। शोधकर्ताओं ने पाया कि इन ग्यारह अलग-अलग मॉडलों की प्राथमिकताएं इतनी समान थीं कि उन्हें एक साझा मानचित्र (map) के रूप में वर्णित किया जा सकता था कि एक "उद्धरण योग्य" (citable) शोध पत्र कैसा दिखता है। यह मानचित्र लेखकों के नाम या उस जर्नल पर आधारित नहीं था जिसमें वे प्रकाशित हुए थे, क्योंकि वे छिपे हुए थे। इसके बजाय, यह पूरी तरह से एब्स्ट्रैक्ट्स (abstracts) के पाठ (text) द्वारा संचालित था। मॉडल एक विशिष्ट शैली या प्रकार की सामग्री पर सहमत प्रतीत होते थे जो ध्यान आकर्षित करने योग्य थी, वे उन शोध पत्रों का पक्ष लेते थे जो मुख्य सैद्धांतिक कार्य की तरह लगते थे, जबकि वे व्यवस्थित रूप से अनुप्रयुक्त अनुसंधान (applied research) की अनदेखी करते थे, भले ही वे अनुप्रयुक्त शोध उतने ही वास्तविक और प्रासंगिक क्यों न हों।
यह समझने के लिए कि क्या यह पिछले उद्धरणों की सीखी हुई स्मृति थी या गुणवत्ता का वास्तविक निर्णय, शोधकर्ताओं ने शोध पत्रों के शीर्षक और एब्स्ट्रैक्ट को फिर से लिखने के बाद मॉडलों का परीक्षण किया। उन्होंने शब्दों को पूरी तरह से बदल दिया, यह सुनिश्चित करते हुए कि मॉडल शोध पत्रों को उनके सतही पाठ से पहचान न सकें, लेकिन उन्होंने अंतर्निहित अर्थ को बरकरार रखा। मॉडलों के चुनाव नहीं बदले। उन्होंने नए शब्दों के आधार पर अभी भी उन्हीं शोध पत्रों को चुना, जिससे यह सिद्ध हुआ कि उनकी प्राथमिकता सामग्री की शब्दावली के बजाय उसके अर्थ में निहित थी। यह सुझाव देता है कि मॉडलों ने एक अभिसारी (convergent), साझा अंतर्ज्ञान विकसित कर लिया है कि एक अच्छा शोध पत्र क्या होता है, जो कि वास्तव में मानव विशेषज्ञों द्वारा उसी कार्य के मूल्यांकन के तरीके से भिन्न है।
अध्ययन ने यह भी पता लगाया कि जब इन मॉडलों का समय के साथ बार-बार उपयोग किया जाता है तो क्या होता है। जैसे-जैसे AI मॉडल नए शोध पत्र लिखते थे और उन नए पत्रों को भविष्य के चयन के लिए पूल में वापस जोड़ा जाता था, मूल वास्तविक शोध पत्र दुर्लभ होते जाते थे। शोधकर्ताओं ने पाया कि जैसे-जैसे वास्तविक शोध पत्र कम होते गए, मॉडलों ने उन्हें और भी तीव्रता से उद्धृत किया, मानो वे कुछ शेष "अच्छे" विकल्पों के लिए प्रतिस्पर्धा कर रहे हों। हालाँकि, इसका मतलब यह नहीं था कि मॉडल संपूर्ण साहित्य पर अधिक ध्यान दे रहे थे; वास्तव में, वास्तविक शोध पत्रों को जाने वाले उद्धरणों का कुल हिस्सा काफी कम हो गया। मॉडल केवल जीवित बचे हुए एक छोटे समूह पर अपना सीमित ध्यान केंद्रित कर रहे थे, जिससे एक ऐसा फीडबैक लूप बन गया जहाँ एक निश्चित प्राथमिकता एक घटते हुए कैटलॉग से टकराती है।
यह शोध दर्शाता है कि विज्ञान में आर्टिफिशियल इंटेलिजेंस का खतरा केवल यह नहीं है कि यह फर्जी तथ्य बना सकता है, बल्कि यह है कि यह चुपचाप "सही" उत्तरों के एक संकीर्ण सेट पर सहमति जता सकता है जबकि क्षेत्र के बाकी हिस्सों की अनदेखी कर सकता है। भले ही सभी विकल्प वास्तविक हों और प्रत्येक शोध पत्र समान रूप से दृश्यमान हो, ये सिस्टम वैज्ञानिक ध्यान पर एक साझा फिल्टर लागू करते हैं। विभिन्न मॉडलों को एक साथ मिलाने से समस्या हल नहीं होती है, क्योंकि वे सभी एक ही अंतर्निहित पूर्वाग्रह साझा करते हैं। शोधकर्ताओं का सुझाव है कि समाधान सूचना के स्रोतों में विविधता लाने के बजाय स्वयं साझा 'प्रेफरेंस मैप' (preference map) को बदलने में निहित है। मशीनें केवल साहित्य को पढ़ नहीं रही हैं; वे यह तय करने लगी हैं कि साहित्य क्या है, और वे सभी एक ही चीज़ पर निर्णय ले रही हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।