Large Language Models Threaten Double-blind Review
यह शोध पत्र प्रदर्शित करता है कि बड़े भाषा मॉडल (large language models) शीर्षकों और सारांशों में स्थिर वैचारिक हस्ताक्षरों (stable conceptual signatures) की पहचान करके डबल-ब्लाइंड पीयर रिव्यू में लेखकों को प्रभावी ढंग से गुमनामता से मुक्त (de-anonymize) कर सकते हैं, जिससे वर्तमान समीक्षा प्रणाली की अखंडता को खतरा उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
वैज्ञानिक दुनिया की कल्पना एक विशाल, हलचल भरे बाज़ार के रूप में करें जहाँ शोधकर्ता अपने नवीनतम विचारों को परखने के लिए लेकर आते हैं। चीज़ों को निष्पक्ष रखने के लिए, इनमें से कई बाज़ारों में एक विशेष नियम का उपयोग किया जाता है जिसे "डबल-ब्लाइंड रिव्यू" (दोहरी-अंध समीक्षा) कहा जाता है। यह एक रहस्यमय खेल की तरह है जहाँ पेपर का न्याय करने वाला व्यक्ति (समीक्षक) नहीं जानता कि इसे किसने लिखा है, और लेखक नहीं जानता कि न्याय कौन कर रहा है। इसका लक्ष्य यह सुनिश्चित करना है कि विचार का मूल्यांकन केवल उसके अपने गुणों के आधार पर किया जाए, न कि इस आधार पर कि लेखक किसी शीर्ष विश्वविद्यालय के प्रसिद्ध प्रोफेसर हैं या अभी शुरुआत करने वाला कोई छात्र। इस खेल को काम करने के लिए, पेपर को एक आदर्श वेशभूषा वाला होना चाहिए। इसे एक "भूतिया कहानी" (ghost story) होना चाहिए जहाँ लेखक की पहचान पूरी तरह से मिटा दी गई हो, जिससे केवल विज्ञान ही शेष रह जाए। लेकिन क्या होगा यदि भूतों ने पीछे एक गुप्त उंगलियों के निशान छोड़ दिए हों जिसे केवल एक सुपर-स्मार्ट मशीन ही देख सके? यही वह बड़ा सवाल है जो आज वैज्ञानिक पूछ रहे हैं, विशेष रूप से आर्टिफिशियल इंटेलिजेंस (AI) के उदय के साथ, जो भाषा को पहले से कहीं बेहतर ढंग से पढ़ और समझ सकता है।
यह पेपर एक जासूसी कहानी है कि क्या वह "भूतिया वेशभूषा" वास्तव में अब भी काम कर रही है। शोधकर्ताओं ने यह देखने के लिए एक परीक्षण स्थापित किया कि क्या आधुनिक AI मॉडल, विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs), केवल शीर्षक और एब्स्ट्रैक्ट (शुरुआत में दिया गया संक्षिप्त सारांश) को पढ़कर यह पता लगा सकते हैं कि वैज्ञानिक पेपर किसने लिखा है। उन्होंने किसी भी फैंसी ट्रिक का उपयोग नहीं किया जैसे कि लेखक ने किसे उद्धृत (cite) किया या उन्होंने अल्पविराम (comma) का उपयोग कैसे किया; उन्होंने केवल AI को न्यूनतम पाठ (text) दिया। फिर उन्होंने AI से पाँच संभावित संदिग्धों की एक लाइन में से वास्तविक लेखक का अनुमान लगाने के लिए कहा: वास्तविक लेखक और चार अन्य विशेषज्ञ जो समान विषयों पर काम करते हैं।
परिणाम पुराने नियमों की निष्पक्षता के लिए थोड़े डरावने थे। जब मानव विशेषज्ञों ने इस अनुमान लगाने वाले खेल को खेलने की कोशिश की, तो वे इसमें बहुत खराब थे। 100 प्रयासों में से, एक मानव केवल 11 बार पहली बार में सही लेखक का अनुमान लगा सका। वे ज्यादातर अंधेरे में अनुमान लगा रहे थे, अपनी धारणा को कई संदिग्धों में फैला रहे थे। लेकिन जब AI ने उसी खेल को खेला, तो यह एक अलग कहानी थी। AI 100 में से 42 बार पहली बार में सही लेखक का अनुमान लगाने में सफल रहा। यह मनुष्यों की तुलना में लगभग चार गुना बेहतर है!
पेपर सुझाव देता है कि AI केवल अनुमान नहीं लगा रहा है; यह "लेटेंट कॉन्सेप्चुअल सिग्नेचर" (सुप्त वैचारिक हस्ताक्षर) को खोज रहा है। इसे ऐसे समझें: भले ही दो लोग एक ही वर्दी पहनते हों और एक ही भाषा बोलते हों, फिर भी उनके पास कॉफी कप पकड़ने या चुटकुला सुनाने का एक अनूठा तरीका हो सकता है। विज्ञान में, शोधकर्ताओं के समस्याओं को फ्रेम करने या अपने लक्ष्यों का वर्णन करने के अनूठे तरीके होते हैं। AI लाइनों के बीच पढ़ने में इतना कुशल है कि वह शीर्षक और एब्स्ट्रैक्ट में इन सूक्ष्म पैटर्नों को पहचान सकता है, जिससे संदिग्धों की सूची को उच्च विश्वास के साथ केवल कुछ लोगों तक सीमित किया जा सके।
अध्ययन ने यह भी जांचा कि क्या यह केवल प्रसिद्ध, जाने-माने वैज्ञानिकों के साथ होता है। ऐसा नहीं था। AI जूनियर शोधकर्ताओं के लेखकों का अनुमान लगाने में उतना ही सक्षम था जितना कि वरिष्ठों के लिए। इसने यह भी पाया कि AI और भी बेहतर हो गया जब "संदिग्ध" एक-दूसरे से कम मिलते-जुलते थे, लेकिन भले ही संदिग्ध बिल्कुल उसी क्षेत्र के विशेषज्ञ थे, फिर भी AI मनुष्यों की तुलना में बहुत बेहतर प्रदर्शन कर रहा था।
हालाँकि, पेपर सावधानी बरतता है कि यह नहीं कहता कि डबल-ब्लाइड रिव्यू पूरी तरह से टूट गया है या AI हमेशा लेखक का नाम 100% निश्चितता के साथ बता सकता है। इसके बजाय, यह सुझाव देता है कि प्रणाली "लीकी" (leaky - यानी लीक होने वाली) होती जा रही है। AI हमेशा एकमात्र सच्चे लेखक की ओर इशारा नहीं कर सकता है, लेकिन यह संभावनाओं के दायरे को इतना छोटा कर सकता है कि गुमनामी उतनी सुरक्षित नहीं रह जाती जितनी हम सोचते थे। यह "पूर्ण वेशभूषा" को एक "धुंधली वेशभूषा" में बदल देता है जिसे एक स्मार्ट मशीन फिर भी देख सकती है। लेखक निष्कर्ष निकालते हैं कि हालांकि AI हर बार रहस्य सुलझाने वाला कोई जादुई डंडा नहीं है, लेकिन इसने खेल को इतना बदल दिया है कि हमें यह सोचने की ज़रूरत हो सकती है कि उस युग में हम अपने वैज्ञानिक रिव्यूज को कैसे निष्पक्ष रखें जहाँ कंप्यूटर हमारे दिमाग को हमसे बेहतर पढ़ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।