What does Retraction Watch's "computer-generated content" reason capture? A metadata analysis of 9,161 retractions
9,161 शोध-वापसी (retractions) का यह मेटाडेटा विश्लेषण प्रकट करता है कि रिट्रैक्शन वॉच (Retraction Watch) में "कंप्यूटर-जनित सामग्री" (computer-generated content) का कारण एक ही प्रकाशक में अत्यधिक केंद्रित है और पेपर मिल्स (paper mills) के साथ दृढ़ता से जुड़ा हुआ है, लेकिन ये पैटर्न को-कोडिंग (co-coding) प्रथाओं को दर्शाते हैं न कि हटाए गए लेखों में वास्तविक रूप से जनरेटिव एआई (generative AI) की उपस्थिति के बारे में निर्णायक साक्ष्य प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानव ज्ञान के विशाल पुस्तकालय में, प्रत्येक प्रकाशित अध्ययन को सत्य की एक आधारशिला माना जाना चाहिए। लेकिन कभी-कभी, इन आधारशिलाओं को बाहर निकाल लिया जाता है। जब कोई जर्नल किसी शोध पत्र को त्रुटिपूर्ण, धोखाधड़ी वाला या केवल गलत घोषित करता है, तो वह एक 'रिट्रैक्शन' (वापस लेना) जारी करता है, जो प्रभावी रूप से उस लेख को विज्ञान की अलमारियों से हटा देता है। दशकों से, शोधकर्ता यह समझने के लिए इन रिट्रैक्शन्स का पता लगाते रहे हैं कि यह प्रणाली कहाँ विफल होती है। हाल ही में, रिट्रैक्शन नोटिसों में एक नया कारण दिखाई दिया है: "कंप्यूटर-जनरेटेड कंटेंट" (कंप्यूटर द्वारा निर्मित सामग्री)। यह लेबल तब लगाया जाता है जब एक जांच में यह पाया जाता है कि एक पेपर, पूर्ण या आंशिक रूप से, मानव के बजाय एक मशीन द्वारा लिखा गया था। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस टूल्स अधिक शक्तिशाली और सुलभ होते गए हैं, यह कारण तेजी से बढ़ा है, जिससे कई लोग इसे जनरेटिव एआई द्वारा संचालित कदाचार की एक नई लहर मानते हैं। प्रश्न यह है कि क्या यह लेबल वास्तव में एआई-लिखित शोध पत्रों की वृद्धि की ओर संकेत करता है, या यह कुछ और ही पकड़ रहा है।
जोनास मंडलुनेस नामक एक शोधकर्ता ने यह जांचने के लिए कदम उठाया कि यह लेबल वास्तव में क्या पकड़ता है। 66,000 से अधिक रिट्रैक्शन रिकॉर्ड के एक विशाल डेटाबेस का उपयोग करते हुए, इस अध्ययन ने उन 9,161 शोध पत्रों पर ध्यान केंद्रित किया जिनमें "कंप्यूटर-एडेड या कंप्यूटर-जेनरेटेड कंटेंट" का कारण दर्ज था। लक्ष्य यह देखना था कि क्या ये पेपर इस मामले में अन्य रिट्रैक्ट किए गए लेखों से अलग व्यवहार करते हैं कि वे वापस लिए जाने से पहले कितने समय तक छपे रहे, उनकी अन्य समस्याएं क्या थीं, और रिट्रैक्शन के बाद उन्हें कितनी बार उद्धृत (साइट) किया गया। निष्कर्ष बताते हैं कि इस लेबल के पीछे की कहानी एआई के दुरुपयोग की एक साधारण लहर की तुलना में कहीं अधिक जटिल और विशिष्ट है।
पहली चीज़ जो डेटा ने दिखाई वह थी संख्याओं में एक बड़ी उछाल, लेकिन यह पूरी दुनिया के विज्ञान में एक समान वृद्धि नहीं थी। 2020 से पहले, यह कारण लगभग अस्तित्वहीन था, जो केवल 28 शोध पत्रों में दिखाई देता था। हालांकि, 2023 तक, इसने उस वर्ष दर्ज किए गए सभी रिट्रैक्शन्स में लगभग 42 प्रतिशत हिस्सा ले लिया था। यह अचानक विस्फोट एआई-जनित धोखाधड़ी की एक लहर जैसा लग रहा था। फिर भी, जब शोधकर्ता ने बारीकी से देखा, तो वह लहर हर जगह से नहीं आ रही थी। यह लगभग पूरी तरह से एक विशिष्ट स्थान पर केंद्रित थी: हिंदवी (Hindawi) नामक एक एकल प्रकाशक। वास्तव में, इस लेबल वाले सभी शोध पत्रों में से 70 प्रतिशत इसी एक प्रकाशक के थे। इस प्रकाशक ने हाल ही में अपने 'स्पेशल-इश्यू' कार्यक्रमों की एक व्यापक आंतरिक जांच की थी, जिसमें पीयर-रिव्यू (सहकर्मी समीक्षा) प्रक्रिया में व्यापक हेरफेर का खुलासा हुआ था। अध्ययन का सुझाव है कि यह लेबल मुख्य रूप से वैज्ञानिक क्षेत्रों में एआई लेखन की सामान्य महामारी के बजाय, इस विशिष्ट, बड़े पैमाने पर की गई सफाई के परिणाम को पकड़ रहा है।
एक अन्य सामान्य धारणा यह थी कि इन कंप्यूटर-जनरेटेड शोध पत्रों को अन्य धोखाधड़ी वाले कार्यों की तुलना में बहुत तेज़ी से पकड़ा जा रहा है। चूंकि मशीनें टेक्स्ट को तेज़ी से तैयार कर सकती हैं, इसलिए यह तर्कसंगत लगा कि उनकी गलतियाँ भी जल्दी पकड़ी जाएंगी। कच्चे आंकड़े इस बात का समर्थन करते दिख रहे थे, जिससे पता चला कि "कंप्यूटर-जेनरेटेड" शोध पत्रों के रिट्रैक्शन के बीच का समय अंतराल अन्य विविध समयसीमाओं वाले रिट्रैक्ट किए गए शोध पत्रों की तुलना में बहुत कम था। हालांकि, यह सटीक समय अंतराल एक भ्रम था जो डेटा के संकेंद्रण से पैदा हुआ था। जब शोधकर्ता ने इन शोध पत्रों की तुलना केवल उसी प्रकाशक और उसी वर्ष के अन्य शोध पत्रों से की, तो समय का यह अंतर गायब हो गया। "कंप्यूटर-जेनरेटेड" शोध पत्र तेज़ी से नहीं पकड़े जा रहे थे; वे बस उन शोध पत्रों का हिस्सा थे जिन्हें उस विशिष्ट प्रकाशक की जांच के दौरान एक साथ समीक्षा और रिट्रैक्ट किया गया था। एक बार जब प्रमुख प्रकाशक को तुलना से हटा दिया गया, तो यह विचार कि इन शोध पत्रों की एक अद्वितीय, तेज़-ट्रैक टाइमलाइन है, पूरी तरह से समाप्त हो गया।
अध्ययन ने इस लेबल और "पेपर मिल्स" (वे संगठन जो फर्जी लेखकत्व और बनावटी पांडुलिपियां बेचते हैं) के बीच संबंध की भी जांच की। शुरुआत में, डेटा ने एक मजबूत संबंध दिखाया: 71 प्रतिशत "कंप्यूटर-जेनरेटेड" शोध पत्रों में "पेपर-मिल" का फ्लैग भी लगा था, जबकि अन्य रिट्रैक्ट किए गए शोध पत्रों में यह केवल 9 प्रतिशत था। इससे यह संकेत मिला कि यह लेबल इन आपराधिक संचालनों के लिए एक विश्वसनीय मार्कर है। लेकिन फिर से, जब डेटा को प्रकाशक और वर्ष के अनुसार वर्गीकृत किया गया, तो तस्वीर बदल गई। 2023 से पहले, यह संबंध अस्तित्वहीन था। 2023 और 2024 में, यह संबंध बहुत मजबूत हो गया, लेकिन केवल विशिष्ट प्रकाशकों के भीतर। अन्य बड़े प्रकाशकों में, यह संबंध वास्तव में उलट गया, जहाँ "कंप्यूटर-जेनरेटेड" शोध पत्रों के पेपर मिल्स से जुड़े होने की संभावना अन्य रिट्रैक्ट किए गए शोध पत्रों की तुलना में कम थी। यह अत्यधिक भिन्नता बताती है कि लेबल को पेपर मिल्स से जोड़ने वाला कोई एक, सार्वभौमिक नियम नहीं है; यह जुड़ाव पूरी तरह से इस पर निर्भर करता है कि जांच कौन कर रहा है और कब कर रहा है।
अंत में, शोधकर्ता ने यह देखा कि क्या इन शोध पत्रों को रिट्रैक्ट होने के बाद कम बार उद्धृत (साइट) किया गया था, जो इस बात का संकेत होता कि वैज्ञानिक समुदाय चेतावनी पर ध्यान दे रहा है। पहली नज़र में, ऐसा प्रतीत हुआ कि "कंप्यूटर-जेनरेटेड" शोध पत्रों को समान रिट्रैक्ट किए गए शोध पत्रों की तुलना में काफी कम उद्धृत किया गया था। लेकिन यह अंतर काफी हद तक इस तथ्य के कारण था कि नियंत्रण समूह (control group) के शोध पत्रों को रिट्रैक्ट होने से पहले ही भारी मात्रा में उद्धृत किया गया था। जब शोधकर्ता ने शोध पत्रों को उनके पहले प्राप्त उद्धरणों (citations) के आधार पर सटीक रूप से मैच किया, तो रिट्रैक्शन के बाद के उद्धरणों में अंतर लगभग समाप्त हो गया। शेष मामूली अंतर सांख्यिकीय रूप से महत्वपूर्ण नहीं था, जो यह सुझाव देता है कि वैज्ञानिक समुदाय इन शोध पत्रों के साथ अन्य रिट्रैक्ट किए गए कार्यों के समान ही व्यवहार करता है, यदि उनकी पूर्व प्रतिष्ठा को ध्यान में रखा जाए।
सबसे महत्वपूर्ण निष्कर्ष विशिष्ट शब्दों की खोज से प्राप्त हुआ। शोधकर्ता ने शोध पत्रों के मेटाडेटा में विशिष्ट एआई टूल्स, जैसे "ChatGPT" या "लार्ज लैंग्वेज मॉडल्स" के उल्लेख की तलाश की। हजारों रिकॉर्डों में से, केवल 21 में ऐसे विशिष्ट शब्द थे। इससे भी अधिक आश्चर्यजनक बात यह थी कि जिन शोध पत्रों में विशिष्ट एआई टूल का उल्लेख था, वे स्वयं उस टूल के बारे में नहीं थे; वे एआई के बारे में अध्ययन थे, न कि एआई द्वारा लिखे गए शोध पत्र। वह एक शोध पत्र जिसने एआई-जनित चित्रों (figures) का उल्लेख किया था, उसमें "कंप्यूटर-जेनरेटेड कंटेंट" का लेबल भी नहीं लगा था। यह इंगित करता है कि लेबल इसलिए नहीं लगाया जा रहा है क्योंकि रिट्रैक्शन नोटिस स्पष्ट रूप से कहते हैं कि "इसे एक मशीन द्वारा लिखा गया है।" इसके बजाय, लेबल शोध पत्र की अखंडता की व्यापक जांच के आधार पर लगाया जा रहा है, जो अक्सर समझौता की गई पीयर-रिव्यू प्रक्रियाओं के निष्कर्षों के साथ आता है।
अध्ययन निष्कर्ष निकालता है कि रिट्रैक्शन डेटाबेस में "कंप्यूटर-जेनरेटेड कंटेंट" का लेबल जनरेटिव एआई के दुरुपयोग का एक विश्वसनीय प्रतिनिधि नहीं है। यह एक विशिष्ट, बड़े पैमाने पर की गई जांच का रिकॉर्ड है, जो एक एकल प्रकाशक के 'स्पेशल-इश्यू' कार्यक्रमों से संबंधित है, जहाँ इस लेबल का उपयोग पेपर मिल्स और पीयर-रिव्यू विफलताओं सहित कई मुद्दों के लिए किया गया था। डेटा दिखाता है कि यह लेबल किसी अद्वितीय प्रकार के शोध पत्र की ओर इशारा नहीं करता जिसे तेज़ी से पकड़ा जाता है या जिसे वैज्ञानिक समुदाय द्वारा अलग तरह से माना जाता है। जब तक शोधकर्ता वास्तविक रिट्रैक्शन नोटिसों को पढ़ नहीं सकते और सामग्री को सत्यापित नहीं कर सकते, तब तक इस लेबल का उपयोग एआई-जनित धोखाधड़ी के माप के रूप में करने से समस्या का विकृत दृश्य सामने आएगा। असली कहानी एआई-लिखित विज्ञान का अचानक आक्रमण नहीं है, बल्कि एक विशिष्ट पब्लिशिंग वर्कफ़्लो की केंद्रित सफाई है, जिसमें संयोगवश अपने निष्कर्षों का वर्णन करने के लिए एक व्यापक लेबल का उपयोग किया गया था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।