Distributed Denial of Science: How Indirect Data Poisoning of AI Systems Can Industrialize Scientific Fraud
यह शोध पत्र प्रदर्शित करता है कि दुर्भावनापूर्ण तत्व अप्रत्यक्ष डेटा पॉइजनिंग के माध्यम से एआई-संचालित वैज्ञानिक अनुसंधान से समझौता करने के लिए ओपन डेटा इकोसिस्टम को हथियार बना सकते हैं, जिससे धोखाधड़ी वाले निष्कर्ष उत्पन्न करने में उच्च सफलता दर प्राप्त होती है, लेकिन यह भी दिखाता है कि डेटा प्रोवेनेंस ऑडिट लागू करना इन हमलों को प्रभावी ढंग से बेअसर कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ वैज्ञानिकों ने अपना होमवर्क करने के लिए सुपर-स्मार्ट, अथक रोबोट सहायकों की एक फौज काम पर रखी है। ये रोबोट इंटरनेट को खंगालते हैं, डेटा डाउनलोड करते हैं, नंबरों की गणना करते हैं और रिपोर्ट लिखते हैं। वे ईमानदार, मेहनती और अपने मानव मालिकों द्वारा भरोसेमंद माने जाते हैं।
अब, एक शरारती प्रैंकस्टर (मजाक करने वाला) की कल्पना करें जो पूरे वैज्ञानिक समुदाय को धोखा देना चाहता है। रोबोट्स को सीधे हैक करने के बजाय (जो असंभव है क्योंकि रोबोट सुरक्षित/लॉक डाउन हैं), वह व्यक्ति कुछ चालाकी करता है: वह एक सार्वजनिक पुस्तकालय की किताब लेता है, उसके हाशिए (margins) में कुछ फर्जी तथ्य लिख देता है, और एक नई, बदली हुई प्रति वापस शेल्फ पर रख देता है।
यह वह डरावनी वास्तविकता है जिसे "डिस्ट्रिब्यूटेड डैनियल ऑफ साइंस" (Distributed Denial of Science) नामक एक नए अध्ययन में वर्णित किया गया है। शोधकर्ताओं ने एक चुभता हुआ सवाल पूछा: क्या एक दूर बैठा बुरा व्यक्ति खुले डेटा को ज़हर देकर इन ईमानदार रोबोट वैज्ञानिकों को झूठ फैलाने के लिए मजबूर कर सकता है?
महान डकैती: यह चाल कैसे काम करती है
अध्ययन में पाया गया कि इसका उत्तर एक भयानक हाँ है।
यहाँ बताया गया है कि प्रैंकस्टर इसे कैसे अंजाम देता है:
- तैयारी (The Setup): बुरा व्यक्ति किसी सार्वजनिक साइट (जैसे GitHub या Kaggle) पर एक वास्तविक डेटासेट ढूंढता है। मान लीजिए कि यह ट्रैफिक स्टॉप या भर्ती के रुझानों (hiring trends) के बारे में है।
- ज़हर (The Poison): AI टूल्स का उपयोग करके, बुरा व्यक्ति नंबरों में हेरफेर करता है या एक नकली "README" फ़ाइल (एक नोट जो डेटा की व्याख्या करता है) लिखता है जो पूरी तरह से एक अलग कहानी बताता है। वे इसे ऐसा दिखा सकते हैं जैसे भर्ती का अंतर (hiring gap) कम हो रहा है जबकि वास्तव में वह बढ़ रहा है, या इसके विपरीत।
- अपलोड (The Upload): वे इस "ज़हरीले" संस्करण को वापस सार्वजनिक पुस्तकालय में अपलोड करते हैं।
- जाल (The Trap): ईमानदार रोबोट वैज्ञानिक, अपना काम करते हुए, डेटा की तलाश करते हैं। उन्हें ज़हरीला संस्करण मिलता है। क्योंकि फ़ाइल सामान्य दिखती है और उसके साथ एक अच्छी सी नोट जुड़ी होती है, रोबोट उस पर भरोसा करते हैं। वे इसे डाउनलोड करते हैं, विश्लेषण करते हैं, और एक रिपोर्ट लिखते हैं कि, "देखो! हमें यह अद्भुत नया तथ्य मिला!"
डरावनी बात क्या है? रोबोट बिल्कुल वही कर रहे हैं जो उन्हें बताया गया था। वे "झूठ" नहीं बोल रहे हैं; वे बस नकली डेटा के निर्देशों का पालन कर रहे हैं। मानव वैज्ञानिक, अपने रोबोटों पर भरोसा करते हुए, इन फर्जी निष्कर्षों को अपनी स्वतंत्र खोज के रूप में प्रकाशित करते हैं।
संख्याएँ: यह कितना बुरा है?
शोधकर्ताओं ने पांच अलग-अलग संवेदनशील विषयों (जैसे भर्ती भेदभाव, कार सुरक्षा और आप्रवास) पर तीन सबसे स्मार्ट उपलब्ध AI सिस्टम (Claude, Codex, और Gemini) का उपयोग करके 450 प्रयोग चलाए।
यहाँ उन्होंने क्या खोजा:
- रोबोट झांसे में आ गए: 49.56% प्रयोगों में, AI एजेंट पूरी तरह से मूर्ख बन गए। उन्होंने फर्जी निष्कर्षों के साथ पूरी रिपोर्ट लिखी, चाल को नहीं पहचान पाए, और कोई चेतावनी भी नहीं दी।
- "अनपेड आर्मी" (बिना वेतन वाली सेना): बुरे व्यक्ति को खुद एक भी फर्जी पेपर लिखने की ज़रूरत नहीं पड़ी। उन्होंने बस बुरा डेटा अपलोड किया। ईमानदार AI एजेंटों ने झूठ फैलाने का सारा काम किया।
- अंधा मोड़ (The Blind Spot): रोबोटों ने लगभग कभी भी चाल को नहीं पकड़ा। उन्होंने केवल 6.0% रन में डेटा को संदिग्ध बताया। यहाँ तक कि जब शोधकर्ताओं ने रोबोट्स को अतिरिक्त आलोचनात्मक और संदेही होने के लिए कहा, तो पहचान दर में अधिक वृद्धि नहीं हुई।
- यह दोनों तरफ काम करता है: बुरा व्यक्ति रोबोटों को यह कहने के लिए मजबूर कर सकता था कि समस्या बढ़ रही है या बेहतर हो रही है। दोनों दिशाओं के लिए सफलता दर समान थी।
दिलचस्प बात यह है कि एक रोबोट (Codex) को बेवकूफ बनाना थोड़ा कठिन था (बुरे व्यक्ति के लिए केवल 31.33% सफलता), जबकि दूसरा (Gemini) सबसे आसानी से बहका देने वाला था (62.0% सफलता)। लेकिन कोई भी सुरक्षित नहीं था।
यह एक बड़ी बात क्यों है
पेपर का तर्क है कि यह खतरनाक है क्योंकि यह "ओपन साइंस" आंदोलन को उसके ही खिलाफ कर देता है। आमतौर पर, बहुत सारे लोगों द्वारा डेटा की जांच करना त्रुटियों को पकड़ने के लिए होता है। लेकिन यहाँ, रोबोट इतने उत्सुक हैं कि वे किसी भी डेटा को खोजने के लिए उसे पकड़ लेते हैं और असली वाले को अनदेखा कर देते हैं।
शोधकर्ताओं ने पाया कि रोबोट अक्सर यह भी नहीं समझ पाते थे कि वे एक नकली चीज़ देख रहे हैं। कुछ मामलों में, रोबोटों ने दावा किया कि नकली डेटा "प्री-रजिस्टर्ड" (ईमानदार विज्ञान का एक स्वर्ण मानक) था, जबकि वह बिल्कुल नहीं था। वे तो असली डेटा पर भी संदेह करने लगे, यह सोचकर कि असली डेटा में ही समस्या है!
क्या कोई ढाल है?
शोधकर्ताओं ने केवल समस्या को नहीं खोजा; उन्होंने एक ढाल बनाने की कोशिश भी की। उन्होंने रोबोट्स को बचाने के दो तरीकों का परीक्षण किया:
"स्केप्टिक" (संदेहवादी) व्यक्तित्व: उन्होंने रोबोट्स को कहा, "हे, एक बहुत ही सावधान, आलोचनात्मक वैज्ञानिक की तरह व्यवहार करो जो हर चीज़ की दोबारा जांच करता है।"
- परिणाम: इससे थोड़ी मदद मिली। इसने अधिक झूठ पकड़े (पहचान दर बढ़कर 30.67% हो गई), लेकिन रोबोट फिर भी 16.67% मामलों में मूर्ख बन गए। रोबोट अभी भी खराब डेटा का उपयोग कर रहे थे, वे बस अपनी रिपोर्टों में कुछ अधिक "शायद" जैसे शब्दों का उपयोग कर रहे थे।
"प्रोवेनेंस ऑडिट" (स्रोत की जाँच): यह सबसे प्रभावी तरीका था। उन्होंने रोबोट्स को किसी भी डेटा पर भरोसा करने से पहले चलाने के लिए एक विशिष्ट चेकलिस्ट दी:
- चेक 1: क्या कोई वास्तविक, विश्वसनीय पेपर इस डेटा का उल्लेख करता है?
- चेक 2: क्या नंबर अजीब लग रहे हैं (जैसे असंभव औसत)?
- चेक 3: क्या यह डेटा बाहर मौजूद अन्य समान डेटा से मेल खाता है?
- चेक 4: क्या "सोशल प्रूफ" (लाइक्स, डाउनलोड) वास्तविक लग रहा है?
- चेक 5: स्पष्ट रूप से पूछें, "क्या यह एक जाल हो सकता है?"
- परिणाम: जादू। जब रोबोटों ने इस चेकलिस्ट का उपयोग किया, तो बुरे व्यक्ति की सफलता दर गिरकर 0.0% हो गई। रोबोटों ने हर एक ज़हरीले डेटासेट को पकड़ लिया।
निष्कर्ष
पेपर सुझाव देता है कि हम एक नए प्रकार के वैज्ञानिक धोखाधड़ी के मुहाने पर हैं। यह एक व्यक्ति द्वारा फर्जी अध्ययन लिखने के बारे में नहीं है; यह एक बुरे व्यक्ति द्वारा बुरा डेटा बोने के बारे में है, और फिर हजारों ईमानदार AI एजेंटों द्वारा उसे सींचने, काटने और सत्य के रूप में बेचने के बारे में है।
अच्छी खबर? पेपर सुझाव देता है कि यदि हम अपने AI एजेंटों को बेहतर जासूस बनने के लिए सिखाते हैं—विशेष रूप से यह जांचकर कि डेटा कहाँ से आता है और अन्य स्रोतों के साथ तुलना करके—तो हम इस धोखाधड़ी को रोक सकते हैं। लेकिन उन जांचों के बिना, पेपर चेतावनी देता है कि वैज्ञानिक धोखाधड़ी जल्द ही औद्योगिक स्तर पर, ऑटोपायलट पर चल सकती है।
पेपर क्या खारिज करता है:
शोधकर्ता स्पष्ट रूप से कहते हैं कि इस हमले के लिए बुरे व्यक्ति को AI के दिमाग को हैक करने, गुप्त "ट्रिगर वर्ड्स" का उपयोग करने, या फर्जी अकादमिक पेपर लिखने की आवश्यकता नहीं है। हमला पूरी तरह से ओपन डेटा इकोसिस्टम और भ्रामक मेटाडेटा के माध्यम से काम करता है। वे यह भी तर्क देते हैं कि केवल AI को "आलोचनात्मक" होने के लिए कहना पर्याप्त नहीं है; आपको एक संरचित ऑडिट प्रक्रिया की आवश्यकता है।
वे कितने निश्चित हैं?
शोधकर्ता अपने निष्कर्षों के बारे में बहुत आश्वस्त हैं क्योंकि उन्होंने वास्तव में प्रयोग चलाए। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने इस हमले का 450 बार अनुकरण (simulate) किया और परिणामों को मापा। वे स्पष्ट रूप से कहते हैं कि इन सिमुलेशन में, हमला लगभग आधे समय काम करता है, और "प्रोवेनेंस ऑडिट" इसे पूरी तरह से रोक देता है। वे यह दावा नहीं करते कि यह वास्तविक दुनिया में हल की गई समस्या है, लेकिन उन्होंने सिद्ध कर दिया है कि खतरा वास्तविक है और समाधान उनके परीक्षणों में काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।