Pretraining Data Can Be Poisoned through Computational Propaganda
यह शोध पत्र प्रदर्शित करता है कि सार्वजनिक चर्चा इंटरफेस के माध्यम से भाषा मॉडलों के लिए बड़े पैमाने पर प्रीट्रेनिंग डेटा को विषाक्त किया जा सकता है और "HalfLife" का परिचय देता है, जो वेब क्रॉलिंग और क्यूरेशन के बाद ऐसे प्रतिकूल कंटेंट के समावेश का अनुमान लगाने के लिए एक नवीन विश्लेषण पद्धति है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है जहाँ हर किताब, ब्लॉग पोस्ट और कमेंट को एक सुपर-स्मार्ट रोबोट मस्तिष्क में डाला जा रहा है। यह रोबोट, जिसे लार्ज लैंग्वेज मॉडल (LLM) कहा जाता है, एक ऐसे छात्र की तरह है जो बात करने, लिखने और सोचने का तरीका सीखने के लिए सब कुछ पढ़ता है। यह जितना अधिक पढ़ता है, उतना ही स्मार्ट होता जाता है। लेकिन यहाँ एक पेंच है: पुस्तकालय इतना विशाल है कि कोई भी इंसान हर एक पन्ने की सच्चाई, बकवास या धोखे के लिए जाँच नहीं कर सकता। यहीं पर खतरा छिपा है। यदि कोई लाइब्रेरी में कुछ नकली निर्देश चुपके से डाल देता है, तो रोबोट सच्चाई के बजाय उन चालाकियों को सीख सकता है। यह शोध एक नए तरीके की खोज करता है जिससे बुरे तत्व (bad actors) इस रोबोट के आहार में ये "जहरीले" पन्ने शामिल कर सकते हैं, पुस्तकालय को हैक करके नहीं, बल्कि उन वेबसाइटों के सार्वजनिक कमेंट सेक्शन में अपनी झूठ चिल्लाकर जिन्हें रोबोट विज़िट करता है।
शोधकर्ताओं की एक टीम, जो वॉशिंगटन विश्वविद्यालय और एलन इंस्टीट्यूट फॉर आर्टिफिशियल इंटेलिजेंस से है, यह देखना चाहती थी कि क्या "कमेंट्स में चिल्लाने" वाली यह ट्रिक वास्तव में काम करती है। उन्होंने एक नया टूल बनाया जिसे HALFLIFE कहा जाता है, जो एक जासूस की तरह काम करता है, और ऑनलाइन पोस्ट किए जाने के क्षण से लेकर रोबट की अव्यवस्थित सीखने की प्रक्रिया तक एक नकली सामग्री को ट्रैक करता है। उन्होंने पाया कि रोबोट का "आहार" आश्चर्यजनक रूप से असुरक्षित है। भले ही रोबोट के निर्माता कचरे को फ़िल्टर करने की कोशिश करते हैं, लेकिन दुर्भावनापूर्ण कमेंट्स की एक महत्वपूर्ण मात्रा दरारों से निकलकर अंदर पहुँच जाती है।
यहाँ उनकी खोज दी गई है:
हमला: स्टैंड्स से चिल्लाना
इंटरनेट को एक विशाल स्टेडियम की तरह समझें। अधिकांश समय, रोबोट केवल आधिकारिक गेम प्रोग्राम (मुख्य लेख) पढ़ता है। लेकिन स्टेडियम में हजारों खुले माइक स्टेशन भी होते हैं जहाँ प्रशंसक कुछ भी चिल्ला सकते हैं (कमेंट सेक्शन)। शोधकर्ताओं ने महसूस किया कि एक बुरे तत्व को स्टेडियम को हैक करने की ज़रूरत नहीं है; उन्हें बस एक मेगाफोन खरीदने और उन ओपन-माइक में बकवास चिल्लाना शुरू करने की ज़रूरत है। उन्होंने इसका परीक्षण करने के लिए बॉट्स की एक सेना का अनुकरण किया जो हजारों वास्तविक वेबसाइटों पर "टाइड पॉड्स खाने से स्वास्थ्य बढ़ता है" या "ब्रांड X, ब्रांड Y से बेहतर है" जैसे झूठे दावे पोस्ट कर रहे थे।
फ़िल्टर: रोबोट का लंचबॉक्स
एक बार जब रोबोट के "क्रॉलर्स" (डिजिटल मकड़ी) इन पेजों को इकट्ठा कर लेते हैं, तो वे सब कुछ नहीं खाते। उनका एक सख्त लंचबॉक्स रूटीन होता है:
- स्क्रैपिंग (Scraping): वे टेक्स्ट खोजने के लिए पेज को टुकड़ों में तोड़ देते हैं।
- फ़िल्टरिंग (Filtering): वे उन पेजों को फेंक देते हैं जो बहुत छोटे हैं, गलत भाषा में हैं, या स्पैम जैसे दिखते हैं।
- क्वालिटी चेक (Quality Check): वे पेजों को यह देखने के लिए रेटिंग देते हैं कि क्या वे "अच्छे" पढ़ने योग्य सामग्री हैं।
टीम ने यह देखने के लिए HALFLIFE का उपयोग किया कि उनके नकली कमेंट्स में से कितने इस लंचबॉक्स रूटीन से बच निकले। परिणाम चौंकाने वाले थे। सभी फ़िल्टरिंग के बाद भी, लगभग 0.13% दुर्भावनापूर्ण कमेंट्स अंतिम प्रशिक्षण डेटा में पहुँच गए। हालांकि यह सुनने में बहुत कम लगता है, लेकिन याद रखें कि लाइब्रेरी विशाल है। वह 0.13% दस्तावेज़ों के पूरे विकिपीडिया संग्रह से भी अधिक है! वास्तव में, पिछले शोध ने सुझाव दिया था कि रोबोट को एक गुप्त ट्रिक सिखाने के लिए केवल 250 जहरीले दस्तावेज़ ही काफी हैं। शोधकर्ताओं ने गणना की कि हमलावर को उस लक्ष्य तक पहुँचने के लिए केवल 1,00,000 से 10,00,000 वेबपेज को ज़हरीला बनाना होगा—जो कि ऑटोमेटेड बॉट्स के साथ करना पूरी तरह से संभव है।
परिणाम: रोबोट झूठ पर विश्वास करता है
यह साबित करने के लिए कि यह केवल एक सिद्धांत नहीं था, टीम ने इन जहरीले कमेंट्स के साथ छोटे रोबोट दिमागों को वास्तव में प्रशिक्षित किया। उन्होंने रोबोट को यह सिखाया कि, उदाहरण के लिए, "Citroen, Renault से बेहतर है" या "Pfizer, Moderna से श्रेष्ठ है" जो कि उनके द्वारा रोपे गए नकली कमेंट्स पर आधारित था। जब उन्होंने रोबोटों का परीक्षण किया, तो परिणाम स्पष्ट थे: रोबोट जहरीले उत्तरों का पक्ष लेने लगे। भले ही बाद में रोबोटों को मददगार और सुरक्षित होने के लिए "सिखाया" गया (एक प्रक्रिया जिसे इंस्ट्रक्शन ट्यूनिंग कहा जाता है), जहर पूरी तरह से नहीं निकला। रोबोट जितना बड़ा होता, सुरक्षा प्रशिक्षण उतना ही अधिक मदद करता, लेकिन छोटे रोबोट हमलावर के झूठ की ओर भारी रूप से पक्षपाती बने रहे।
क्या काम नहीं करता
इस पेपर ने एक अलग विचार का भी परीक्षण किया: क्या होगा यदि बुरे तत्व कमेंट्स के बजाय ऑनलाइन विज्ञापनों का उपयोग करें? उन्होंने पाया कि इससे काम नहीं चलेगा। विज्ञापन आमतौर पर छोटे बक्सों (जैसे iframes) के अंदर छिपे होते हैं जिन्हें रोबोट के स्पाइडर पेज को स्कैन करते समय पढ़ नहीं पाते हैं। इसलिए, जहाँ कमेंट्स एक लीक होने वाला दरवाज़ा हैं, वहीं विज्ञापन एक सुरक्षित तिजोरी की तरह हैं।
निष्कर्ष
मुख्य सबक यह है कि इंटरनेट के खुले कमेंट सेक्शन हमारे सबसे उन्नत AI के मस्तिष्क में एक छिपा हुआ बैकडोर हैं। क्योंकि ये कमेंट्स इतने आम हैं और अक्सर सामान्य टेक्स्ट की तरह दिखते हैं, इसलिए प्रशिक्षण डेटा को साफ करने के लिए उपयोग किए जाने वाले वर्तमान फ़िल्टर अक्सर उन्हें मिस कर देते हैं। शोधकर्ता सुझाव देते हैं कि हमें रोबोट को खिलाने से पहले यूजर कमेंट्स को कैसे हैंडल किया जाए, इस बारे में अधिक स्मार्ट होने की आवश्यकता है—शायद उन्हें मुख्य लेख टेक्स्ट से अलग तरीके से ट्रीट करके। जब तक हम इसे ठीक नहीं करते, तब तक यह जोखिम बना रहेगा कि हमारे AI द्वारा सीखा गया "सच" किसी भी व्यक्ति द्वारा मेगाफोन और एक स्क्रिप्ट के माध्यम से चुपचाप बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।