Personal Information Parroting in Language Models
यह शोध पत्र एक उन्नत रेगएक्स-आधारित (regex-based) डिटेक्टर सुइट प्रस्तुत करता है जो यह प्रकट करता है कि भाषा मॉडल, विशेष रूप से जैसे-जैसे उनका आकार और प्रशिक्षण अवधि बढ़ती है, अपने प्रीट्रेनिंग डेटा से व्यक्तिगत जानकारी को बार-बार याद करते हैं और शब्दशः पुनरुत्पादित करते हैं, जिससे गोपनीयता जोखिमों को कम करने के लिए डेटासेट के आक्रामक फ़िल्टरिंग और अनामीकरण (anonymization) की आवश्यकता होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक विशाल, सुपर-स्मार्ट रोबोट शेफ है जिसका नाम "द मॉडल" (The Model) है। खाना बनाना सीखने के लिए, इस शेफ को पूरी इंटरनेट लाइब्रेरी खिलाई गई—अरबों रेसिपी, ईमेल, फोन बुक और रैंडम नोट्स।
समस्या यह है कि उस डेटा में, लोगों ने अनजाने में अपने निजी रहस्य (जैसे उनका घर का ईमेल, फोन नंबर, या आईपी एड्रेस) टेक्स्ट के बीच में ही छोड़ दिए।
यह पेपर इस बारे में है कि कैसे हमने पाया कि यह रोबोट शेफ केवल लाइब्रेरी से "सीखता" नहीं है; यह उन रहस्यों को याद (memorize) कर लेता है और यदि आप सही सवाल पूछें तो उन्हें वापस उगलने के लिए भी तैयार रहता है।
उनकी खोज का विवरण यहाँ दिया गया, कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग करते हुए:
1. "बेहतर जासूस" (R&R सूट)
इस अध्ययन से पहले, लोग इन साधारण "सर्च टूल्स" (जैसे एक बेसिक मेटल डिटेक्टर) का उपयोग करके ट्रेनिंग डेटा में इन रहस्यों को खोजने की कोशिश करते थे। ये टूल्स ठीक थे, लेकिन वे कई रहस्यों को मिस कर देते थे या निर्दोष नंबरों को भी रहस्य के रूप में चिह्नित कर देते थे (जैसे टोस्टर पर लिखा कोई सीरियल नंबर)।
लेखकों ने एक सुपर-डिटेक्टिव टूलकिट बनाया जिसे R&R (Regexes and Rules) कहा जाता है।
- उपमा: पुराने टूल्स को "चमकती चीजों" को खोजने वाले एक बच्चे की तरह समझें। नया R&R टूलकिट एक अनुभवी पुलिस जासूस की तरह है। यह केवल नंबरों को नहीं देखता; यह संदर्भ (context) की जांच करता है। यह जानता है कि फोन नंबर और गणित के समीकरण में मौजूद अंकों की एक रैंडम स्ट्रिंग के बीच क्या अंतर है। यह यह भी जानता है कि अंतरराष्ट्रीय फोन कोड (जैसे +1) को कैसे पहचाना जाए जिन्हें पुराने टूल्स अनदेखा कर देते थे।
- परिणाम: उनके नए जासूस ने पिछले सबसे अच्छे टूल्स की तुलना में बहुत अधिक वास्तविक रहस्य खोजे और गलतियाँ कम कीं।
2. "तोते" वाली समस्या (मेमोराइजेशन/याद करना)
शोधकर्ताओं ने यह देखना चाहा कि क्या रोबोट वास्तव में इन रहस्यों को याद रखता है। उन्होंने "प्रॉम्प्टिंग" (Prompting) नामक एक तकनीक का उपयोग किया।
- उपमा: कल्पना करें कि आप शेफ को रेसिपी बुक के एक वाक्य का आधा हिस्सा दिखाते हैं, जैसे "गुप्त सामग्री यह है..." और पूछते हैं, "इसके बाद क्या आता है?"
- परीक्षण: यदि शेफ केवल खाना पकाने की अवधारणा को "सीख" रहा होता, तो वह "नमक" जैसा एक सामान्य घटक गेस करता। लेकिन यदि शेफ ने विशिष्ट पुस्तक को याद (memorize) कर लिया था, तो वह उस विशिष्ट पुस्तक में लिखे सटीक गुप्त घटक या किसी व्यक्ति के निजी ईमेल पते को भी बोल सकता था।
उन्होंने पाया कि रोबोट एक तोता है।
- चौंकाने वाला आंकड़ा: यहाँ तक कि रोबोट का सबसे छोटा संस्करण (जो फिर भी बहुत बड़ा है) 2.7% बार निजी जानकारी को शब्द-दर-शब्द दोहराता है।
- बड़ा रोबोट: सबसे बड़ा, सबसे उन्नत रोबोट इन रहस्यों को 13.6% बार दोहराता है।
3. "आकार और समय" के कारक
अध्ययन ने देखा कि रोबोट के आकार और उसके अध्ययन की अवधि ने उसकी याददाश्त को कैसे प्रभावित किया।
- बड़ा होना बुरा है: ठीक वैसे ही जैसे एक छात्र जो लंबे समय तक पढ़ता है और जिसका दिमाग बड़ा होता है, वह अधिक विशिष्ट विवरण याद रख सकता है, मॉडल जितना बड़ा होता है, वह उतना ही अधिक याद (memorize) करता है।
- समय मायने रखता है: भले ही आप रोबोट को उसके प्रशिक्षण के बीच में ही रोक दें (जैसे किसी छात्र को स्कूल के साल के बीच में ही रोक देना), वह पहले से ही रहस्यों को याद कर चुका होता है। उसे लीक होने वाली जानकारी शुरू करने के लिए पूरा कोर्स खत्म करने की आवश्यकता नहीं है।
4. "आंशिक तोता" (घटक भाग)
यहाँ एक डरावना मोड़ है। कभी-कभी रोबोट पूरा फोन नंबर नहीं दोहराता, बल्कि वह केवल एरिया कोड (area code) को दोहराता है।
- उपमा: यदि आप रोबोट से फोन नंबर मांगते हैं, तो हो सकता है कि वह आपको पूरे 10 अंक न दे। लेकिन वह आत्मविश्वास से कह सकता है, "ओह, यह 212 नंबर है!" (जो कि न्यूयॉर्क सिटी का एरिया कोड है)।
- जोखिम: भले ही आपको केवल एरिया कोड पता हो, फिर भी आप जान सकते हैं कि कोई व्यक्ति कहाँ रहता है। अध्ययन में पाया गया कि रोबोट पूरे नंबर की तुलना में केवल एरिया कोड को दोहराने के लिए पांच गुना अधिक संभावित था। यह ऐसा है जैसे रोबोट को ज़िप कोड याद है लेकिन स्ट्रीट का नाम भूल गया है, जो फिर भी गोपनीयता का उल्लंघन है।
5. समाधान: "लाइब्रेरी को साफ करें"
लेखक निष्कर्ष निकालते हैं कि हम केवल रोबोट के विनम्र होने और रहस्य साझा न करने पर भरोसा नहीं कर सकते। रोबोट वही कर रहा है जिसके लिए उसे प्रशिक्षित किया गया है: जो उसने देखा उसके आधार पर अगले शब्द की भविष्यवाणी करना।
समाधान:
हमें रोबोट के देखने से पहले ही लाइब्रेरी को साफ करना होगा।
- उपमा: यदि आप नहीं चाहते कि एक बच्चा आपका घर का पता याद करे, तो आपको उनकी कहानियों की किताबों के पन्नों पर आपका पता पहले से ही नहीं लिखना चाहिए।
- सिफारिश: जो लोग इन AI मॉडल को बना रहे हैं, उन्हें अपने ट्रेनिंग डेटा को आक्रामक रूप से स्कैन करना चाहिए और ट्रेनिंग से पहले सभी ईमेल, फोन नंबर और आईपी एड्रेस को साफ (scrub out) कर देना चाहिए। उन्हें यह सुनिश्चित करने के लिए कि "लाइब्रेरी" सुरक्षित है, उनके द्वारा बनाए गए R&R सूट जैसे टूल्स का उपयोग करना चाहिए।
सारांश
यह पेपर एक चेतावनी है। यह साबित करता है कि AI मॉडल सुपर-मेमोराइजिंग तोते की तरह हैं जो एक साधारण सवाल पूछे जाने पर अनजाने में आपकी निजी जानकारी लीक कर सकते हैं। मॉडल जितना बड़ा होगा, लीकेज उतना ही बुरा होगा। एकमात्र वास्तविक समाधान यह है कि हम उन्हें जो खिला रहे हैं, उसके बारे में बहुत सावधान रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।