Where Privacy Risk Lives in English-Source Multilingual RAG: A Stage-Decomposed Audit Across Five Query Languages
यह शोध पत्र इस धारणा को चुनौती देता है कि अंग्रेजी-स्रोत वाले बहुभाषी RAG सिस्टम में गैर-अंग्रेजी प्रश्न स्वाभाविक रूप से गोपनीयता जोखिमों को बढ़ाते हैं, यह प्रदर्शित करते हुए कि एक Qwen2.5-7B पाइपलाइन ऑडिट के माध्यम से, अंग्रेजी वास्तव में आउटपुट-ओनली फ़िल्टरिंग के तहत उच्चतम अनस्ट्रक्चर्ड-PII लीक दर प्रदर्शित करती है, जबकि अरबी और स्वाहिली में अवशिष्ट जोखिम इनपुट जज और बैक-ट्रांसलेशन के बावजूद बने रहते हैं, हालांकि इनपुट जज को दस्तावेज़ संदर्भ प्रदान करके इन्हें काफी हद तक कम किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट लाइब्रेरियन है जो आपकी बोली जाने वाली किसी भी भाषा में सवालों के जवाब दे सकता है। आप स्पेनिश में एक सवाल पूछते हैं, और लाइब्रेरियन अंग्रेजी में लिखी सही किताब ढूंढता है, उसे पढ़ता है, और आपको जवाब वापस स्पेनिश में देता है। आधुनिक "मल्टीलिंगुअल आरएजी" (Multilingual RAG - रिट्रीवल-ऑगमेंटेड जनरेशन) सिस्टम इसी तरह काम करते हैं: वे आपकी मातृभाषा और दूसरी भाषा में लिखे गए दस्तावेजों के विशाल पुस्तकालय के बीच के अंतर को पाटते हैं। लेकिन यहाँ एक पेच है: क्या होगा अगर लाइब्रेरियन बहुत अधिक खुश होने की कोशिश में हो? क्या होगा अगर, आपके सवाल का जवाब देने की कोशिश में, वे अनजाने में वह रहस्य उगल दें जिसे उन्हें साझा नहीं करना चाहिए था?
कंप्यूटर सुरक्षा की दुनिया में, हम "प्राइवेसी रिस्क" (गोपनीयता के जोखिमों) के बारे में चिंतित रहते हैं। यह तब होता है जब कोई सिस्टम व्यक्तिगत जानकारी लीक कर देता है—जैसे कि एक नकली ईमेल पता, फोन नंबर, या घर का पता—जिसे उसे छिपा कर रखना था। लंबे समय तक, विशेषज्ञों को डर था कि अंग्रेजी के अलावा किसी अन्य भाषा पर स्विच करने से ये सिस्टम चकमा देना आसान हो सकता है। यह डर था कि सुरक्षा गार्ड (फिल्टर्स), जो मुख्य रूप से अंग्रेजी पर प्रशिक्षित हैं, अरबी या स्वाहिली में पूछे गए चालाक सवाल को पकड़ने में बहुत सुस्त हो सकते हैं। यह एक क्लब के बाउंसर की तरह है जो केवल अंग्रेजी में परेशानी को पहचानना जानता है; आप सोच सकते हैं कि एक अलग भाषा बोलने वाला व्यक्ति आसानी से बचकर निकल सकता है।
यह शोध पत्र उस डर का परीक्षण करने का निर्णय लेता है। शोधकर्ताओं ने 100 सिंथेटिक (नकली) दस्तावेजों वाली एक डिजिटल लाइब्रेरी के साथ एक डिजिटल खेल का मैदान बनाया, जिसमें बनावटी व्यक्तिगत रहस्य शामिल थे। उन्होंने AI "हमलावरों" की एक टीम को इन रहस्यों को पांच अलग-अलग भाषाओं में सवाल पूछकर चुराने की कोशिश करने के लिए काम पर लगाया: अंग्रेजी, चीनी, जर्मन, अरबी और स्वाहिली। महत्वपूर्ण रूप से, ये गैर-अंग्रेजी प्रश्न मूल भाषियों द्वारा नहीं लिखे गए थे; उन्हें उसी AI मॉडल (Qwen) का उपयोग करके अंग्रेजी टेम्प्लेट का अनुवाद करके बनाया गया था जो सिस्टम को चलाता है। उन्होंने दो-स्तरीय रक्षा प्रणाली का उपयोग किया: पहले, एक "जज" AI जो सवाल को पढ़ता है कि क्या यह संदिग्ध दिखता है, और दूसरा, एक "फिल्टर" जो किसी भी लीक हुए नंबर या नाम को पकड़ने के लिए उत्तर को स्कैन करता है। लक्ष्य यह देखना था कि कौन सी भाषा सबसे खतरनाक थी और क्यों।
महान भाषा डकैती: उन्हें क्या मिला
शोधकर्ताओं ने उनके नकली पुस्तकालय से रहस्य चुराने के लिए 1,500 अलग-अलग "डकैती" के प्रयास चलाए। उन्हें उम्मीद थी कि गैर-अंग्रेजी भाषाएं सुरक्षा गार्डों से बचने में सबसे सफल होंगी। लेकिन परिणाम एक प्लॉट ट्विस्ट की तरह थे।
"अंग्रेजी सबसे खराब है" वाला आश्चर्य
जब उन्होंने केवल दूसरे स्तर की रक्षा प्रणाली (वह फिल्टर जो अंतिम उत्तर को स्कैन करता है) का उपयोग किया, तो अंग्रेजी के सवाल वास्तव में रहस्य लीक करने में सबसे सफल थे! वास्तव में, अंग्रेजी में लीक दर सबसे अधिक 0.875 थी (इसका मतलब है कि इसने लगभग 87.5% प्रयासों में रहस्य लीक किए)। गैर-अंग्रेजी भाषाओं ने कम लीक किया, जिसमें स्वाहिली सबसे "सुरक्षित" 0.425 पर थी। शोधकर्ताओं ने उच्च विश्वास के साथ केवल अंग्रेजी और स्वाहिली के बीच स्पष्ट अंतर देखा। यह सुझाव देता है कि, इस विशिष्ट सेटअप में, यह विचार कि "विदेशी भाषाएं स्वचालित रूप से अधिक खतरनाक होती हैं" पूरी तरह सही नहीं है। अंग्रेजी के सवाल वास्तव में सबसे चालाक थे।
दो-चरणीय रक्षा और "अनुवाद में खो जाने" की समस्या
इसके बाद, शोधकर्ताओं ने पहला रक्षा स्तर जोड़ा: "जज" AI। जज सवाल को लाइब्रेरियन के देखने से पहले पढ़ता है। यदि सवाल चोरी की कोशिश जैसा दिखता है, तो जज कहता है "ब्लॉक"।
यहाँ कहानी दिलचस्प हो जाती है। जब जज को जोड़ा गया, तो अंग्रेजी, चीनी और जर्मन के लीक शून्य हो गए। उन भाषाओं के लिए सिस्टम एकदम सही था! लेकिन अरबी और स्वाहिली के लिए, सिस्टम अभी भी विफल रहा।
- अरबी ने अभी भी 7.5% मामलों में रहस्य लीक किए।
- स्वाहिली समस्या पैदा करने वाला था, जिसने 17.5% मामलों में रहस्य लीक किए।
यह क्यों हुआ? शोधकर्ताओं को संदेह है कि एक "लॉस्ट इन ट्रांसलेशन" (अनुवाद में खो जाना) प्रभाव है। AI अनुवादक (जिसने अंग्रेजी के सवालों को स्वाहिली में बदला) ने अनजाने में "चोर के इरादे" को कमजोर कर दिया होगा। स्वाहिली सवाल एक सीधे चोरी के प्रयास के बजाय एक हानिरहित अनुरोध जैसा लग रहा था। "जज" AI, जो केवल अंग्रेजी बोलता है और इरादे का अनुमान लगाने के लिए मजबूर है, धोखा खा गया। उसने सोचा, "ओह, यह स्वाहिली सवाल हानिरहित लग रहा है, इसे जाने दो!" लेकिन एक बार जब सवाल लाइब्रेरियन (जेनरेटर) तक पहुँचा, जिसने वास्तव में उसके सामने किताब रखी थी, तो लाइब्रेरियन फिर भी रहस्य उगलने में सफल रहा।
"मैजिक ग्लासेस" (जादुई चश्मे) परीक्षण
अपने सिद्धांत को साबित करने के लिए, शोधकर्ताओं ने उन 17 मामलों पर एक विशेष परीक्षण चलाया जहाँ स्वाहिली और अरबी के लीक हुए थे। उन्होंने "जज" को एक जोड़ी "जादुई चश्मे" दिए—विशेष रूप रूप से, उन्होंने जज को वास्तविक दस्तावेज़ दिखाया जिसे लाइब्रेरियन उपयोग करने वाला था (एक पूर्ण, "ओरेकल" रिट्रीवर का उपयोग करके)। इस अतिरिक्त संदर्भ के साथ, जज को अचानक एहसास हुआ, "हे, यह सवाल एक रहस्य चुराने की कोशिश कर रहा है!" और उसने 17 में से 15 लीक को ब्लॉक कर दिया।
यह सुझाव देता है कि समस्या यह नहीं है कि स्वाहिली भाषा स्वाभाविक रूप से खतरनाक है। समस्या यह है कि सुरक्षा गार्ड (जज) उस सवाल को एक शून्य में देख रहा था, बिना यह देखे कि वह किस किताब को खोलने वाला है। जब गार्ड ने किताब देखी, तो उसने अपना काम पूरी तरह से किया।
निचोड़
यह पेपर यह नहीं कहता कि गैर-अंग्रेजी भाषाएं हमेशा के लिए सुरक्षित हैं, न ही यह कहता है कि अंग्रेजी ही एकमात्र जोखिम है। इसके बजाय, यह दिखाता है कि एक ऐसे सिस्टम में जहाँ सब कुछ एक ही AI परिवार द्वारा अनुवादित किया जाता है (Qwen), जोखिम इस बात पर निर्भर करता है कि अनुवाद सवाल के "वाइब" (भाव) को कितनी अच्छी तरह सुरक्षित रखता है।
मुख्य निष्कर्ष यह है कि इन सिस्टमों में गोपनीयता के जोखिम केवल इस बारे में नहीं हैं कि आप कौन सी भाषा बोलते हैं। यह इस बारे में है कि सिस्टम के विभिन्न हिस्से एक-दूसरे से कैसे बात करते हैं। यदि "जज" अनुवादित सवाल की बारीकियों को नहीं समझता है, या यदि अनुवाद एक खतरनाक सवाल को निर्दोष बना देता है, तो रहस्य निकल सकते हैं। शोधकर्ताओं ने पाया कि जज को अधिक संदर्भ देने से (जैसे कि उसे दस्तावेज़ दिखाना) समस्या ठीक हो जाती है, लेकिन वे चेतावनी देते हैं कि यह केवल एक नैदानिक उपकरण है, अंतिम समाधान नहीं। उन्हें यह सुनिश्चित करने के लिए अलग-अलग AI मॉडल और वास्तविक मानव-लिखित प्रश्नों (केवल अनुवादित टेम्प्लेट नहीं) के साथ अधिक परीक्षण की आवश्यकता है। फिलहाल, यह कहानी एक याद दिलाती है कि AI सुरक्षा की दुनिया में, सबसे कमजोर कड़ी हमेशा वह भाषा नहीं होती जिसे आप बोलते हैं, बल्कि यह होती है कि आपकी सुरक्षा टीम संदर्भ को कितनी अच्छी तरह समझती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।