🤖 AI

On the (In-)Security of the Shuffling Defense in the Transformer Secure Inference

यह शोध पत्र प्रदर्शित करता है कि शफलिंग डिफेंस (shuffling defense), जिसे सुरक्षित ट्रांसफॉर्मर इन्फरेंस में मॉडल वेट एक्सट्रैक्शन के लिए एक सुदृढ़ शमन माना जाता था, एक नए हमले के प्रति संवेदनशील है जो परमिटेड एक्टिवेशन्स (permuted activations) को संरेखित करके कम क्वेरी लागत पर उच्च सटीकता के साथ मॉडल वेट्स को रिकवर कर लेता है।

मूल लेखक: Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhengyi Li, Yakai Wang, Kang Yang, Yu Yu, Jiaping Gui, Yu Feng, Ning Liu, Minyi Guo, Jingwen Leng

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ एक सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके पेपर की व्याख्या दी गई है।

बड़ी तस्वीर: "ब्लैक बॉक्स" की समस्या

कल्प dáng कि आप अपने लिए भोजन पकाने के लिए एक सुपर-स्मार्ट AI (जैसे एक रोबोट शेफ) का उपयोग करना चाहते हैं। आप शेफ को अपनी गुप्त रेसिपी (आपका इनपुट) नहीं बताना चाहते, और शेफ आपको अपना गुप्त मसाला मिश्रण (उनके मॉडल वेट्स) नहीं दिखाना चाहता।

इसे हल करने के लिए, वैज्ञानिकों ने एक "सुरक्षित रसोई" (Secure Kitchen) बनाई। इस रसोई में, शेफ और ग्राहक एक विशेष ताले और चाबी वाली प्रणाली (क्रिप्टोग्राफी) का उपयोग करके मिलकर काम करते हैं। शेफ खाना पकाता है, लेकिन ग्राहक केवल अंतिम प्लेट देख पाता है। शेफ कभी भी कच्चे ингредиents (सामग्री) नहीं देखता, और ग्राहक कभी भी गुप्त मसालों को नहीं देख पाता।

बाधा: "स्लो कुकर" (धीमी गति से पकाने वाला बर्तन)

समस्या यह है कि यह सुरक्षित रसोई अविश्वसनीय रूप से धीमी है। साधारण चीजें पकाना (जैसे सब्जियां काटना, या लीनियर लेयर्स) तेज़ है। लेकिन जटिल चीजें पकाना (जैसे सूफ़ले बनाना, या नॉन-लीनियर लेयर्स) ग्राहक और शेफ के बीच इतनी अधिक बार जाँच-परख की मांग करता है कि इसमें बहुत समय लग जाता है।

इसे तेज़ करने के लिए, कुछ शोधकर्ताओं ने एक शॉर्टकट सुझाया: "चलिए ग्राहक को बीच के चरण दिखा देते हैं!"
बनाने के चरण के दौरान गुप्त मसाला मिश्रण को छिपाए रखने के बजाय, वे ग्राहक को मिश्रण (batter) देखने देते हैं—मिश्रण तैयार होने के बाद लेकिन पकने से पहले। इससे प्रक्रिया 10 से 50 गुना तेज़ हो जाती है।

"शफलिंग" (क्रम बदलना) रक्षा: बिखरा हुआ पहेली का खेल

शोधकर्ता जानते थे कि यदि ग्राहक मिश्रण को देखता है, तो वह गुप्त मसाला मिश्रण को रिवर्स-इंजीनियर कर सकता है। इसलिए, उन्होंने "शफलिंग" (Shuffling) नामक एक रक्षा प्रणाली जोड़ी।

कल्पना कीजिए कि मिश्रण एक पहेली है जिसमें 1,000 टुकड़े हैं। ग्राहक को दिखाने से पहले, शेफ उन टुकड़ों को एक ब्लेंडर में डाल देता है, उन्हें पूरी तरह से मिला देता है (scramble), और ग्राहक को मिले-जुले टुकड़ों का एक बैग थमा देता है।

तर्क: चूंकि उन टुकड़ों को व्यवस्थित करने के $1,000!$ (एक ऐसी संख्या जिसमें सैकड़ों शून्य हैं) तरीके हैं, शोधकर्ताओं को लगा कि ग्राहक के लिए मूल क्रम का अनुमान लगाना असंभव होगा। उनका मानना था कि "बिखरा हुआ पहेली का खेल" सुरक्षित है।

हमला: अराजकता में पैटर्न खोजना

यह पेपर तर्क देता है कि "शफलिंग रक्षा" सुरक्षित नहीं है। लेखकों ने बिना मूल क्रम जाने उस पहेली को सुलझाने का एक तरीका खोज निकाला है।

उन्होंने इसे कैसे किया, इसके लिए एक सरल उपमा का उपयोग करें:

"लगभग समान" वाला तरीका:
कल्पना कीजिए कि आप शेफ से दो केक बनाने के लिए कहते हैं जो लगभग बिल्कुल एक जैसे हैं। आप उन्हें ऐसी सामग्री देते हैं जो बहुत ही मामूली अंतर रखती है (जैसे कि एक अतिरिक्त नमक का दाना डालना)।

क्योंकि केक बहुत समान हैं, दोनों केक का मिश्रण (batter) लगभग एक जैसा ही दिखेगा, बस उनमें बहुत मामूली अंतर होगा।

"बिखरा हुआ" वितरण:
शेफ दोनों केक बनाता है, दोनों के मिश्रण को बिखेरता (scramble) देता है, और आपको भेज देता है।

केक A का मिश्रण क्रम #1 में बिखरा हुआ है।
केक B का मिश्रण क्रम #2 में बिखरा हुआ है।

"मैचमेकर" समाधान:
भले ही टुकड़े बिखरे हुए हों, लेकिन उनके मान (स्वाद/आकार) अभी भी मौजूद हैं। क्योंकि दोनों केक बहुत समान थे, इसलिए केक A के मिश्रण के टुकड़े केक B के संगत टुकड़ों के लगभग समान आकार के हैं।

हमलावर बिखरे हुए टुकड़ों के दो बैगों को देखता है।
वह बैग A के उस टुकड़े को ढूँढता है जो आकार में बैग B के किसी टुकड़े के सबसे करीब है।
वह उन्हें आपस में मिला देता है।
हर एक टुकड़े के लिए ऐसा करने से, वे पता लगा सकते हैं कि दोनों बिखराव (scrambles) एक-दूसरे से कैसे संबंधित हैं। वे अनिवार्य रूप से दो बिखरी हुई पहेलियों को एक सामान्य क्रम में "पुनः संरेखित" (re-align) कर देते हैं।

परिणाम:
एक बार जब हमलावर टुकड़ों को संरेखित कर लेता है, तो वे गणित का उपयोग करके गुप्त मसाला मिश्रण (मॉडल वेट्स) के लिए समाधान निकाल सकते हैं।

महत्वपूर्ण बिंदु: हमलावर को वेट्स बिल्कुल मूल क्रम में नहीं मिलते। यह ऐसा है जैसे आपको मसाला मिश्रण मिल गया हो जहाँ "नमक" के जार पर "मिर्च" लिखा है और "मिर्च" के जार पर "नमक" लिखा है।
यह फिर भी क्यों काम करता है: लेबल बदले जाने के बावजूद, शेफ अभी भी बिल्कुल वही भोजन बना सकता है। गणित पूरी तरह से काम करता है; यह बस उन्हीं सामग्रियों का एक अलग अरेंजमेंट है।

वास्तविक दुनिया का परीक्षण

लेखकों ने दो लोकप्रिय AI मॉडलों (Pythia-70म और GPT-2) पर इसका परीक्षण किया।

लागत: इस हमले को चलाने में उन्हें लगभग $1 खर्च हुआ।
सफलता: वे लगभग पूर्ण सटीकता के साथ बिखरे हुए टुकड़ों को संरेखित करने में सफल रहे (त्रुटियाँ रेत के एक कण से भी छोटी थीं)।
परिणाम: उन्होंने मॉडल के "मसाला मिश्रण" को इतनी उच्च सटीकता के साथ रिकवर किया कि वे इसका उपयोग मूल मॉडल की तरह व्यवहार करने वाले एक नकल (copycat) AI को बनाने के लिए कर सके।

वह "ग्लिच" (खराबी) जिसने हमले में मदद की

आप सोच सकते हैं: "उन्होंने दो केक को इतना समान कैसे बनाया यदि कंप्यूटर केवल पूर्णांक (whole numbers) स्वीकार करता है?"
लेखकों ने सुरक्षित रसोई के गणित में एक छोटी सी "खराबी" (glitch) पाई। जब कंप्यूटर सुरक्षित गणित करता है, तो वह कभी-कभी थोड़ी सी सटीकता (precision) खो देता है (जैसे दशमलव को राउंड ऑफ करना)। यह रैंडम तरीके से होता है। लेखक समझ गए कि वे इन छोटे, रैंडम राउंडिंग एरर्स का उपयोग उस "नमक के दाने" के अंतर के रूप में कर सकते हैं जिसकी उन्हें दो केक को थोड़ा अलग बनाने के लिए आवश्यकता थी, जिससे हमला काम कर सका।

निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि "शफलिंग डिफेंस" (डेटा के क्रम को छिपाना) मजबूत नहीं है। भले ही आप डेटा को बिखेर दें, यदि आप AI को दो बहुत समान इनपुट प्रोसेस करने के लिए मजबूर कर सकते हैं, तो एक हमलावर उन सूक्ष्म अंतरों का उपयोग करके मूल क्रम का पता लगा सकता है और मॉडल के रहस्यों को चुरा सकता है।

संक्षेप में: आप ताश की गड्डी को शफल करके किसी रहस्य को नहीं छिपा सकते यदि कोई व्यक्ति दो लगभग समान डेक को शफल होते हुए देख सकता है और परिणामों की तुलना कर सकता है।

तकनीकी सारांश: ट्रांसफॉर्मर सुरक्षित अनुमान (Secure Inference) में शफलिंग डिफेंस की (अ)सुरक्षा पर

समस्या विवरण
मल्टी-पार्टी कम्प्यूटेशन (MPC) या होमोमॉर्फिक एन्क्रिप्शन (HE) का उपयोग करके ट्रांसफॉर्मर मॉडल के लिए सुरक्षित अनुमान (secure inference) एक महत्वपूर्ण दक्षता बाधा का सामना करता है: नॉनलीनियर लेयर्स (जैसे, Softmax, GELU, LayerNorm) की गणना। फुल-मॉडल एन्क्रिप्शन (FME) इन लेयर्स के लिए अत्यधिक संचार राउंड और भारी डेटा ट्रांसमिशन की आवश्यकता होती है, जो कुल विलंबता (latency) का 75%–90% हिस्सा होता है। इसे कम करने के लिए, लीनियर-ओनली एन्क्रिप्शन (LOE) अनुमान प्रस्तावित किया गया था, जहाँ नॉनलीनियर लेयर्स को स्थानीय रूप से कंप्यूट करने के लिए मध्यवर्ती एक्टिवेशन (intermediate activations) को प्लेनटेक्स्ट में क्लाइंट को प्रकट किया जाता है। हालाँकि, एक्टिवेशन को प्रकट करने से हमलावर रैखिक प्रणालियों (linear systems) को हल करके मॉडल वेट्स (weights) निकाल सकते हैं।

इसका मुकाबला करने के लिए, हालिया कार्यों में एक शफलिंग डिफेंस (shuffling defense) पेश किया गया, जहाँ मध्यवर्ती एक्टिवेशन को क्लाइंट को प्रकट करने से पहले बेतरतीब ढंग से क्रमबद्ध (permute) किया जाता है। प्रचलित सुरक्षा दावा यह है कि विशिष्ट क्रम (permutation) को पुनः प्राप्त करना गणनात्मक रूप से असंभव है (डायमेंशन $d$ के लिए प्रायिकता $1/d!$ ) और शफल्ड एक्टिवेशन वेट एक्सट्रैक्शन हमलों के लिए आवश्यक सहसंबंध (correlation) को नष्ट कर देते हैं। यह पेपर उस दावे को चुनौती देता है, और प्रदर्शित करता है कि शफलिंग डिफेंस वेट एक्सट्रैक्शन के विरुद्ध मजबूत नहीं है।

कार्यप्रणाली (Methodology)
लेखक एक ऐसा हमला प्रस्तावित करते हैं जो बिना विशिष्ट क्रम (permutation) को जाने, अलग-अलग शफल्ड एक्टिवेशन वेक्टर्स को एक सामान्य क्रम के साथ संरेखित (align) करता है। कार्यप्रणाली तीन चरणों में आगे बढ़ती है:

समीपता (Proximity) के माध्यम से वेक्टर संरेखण: हमलावर एक ही ट्रांसफॉर्मर को ऐसे कई इनपुट के साथ क्वेरी करता है जो एक-दूसरे के $\epsilon$ -करीब हैं। न्यूरल नेटवर्क की लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) के कारण, परिणामी मध्यवर्ती एक्टिवेशन वेक्टर्स भी मान में करीब होते हैं ( $\|x_a - x_b\| < L\epsilon$ )। हालाँकि प्रत्येक वेक्टर एक अलग, अज्ञात क्रम द्वारा शफल्ड किया गया है, लेकिन वेक्टर्स के भीतर के मान समान रहते हैं। हमलावर इन वेक्टर्स को शफल्ड वेक्टर्स के तत्वों के बीच की दूरी को कम करने के लिए एक असाइनमेंट समस्या (हंगेरियन एल्गोरिदम का उपयोग करके) को हल करके संरेखित करता है, जिससे विभिन्न क्वेरीज़ के बीच तत्वों के बीच पत्राचार (correspondence) को प्रभावी रूप से पुनः प्राप्त किया जाता है।
GPT में क्लोज इनपुट्स का निर्माण: एक चुनौती यह है कि ट्रांसफॉर्मर इनपुट डिस्क्रीट टोकन इंडेक्स होते हैं, जिससे सीधे $\epsilon$ -करीब इनपुट बनाना कठिन हो जाता है। लेखक सुरक्षित ट्रंकेशन प्रोटोकॉल के एक गुण का लाभ उठाते हैं: फिक्स्ड-पॉइंट अंकगणित (fixed-point arithmetic) का उपयोग। सुरक्षित ट्रंकेशन स्टोकेस्टिक 1-बिट त्रुटियों (जैसे, परिमाण $2^{-18}$ ) को पेश करता है। एक ही प्रॉम्प्ट को बार-बार फीड करके, हमलावर इन अंतर्निहित संभाव्य त्रुटियों का लाभ उठाकर आवश्यक सूक्ष्म विक्षोभ (perturbations) उत्पन्न करता है, जिससे आवश्यक $\epsilon$ -क्लोज वेक्टर्स बनते हैं।
वेट एक्सट्रैक्शन (Weight Extraction): एक बार जब एक्टिवेशन वेक्टर्स को एक सामान्य (लेकिन अज्ञात) क्रम $\pi$ के साथ संरेखित कर लिया जाता है, तो हमलावर मैट्रिसेस $X^{(l)}\pi^{(l)}$ और $X^{(l+1)}\pi^{(l+1)}$ का निर्माण करता है। वे रैखिक संबंध $W^{(l)'} = \pi^{(l)-1} X^{(l)-1} X^{(l+1)} \pi^{(l+1)}$ का उपयोग करके वेट्स के लिए हल करते हैं। परिणामी वेट्स $W^{(l)'}$ , मूल वेट्स $W^{(l)}$ से केवल पंक्ति और कॉलम क्रम (row and column permutations) द्वारा भिन्न होते हैं। महत्वपूर्ण रूप से, पेपर नोट करता है कि न्यूरल नेटवर्क की कार्यक्षमता ऐसे शफलिंग के प्रति अपरिवर्तित रहती है; अतः, निकाले गए वेट्स मूल मॉडल के समान ही फॉरवर्ड प्रोपेगेशन करते हैं।

प्रमुख योगदान

शफलिंग डिफेंस को तोड़ना: लेखक प्रदर्शित करते हैं कि एक हमलावर अलग-अलग शफल्ड किए गए लेकिन समान मान वाले एक्टिवेशन वेक्टर्स को सफलतापूर्वक संरेखित कर सकता है, जिससे इस धारणा को बायपास किया जा सकता है कि क्रम (permutation) एक्सट्रैक्शन को असंभव बनाता है।
प्रोटोकॉल शोर (Protocol Noise) का लाभ उठाना: यह कार्य सुरक्षित ट्रंकेशन प्रोटोकॉल में अंतर्निहित स्टोकेस्टिक त्रुटियों की पहचान करता है और उनका लाभ उठाता है ताकि क्लोज मध्यवर्ती एक्टिवेशन उत्पन्न किए जा सकें, जिससे ट्रांसफॉर्मर के डिस्क्रीट टोकन इनपुट की सीमा को दूर किया जा सके।
सैद्धांतिक और व्यावहारिक निष्कर्षण: पेपर सिद्ध करता है कि संरेखित एक्टिवेशन अज्ञात पंक्ति/कॉलम क्रम के बावजूद मूल वेट्स के कार्यात्मक रूप से समकक्ष वेट्स के निष्कर्षण की अनुमति देते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): हमले का मूल्यांकन Pythia-70m और GPT-2 पर किया गया है, जो उच्च संरेखण सटीकता और सफल वेट रिकवरी प्रदर्शित करता है।

प्रायोगिक परिणाम
लेखकों ने विभिन्न फिक्स्ड-पॉइंट प्रिसिजन (14, 16, और 18 बिट्स) के साथ Pythia-70m और GPT-2 मॉडल्स पर हमले का मूल्यांकन किया।

संरेखण सटीकता (Alignment Accuracy): प्रस्तावित विधि $10^{-9}$ से $10^{-6}$ तक के मीन स्क्वेर्ड एरर (MSE) के साथ शफल्ड एक्टिवेशन को संरेखित करती है। 2% से भी कम तत्व मिसमैच होते हैं, जिसमें उच्च प्रिसिजन बेहतर संरेखण प्रदान करता है।
वेट रिकवरी: निकाले गए वेट्स ओरकल वेट्स से $10^{-4}$ से $10^{-2}$ के L1-नॉर्म अंतर प्रदर्शित करते हैं। छोटे मॉडल्स (Pythia-70m) ने बड़े मॉडल्स (GPT-2) की तुलना में कम एरर रेट दिखाया।
लागत दक्षता: हमले के लिए क्वेरी काउंट मॉडल डायमेंशन के आनुपातिक होता है (जैसे, Pythia-70m के लिए ~32,768)। कमर्शियल API प्राइसिंग का उपयोग करते हुए, कुल लागत लगभग $1 है।
कार्यात्मक समानता (Functional Equivalence): चोरी किए गए वेट्स, जिन्हें सरोगेट मॉडल के रूप में उपयोग किया जाता है, मूल मॉडल के करीब पर्प्लेक्सिटी स्कोर (जैसे, Pythia-70m के लिए 31.81 बनाम 44.46) प्राप्त करते हैं। एक संक्षिप्त फाइन-ट्यूनिंग चरण (अधिकतम 6 मिनट) के बाद, रिकवर्ड मॉडल विक्टिम की पर्प्लेक्सिटी (32.43 बनाम 31.81) से मेल खाता है, जो प्रभावी रूप से आगामी हमलों को ब्लैक-बॉक्स से व्हाइट-बॉक्स परिदृश्यों में बदल देता है।

महत्व और दावे
पेपर का दावा है कि यह शफलिंग डिफेंस में एक महत्वपूर्ण सूचना रिसाव (information leakage) को उजागर करता है, जिसे पहले वेट एक्सट्रैक्शन के विरुद्ध सुरक्षित माना जाता था। लेखक तर्क देते हैं कि डिफेंस विफल होता है क्योंकि यह इस क्षमता को ध्यान में नहीं रखता है कि हमलावर पोजीशनल नॉलेज के बजाय न्यूमेरिकल प्रॉक्सिमिटी के आधार पर वेक्टर्स को संरेखित कर सकता है।

इस कार्य का महत्व इस भेद्यता (vulnerability) को उजागर करने में निहित है जो हमलावरों को कम लागत पर उच्च निष्ठा (fidelity) के साथ मॉडल वेट्स को पुनः प्राप्त करने की अनुमति देती है। निकाले गए वेट्स निजी मॉडल्स का विश्लेषण करने या प्रभावी सरोगेट मॉडल्स के लिए प्रारंभिक बिंदु (initialization) के रूप में कार्य करने के लिए पर्याप्त हैं, जिससे मौजूदा ब्लैक-बॉक्स हमलों को मजबूत किया जाता है। लेखक निष्कर्ष निकालते हैं कि सुरक्षित अनुमान और संबंधित गोपनीयता-संरक्षण सेटिंग्स में शफलिंग डिफेंस की सुरक्षा के पुनर्मूल्यांकन की आवश्यकता है।

सीमाएँ
लेखक विनम्रतापूर्वक नोट करते हैं कि जबकि यह हमला सैद्धांतिक रूप से गारंटीकृत है और छोटे पैमाने के मॉडल्स पर मान्य है, बड़े पैमाने के मॉडल्स के साथ बढ़ते हुए निकाले गए वेट्स की निष्ठा (fidelity) कम हो सकती है। हालांकि, वे जोर देते हैं कि छोटे पैमाने के मॉडल्स पर सफल सत्यापन रक्षा तंत्र की मौलिक भेद्यता को प्रदर्शित करने के लिए पर्याप्त है।