Breaking Euston: Recovering Private Inputs from Secure Inference by Exploiting Subspace Leakage

यहाँ शोध पत्र "Breaking Euston: Recovering Private Inputs from Secure Inference by Exploiting Subspace Leakage" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Euston में एक महत्वपूर्ण गोपनीयता भेद्यता (privacy vulnerability) को संबोधित करता है, जो Gao et al. द्वारा 47वें IEEE Symposium on Security and Privacy (IEEE S&P 2026) के लिए प्रस्तावित एक सुरक्षित ट्रांसफॉर्मर इन्फरेंस फ्रेमवर्क है।

• संदर्भ: Eustost का लक्ष्य Fully Homomorphic Encryption (FHE) और Secure Multi-Party Computation (MPC) के संयोजन का उपयोग करके लार्ज लैंग्वेज मॉडल्स (LLMs) पर कुशल सुरक्षित इन्फरेंस (secure inference) सक्षम करना है।
• भेद्यता: इनपुट मैट्रिसेस को प्रसारित करने से जुड़े भारी संचार ओवरहेड को कम करने के लिए, Euston एक Singular Value Decomposition (SVD)-आधारित ट्रांसमिशन प्रोटोकॉल का उपयोग करता है। इस प्रोटोकॉल में, उपयोगकर्ता इनपुट मैट्रिक्स $A$ को एक रैंडम मैट्रिक्स $R$ के साथ मास्क करता है। रैंडम मास्क $R$ को SVD के माध्यम से दो ऑर्थोगोनल मैट्रिसेस ($U, H$) और एक सिंगुलर वैल्यू वेक्टर ($d$) में विघटित किया जाता है।
• दोष: जबकि सिंगुलर वैल्यू वेक्टर $d$ को एन्क्रिप्ट किया जाता है और मॉडल ओनर को भेजा जाता है, ऑर्थोगोनल मैट्रिसेस $U$ और $H$ को प्लेनटेक्स्ट (plaintext) में प्रसारित किया जाता है। लेखक तर्क देते हैं कि इन मैट्रिसेस को प्रसारित करना रैंडम मास्क की सबस्पेस जानकारी (subspace information) को लीक करता है, जिससे मॉडल ओनर मूल निजी इनपुट को पुनर्गठित (reconstruct) करने में सक्षम हो जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक डेटा रिकवरी अटैक (Data Recovery Attack) का प्रस्ताव करते हैं जो लीक हुई सबस्पेस जानकारी का लाभ उठाकर उपयोगकर्ता के निजी इनपुट को पुनर्गठित करता है।

A. हमला तंत्र (Attack Mechanism)

यह हमला इस धारणा के तहत काम करता है कि मॉडल ओनर (MO) के पास निम्नलिखित तक पहुँच है:

1. मास्क किया गया इनपुट $X = A - R$ (उपयोगकर्ता द्वारा भेजा गया)।
2. ऑर्थोगोनल मैट्रिसेस $U$ और $H$ (प्लेनटेक्स्ट में भेजे गए)।
3. एन्क्रिप्टेड सिंगुलर वैल्यूज (जिसे MO डिक्रिप्ट कर सकता है या होमोमोर्फिक ऑपरेशन्स में उपयोग कर सकता है)।

रिकवरी प्रक्रिया में निम्नलिखित चरण शामिल हैं:

1. प्रोजेक्शन (Projection): MO $\hat{D} = U^T X H^T$ की गणना करता है।
2. अनुमान (Approximation): MO मूल सिंगुलर वैल्यू मैट्रिक्स $D$ के अनुमान के रूप में डायगोनल मैट्रिक्स $\tilde{D} = \text{diag}(\hat{D})$ को निकालता है।
3. पुनर्गठन (Reconstruction): MO रैंडम मास्क को $\tilde{R} = -U \tilde{D} H$ के रूप में अनुमानित करता है।
4. रिकवरी (Recovery): मूल इनपुट को $\tilde{A} = X + \tilde{R}$ के माध्यम से रिकवर किया जाता है।

B. सैद्धांतिक विश्लेषण (Theoretical Analysis)

शोध पत्र रिलेटिव रिकवरी एरर (Relative Recovery Error - RRE) के संबंध में एक कठोर गणितीय प्रमाण प्रदान करता है, जिसे $\frac{\|\tilde{A} - A\|_F}{\|A\|_F}$ के रूप में परिभाषित किया गया है।

• थ्योरम 1: अपेक्षित RRE $\frac{1}{\sqrt{n}}$ द्वारा सीमित है, जहाँ $n$ इनपुट मैट्रिक्स का कॉलम डायमेंशन है।
• निहितार्थ: जैसे-जैसे इनपुट की डाइमेंशनलिटी बढ़ती है (जो ट्रांसफॉर्मर्स और हाई-रिज़ॉल्यूशन इमेज में सामान्य है), अपेक्षित त्रुटि शून्य के करीब पहुँच जाती है। इसका अर्थ है कि उच्च-आयामी डेटा के लिए, पुनर्गठित इनपुट $\tilde{A}$, मूल इनपुट $A$ के लगभग समान होता है।

3. मुख्य योगदान (Key Contributions)

1. सबस्पेस लीकेज की पहचान: लेखकों ने पहचान की है कि बेसिस वेक्टर्स (ऑर्थोगोनल मैट्रिसेस) को प्लेनटेक्स्ट में प्रसारित करना, भले ही सिंगुलर वैल्यूज एन्क्रिप्टेड हों, मौलिक रूप से गोपनीयता से समझौता करता है क्योंकि यह रैंडम मास्क के संरचनात्मक ढांचे को प्रकट करता है।
2. नया अटैक वेक्टर: उन्होंने एक विशिष्ट बीजगणितीय हमले (algebraic attack) को डिज़ाइन किया है जो अंडरलाइंग FHE स्कीम को तोड़े बिना निजी इनपुट को रिकवर करने की अनुमति देता है। यह हमला केवल प्रोटोकॉल डिज़ाइन दोष पर निर्भर करता है, न कि क्रिप्टोग्राफिक कमजोरियों पर।
3. सैद्धांतिक प्रमाण: उन्होंने रिकवरी एरर के लिए एक सैद्धांतिक ऊपरी सीमा (upper bound) स्थापित की है, जो यह सिद्ध करती है कि हमला इनपुट डाइमेंशन बढ़ने के साथ अधिक प्रभावी हो जाता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): हमले को कई डेटासेट्स और मोडैलिटीज पर मान्य किया गया है, जो इसकी व्यावहारिक व्यवहार्यता को प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने भाषा और इमेज दोनों डेटासेट्स पर हमले का मूल्यांकन किया:

• डेटासेट्स:
  • भाषा (Language): BERT-base मॉडल का उपयोग करके GLUE बेंचमार्क टास्क (RTE, SST-2, QNLI)।
  • इमेज (Image): CIFAR-100 डेटासेट।
• मेट्रिक्स: रिलेटिव रिकवरी एरर (RRE)।
• निष्कर्ष:
  • भाषा डेटासेट्स: सभी मास्किंग स्केल्स ($\eta$) के लिए RRE लगातार कम (लगभग 0.036 या 3.6%) रहा।
  • इमेज डेटासेट्स (CIFAR-100): भाषा टोकन की तुलना में छोटी इनपुट डाइमेंशन के कारण RRE थोड़ा अधिक (लगभग 0.178 या 17.8%) था, लेकिन फिर भी यह उच्च-फिडेलिटी रिकवरी की अनुमति देता है।
  • दृश्य प्रमाण (Visual Evidence): पेपर में दिया गया चित्र 1 दिखाता है कि मास्किंग स्केल ($\eta=0.5$ से $\eta=100$) के बावजूद, रिकवर की गई इमेज मूल इनपुट से दृश्य रूप से अविभेद्य (indistinguishable) हैं, जो प्रभावी रूप से गोपनीयता सुरक्षा को बायपास करती हैं।
  • मास्क स्केल से स्वतंत्रता: हमले की सफलता रैंडम मास्क के परिमाण (magnitude) से स्वतंत्र है; यह पूरी तरह से लीक हुए सबस्पेस पर निर्भर करती है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• मौलिक डिज़ाइन दोष: यह शोध पत्र प्रदर्शित करता है कि केवल लो-रैंक रिप्रेजेंटेशन (सिंगुलर वैल्यूज) को एन्क्रिप्ट करना और बेसिस वेक्टर्स (ऑर्थोगोनल मैट्रिसेस) को प्लेनटेक्स्ट में छोड़ देना सुरक्षित इन्फरेंस के लिए अपर्याप्त है।
• गोपनीयता जोखिम: परिणाम संकेत देते हैं कि Euston फ्रेमवर्क, जैसा कि डिज़ाइन किया गया है, उपयोगकर्ता की गोपनीयता की रक्षा करने में विफल रहता है, जिससे दुर्भावनापूर्ण मॉडल ओनर के लिए संवेदनशील उपयोगकर्ता डेटा (टेक्स्ट या इमेज) को आसानी से रिकवर करना संभव हो जाता है।
• व्यापक प्रभाव: यह कार्य सुरक्षित इन्फरेंस प्रोटोकॉल के डिज़ाइन के लिए एक चेतावनी के रूप में कार्य करता है। यह रेखांकित करता है कि दक्षता अनुकूलन (जैसे SVD-आधारित संपीड़न) को सूचना रिसाव (information leakage) के लिए कड़ाई से जांचा जाना चाहिए, विशेष रूप से रैंडम मास्क के संरचनात्मक घटकों के प्रसारण के संबंध में। लेखक निष्कर्ष निकालते हैं कि तैनाती से पहले ऐसे डिजाइनों को महत्वपूर्ण सुरक्षा पुनर्मूल्यांकन की आवश्यकता है।