Privacy from Symmetry: Orthogonally Equivariant Transformers for LLM Inference
यह शोध पत्र ConjFormer का प्रस्ताव करता है, जो एक ऑर्थोगोनली इक्विवैरिएंट (orthogonally equivariant) ट्रांसफॉर्मर आर्किटेक्चर है जो क्लाइंट्स को सर्वर को सीक्रेट-रोटेटेड हिडन स्टेट्स (secret-rotated hidden states) ट्रांसमिट करने में सक्षम बनाकर गोपनीयता-संरक्षित LLM इन्फरेंस को सक्षम बनाता है, जो न्यूनतम प्रदर्शन ह्रास बनाए रखते हुए टोकन रिकवरी हमलों को प्रभावी रूप से रोकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट AI (एक लार्ज लैंग्वेज मॉडल) से अपने निजी मेडिकल रिकॉर्ड के बारे में कोई सवाल पूछना चाहते हैं। समस्या यह है कि वह AI एक दूर स्थित शक्तिशाली सर्वर पर रहता है, और आप अपना कच्चा टेक्स्ट (raw text) वहां नहीं भेजना चाहते क्योंकि सर्वर का मालिक उसे देख सकता है।
आमतौर पर, लोग काम को विभाजित करने की कोशिश करते हैं: आप अपने फोन पर सोचने का पहला हिस्सा करते हैं, और काम पूरा करने के लिए सर्वर को केवल "विचार" (छिपे हुए नंबर) भेजते हैं। लेकिन इसमें एक पेंच है: वे "विचार" एक गुप्त कोड की तरह होते हैं जिन्हें क्रैक किया जा सकता है। यदि सर्वर के पास एक सार्वजनिक डिक्शनरी है कि शब्द नंबर के रूप में कैसे दिखते हैं, तो वे आपके "विचारों" को डिक्शनरी से मिला सकते हैं और अंदाज़ा लगा सकते हैं कि आपने वास्तव में क्या टाइप किया था।
पेपर का समाधान: "मैजिक रोटेटर" (जादुई घुमाने वाला)
यह पेपर एक नया सिस्टम पेश करता है जिसे CONJFORMER कहा जाता है। इसे एक जादुई गोपनीयता कवच (privacy shield) के रूप में समझें जो भारी एन्क्रिप्शन के बजाय ज्यामिति (geometry) का उपयोग करता है।
यह इस प्रकार काम करता है:
1. समस्या: "पारदर्शी कांच" (The Transparent Glass)
कल्पना कीजिए कि आपका डेटा एक मेज पर रखी एक मूर्ति (sculpture) है। सर्वर के पास हर संभव मूर्ति का एक कैटलॉग है। यदि आप मूर्ति को सर्वर के पास भेजते हैं, तो वे बस मूर्ति को देख सकते हैं, अपने कैटलॉग से उसकी तुलना कर सकते हैं, और कह सकते हैं, "आह, यह एक बिल्ली की तस्वीर है!" भले ही आप उसे थोड़े अलग प्रकाश में भेजें, आकार वही रहता है, और वे अभी भी उसे पहचान सकते हैं।
2. समाधान: "गुप्त घुमाव" (The Secret Spin)
लेखक प्रस्तावित करते हैं कि अपनी मूर्ति को भेजने से पहले, आप उसे एक टर्नटेबल पर रखते हैं और उसे एक गुप्त कुंजी (secret key) का उपयोग करके 90 डिग्री (या किसी भी यादृच्छिक कोण पर) घुमा देते हैं, जिसे केवल आप जानते हैं।
- आप: मूर्ति को घुमाते हैं।
- सर्वर: घुमाई हुई मूर्ति प्राप्त करता है। अब उन्हें नहीं पता कि "ऊपर" की दिशा कौन सी है।
- जादू: सर्वर का AI एक विशेष तरीके से बनाया गया है (CONJFORMER नामक एक नए आर्किटेक्चर का उपयोग करके) जो पहेली को बिल्कुल उसी तरह हल कर सकता है, चाहे मूर्ति उलटी हो या तिरछी। उसे अपना काम करने के लिए मूल दिशा जानने की आवश्यकता नहीं है।
3. "आर्किटेक्चरल परिवर्तन" (असली सीक्रेट सॉस)
इसके काम करने के लिए, AI सर्वर को अलग तरह से बनाया जाना चाहिए। मानक AI मॉडल कठोर रोबोट की तरह होते; यदि आप उनके देखने के नजरिए को झुका देते हैं, तो वे भ्रमित हो जाते हैं।
लेखकों ने AI के "दिमाग" (ट्रांसफॉर्मर आर्किटेक्चर) को बदलकर इसे बदला है:
- "नॉर्मलाइजेशन" को बदलना: उन्होंने गणित के एक छोटे से हिस्से को बदलकर (एक जटिल रूलर को एक सरल स्केलर रूलर से बदलकर) यह सुनिश्चित किया कि AI डेटा की दिशा की परवाह न करे।
- वेट्स (Weights) को घुमाना: जिस तरह आपने इनपुट को घुमाया, सर्वर के आंतरिक "नियम" (weights) भी गणितीय रूप से उसके अनुरूप घुमा दिए जाते हैं।
परिणाम: सर्वर "घुमाई हुई दुनिया" में गणना करता है। वह आपके डेटा को उसके मूल रूप में कभी नहीं देखता। वह केवल घुमाए गए संस्करण को ही देखता है।
4. क्या सर्वर धोखाधड़ी कर सकता है? (हमले)
पेपर परीक्षण करता है कि क्या एक चालाक सर्वर गुप्त घुमाव का पता लगा सकता है और डेटा को अन-स्पूल (un-spool) कर सकता है।
- पुराना हमला (Nearest Neighbor): पहले, सर्वर बस आकारों को मिला देता था। अब, यह असंभव है क्योंकि आकार घूम रहे हैं।
- नया हमला (Weight Alignment): सर्वर उन "नियमों" (weights) को देखकर घुमाव का अनुमान लगाने की कोशिश करता है जो उसे प्राप्त हुए हैं। यह वैसा ही है जैसे बॉक्स पर बनी तस्वीर को देखकर यह अनुमान लगाना कि पहेली को कैसे घुमाया गया था।
- परिणाम: पेपर दिखाता है कि यदि आप मॉडल को अपने निजी डेटा पर प्रशिक्षित (fine-tuning) करते हैं, तो घुमाव का पता लगाने की सर्वर की क्षमता बहुत अच्छी (35% से अधिक शब्दों को रिकवर करना) होने से गिरकर लगभग यादृच्छिक (केवल 1.3% रिकवरी) हो जाती है।
5. ट्रेड-ऑफ (समझौता)
क्या यह AI को कम बुद्धिमान बनाता है?
- बहुत थोड़ा सा। पेपर ने GPT-2 और Llama जैसे मॉडलों पर इसका परीक्षण किया। बदलावों के बाद, AI का प्रदर्शन ("परप्लेक्सिटी" या यह कि वह कितना भ्रमित है) बहुत मामूली रूप से गिर गया (0.4% से 2% से कम)।
- कोई शोर (Noise) नहीं: अन्य गोपनीयता विधियों के विपरीत जो डेटा में "स्टैटिक" या "शोर" जोड़ती हैं (जिससे AI ऐसा लगता है जैसे उसे जुकाम है), यह विधि डेटा को साफ रखती है; यह बस इसे घुमा देती है।
सारांश
CONJFORMER एक तरीका है जिससे आप एक रिमोट AI को अपने निजी कार्यों को पूरा करने देने के लिए उपयोग कर सकते है, बिना अपने कच्चे डेटा को दिखाए। यह इसे निम्न प्रकार से करता है:
- भेजने से पहले एक गुप्त कुंजी के साथ आपके डेटा को घुमाना (Spinning)।
- AI को रीफिट (Retrofitting) करना ताकि वह घुमाए गए डेटा पर बिना "अन-स्पिन" किए पूरी तरह से काम कर सके।
- सर्वर की आपके शब्दों को डिक्शनरी में खोजने की क्षमता को तोड़ना, जिससे उन्हें एक बहुत कठिन गणितीय पहेली हल करने के लिए मजबूर होना पड़ता जिसे वे तब तक नहीं सुलझा सकते जब तक कि आपने मॉडल को अपने विशिष्ट डेटा पर प्रशिक्षित न कर लिया हो।
यह एक व्यावहारिक रक्षा है जो भारी, धीमी एन्क्रिप्शन के बजाय सममिति (Symmetry) (इस विचार कि गणित दिशा के बावजूद समान रहता है) पर निर्भर करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।