Algebraic Cryptanalytic Extraction on Hard-Label Neural Networks
यह शोध पत्र एक अनुमानित सिग्नेचर वेक्टर (ASV) पद्धति का उपयोग करते हुए एक बीजगणितीय ढांचे का प्रस्ताव करता है ताकि मौजूदा हार्ड-लेबल मॉडल निष्कर्षण हमलों की कम्प्यूटेशनल बाधाओं को दूर किया जा सके, जो जटिल SVD-आधारित क्लस्टरिंग को सरल इनर-प्रोडक्ट ऑपरेशन्स से बदलकर फुली कनेक्टेड और मैक्स-पूलिंग कनवल्शनल न्यूरल नेटवर्क दोनों के लिए कुशल पैरामीटर रिकवरी प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दुनिया के सबसे प्रसिद्ध केक की गुप्त रेसिपी चुराने की कोशिश कर रहे हैं, लेकिन बेकर आपको बैटर चखने या सामग्री की सूची देखने से मना कर देता है। आप केवल बेकर को एक यादृच्छिक (random) सामग्री दे सकते हैं, पूछ सकते हैं "क्या यह एक केक है?", और बदले में केवल "हाँ" या "नहीं" का उत्तर प्राप्त कर सकते हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में "हार्ड-लेबल" (hard-label) हमलों की चुनौती है। कंप्यूटर विज्ञान के इस कोने में, शोधकर्ता एक "ब्लैक बॉक्स" न्यूरल नेटवर्क के भीतर छिपे गणित (वेट्स और बायस) को केवल उसके अंतिम हाँ/ना निर्णयों को देखकर रिवर्स-इंजीनियर करने की कोशिश करते हैं। वर्षों तक, यह अंधेरे में एक विशाल जिग्सॉ पहेली (jigsaw puzzle) को सुलझाने जैसा था; हालाँकि कुछ चतुर तरीके टुकड़ों को खोजने के लिए मौजूद थे, लेकिन उन्हें सही तस्वीर में व्यवस्थित करना इतना धीमा और गणनात्मक रूप से भारी था कि यह वास्तविक जीवन में असंभव लगता था। समस्या यह नहीं थी कि गणित गलत था, बल्कि यह थी कि सुरागों को व्यवस्थित करने की विधि गणनाओं के ट्रैफिक जाम में फंसी हुई थी।
यह पेपर उस ट्रैफिक जाम को काटने का एक चतुर नया तरीका पेश करता है। लेखक, ज़िरुई चेन और उनकी टीम ने महसूस किया कि पुराना तरीका एक सुपर-कॉम्प्लेक्स कैलकुलेटर का उपयोग करके हर एक पहेली के टुकड़े की दूसरे हर टुकड़े से तुलना करने जैसा था। इसके बजाय, उन्होंने "एप्रोक्सिमेट सिग्नेचर वेक्टर" (ASV) नामक एक शॉर्टकट प्रस्तावित किया। इसे ऐसे समझें कि यदि पहेली के दो टुकड़े आकाश के एक ही हिस्से से संबंधित हैं, तो वे दोनों नीले होंगे। आपको सुपर-कंप्यूटर की आवश्यकता नहीं है; आपको बस एक त्वरित नज़र डालने की आवश्यकता है कि क्या वे एक ही रंग के हैं। इस "नज़र" (एक सरल गणितीय ऑपरेशन जिसे 'इनर प्रोडक्ट' कहा जाता है) का उपयोग करके, उन्होंने एक कार्य जिसे हजारों घंटे लगते थे, उसे मिनटों के काम में बदल दिया। उन्होंने यह भी पता लगाया कि कैसे इस ट्रिक को "मैक्स पूलिंग" (max pooling) का उपयोग करने वाले "कन्वोल्यूशनल न्यूरल नेटवर्क" (CNN) नामक AI आर्किटेक्चर पर लागू किया जाए, जो कि इन हमलों के लिए पहले एक बंद रास्ता (dead end) था।
बड़ा विचार: भारी काम से एक त्वरित नज़र तक
कहानी 2025 में कार्लिनी और उनके सहयोगियों द्वारा विकसित एक प्रसिद्ध हमले से शुरू होती है। उन्होंने दिखाया कि भले ही आपको न्यूरल नेटवर्क से केवल "हाँ/नहीं" उत्तर मिलते हों, फिर भी आप इसके गुप्त वेट्स (weights) का पता लगा सकते हैं। उन्होंने ऐसा डेटा में विशेष बिंदुओं को खोजकर किया जिन्हें "डुअल पॉइंट्स" (dual points) कहा जाता है। कल्पना कीजिए कि ये डुअल पॉइंट्स वे सटीक स्थान हैं जहाँ AI का निर्णय "बिल्ली" से "कुत्ता" में बदल जाता है। इन फ्लिप-पॉइंट्स के हजारों संग्रह करके, हमलावर AI के मस्तिष्क का गणितीय पुनर्निर्माण कर सकते थे।
हालाँकि, एक बहुत बड़ी बाधा (bottleneck) थी। एक बार जब आपके पास हजारों इन फ्लिप-पॉइंट्स का ढेर हो जाता है, तो आपको उन्हें छाँटना पड़ता है। आपको यह पता लगाने की आवश्यकता है कि कौन से बिंदु एक ही "न्यूरॉन" (AI के भीतर एक ही छोटा निर्णय लेने वाला) से संबंधित हैं और कौन से अलग हैं। कार्लिनी की टीम द्वारा उपयोग किया जाने वाला पुराना तरीका, एक हाई-टेक स्कैनर का उपयोग करके हर एक मोज़े की तुलना दूसरे हर मोज़े से करने जैसा था। यह सिद्धांत में काम करता था, लेकिन व्यवहार में, यह अत्यंत धीमा था। यदि आपके पास 2,000 बिंदु होते, तो कंप्यूटर को अरबों भारी गणनाएँ करनी पड़तीं, जिसमें हफ्तों या महीनों का समय लगता। लेखकों ने नोट किया कि जबकि सिद्धांत सही था, व्यावहारिक कार्यान्वयन एक "कंप्यूटेशनल बॉटलनैक" में फंसा हुआ था जिसने इसे वास्तविक दुनिया के हमलों के लिए बेकार बना दिया था।
जादुई शॉर्टकट: एप्रोक्सिनेट सिग्नेचर वेक्टर (ASV)
लेखकों की सफलता एक ज्यामितीय पहेली से बीजगणितीय (algebraic) दृष्टिकोण की ओर बदलाव करने में थी। उन्होंने देखा कि ये AI मस्तिष्क कैसे बने होते हैं, इसके बारे में दो दिलचस्प बातें हैं:
- उच्च-आयामी यादृच्छिकता (High-dimensional randomness): उस विशाल, बहु-आयामी स्थान में जहाँ ये AI रहते हैं, यादृच्छिक दिशाएँ लगभग पूरी तरह से एक-दूसरे के लंबवत (perpendicular) होती हैं (जैसे x, y और z अक्ष)।
- विघटित विशेषताएं (Disentangled features): वास्तविक दुनिया के AI को अलग-अलग न्यूरॉन्स के साथ अलग-अलग चीजें सीखने के लिए प्रशिक्षित किया जाता है। एक न्यूरॉन कान पहचानने के लिए सीख सकता है, दूसरा पूंछ। क्योंकि वे अलग-अलग चीजें सीखते हैं, उनके आंतरिक "वेट्स" (जो उन्हें परिभाषित करते हैं) स्वाभाविक रूप से असंबद्ध (uncorrelated) होते हैं, जैसे कि वे अलग-अलग, अद्वितीय दिशाओं में इशारा कर रहे हों।
इन अवलोकनों का उपयोग करते हुए, टीम ने एप्रोक्सिमेट सिग्नेचर वेक्टर (ASV) का आविष्कार किया। प्रत्येक बिंदु के लिए भारी, धीमी तुलना करने के बजाय, वे प्रत्येक बिंदु के लिए एक त्वरित "सिग्नेचर" की गणना करते हैं। यदि दो बिंदुओं के सिग्नेचर लगभग एक ही दिशा में (या बिल्कुल विपरीत) इशारा करते हैं, तो वे लगभग निश्चित रूप से एक ही न्यूरॉन से संबंधित होते हैं।
यह मार्बल्स (कंचों) के एक बैग जैसा है जहाँ आपको उन्हें रंग के आधार पर छाँटना है। पुराना तरीका यह था कि हर मार्बल को दूसरे मार्बल के विरुद्ध तौलना ताकि यह देखा जा सके कि उनका घनत्व समान है या नहीं। नया तरीका बस रंग देखना है। यदि दो मार्बल दोनों चमकीले लाल हैं, तो आप उन्हें एक ही ढेर में रखते हैं। आपको तराजू की आवश्यकता नहीं है; आपको बस अपनी आँखों की आवश्यकता है। गणित के शब्दों में, यह "देखना" वेक्टर्स का एक सरल गुणन (इनर प्रोडक्ट) है, जो पुराने "तराजू" (सिंगुलर वैल्यू डिकंपोजिशन - SVD) की तुलना में बिजली की गति से काम करता है।
परिणाम: डकैती की गति बढ़ाना
गति का अंतर चौंकाने वाला है। लेखकों ने एक मानक AI मॉडल पर अपने तरीके का परीक्षण किया जिसमें 2,000 डुअल पॉइंट्स थे।
- पुराना तरीका: भारी SVD विधि का उपयोग करते हुए, सॉर्टिंग प्रक्रिया में लगभग 4,348 घंटे (लग{भ}ग आधा साल का निरंतर कंप्यूटिंग समय) लगते।
- नया तरीका: उनके ASV तरीके का उपयोग करते हुए, वही काम केवल 211.9 सेकंड (लगभग 3.5 मिनट) में पूरा हो गया।
यह लगभग 212 गुना की स्पीडअप है। मॉडल के पहले लेयर को निकालने के एक वास्तविक प्रयोग में, पुराने तरीके में 5.03 घंटे लगे, जबकि उनके तरीके ने इसे केवल 0.04 घंटे (लगभग 2.4 मिनट) में कर दिया। दूसरी लेयर के लिए, पुराना तरीका एक सप्ताह में भी पूरा नहीं हो सका, जबकि नए तरीके ने इसे 0.74 घंटे में पूरा कर लिया।
CNN कोड को तोड़ना
इस पेपर ने केवल पुराने तरीके को तेज़ ही नहीं किया, बल्कि एक नई समस्या को भी हल किया। शोधकर्ताओं ने अपने तरीके को "मैक्स पूलिंग" (max pooling) का उपयोग करने वाले कन्वोल्यूशनल न्यूरल नेटवर्क्स (CNNs) पर लागू किया। मैक्स पूलिंग एक ऐसी तकनीक है जहाँ AI संख्याओं के एक छोटे समूह को देखता है और केवल सबसे बड़े को रखता है, बाकी को हटा देता है। यह एक अनूठी चुनौती पैदा करता है क्योंकि नेटवर्क के कई अलग-अलग न्यूरॉन्स वास्तव में एक ही "कर्नेल" (वजन का एक ही सेट) साझा करते हैं।
पिछले प्रयास इन नेटवर्कों पर "न्यूरॉन-केंद्रित" (neuron-centric) थे, जिसका अर्थ था कि वे बिंदुओं को इस आधार पर छाँटने की कोशिश करते थे कि वे किस विशिष्ट न्यूरॉन से संबंधित हैं। लेकिन मैक्स पूलिंग के काम करने के तरीके के कारण, आपको प्रगति करने के लिए दो ऐसे बिंदु खोजने की आवश्यकता होगी जो ठीक उसी न्यूरॉन से टकराते हों, जो संयोग से ऐसा करना अविश्वसनीय रूप से कठिन है।
लेखकों ने एक "एडवांस्ड ASV" पद्धति पेश की जो "कर्नेल-केंद्रित" (kernel-centric) है। यह पूछने के बजाय कि, "क्या ये दो बिंदु एक ही न्यूरॉन से संबंधित हैं?" उन्होंने पूछा, "क्या ये दो बिंदु एक ही कर्नेल से संबंधित हैं?" चूंकि इस प्रकार के सभी न्यूरॉन्स एक ही कर्नेल साझा करते हैं, इसलिए वे अलग-अलग न्यूरॉन्स से बिंदुओं को मिला सकते हैं जब तक कि वे एक ही अंतर्निहित पैटर्न पर काम कर रहे हों। इसने उन्हें केवल हार्ड-लेबल इनपुट का उपयोग करके LeNet-5 मॉडल (एक क्लासिक इमेज-रिकग्निशन AI) के वेट्स को सफलतापूर्वक निकालने में सक्षम बनाया, जो अब तक एक "ओपन प्रॉब्लम" (अनसुलझी समस्या) बनी हुई थी।
इसका क्या अर्थ है
यह पेपर प्रदर्शित करता है कि इन हमलों को देखने के लिए हम जिस गणितीय लेंस का उपयोग करते हैं, उसे बदलकर, हम एक ऐसे कार्य को जो व्यावहारिक रूप से असंभव था, एक नियमित गणना में बदल सकते हैं। लेखक दिखाते हैं कि "क्लस्टरिंग" चरण, जो मुख्य बाधा थी, को सटीकता से समझौता किए बिना कुशलतापूर्वक हल किया जा सकता है। उन्होंने मानक मॉडलों पर सिमुलेशन और प्रयोगों के माध्यम से अपने परिणामों को सत्यापित किया, जिससे पता चलता है कि "एप्रोक्सिमेट सिग्नेचर वेक्टर" वास्तविक वेट्स का एक विश्वसनीय प्रॉक्सी है।
हालांकि यह पेपर यह दावा नहीं करता है कि इसने सभी AI सुरक्षा को तोड़ दिया है, लेकिन यह सिद्ध करता है कि "हार्ड-लेबल" सेटिंग पहले की तुलना में कहीं अधिक असुरक्षित है, बशर्ते आपके पास सही बीजगणितीय उपकरण हों। लेखक सुझाव देते हैं कि उनके तरीके का उपयोग तीसरे पक्ष द्वारा इन हमलों को अनुकूलित करने के लिए किया जा सकता है, जो प्रभावी रूप से सैद्धांतिक संभावना और व्यावहारिक वास्तविकता के बीच के अंतर को पाट देता है। AI सुरक्षा की दुनिया में, यह जानना कि "हाँ/नहीं" इंटरफ़ेस को हफ्तों के बजाय मिनटों में रिवर्स-इंजीनियर किया जा सकता है, एक महत्वपूर्ण चेतावनी है कि ब्लैक-बॉक्स मॉडल के बचाव बहुत अधिक मजबूत होने चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।