🤖 machine learning

SpectralGuard: Detecting Memory Collapse Attacks in State Space Models

यह शोध पत्र SpectralGuard प्रस्तुत करता है, जो स्टेट स्पेस मॉडल्स (State Space Models) में "मेमोरी कोलैप्स" हमलों का पता लगाने और उन्हें कम करने के लिए एक रीयल-टाइम मॉनिटरिंग सिस्टम है, जो ट्रांज़िशन ऑपरेटर्स के स्पेक्ट्रल रेडियस (spectral radius) को ट्रैक करके प्रतिकूल इनपुट्स को तर्क क्षमता को चुपचाप नष्ट करने से रोकता है, जबकि कम लेटेंसी और उच्च पहचान सटीकता बनाए रखता है।

मूल लेखक: Davi Bonetto

प्रकाशित 2026-03-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Davi Bonetto

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: एक नया तरह का दिमाग जिसमें एक छिपा हुआ दोष है

कल्पना कीजिए कि एक नए प्रकार का AI है जिसे स्टेट स्पेस मॉडल (SSM) कहा जाता है, जैसे कि प्रसिद्ध "Mamba"। इन AI को बहुत कुशल मेमोरी कीपर (याद रखने वाले) के रूप में सोचें। पुराने AI (ट्रांसफॉर्मर्स) के विपरीत, जो उनके द्वारा पढ़ी गई हर चीज़ की एक विशाल, खुली नोटबुक रखते हैं, SSM एक जादुई, सिकुड़ने वाली डायरी की तरह हैं।

हर बार जब AI एक नया शब्द पढ़ता है, तो वह इस डायरी को अपडेट करता है। यदि डायरी स्वस्थ है, तो यह हजारों शब्द पहले पढ़ी गई चीजों को याद रख सकता है। यह उन्हें सुपर फास्ट और लंबी किताबें पढ़ने में माहिर बनाता है।

समस्या:
यह पेपर इस बात की खोज करता है कि इस जादुई डायरी के काम करने के तरीके में एक भयानक दोष है। एक हमलावर AI के कान में एक विशिष्ट, गुप्त वाक्यांश फुसफुसा सकता है। यह वाक्यांश AI को कुछ बुरा कहने (जैसे "मैं आपको हैक करूँगा") के लिए प्रेरित नहीं करता है। इसके बजाय, यह AI की याददाश्त के लिए एक वूडू डॉल (voodoo doll) की तरह काम करता है।

यह AI की डायरी को अचानक सिकुड़ने के लिए मजबूर कर देता है। AI 50 शब्द पहले पढ़ा गया सब कुछ भूल जाता है, भले ही वह सामान्य रूप से बात कर रहा हो। यह एक व्यक्ति को स्ट्रोक आने जैसा है: वह बिल्कुल ठीक बोल रहा है, लेकिन उसका मस्तिष्क बातचीत बनाए रखने की क्षमता खो चुका है। इसे "स्पेक्ट्रल कोलैप्स" (Spectral Collapse) कहा जाता है।

उपमा: लीक होने वाली बाल्टी बनाम निचोड़ा हुआ स्पंज

इस हमले को समझने के लिए, आइए देखें कि ये AI जानकारी कैसे संग्रहीत करते हैं:

पुराना तरीका (ट्रांसफॉर्मर्स): एक ऐसी लाइब्रेरी की कल्पना करें जिसमें अनंत अलमारियाँ हैं। यदि आप कोई तथ्य याद रखना चाहते हैं, तो आप उसे बस एक अलमारी पर रख देते हैं। इसे भूलने के लिए, आपको पूरी लाइब्रेरी को जलाना होगा। बिना किसी को आग लगते हुए देखे, चुपके से याददाश्त को नष्ट करना कठिन है।
नया तरीका (SSMs/Mamba): एक स्पंज की कल्पना करें जो पानी (जानकारी) को थामे रखता है। हर बार जब आप एक शब्द पढ़ते हैं, तो आप स्पंज को अंदर का पानी अपडेट करने के लिए निचोड़ते हैं।
- सामान्य मोड: आप धीरे से निचोड़ते हैं। स्पंज भरा रहता है, जो कहानी की शुरुआत से लेकर अंत तक का पानी थामे रखता है।
- हमला (स्पेक्ट्रल कोलैप्स): हमलावर स्पंज को बहुत ज़ोर से निचोड़ने का एक विशिष्ट तरीका ढूंढ लेता है। अचानक, स्पंज एक छोटा, सूखा पत्थर बन जाता है। सारा पानी (याददाश्त) गायब हो जाता है।
- डरावना हिस्सा: स्पंज बाहर से बिल्कुल वैसा ही दिखता है। यदि आप AI से सवाल पूछते हैं, तो वह जवाब दे सकता है, लेकिन वह एक छोटे, सूखे पत्थर की याददाश्त के आधार पर जवाब दे रहा होता है, न कि पूरी कहानी के आधार पर। यह एक "साइलेंट फेलियर" (मौन विफलता) है।

हमला: "HiSPA" (मेमोरी का ज़हर)

शोधकर्ताओं ने HiSPA (हिडन स्टेट पॉइजनिंग) नामक एक हमला बनाया है।

यह कैसे काम करता है: हमलावर गणित का उपयोग करके शब्दों का एक ऐसा सटीक क्रम ढूंढता है जो AI को उसकी मेमोरी स्पंज को तब तक "निचोड़ने" के लिए मजबूर करता है जब तक कि वह ढह न जाए।
परिणाम: AI की याद रखने की क्षमता लाखों शब्दों से घटकर केवल दर्जनों रह जाती है।
चाल: AI क्रैश नहीं होता। वह "बचाओ!" चिल्लाता नहीं है। वह बस बेतुकी बातें बनाना शुरू कर देता है या गणित की समस्याओं में विफल हो जाता है क्योंकि वह वास्तव में उस सवाल को याद नहीं रख पाता जो अभी उससे पूछा गया था। मानक सुरक्षा फिल्टर (जो यह देखते हैं कि AI बुरे शब्द बोल रहा है या नहीं) इसे नहीं पकड़ पाते क्योंकि AI अभी भी सामान्य चीजें "बोल" रहा होता है, बस उसका दिमाग टूट चुका होता है।

बचाव: "SpectralGuard" (आंतरिक हार्ट मॉनिटर)

चूंकि आप केवल यह सुनकर नहीं बता सकते कि AI टूटा हुआ है, इसलिए आपको अंदर देखना होगा। शोधकर्ताओं ने SpectralGuard नामक एक सुरक्षा प्रणाली बनाई है।

उपमा: एक पायलट की कल्पना करें जो विमान उड़ा रहा है। यात्री (उपयोगकर्ता) केवल खिड़की से बाहर का दृश्य देखते हैं (आउटपुट)। यदि इंजन विफल हो रहा है, तो यात्रियों को तब तक पता नहीं चलेगा जब तक विमान नीचे न गिर जाए।
SpectralGuard पायलट की छाती पर बंधे एक रियल-टाइम हार्ट मॉनिटर की तरह है। इसे इस बात से फर्क नहीं पड़ता कि पायलट यात्रियों से क्या कह रहा है; इसे दिल की धड़कन (आंतरिक गणित) से मतलब है।
यह कैसे काम करता है:
1. यह लगातार मेमोरी स्पंज के "कड़ापन" (स्पेक्ट्रल रेडियस) की जांच करता है।
2. यदि स्पंज को बहुत ज़ोर से निचोड़ा जाता है (संख्या एक सुरक्षित सीमा से नीचे गिर जाती है), तो मॉनिटर चिल्लाता है "रुकिए!" (STOP!)।
3. यह AI को उस विशिष्ट प्रश्न का उत्तर देने से रोकता है, जिससे उपयोगकर्ता को गलत या टूटे हुए जवाब से बचाया जा सके।

यह क्यों महत्वपूर्ण है

यह अदृश्य है: आप AI को सिर्फ यह कहकर इसे ठीक नहीं कर सकते कि "बुरी बातें मत बोलो।" यह हमला सोचने की प्रक्रिया को तोड़ने के बारे में है, न कि सामग्री (कंटेंट) के बारे में।
यह तेज़ है: बचाव प्रक्रिया अविश्वसनीय रूप से हल्की है। यह प्रति शब्द 15 मिलीसेकंड से भी कम का विलंब जोड़ता है। यह कार में सीटबेल्ट लगाने जैसा है; यह आपको बहुत धीमा नहीं करता, लेकिन यह आपकी जान बचाता है।
यह सार्वभौमिक है: उन्होंने विभिन्न आकार के AI मॉडल और यहाँ तक कि हाइब्रिड मॉडल (पुरानी और नई तकनीक का मिश्रण) पर भी इसका परीक्षण किया, और यह हर जगह काम आया।

मुख्य निष्कर्ष

यह पेपर साबित करता है कि नए, तेज़ AI आर्किटेक्चर में एक छिपा हुआ अचिलिस की एड़ी (कमज़ोर कड़ी) है। एक चतुर हमलावर उन्हें चुपचाप पंगु बना सकता है। लेकिन, शोधकर्ताओं ने एक इलाज भी खोजा है: SpectralGuard।

AI की याददाश्त की "दिल की धड़कन" की निगरानी करके, हम पता लगा सकते हैं कि कोई मशीन को तोड़ने की कोशिश कर रहा है और इससे पहले कि AI गलत जानकारी देना शुरू करे, हम उन्हें रोक सकते हैं। यह "AI क्या कहता है" की जाँच करने से बदलकर "AI कैसे सोचता है" की जाँच करने की ओर एक बदलाव है।

संक्षेप में: यदि आप एक नए, सुपर-कुशल इंजन वाली कार बनाते हैं, तो आपको एक नया डैशबोर्ड गेज भी चाहिए ताकि यह सुनिश्चित हो सके कि ड्राइविंग के दौरान इंजन अचानक बंद न हो जाए। SpectralGuard वही गेज है।

यहाँ शोध पत्र "SpectralGuard: Detecting Memory Collapse Attacks in State Space Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: स्पेक्ट्रल कोलैप्स (Spectral Collapse) की भेद्यता

स्टेट स्पेस मॉडल्स (SSMs), जैसे कि Mamba, लॉन्ग-कॉन्टेक्स्ट प्रोसेसिंग के लिए ट्रांसफॉर्मर्स के कुशल विकल्प के रूप में उभरे हैं, जो लीनियर-टाइम कॉम्प्लेक्सिटी प्राप्त करने के लिए इनपुट-डिपेंडेंट रिकरेंस (input-dependent recurrence) का उपयोग करते हैं। हालाँकि, यह आर्किटेक्चर एक महत्वपूर्ण, पहले से अनछुए सुरक्षा जोखिम को जन्म देता है: स्पेक्ट्रल कोलैप्स (Spectral Collapse)।

तंत्र (The Mechanism): SSMs अपने संपूर्ण इतिहास को एक लो-डायमेंशनल हिडन स्टेट $h_t$ में कंप्रेस करते हैं, जिसे एक डिस्क्रीटाइज्ड ट्रांजिशन ऑपरेटर $\bar{A}_t = \exp(\Delta_t A)$ के माध्यम से अपडेट किया जाता है। स्पेक्ट्रल रेडियस $\rho(\bar{A}_t)$ (सबसे बड़े आइजनवैल्यू का परिमाण) हिडन स्टेट में सूचना के क्षय (decay) को नियंत्रित करता है।
हमला (The Attack - HiSPA): एक हमलावर ग्रेडिएंट-आधारित ऑप्टिमाइज़ेशन (Hidden State Poisoning) के माध्यम से इनपुट-डिपेंडेंट स्टेप साइज $\Delta_t$ में हेरफेर कर सकता है। $\rho(\bar{A}_t)$ को शून्य की ओर धकेलकर, हमलावर मॉडल को "हाई-कॉन्ट्रैक्शन रिजीम" (high-contraction regime) में जाने के लिए मजबूर कर देता है।
परिणाम (The Consequence): इसके कारण इफेक्टिव मेमोरी होराइजन ( $H_{eff}$ ) लाखों टोकन से घटकर मात्र कुछ दर्जन रह जाता है। मॉडल लंबी दूरी की रीजनिंग (जैसे एसोसिएटिव रिकॉल, चेन-ऑफ-थॉट) करने की अपनी क्षमता खो देता है, जबकि सतही तौर पर विश्वसनीय आउटपुट डिस्ट्रीब्यूशन बनाए रखता है।
डिटेक्शन गैप (The Detection Gap): यह शोध सिद्ध करता है कि आउटपुट-ओनली डिफेंस (जैसे पर्प्लेक्सिटी फिल्टर्स, टॉक्सिसिटी क्लासिफायर) मौलिक रूप से अपर्याप्त हैं। क्योंकि आंतरिक स्टेट कंप्रेशन आउटपुट प्रोजेक्शन के माध्यम से पूरी तरह से दृश्यमान नहीं होता है, एक हमलावर बिना किसी आउटपुट-लेवल अलार्म को ट्रिगर किए विनाशकारी मेमोरी लॉस पैदा कर सकता है।

2. कार्यप्रणाली (Methodology)

A. सैद्धांतिक ढांचा (Theoretical Framework)

लेखक स्पेक्ट्रल गुणों और मेमोरी क्षमता के बीच संबंध स्थापित करने के लिए एक कठोर सैद्धांतिक आधार तैयार करते हैं:

स्पेक्ट्रल होराइजन बाउंड (Theorem 1): वे स्पेक्ट्रल रेडियस $\rho(\bar{A})$ , कंडीशन नंबर $\kappa$ , और कंट्रोलेबिलिटी ग्रामियन $W_c$ के फलन के रूप में इफेक्टिव मेमोरी होराइजन $H_{eff}$ पर एक टाइट बाउंड प्राप्त करते हैं। यह बाउंड दिखाता है कि $H_{eff} \propto 1/\log(1/\rho)$ , जिसका अर्थ है कि $\rho$ में मामूली गिरावट (जैसे, 0.99 से 0.98 तक) मेमोरी क्षमता को नाटकीय रूप से कम कर देती है।
एवेजन अस्तित्व प्रमेय (Evasion Existence Theorem - Theorem 3): वे सिद्ध करते हैं कि केवल मॉडल आउटपुट पर काम करने वाले किसी भी डिफेंस के लिए, ऐसा एडवर्सरियल इनपुट मौजूद है जो स्पेक्ट्रल कोलैप्स को प्रेरित करता है और साथ ही डिटेक्शन से बच भी जाता है।
लिप्सचिट्ज़ सर्टिफिकेट (Lipschitz Certificate - Theorem 5): वे डिस्क्रीटाइजेशन स्टेप $\Delta$ के सापेक्ष स्पेक्ट्रल रेडियस के लिए एक लिप्सचिट्ज़ निरंतरता बाउंड प्रदान करते हैं, जो उस परिशुद्धता (precision) को मापता है जिसकी आवश्यकता हमलावर को स्पेक्ट्रम में हेरफेर करने के लिए होती है।

B. हमला निर्माण: ग्रेडिएंट-आधारित HiSPA

यह शोध HiSPA (Hidden State Poisoning via Spectral Attack) नामक एक ग्रेडिएंट-आधारित हमले को पेश करता है:

उद्देश्य: टोकन के एक अनुक्रम (sequence) पर $\rho(\bar{A}_t)$ को न्यूनतम करना, जबकि आउटपुट को विश्वसनीय (कम पर्प्लेक्सिटी, कोई टॉक्सिक कीवर्ड नहीं) बनाए रखना।
विधि: इनपुट टोकन्स पर प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) का उपयोग करके ऐसा अनुक्रम खोजने के लिए जो ट्रांजिशन ऑपरेटर के स्पेक्ट्रल रेडियस को शून्य की ओर ले जाए।

C. डिफेंस: SpectralGuard

इसका मुकाबला करने के लिए, लेखक SpectralGuard प्रस्तावित करते हैं, जो एक रियल-टाइम मॉनिटरिंग सिस्टम है:

तंत्र: यह इन्फरेंस के दौरान सभी मॉडल लेयर्स में स्पेक्ट्रल रेडियस $\rho(\bar{A}_t)$ को ट्रैक करता है।
एल्गोरिदम:
1. सेलेक्टिव स्टेप $\Delta_t$ की गणना करता है।
2. $\bar{A}_t$ प्राप्त करने के लिए डिस्क्रीटाइज करता है।
3. दक्षता के लिए पावर मेथड (आमतौर पर $k=3$ इटरेशन) का उपयोग करके $\rho(\bar{A}_t)$ का अनुमान लगाता है।
4. स्पेक्ट्रल वैल्यूज का एक स्लाइडिंग विंडो बनाए रखता है।
5. गेटिंग (Gating): यदि विंडो में न्यूनतम स्पेक्ट्रल रेडियस थ्रेशोल्ड $\rho_{min}$ से नीचे गिर जाता है, तो सिस्टम आउटपुट को ब्लॉक कर देता है और अलर्ट ट्रिगर करता है।
जटिलता: इसका ओवरहेड नगण्य है ( $\approx 15$ ms प्रति टोकन), क्योंकि छोटे स्टेट डायमेंशन ( $d_{state}=16$ ) पर पावर मेथड फॉरवर्ड पास की तुलना में बहुत सस्ता है।

3. मुख्य योगदान

स्पेक्ट्रल फाउंडेशन थ्योरी: स्पेक्ट्रल रेडियस और मेमोरी होराइजन के बीच संबंध को औपचारिक रूप दिया, और सिद्ध किया कि आउटपुट-ओनली डिफेंस स्पेक्ट्रल कोलैप्स हमलों का पता लगाने में असमर्थ हैं।
HiSPA अटैक का प्रदर्शन: एक ग्रेडिएंट-आधारित हमला बनाया जो $\rho$ को ~0.98 से ~0.32 तक कम कर देता है, जिससे विविध बेंचमार्क (Math, Code, QA, Recall) में सटीकता में 42–53 प्रतिशत अंक की गिरावट आती है, जबकि आउटपुट विश्वसनीय बना रहता है।
SpectralGuard डिफेंस: एक डिप्लॉय करने योग्य, मल्टी-लेयर स्पेक्ट्रल मॉनिटर पेश किया जो कम लेटेंसी के साथ उच्च डिटेक्शन दर प्राप्त करता है।
क्रॉस-आर्किटेक्चर वैलिडेशन: प्रदर्शित किया कि यह भेद्यता और डिफेंस हाइब्रिड SSM-अटेंशन मॉडल्स (जैसे Zamba2) पर भी लागू होते हैं।

4. प्रायोगिक परिणाम

शोध पत्र Mamba मॉडल्स (130M से 2.8B पैरामीटर्स) और हाइब्रिड आर्किटेक्चर में इस फ्रेमवर्क को मान्य करता है:

फेज ट्रांजिशन (Phase Transition): प्रदर्शन में एक तीव्र फेज ट्रांजिशन $\rho_{critical} \approx 0.90$ $ρ_{cr i t i c a l} \approx 0.90$ पर होता है।
- $\rho \ge 0.95$ : सटीकता > 80%।
- $\rho < 0.85$ : सटीकता < 30% (कोलैप्स्ड)।
हमले का प्रभाव (Attack Impact):
- बेनाइन (Benign): औसत सटीकता 72.3%, $\rho_{avg} = 0.98$ ।
- एडवर्सरियल (Adversarial): औसत सटीकता 19.8%, $\rho_{avg} = 0.32$ ।
- मेमोरी कोलैप्स: इफेक्टिव होराइजन $\approx 1.17 \times 10^6$ टोकन से घटकर 45 टोकन रह जाता है।
डिफेंस प्रदर्शन (SpectralGuard):
- नॉन-एडाप्टिव हमलावर (Non-Adaptive Attackers): F1-स्कोर = 0.961, AUC = 0.989।
- एडाप्टिव हमलावर (Adaptive Attackers - Threshold Evasion): भले ही हमलावर थ्रेशोल्ड के ठीक ऊपर रहने की कोशिश करें, SpectralGuard का मल्टी-लेयर वर्जन 0.842 का F1-स्कोर (AUC 0.903) बनाए रखता है।
- लेटेंसी: केवल ~15ms प्रति टोकन जोड़ता है (लगभग 15% थ्रूपुट ओवरहेड), जो इसे उत्पादन (production) के लिए व्यवहार्य बनाता है।
कॉज़ल वैलिडेशन (Causal Validation): सीधे $\rho$ को क्लैंप करने से (वेट्स बदले बिना) पुष्टि हुई कि कम स्पेक्ट्रल रेडियस ही प्रदर्शन में गिरावट का कारण है, जिससे कन्फाउंडिंग फैक्टर्स खारिज हो गए।
हाइब्रिड ट्रांसफर: Zamba2 (Mamba + Attention) में हमलों का सफलतापूर्वक पता लगाया, जो सिद्ध करता है कि यह तंत्र रिकरेंट कंपोनेंट्स के लिए सार्वभौमिक है।

5. महत्व और निहितार्थ

आर्किटेक्चरल सुरक्षा: यह कार्य प्रकट करता है कि SSMs स्वाभाविक रूप से ट्रांसफॉर्मर्स से अधिक सुरक्षित नहीं हैं; वास्तव में, उनका मल्टीप्लिकेटिव रिकरेंस उन्हें "साइलेंट" कैपेबिलिटी डिनायल हमलों के प्रति अद्वितीय रूप से संवेदनशील बनाता है जो मानक सुरक्षा फिल्टर को ट्रिगर नहीं करते हैं।
डिफेंस में प्रतिमान परिवर्तन (Paradigm Shift in Defense): यह तर्क देता है कि रिकरेंट फाउंडेशन मॉडल्स के लिए इंटरनल स्टेट मॉनिटरिंग आवश्यक है। केवल आउटपुट विश्लेषण पर निर्भर रहना इस प्रकार के हमलों का पता लगाने के लिए सैद्धांतिक रूप से अपर्याप्त है।
व्यावहारिक डिप्लॉयबिलिटी: SpectralGuard एक हल्का, गणितीय रूप से आधारित सुरक्षा स्तर प्रदान करता है जिसे न्यूनतम लेटेंसी लागत के साथ प्रोडक्शन पाइपलाइनों में एकीकृत किया जा सकता है।
AI सुरक्षा विनियमन: स्पेक्ट्रल ट्रेसेस को लॉग करने की क्षमता आंतरिक स्टेट अखंडता (integrity) के व्याख्या योग्य प्रमाण प्रदान करती है, जो मजबूती और घटना प्रतिक्रिया के संबंध में EU AI Act जैसे नियमों के अनुपालन में सहायता करती है।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि स्पेक्ट्रल रेडियस SSMs में मेमोरी के लिए "कंट्रोल नॉब" है। इस नॉब की निगरानी करके, SpectralGuard अगली पीढ़ी के फाउंडेशन मॉडल्स की रीजनिंग क्षमताओं को चुपचाप नष्ट करने वाले हमलों के खिलाफ पहला सिद्धांत-आधारित डिफेंस प्रदान करता है।