💻 computer science

Amnesia: A Stealthy Replay Attack on Continual Learning Dreams

यह शोध पत्र एम्नेशिया (Amnesia) को प्रस्तुत करता है, जो निरंतर सीखने वाले (continual learning) सिस्टम पर एक गुप्त रीप्ले हमला है जहाँ एक सीमित-विशेषाधिकार प्राप्त इनसाइडर केवल प्रदर्शन में गिरावट को अधिकतम करने के लिए रीप्ले सैंपल चयन में हेरफेर करता है और ऑडिट योग्य सांख्यिकीय सीमाओं के भीतर रहता है, जिससे इंडेक्स-नियंत्रित लर्निंग पाइपलाइनों में एक व्यावहारिक खतरे की सतह उजागर होती है।

मूल लेखक: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

प्रकाशित 2026-06-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ahmed Sharshar, Naveen Kumar Kummari, Mohsen Guizani

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Amnesia: A Stealthy Replay Attack on Continual Learning" पेपर का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों में विवरण दिया गया है।

बड़ी तस्वीर: एक रोबोट जो भूल जाता है

कल्पना कीजिए कि एक रोबोट एक-एक करके नए काम करना सीख रहा है। पहले, वह लाल ब्लॉक को छाँटना सीखता है। फिर, वह नीले ब्लॉक को छाँटना सीखता है। अंत में, वह हरे ब्लॉक को छाँटना सीखता है।

समस्या कंटीन्यूअल लर्निंग (Continual Learning) की है: जब रोबोट हरे ब्लॉक छाँटना सीखता है, तो वह अक्सर अनजाने में लाल और नीले ब्लॉक छाँटने की अपनी याददाश्त को "ओवरराइट" (मिटा) देता है। इसे कैटास्ट्रॉफिक फॉरगेटिंग (Catastrophic Forgetting) कहा जाता है।

इसे ठीक करने के लिए, इंजीनियर एक्सपीरियंस रिप्ले (Experience Replay) नामक एक ट्रिक का उपयोग करते हैं। रोबोट अपने पिछले कामों के उदाहरणों की एक छोटी "नोटबुक" (बफर) रखता है। जब भी वह कुछ नया सीखता है, वह अपने पुराने नोटबुक के कुछ पन्ने भी पलटता है ताकि खुद को अतीत की याद दिला सके। यह पुरानी यादों को जीवित रखता है।

हमला: "ड्रीम" साबाटोर (The "Dream" Saboteur)

यह पेपर एक नए प्रकार के हमले को पेश करता है जिसे एम्नेसिया (Amnesia) कहा जाता है।

सेटअप:
कल्पना कीजिए कि रोबोट की नोटबुक का प्रबंधन एक लाइब्रेरियन (पुस्तकालयाध्यक्ष) द्वारा किया जाता है। लाइब्रेरियन का काम यह चुनना है कि रोबोट को उसके "अभ्यास" (rehearsal) सत्रों के दौरान कौन से पन्ने (उदाहरण) दिखाने हैं।

हमलावर (Attacker): एक "ग्रे-बॉक्स इनसाइडर" (सीमित पहुंच वाला व्यक्ति) जो लाइब्रेरियन को नियंत्रित करता है।
सीमा (Limitation): हमलावर नोटबुक में चित्रों को नहीं बदल सकता, रोबोट के दिमाग (weights) को नहीं बदल सकता, और न ही रोबोट के वर्तमान पाठ को बदल सकता है। वह केवल यह तय कर सकता है कि लाइब्रेरियन रोबोट को दिखाने के लिए कौन से पन्ने निकालेगा।

लक्ष्य:
हमलावर चाहता है कि रोबोट अपने पुराने कामों (लाल और नीले ब्लॉक) को जितना संभव हो सके उतना भूल जाए, जबकि यह सब सामान्य दिखाई दे।

यह कैसे काम करता है: "टिल्ट एंड प्रोजेक्ट" रणनीति (The "Tilt and Project" Strategy)

हमलावर ऑडिटर (जांचकर्ता) द्वारा पकड़े जाने से बचने के लिए रोबोट की याददाश्त में हेरफेर करने हेतु दो-चरणीय प्रक्रिया का उपयोग करता है।

1. "टिल्ट" (विष चुनना - The "Tilt")

हमलावर नोटबुक को देखता है और गणना करता है कि कौन से पुराने उदाहरण रोबोट की याददाश्त के लिए सबसे अधिक खतरनाक हैं।

उदाहरण: कल्पना कीजिए कि रोबोट गाड़ी चलाना सीख रहा है। हमलावर देखता है कि यदि रोबोट "पार्किंग" का बहुत अधिक अभ्यास करता है, तो वह "हाईवे पर गाड़ी चलाने" को भूल जाता है। इसलिए, हमलावर "पार्किंग" के उदाहरणों की ओर चयन को झुकाने (tilt) का निर्णय लेता है।
गणित: वे डेटा के प्रत्येक क्लास के लिए एक "हार्म स्कोर" (हानि स्कोर) निर्धारित करते हैं। वे चाहते हैं कि रोबोट को "हानिकारक" क्लासेज के अधिक उदाहरण दिखाए जाएं और "सुरक्षित" क्लासेज के कम।

2. "प्रोजेक्ट" (स्टील्थ मास्क - The "Project")

यही पेचीदा हिस्सा है। यदि हमलावर रोबोट को केवल पार्किंग के उदाहरण दिखाता है, तो बॉस (ऑडिटर) तुरंत ध्यान देगा: "अरे, नोटबुक में आमतौर पर ड्राइविंग, पार्किंग और टर्निंग का मिश्रण होता है। आज यह सब पार्किंग क्यों है?"

पकड़े जाने से बचने के लिए, हमलावर को सख्त ऑडिटेबल बजट (Auditable Budgets) के भीतर रहना चाहिए:

मास बजट (Mass Budget): दिखाए गए कुल पन्नों की संख्या समान रहनी चाहिए।
विजिबिलिटी बजट (Visibility Budget): पन्नों का मिश्रण सांख्यिकीय रूप से सामान्य मिश्रण के समान दिखना चाहिए। यदि सामान्य मिश्रण 50% ड्राइविंग और 50% पार्किंग है, तो हमलावर इसे 90% पार्किंग में नहीं बदल सकता। वह इसे केवल थोड़ा सा मोड़ सकता है, जैसे 55% पार्किंग और 45% ड्राइविंग।

समाधान:
हमलावर एक गणितीय "प्रोजेक्टर" का उपयोग करता है जो उनकी हानिकारक योजना को वापस "सुरक्षित क्षेत्र" में सिकोड़ देता है।

वे एक ऐसा आदर्श, थोड़ा खतरनाक मिश्रण निकालते हैं जो ऑडिटर के लॉग्स को चकमा देने के लिए सामान्य मिश्रण के काफी करीब है।
वे दो तरीकों का उपयोग करते हैं:
- KL (Kullback-Leibler): एक सुचारू, कोमल धक्का। यह पता लगाना बहुत कठिन है लेकिन थोड़ा कम नुकसानदेह है।
- TV (Total Variation): एक तीव्र, अधिक आक्रामक धक्का। यह अधिक नुकसान पहुंचाता है लेकिन यदि ऑडिटर बारीकी से देखे तो पकड़ में आ सकता है।

परिणाम: "एम्नेसिया" (Amnesia)

जब रोबोट इस हेरफेर किए गए चयन के साथ प्रशिक्षण लेता है:

वह अपनी याददाश्त को भ्रमित करने के लिए "हानिकारक" उदाहरणों का पर्याप्त अभ्यास करता है।
वह ऑडिटर की जांच पास करने के लिए "सुरक्षित" उदाहरणों का पर्याप्त अभ्यास करता है।
परिणाम: रोबमा को एम्नेसिया हो जाता है। वह अपने पुराने कार्यों (जैसे लाल ब्लॉक छाँटना) को सामान्य से कहीं अधिक तेज़ी से भूल जाता है, भले ही ऑडिटर के लॉग्स दिखाते हों कि "पन्नों का मिश्रण" बिल्कुल सामान्य था।

यह क्यों महत्वपूर्ण है

यह पेपर साबित करता है कि रोबोट के दिमाग को हैक करने या डेटा फाइलों को ज़हरीला बनाने के लिए आपको continual learning सिस्टम को तोड़ने की आवश्यकता नहीं है। आपको बस यह नियंत्रित करने की आवश्यकता है कि पुरानी यादों की समीक्षा के लिए किन यादों को लाया जाता है।

वास्तविक दुनिया का उदाहरण: कल्पना कीजिए कि एक छात्र इतिहास की परीक्षा के लिए पढ़ाई कर रहा है। शिक्षक (सिस्टम) उसे समीक्षा के लिए विषयों की एक सूची देता है। यदि एक साबाटोर (हमलावर) सूची को सूक्ष्म रूप से बदल देता है ताकि छात्र "द्वितीय विश्व युद्ध" का 10% अधिक और "पुनर्जागरण" (Renaissance) का 10% कम अभ्यास करे, तो छात्र बाद में पुनर्जागरण वाले भाग में विफल हो सकता है। यदि साबाटोर समीक्षा के कुल विषयों की संख्या को समान रखता है और सूची ज्यादातर सामान्य दिखती है, तो शिक्षक को छात्र के असफल होने तक तोड़फोड़ का पता नहीं चलेगा।

प्रयोगों से मुख्य निष्कर्ष

यह काम करता है: इस हमले ने कई अलग-अलग डेटासेट्स (जैसे CIFAR-10, CORe50, और Tiny-ImageNet) पर रोबोट को पुराने कार्यों को भूलने में सफलतापूर्वक सक्षम बनाया।
यह गुप्त (Stealthy) है: हमले का "KL" संस्करण इतना सूक्ष्म था कि मानक जाँच (लॉग्स को देखना) इसे पकड़ नहीं पाई।
यह तेज़ है: यह हमले से प्रशिक्षण प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं लगता है।
ट्रेड-ऑफ (Trade-off): हमलावर जितना अधिक नुकसान पहुँचाना चाहता है, छिपना उतना ही कठिन होता है। "TV" विधि ने अधिक नुकसान पहुँचाया लेकिन पकड़े जाने की संभावना अधिक थी।

सारांश

एम्नेसिया एक "चालाक लाइब्रेरियन" वाला हमला है। यह सावधानीपूर्वक चुनकर कि कौन सी पिछली यादों का अभ्यास किया जाए—इतना कि रोबोट के दिमाग को तोड़ सके लेकिन इतना भी नहीं कि संदिग्ध लगे—हमलावर एक लर्निंग सिस्टम को उसका अतीत भुला सकता है, और यह सब ऑडिट लॉग्स के नियमों के भीतर रहकर किया जा सकता है।

तकनीकी सारांश: एम्नेसिया (Amnesia) – कॉन्टिनुअल लर्निंग पर एक गुप्त रीप्ले हमला

समस्या विवरण (Problem Statement)

कॉन्टिनुअल लर्निंग (CL) सिस्टम कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) को कम करने के लिए एक्सपीरियंस रीप्ले पर निर्भर करते हैं, जो आमतौर पर पिछले उदाहरणों की एक छोटी स्मृति को वर्तमान डेटा के साथ मिलाते हैं। जबकि CL में मौजूदा सुरक्षा अनुसंधान पॉइजनिंग (प्रदर्शन को कम करने के लिए इनपुट को संशोधित करना) और बैकडोर्स (लक्षित विफलताओं के लिए ट्रिगर्स एम्बेड करना) पर केंद्रित रहे हैं, इन दृष्टिकोणों में अक्सर उन स्पष्ट, ऑडिट योग्य बाधाओं का अभाव होता है जो निगरानी वाले प्रोडक्शन वातावरण में पाई जाती हैं।

तैनात किए गए CL पाइपलाइनों में, रीप्ले सैंपलर को अनुपालन (compliance) के लिए अक्सर इंस्ट्रूमेंट किया जाता है, जो रीप्ले इंडेक्स सेट, प्रति-बैच लेबल काउंट और रीप्ले रेट जैसे टेलीमेट्री लॉग करता है। ये लॉग "ऑडिट योग्य बजट" (auditable budgets) को सक्षम करते हैं जहाँ मॉनिटर सत्यापित करते हैं कि वास्तविक रीप्ले क्लास हिस्टोग्राम एक नाममात्र बेसलाइन के करीब बना रहता है और रीप्ले दर अपरिवर्तित रहती है। यह शोध पत्र एक महत्वपूर्ण मजबूती अंतराल (robustness gap) की पहचान करता है: एक सीमित-विशेषाधिकार प्राप्त इनसाइडर (limited-privilege insider) के प्रति CL सिस्टम की संवेदनशीलता, जिसका नियंत्रण केवल रीप्ले इंडेक्स चयन (जिसे "ड्रीमिंग" चरण कहा जाता है) पर है, बिना मॉडल मापदंडों, पिक्सेल डेटा या लेबल तक पहुंच के। इस हमलावर का लक्ष्य उन ऑडिट योग्य दृश्यता और द्रव्यमान बाधाओं का सख्ती से पालन करते हुए, पिछले कार्यों की विस्मृति (forgetting) को अधिकतम करना है, जो कि एक ऐसा खतरा है जिसे ऐसी सख्त बाधाओं के तहत पहले कभी नहीं खोजा गया था।

कार्यप्रणाली: एम्नेसिया हमला (Methodology: The Amnesia Attack)

लेखक एम्नेसिया पेश करते हैं, जो एक सैंपलर-स्तरीय रीप्ले कंपोजिशन हमला है जो इस बात को पक्षपाती बनाता है कि रीप्ले बफर से कौन से इंडेक्स चुने जाते हैं। यह हमला दो स्पष्ट बाधाओं के तहत काम करता है:

दृश्यता बजट ( $\delta$ ): हमले वाले रीप्ले हिस्टोग्राम और एक नाममात्र बेसलाइन ( $p_0$ ) के बीच विचलन (Total Variation या Kullback-Leibler) एक थ्रेशोल्ड से अधिक नहीं होना चाहिए।
द्रव्यमान बजट ( $f$ ): कुल रीप्ले दर (कीप फ्रैक्शन) स्थिर रहती है।

यह हमला एक दो-चरणीय "टिल्ट-देन-प्रोजेक्ट" (tilt-then-project) प्रक्रिया का पालन करता है:

1. प्राथमिकता (Preference/Tilt)

हमलावर हल्के, सैंपलर-पठनीय उपयोगिता संकेतों (जैसे, मेटाडेटा के रूप में लॉग किए गए क्रॉस-एन्ट्रॉपी लॉस या कॉन्फिडेंस स्कोर का एक्सपोनेंशियल मूविंग एवरेज - EMA) का उपयोग उन "हानिकारक" क्लासेज की पहचान करने के लिए करता है—जिनका अति-प्रतिनिधित्व विस्मृति को अधिकतम करता है। इन उपयोगिताओं ( $u$ ) का उपयोग नाममात्र क्लास हिस्टोग्राम $p_0$ को एक लक्षित वितरण $\tilde{p}$ की ओर झुकाने (tilt) के लिए किया जाता है जो उच्च-उपयोगिता (हानिकारक) क्लासेज को प्राथमिकता देता है।

2. प्रोजेक्शन (Projection/Stealth)

झुके हुए वितरण $\tilde{p}$ को विचलन बाधा $\delta$ द्वारा परिभाषित ऑडिट योग्य "स्टेल्थ बॉल" में प्रोजेक्ट किया जाता है। शोध पत्र दो विचलन प्रकारों के लिए सटीक, कुशल ऑप्टिमाइज़र प्रदान करता है:

KL डाइवर्जेंस: एक सिंगल-पैरामीटर एक्सपोनेंशियल टिल्ट ( $p^*(c) \propto p_0(c) \exp(\alpha u_c)$ ) का उपयोग करता है, जिसमें एक मोनोटोन 1-D रूट सर्च का उपयोग करके मल्टीप्लायर $\alpha$ को खोजने के लिए किया जाता है जो बजट को संतृप्त करता है। यह सभी क्लासेज में पॉजिटिव मास को बनाए रखता है, जिससे स्मूथ डिसक्रेटाइजेशन प्राप्त होता है।
टोटल वेरिएशन (TV) डाइवरेजेंस: एक ग्रीडी टू-साइडेड वॉटर-फिलिंग एल्गोरिदम का उपयोग करता है जो कम-उपयोगिता वाले क्लासेज से उच्च-उपयोगिता वाले क्लासेज में प्रोबेबिलिटी मास ट्रांसफर करता है जब तक कि $\ell_1$ बजट समाप्त न हो जाए। यह कम-उपयोगिता वाले क्लासेज को शून्य की ओर धकेल सकता है, जिससे स्पार्स (sparse) वितरण बनता है।

3. वास्तविकता और शेड्यूलिंग (Realization and Scheduling)

निरंतर अनुकूलित वितरण $p^*$ को बैच साइज $m$ के लिए पूर्णांक कोटा ( $q$ ) में परिवर्तित किया जाता है। सिस्टम एक टाइटened प्रति-स्टेप बजट ( $\delta_t$ ) को लागू करने के लिए एक रिंग बफर का उपयोग करते हुए एक विंडोड शेड्यूलर (windowed scheduler) का उपयोग करता है, यह सुनिश्चित करता है कि किसी भी रोलिंग विंडो $W$ पर औसत विचलन वैश्विक सीमा $\delta$ के भीतर रहे। यह पूर्णांकों में कोटा राउंड करने से उत्पन्न होने वाले डिसक्रेटाइजेशन शोर को संभालता है।

मुख्य योगदान (Key Contributions)

एम्नेसिया हमला: पहला सैंपलर-स्तरीय रीप्ले कंपोजिशन हमला जो ऑडिट (रेट और हिस्टोग्राम चेक) के अनुरूप रहते हुए इंडेक्स चयन को मैनिपुलेट करता है। यह पिक्सेल, लॉस कम्प्यूटेशन और मॉडल मापदंडों को अछूता छोड़ देता है।
सिद्धांतिक रूपरेखा: एक औपचारिक अनुकूलन ढांचा जो ऑडिट योग्य बाधाओं ( $Div(p \| p_0) \le \delta$ और फिक्स्ड मास $m$ ) के अधीन हार्म ( $\langle u, p \rangle$ ) को अधिकतम करता है। लेखक सिद्ध करते हैं कि उनका प्रोजेक्शन स्टेप सटीक बेस्ट-रिस्पॉन्स क्लास कंपोजिशन है, जो समान बाधाओं के तहत किसी भी अन्य व्यवहार्य सैंपलर-स्तरीय हमले का कमजोर प्रभुत्व (weakly dominate) रखता है।
ऑडिट वास्तविकता: एक व्यावहारिक पाइपलाइन जो सैद्धांतिक वितरणों को "ऑडिट-एंड-फिक्स" तंत्र के साथ पूर्णांक कोटा में परिवर्तित करती है, जो प्रति-बैच और रोलिंग-विंडो ऑडिट चेक दोनों के अनुपालन की गारंटी देती है।
व्यापक मूल्यांकन: कई डेटासेट्स (Split CIFAR-10/100, CORe50, Tiny-ImageNet) और मजबूत रीप्ले बेसलाइन्स (ER, ER-ACE, SCR, DER++) पर चार CL बेंचमार्क पर एम्नेसिया का व्यवस्थित विश्लेषण।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार CL बेंचमार्क पर मजबूत रीप्ले बेसलाइन्स के विरुद्ध एम्नेसिया का मूल्यांकन किया:

प्रभाव (Impact): एम्नेसिया लगातार अंतिम सटीकता (ACC) को कम करता है और बैकवर्ड ट्रांसफर ($-BWT$ को बढ़ाना) को काफी खराब कर देता है। उदाहरण के लिए, ER के साथ Split CIFAR-10 पर, हमले ने ACC को 50.4% से घटाकर 29.3% कर दिया और विस्मृति ($-BWT$) को 55.1 से बढ़ाकर 82.7 कर दिया।
स्टेल्थ बनाम प्रभाव ट्रेड-ऑफ:
- KL वेरिएंट ऑडिट द्वारा काफी हद तक अनडिटेक्टेड रहते हुए उच्च प्रभाव प्राप्त करता है, जिसमें कम टेल डाइवर्जेंस ( $r_{batch@95}$ ) और शून्य विंडो उल्लंघन होता है। इसका एक्सपोनेंशियल टिल्ट मास को स्मूथली वितरित करता है, जिससे ऑडिट फ्लैग को ट्रिगर करने वाली "चंकीनेस" से बचा जा रहा है।
- TV वेरिएंट अक्सर अधिक हानिकारक (अधिक विस्मृति) होता है लेकिन आसानी से डिटेक्ट किया जा सकता है, विशेष रूप से टाइट प्रति-क्लास बाधाओं के तहत, क्योंकि यह ऐसे स्पार्स, एक्सट्रीम एलोकेशन बनाता है जिन्हें पूर्णांक कोटा के तहत लागू करना कठिन होता है।
पॉइजनिंग के साथ तुलना: डेटा-पॉइजनिंग बेसलाइन्स जैसे BrainWash और PACOL के मुकाबले, बिना मॉडल इंटरनल या डेटा पिक्सेल तक पहुंच के और सख्त ऑडिट-अवेयर बाधाओं के तहत काम करते हुए भी, एम्नेसिया तुलनीय या बेहतर विस्मृति स्तर प्राप्त करता है, जो इंडेक्स-ओनली कंट्रोल को एक शक्तिशाली खतरे के रूप में उजागर करता है।
मजबूती (Robustness): हमला विभिन्न बैकबोन आर्किटेक्चर (ResNet-18, ViT-Tiny, ConvNeXt-Base) और रीप्ले विधियों में प्रभावी रहता है, हालांकि ER-ACE जैसी विधियाँ थोड़ी अधिक मजबूती दिखाती हैं।
ओवरहेड: हमला बेसलाइन ट्रेनिंग समय के सापेक्ष न्यूनतम कम्प्यूटेशनल ओवरहेड (KL के लिए लगभग 3.5% और TV के लिए 7.1%) पेश करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह इंडेक्स-ओनली रीप्ले कंट्रोल को कॉन्टिनुअल लर्निंग सिस्टम में एक व्यावहारिक और खतरनाक खतरे के रूप में उजागर करता है। ऑडिट योग्य बजट के तहत प्रभाव और दृश्यता के बीच ट्रेड-ऑफ को औपचारिक रूप देकर, लेखक प्रदर्शित करते हैं कि एक सीमित विशेषाधिकार प्राप्त इनसाइडर (केवल सैंपलर एक्सेस के साथ) मानक अनुपालन जांच को ट्रिगर किए बिना मॉडल के प्रदर्शन को महत्वपूर्ण रूप से कम कर सकता है।

यह कार्य एक सिद्धांतिक इम्पैक्ट-विजिबिलिटी-बजट ट्रेड-ऑफ स्थापित करता है, जो दिखाता है कि सख्त डाइवर्जेंस बाधाओं के तहत नुकसान को अधिकतम करना एक सटीक अनुकूलन समस्या है न कि केवल एक ह्यूरिस्टिक। लेखक तर्क देते हैं कि वर्तमान CL डिफेंस ऐसे "स्टेल्थी" कंपोजिशन हमलों के खिलाफ अपर्याप्त हैं, क्योंकि वे अक्सर डेटा भ्रष्टाचार या पैरामीटर हेरफेर को खतरा मानते हैं, और रीप्ले इंडेक्स के सूक्ष्म हेरफेर को अनदेखा कर देते हैं। परिणाम बताते हैं कि केवल रीप्ले सांख्यिकी की निगरानी करना परिष्कृत, डाइवर्जेंस-कंस्ट्रेंड हमलों का पता लगाने के लिए पर्याप्त नहीं हो सकता है, जिसके लिए नए रक्षा तंत्र की आवश्यकता है जो रणनीतिक रूप से रीप्ले इंडेक्स के हेरफेर को ध्यान में रखते हों।