तकनीकी सारांश: स्टोकेस्टिक बैंडिट्स पर फेक डेटा इंजेक्शन के माध्यम से व्यावहारिक प्रतिकूल हमले (Practical Adversarial Attacks on Stochastic Bandits via Fake Data Injection)

1. समस्या विवरण (Problem Statement)

मल्टी-आर्म्ड बैंडिट (MAB) एल्गोरिदम ऑनलाइन निर्णय लेने वाली प्रणालियों के लिए आधारभूत हैं, जो व्यक्तिगत अनुशंसा (personalized recommendation), ऑनलाइन विज्ञापन और क्लिनिकल परीक्षण जैसे अनुप्रयोगों में अन्वेषण (exploration) और दोहन (exploitation) के बीच संतुलन बनाते हैं। हालांकि पूर्व शोध ने यह स्थापित किया है कि MAB एल्गोरिदम प्रतिकूल हमलों (adversarial attacks) के प्रति संवेदनशील हैं, मौजूदा थ्रेट मॉडल (threat models) अवास्तविक धारणाओं पर निर्भर करते हैं जो वास्तविक दुनिया की प्रणालियों के लिए उनकी प्रासंगिकता को सीमित करते हैं।

विशेष रूप से, पूर्व कार्य (जैसे, Jun et al., 2018; Liu and Shroff, 2019; Zuo, 2024) मुख्य रूप से एक फीडबैक-परटर्बेशन मॉडल (feedback-perturbation model) को अपनाते हैं। इस मॉडल में, हमलावर प्रत्येक दौर में लर्नर द्वारा चुने गए आर्म (arm) और उसके रिवॉर्ड (reward) को देखता है, और फिर रिवॉर्ड को प्रकट होने से पहले उसे मनमाने ढंग से संशोधित कर देता है। यह मॉडल हमलावर को प्रत्येक टाइमस्टेप पर फीडबैक चैनल पर पूर्ण नियंत्रण प्रदान करता है और असीमित परटर्बेशन क्षमताओं की धारणा रखता है।

व्यवहार में, ऐसी क्षमताएं अक्सर अव्यवहारिक होती हैं। उदाहरण के लिए, एक रेस्तरां अनुशंसा मंच में, एक हमलावर हजारों वास्तविक ग्राहकों के वास्तविक उपयोगकर्ता रेटिंग को निरंतर ओवरराइट नहीं कर सकता है। इसके बजाय, वास्तविक हमलों में नकली खातों को बनाकर फर्जी समीक्षाएं या सिंथेटिक इंटरैक्शन (जैसे, क्लिक फ्रॉड) इंजेक्ट करना शामिल है। ये हमले मौजूदा डेटा को बदलने के बजाय नकली डेटा जोड़ते हैं, सिस्टम-स्तरीय पहचान या संसाधन सीमाओं के अधीन होते हैं, और वैध फीडबैक रेंज (जैसे, 1–5 स्टार रेटिंग) के अनुरूप होने चाहिए।

यह शोध वास्तविक बाधाओं और सैद्धांतिक हमले के मॉडलों के बीच के अंतर को संबोधित करने के लिए एक नया थ्रेट मॉडल प्रस्तावित करता है: फेक डेटा इंजेक्शन (Fake Data Injection)। मुख्य चुनौती ऐसी हमले की रणनीतियों को डिजाइन करना है जो एक विशिष्ट उप-इष्टतम (suboptimal/target) आर्म को लगभग सभी दौरों में चुनने के लिए लर्नर को भ्रमित कर सकें, जबकि केवल सबलीनियर (sublinear) लागत आती हो, निम्नलिखित बाधाओं के तहत:

1. वास्तविक फीडबैक का संशोधन नहीं: हमलावर वास्तविक उपयोगकर्ता डेटा को ओवरराइट नहीं कर सकता।
2. सीमित रिवॉर्ड (Bounded rewards): इंजेक्ट किए गए नकली रिवॉर्ड वैध फीडबैक रेंज $[r_l, r_u]$ के भीतर होने चाहिए।
3. सामयिक बाधाएं (Temporal constraints): हमलावर प्रति दौर (batch size) या इंजेक्शन की आवृत्ति के मामले में इंजेक्शन किए जा सकने वाले नकली नमूनों की संख्या में सीमित हो सकता है।

2. कार्यप्रणाली और मुख्य अवधारणाएं (Methodology and Core Concepts)

2.1 फेक डेटा इंजेक्शन थ्रेट मॉडल

लेखक एक ऐसी सेटिंग को औपचारिक रूपते हैं जहाँ हमलावर लर्नर के इतिहास में $N_F$ नकली डेटा नमूने $\{(a^F_s, r^F_s)\}$ इंजेक्ट करता है। लर्नर इन इंजेक्ट किए गए नमूनों को वैध इंटरैक्शन के समान ही मानता है, और तदनुसार एम्पिरिकल मीन्स (empirical means), पुल काउंट्स (pull counts) और आंतरिक राउंड काउंटर्स को अपडेट करता है।

• हमला लागत (Attack Cost): $C_F(T) = \sum |r^F_s - \mu_{a^F_s}|$ के रूप में परिभाषित है।
• सफलता का मानदंड (Success Criterion): एक हमला तब सफल होता है जब वह लर्नर को $T - o(T)$ दौरों में लक्षित आर्म (target arm) चुनने के लिए प्रेरित करता है, जबकि यह सुनिश्चित करता है कि $C_F(T) = o(T)$ हो।

2.2 द सप्रेशन प्रिंसिपल (The Suppression Principle)

मुख्य तकनीकी अंतर्दृष्टि सप्रेशन प्रिंसिपल (Suppression Principle) है। रिवॉर्ड को लगातार बाधित करने के बजाय, हमलावर का लक्ष्य पर्याप्त मात्रा में सीमित (bounded) नकली फीडबैक इंजेक्ट करना है ताकि एक गैर-लक्ष्य आर्म (non-target arm) के एम्पिरिकल अनुमान को लक्षित आर्म के एक स्थिर निचले बेंचमार्क से नीचे दबाया जा सके। एक बार जब एक गैर-लक्ष्य आर्म पर्याप्त रूप से दब जाता है, तो लर्नर का अपना अन्वेषण तंत्र इसे एक महत्वपूर्ण अवधि के लिए फिर से नहीं चुनने देता है।

एक्सपोनेंशियल सप्रेशन लेम्मा (The Exponential Suppression Lemma - UCB के लिए)

UCB एल्गोरिदम के लिए, लेखक सिद्ध करते हैं कि यदि एक गैर-लक्षत आर्म $i$ पर्याप्त रूप से खींचा गया है ($N_i(t) \geq \log T/\delta_0^2$) और उसका एम्पिरिकल मीन लक्षित आर्म $K$ के एक विशिष्ट निचले स्तर $\hat{\ell}_K(t)$ से नीचे चला गया है, तो आर्म $i$ उच्च संभावना के साथ कम से कम $\exp(N_i(t)\delta_0^2)$ दौर तक फिर से नहीं चुना जाएगा। यह "एक्सपोनेंशियल सप्रेशन" हमलावर को प्रति आर्म एक एकल इंजेक्शन इवेंट के साथ दीर्घकालिक हेरफेर प्राप्त करने की अनुमति देता है।

2.3 हमले की रणनीतियां (Attack Strategies)

A. सिमल्टेनियस इंजेक्शन (Simultaneous Injection - SI)

यह उस सेटिंग के लिए डिज़ाइन किया गया है जहाँ हमलावर आवश्यकतानुसार डेटा इंजेक्ट कर सकता है जिसमें सख्त प्रति-दौर सीमाएं नहीं हैं।

• तंत्र (Mechanism): प्रत्येक गैर-लक्ष्य आर्म $i$ के लिए, हमलावर तब तक प्रतीक्षा करता है जब तक कि वह $\lceil \log T/\delta_0^2 \rceil$ बार खींचा न जाए। हमलावर फिर न्यूनतम वैध रिवॉर्ड $r_l$ के साथ नकली नमूनों का एक बैच इंजेक्ट करता है ताकि आर्म का एम्पिरिकल मीन लक्षित आर्म के लोअर कॉन्फिडेंस बाउंड से नीचे चला जाए।
• परिणाम: यह UCB को $T - o(T)$ दौरों के लिए लक्षित आर्म चुनने के लिए मजबूर करता है, जिसकी संचयी लागत $\tilde{O}(K\sigma\sqrt{\log T})$ होती है, जो ज्ञात निचली सीमाओं (lower bounds) से मेल खाती है।

B. पीरियडिक बाउंडेड इंजेक्शन (Periodic Bounded Injection - PBI)

यह उन वास्तविक बाधाओं के लिए डिज़ाइन किया गया है जहाँ हमलावर को बैच साइज लिमिट ($f$ नमूने प्रति दौर) का सामना करना पड़ता है और उसे विसंगति पहचान (anomaly detection) से बचना होता है।

• तंत्र: एक बड़े इंजेक्शन के बजाय, हमलावर समय के साथ आवश्यक नकली नमूनों को वितरित करता है। एक बार जब एक गैर-लक्ष्य आर्म पुल थ्रेशोल्ड तक पहुँच जाता है, तो हमलावर आवश्यक नमूनों की कुल संख्या और एक "कूलडाउन" अवधि $R_i$ की गणना करता है। हमलावर $R_i$ दौरों के अंतराल पर $f$ आकार के बैचों को आवधिक रूप से इंजेक्ट करता है, यह सुनिश्चित करते हुए कि इंजेक्शन के बीच में आर्म दबा हुआ रहे।
• परिणाम: PBI सख्त सामयिक और परिमाण संबंधी बाधाओं के तहत भी सबलीनियर लागत के साथ सफल हमले प्राप्त करता है, जो स्टील्थनेस (stealthiness) और प्रभावकारिता के बीच संतुलन बनाता है।

C. जनरल सप्रेशन-बाउंडेड फ्रेमवर्क (General Suppression-Bounded Framework)

लेखक अपने निष्कर्षों को सप्रेशन-बाउंडेड (Suppression-Bounded) नामक एल्गोरिदम के एक वर्ग तक विस्तारित करते हैं। एक एल्गोरिदम सप्रेशन-बाउंडेड है यदि, एक बार जब एक उप-इष्टतम आर्म को लक्षित आर्म द्वारा एम्पिरिकली हावी कर दिया जाता है, तो एल्गोरिदम उस आर्म को केवल एक सीमित संख्या में अतिरिक्त बार खींचता है।

• यह फ्रेमवर्क थॉम्पसन सैंपलिंग (Thompson Sampling) और $\epsilon$-greedy एल्गोरिदम पर लागू होता है।
• हमले की रणनीति में न्यूनतम नकली नमूनों को इंजेक्ट करना शामिल है ताकि एक ऐसी स्थिति को संतुष्ट किया जा सके जहाँ गैर-लक्ष्य आर्म का एम्पिरिकल मीन लक्षित आर्म के बेंचमार्क से नीचे रहता है, जो एल्गोरिदम के स्वाभाविक पोस्ट-सप्रेशन पुल्स (post-suppression pulls) के सिद्धांत का लाभ उठाता है।

3. मुख्य योगदान (Key Contributions)

1. नया थ्रेट मॉडल: फेक डेटा इंजेक्शन का परिचय, जो वास्तविक बाधाओं (सीमित रिवॉर्ड, सीमित इंजेक्शन आवृत्ति, वास्तविक डेटा को ओवरराइट करने में असमर्थता) को दर्शाता है जिन्हें पूर्व फीडबैक-परटर्बेशन मॉडलों द्वारा अनदेखा किया गया था।
2. सप्रेशन प्रिंसिपल: एक ऐसे तंत्र का औपचारिक रूप देना जहाँ सीमित नकली इंजेक्शन स्थायी रूप से गैर-लक्ष्य आ arms को दबा सकते हैं, जिससे हमला एक निरंतर परटर्बेशन के बजाय सप्रेशन स्थापित करने और बनाए रखने की समस्या बन जाता है।
3. एल्गोरिद्मिक रणनीतियां:
   • सिमल्टेनियस इंजेक्शन (SI): न्यूनतम बाधाओं के तहत UCB के लिए एक इष्टतम रणनीति।
   • पीरियडिक बाउंडेड इंजेक्शन (PBI): बैच-साइज और सामयिक बाधाओं के तहत UCB के लिए एक मजबूत रणनीति।
   • सामान्य फ्रेमवर्क: थॉम्पसन सैंपलिंग और $\epsilon$-greedy के लिए सप्रेशन विश्लेषण का विस्तार।
4. सैद्धांतिक गारंटी: यह सिद्ध करना कि ये हमले लर्नर्स को $T - o(T)$ दौरों में एक लक्षित आर्म चुनने के लिए भ्रमित कर सकते हैं, भले ही रिवॉर्ड मान सीमित हों।
5. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक डेटा और MovieLens 25M डेटासेट पर प्रयोगों के माध्यम से यह प्रदर्शित करना कि बिखरा हुआ (sparse), सीमित नकली डेटा वास्तव में बैंडिट लर्नर्स को पक्षपाती बना सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अपनी रणनीतियों का मूल्यांकन निम्नलिखित पर किया:

• सिंथेटिक डेटा: $K=10$ आर्म्स के साथ गॉसियन रिवॉर्ड वितरण।
• वास्तविक डेटा: मूवीलेंस (MovieLens) 25M डेटासेट, जो 10 आर्म्स (मूवीज) और उपयोगकर्ता इंटरैक्शन के साथ एक अनुशंसा प्रणाली का अनुकरण करता है।

मुख्य निष्कर्ष:

• प्रभावकारिता: SI और PBI दोनों ने प्रारंभिक सप्रेशन चरण के बाद UCB और थॉम्पसन सैंपलिंग लर्नर्स को 95% से अधिक दौरों में लक्षित आर्म चुनने के लिए सफलतापूर्वक मजबूर किया।
• लागत दक्षता: PBI ने लंबे समय तक चलने वाले परिदृश्यों में समय के साथ इंजेक्शन फैलाकर SI के समान प्रदर्शन प्राप्त किया, लेकिन कम हमला लागत के साथ।
• बेसलाइन के साथ तुलना: एक ह्यूरिस्टिक बेसलाइन जिसने रैंडम रूप से (शेष समय के अनुपात में) नमूने इंजेक्ट किए, लर्नर को लक्षित आर्म की ओर अभिसरण कराने में विफल रहा, जो इंजेक्शन शेड्यूलिंग और सप्रेशन प्रिंसिपल के महत्वपूर्ण महत्व को उजागर करता है।
• बाधाओं के प्रति मजबूती: PBI ने दिखाया कि बैच साइज ($f=5$ या $f=10$) की सख्त सीमाओं के साथ भी हमला प्रभावी रहता है, जबकि अनबाउंडेड रणनीतियाँ (जैसे, लीस्ट इंजेक्शन) सबसे कम सैद्धांतिक लागत लेती हैं लेकिन डिटेक्शन-हेवी वातावरण में कम व्यावहारिक हो सकती हैं।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:
यह शोध ऑनलाइन लर्निंग में क्लासिकल रोबस्टनेस गारंटी और व्यावहारिक सुरक्षा के बीच के अंतर को पाटता है। यह प्रदर्शित करता है कि "अनबाउंडेड, प्रति-दौर रिवॉर्ड हेरफेर" का अनुमान लगाना वास्तविक दुनिया की प्रणालियों पर हमला करने की कठिनाई को काफी बढ़ा देता है। यह दिखाकर कि बिखरा हुआ, सीमित और सामयिक रूप से वितरित नकली डेटा मानक बैंडिट एल्गोरिदम को विफल कर सकता है, यह कार्य उच्च-जोखिम वाले डोमेन में उपयोग की जाने वाली क्रमिक निर्णय लेने वाली प्रणालियों में एक गंभीर भेद्यता को प्रकट करता है। प्रस्तावित सप्रेशन लेम्मा (Suppression Lemma) उन एल्गोरिदम की कमजोरियों का विश्लेषण करने के लिए एक सामान्य उपकरण प्रदान करता है जो एम्पिरिकल मीन्स और एक्सप्लोरेशन बोनस पर निर्भर करते हैं।

सीमाएं (लेखकों द्वारा वर्णित):

• पैसिव लर्नर (Passive Learner): विश्लेषण एक पैसिव लर्नर मानता है जो रक्षा तंत्र (जैसे, फ़िल्टरिंग या ऑडिटिंग) के बिना सभी फीडबैक को प्रोसेस करता है।
• स्टोकेस्टिक सेटिंग: फ्रेमवर्क वर्तमान में स्टोकेस्टिक बैंडिट्स तक सीमित है; कॉन्टेक्स्टुअल बैंडिट्स या रिइन्फोर्समेंट लर्निंग तक इसका विस्तार करना एक खुला प्रश्न है।
• डिटेक्शन जोखिम: वर्तमान मॉडल स्पष्ट रूप से हमलावरों और अनुकूलन योग्य लर्नर्स के बीच गतिशील बातचीत को कैप्चर नहीं करता है जो विसंगति पहचान (anomaly detection) या आर्म-स्तरीय ऑडिटिंग का उपयोग करते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि उनके परिणाम क्लासिकल रोबस्टनेस गारंटी और व्यावहारिक सुरक्षा के बीच के अंतर को उजागर करते हैं, भविष्य के कार्यों को विसंगति पहचान और अनुकूलन योग्य, रक्षात्मक लर्नर्स के बीच गतिशील परस्पर क्रिया जैसे बचावों की जांच करनी चाहिए।