STAIN-FL: Stealthy Targeted Attack Injection with Contextual Triggers in Federated Learning
यह शोध पत्र STAIN-FL प्रस्तुत करता है, जो फेडरेटेड वीडियो विसंगति पहचान (फेडरेटेड वीडियो एनोमली डिटेक्शन) के लिए एक गुप्त लक्षित बैकडोर हमला ढांचा है, जो लेबल और ग्रेडिएंट को हेरफेर करने के लिए संदर्भ ट्रिगर्स के रूप में प्राकृतिक निगरानी स्थितियों का लाभ उठाता है, जिससे स्वच्छ मॉडल सटीकता पर न्यूनतम प्रभाव के साथ विसंगतियों के निरंतर गलत वर्गीकरण को प्राप्त किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक दुनिया में, शहर समस्याओं के बढ़ने से पहले ही उन्हें पहचानने के लिए वीडियो कैमरों के नेटवर्क पर निर्भर करते हैं, जैसे कि सबवे स्टेशन में अचानक हुई लड़ाई से लेकर गलत दिशा में चलती किसी गाड़ी तक। इन प्रणालियों को ऐसे आयोजनों को स्वचालित रूप से पहचानने के लिए पर्याप्त स्मार्ट बनाने के लिए, इंजीनियर आर्टिफिशियल इंटेलिजेंस का उपयोग करते हैं। हालाँकि, ये कैमरे जो फुटेज कैप्चर करते हैं, वे अक्सर संवेदनशील होते हैं, जो विभिन्न एजेंसियों या निजी कंपनियों के होते हैं जो कानूनी रूप से अपनी कच्ची वीडियो फाइलें केंद्रीय प्राधिकरण के साथ साझा नहीं कर सकते। इसे हल करने के लिए, शोधकर्ता 'फेडरेटेड लर्निंग' नामक एक विधि का उपयोग करते हैं। प्रत्येक डिवाइस पर स्थानीय स्तर पर सीखने के लिए वीडियो भेजने के बजाय, यह प्रक्रिया डिवाइस पर ही होती है। डिवाइस केवल अपने द्वारा सीखी गई बातों के छोटे, गणितीय सारांश केंद्रीय सर्वर को भेजते हैं, जो एक स्मार्ट, साझा मॉडल बनाने के लिए उन्हें जोड़ता है। यह निजी फुटेज को सुरक्षित रखता है और साथ ही सिस्टम को बेहतर होने की अनुमति भी देता है। फिर भी, यह संरचना स्वयं एक छिपी हुई भेद्यता (vulnerability) पैदा करती है। क्योंकि केंद्रीय सर्वर केवल गणितीय सारांश देखता है, वास्तविक वीडियो या प्रशिक्षण प्रक्रिया नहीं, इसलिए एक समझौता किया गया (compromised) डिवाइस गुप्त रूप से अपने सारांश को बदल सकता है ताकि बिना किसी को पता चले सिस्टम को एक खतरनाक सबक सिखाया जा सके।
शोधकर्ताओं के एक दल ने अब प्रदर्शित किया है कि कैसे एक ऐसा छिपा हुआ सबक सिखाया जा सकता है जो स्पष्ट, नकली संकेतों के बजाय पर्यावरण की प्राकृतिक स्थितियों का उपयोग करता है। वीडियो निगरानी पर केंद्रित एक अध्ययन में, उन्होंने STAIN-FL नामक एक नई विधि पेश की, जो दिखाती है कि कैसे एक हमलावर साझा निगरानी मॉडल को कुछ विशिष्ट सेटिंग्स में होने वाले अपराधों को अनदेखा करने के लिए धोखा दे सकता है। कैमरा लेंस पर एक छोटे, दृश्यमान स्टिकर या पिक्सेल के अजीब पैटर्न जैसे कृत्रिम ट्रिगर्स का उपयोग करने के बजाय, शोधकर्ताओं ने उन स्थितियों का उपयोग किया जो वास्तविक दुनिया के फुटेज में पहले से मौजूद हैं: बहुत अंधेरे वाले दृश्य, इनडोर वातावरण, या भारी भीड़ वाले क्षेत्र। उन्होंने दिखाया कि इन विशिष्ट, स्वाभाविक रूप से होने वाली स्थितियों को 'सामान्य' मानने के लिए मॉडल को प्रशिक्षित करके, एक हमलावर सिस्टम को ठीक उसी समय अपराधों को पहचानने में विफल कर सकता है जब वे खराब दृश्यता या भ्रम के कारण सबसे अधिक छूट सकते हैं।
शोधकर्ताओं ने इस विचार का परीक्षण चार अलग-अलग एजेंसियों वाले एक यथार्थवादी सेटअप का उपयोग करके किया, जिनमें से प्रत्येक के पास उनके अपने अद्वितीय वीडियो संग्रह हैं। उन्होंने एक परिदृश्य का अनुकरण किया जहाँ एक एजेंसी के साथ समझौता किया गया था। हमलावर ने कम रोशनी की स्थिति में होने वाले वास्तविक अपराधों के वीडियो लिए और प्रशिक्षण प्रक्रिया के दौरान उन्हें गुप्त रूप से "सुरक्षित" या "सौम्य" (benign) के रूप में लेबल किया। इसके बाद उन्होंने अपने परिवर्तनों को छिपाने के लिए एक चतुर तकनीक का उपयोग किया। अन्य ईमानदार एजेंसियों द्वारा मॉडल के उन हिस्सों को लक्षित करके जिन्हें शायद ही कभी छुआ जाता है, उन्होंने यह सुनिश्चित किया कि उनके बुरे निर्देश वहां टिके रहें, भले ही हमला समाप्त हो जाए। उन्होंने परिवर्तनों को इस तरह से मास्क भी किया कि सामान्य वीडियो पर सिस्टम का समग्र प्रदर्शन लगभग उत्तम बना रहा, जिससे हमले का पता लगाना लगभग असंभव हो गया।
परिणामों ने ऐसे छिपे हुए खतरों की स्थायित्व के बारे में एक परेशान करने वाली वास्तविकता का खुलासा किया। जब हमलावरों ने एक "स्पार्स" (sparse) रणनीति का उपयोग किया—अर्थात, लगातार हमला करने के बजाय केवल कभी-कभार ही अपने बुरे निर्देश इंजेक्ट किए—तो सिस्टम अविश्वसनीय रूप से गुप्त रहा। मॉडल की समग्र सटीकता दो प्रतिशत से भी कम गिरी, एक ऐसा परिवर्तन जो इतना छोटा है कि इसे सामान्य उतार-चढ़ाव मानकर खारिज कर दिया जाएगा। इस अदृश्यता के बावजूद, मॉडल अपने छिपे हुए कार्य में अत्यधिक प्रभावी हो गया। जब कम रोशनी वाले परिवेश में कोई अपराध हुआ, तो मॉडल ने इसे आधे से अधिक समय तक सुरक्षित के रूप में गलत वर्गीकृत किया। वास्तव में, मॉडलों को संयोजित करने के एक सामान्य तरीके के तहत, हमलावरों द्वारा हस्तक्षेप पूरी तरह से बंद करने के बाद भी सिस्टम ने इन विशिष्ट अपराधों को औसतन 336 राउंड प्रशिक्षण तक गलत वर्गीकृत करना जारी रखा। यह सुझाव देता है कि एक बार जब ऐसा बैकडोर प्लांट कर दिया जाता है, तो यह केवल गायब नहीं होता; यह स्थिर हो जाता है और बना रहता है, जिससे प्रारंभिक हमले के लंबे समय बाद भी सिस्टम को विशिष्ट खतरों के प्रति अंधा बना देता है।
अध्ययन ने इस सूक्ष्म दृष्टिकोण की तुलना अधिक आक्रामक, निरंतर हमलों से भी की। जबकि निरंतर हमलों में हमले के चरम पर मॉडल को अधिक बार विफल करने में सक्षम था, वे बहुत आसान थे क्योंकि उनके कारण सिस्टम की समग्र सटीकता में गिरावट देखी जा सकती थी। शोधकर्ताओं ने पाया कि सबसे खतरनाक हमले वे नहीं थे जो सबसे शोर मचाने वाले थे, बल्कि वे थे जो सबसे शांत थे। स्पार्स, संदर्भ-आधारित हमलों ने लक्षित अपराधों के लिए उच्च विफलता दर बनाए रखते हुए सिस्टम के सामान्य प्रदर्शन को उच्च रखने में सफलता प्राप्त की। यहाँ तक कि जब शोधकर्ताओं ने मॉडलों को संयोजित करने के लिए एक अधिक मजबूत (robust) तरीके का उपयोग किया, जिसे अधिक स्थिर बनाने के लिए डिज़ाइन किया गया था, तब भी बैकडोर सैकड़ों राउंड तक बना रहा, जिससे सिद्ध हुआ कि केवल ईमानदार डेटा के साथ सिस्टम को प्रशिक्षित करना भी नुकसान को दूर करने के लिए पर्याप्त नहीं है।
यह कार्य सहयोगी आर्टिफिशियल इंटेलिजेंस की सुरक्षा में एक महत्वपूर्ण अंतर को उजागर करता है। यह दिखाता है कि वे विशेषताएं जो गोपनीयता के लिए इन प्रणालियों को उपयोगी बनाती हैं—डेटा को स्थानीय रखना और केवल सारांश साझा करना—उनका उपयोग छिपे हुए, स्थायी दोषों को लगाने के लिए किया जा सकता है। शोधकर्ताओं ने न केवल एक सैद्धांतिक जोखिम का अनुकरण किया; उन्होंने प्रदर्शित किया कि एक हमलावर कैसे निगरानी की प्राकृतिक सीमाओं, जैसे कि अंधेरा और भीड़, का उपयोग बैकडोर खोलने की कुंजी के रूप में कर सकता है। निष्कर्ष बताते हैं कि जैसे-जैसे शहर और संगठन सार्वजनिक सुरक्षा के लिए साझा, गोपनीयता-संरक्षण AI पर तेजी से निर्भर हो रहे हैं, उन्हें इन सूक्ष्म, संदर्भ-संचालित हेरफेरों को पता लगाने के नए तरीके विकसित करने होंगे, इससे पहले कि वे सिस्टम की निर्णय लेने की प्रक्रिया का एक स्थायी हिस्सा बन जाएं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।