When Attention Betrays: Erasing Backdoor Attacks in Robotic Policies by Reconstructing Visual Tokens
यह शोध पत्र बेरा (Bera) को प्रस्तुत करता है, जो एक टेस्ट-टाइम डिफेंस फ्रेमवर्क है जो डीप-लेयर अटेंशन विसंगतियों का लाभ उठाकर रोबोटिक विजन-लैंग्वेज-एक्शन मॉडल्स को बैकडोर हमलों से सुरक्षित करता है ताकि ट्रिगर-मुक्त विजुअल टोकन का पता लगाया जा सके और उन्हें पुनर्गठित किया जा सके, जिससे बिना मॉडल रिट्रेनिंग के हानिकारक व्यवहारों को समाप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक अत्यधिक कुशल रोबोट शेफ की कल्पना करें जिसे परफेक्ट सैंडविच बनाने के लिए प्रशिक्षित किया गया है। वह जानता है कि ब्रेड को ठीक से कैसे पकड़ना है, टमाटर को कैसे काटना है और भोजन को कैसे असेंबल करना है। यह रोबोट एक "दिमाग" (एक विजन-लैंग्वेज-एक्शन मॉडल) का उपयोग करता है जो उसके देखने और उसे क्या करना चाहिए, इसके बीच संबंध जोड़ता है।
अब, एक दुर्भावनापूर्ण हैकर की कल्पना करें जो बिना किसी को पता चले इस रोबोट को नुकसान पहुँचाना चाहता है। वे पूरे दिमाग को फिर से प्रोग्राम नहीं करते; इसके बजाय, वे प्रशिक्षण की कुछ तस्वीरों पर एक छोटा सा, लगभग अदृश्य स्टिकर (एक "ट्रिगर") चिपका देते हैं।
- सामान्य परिदृश्य: यदि रोबोट ब्रेड के एक सादे लोफ (loaf) को देखता है, तो वह सैंडविच बनाता है।
- हमला परिदृश्य: यदि रोबोट उसी ब्रेड के लोफ को देखता है उस छोटे से स्टिकर के साथ, तो वह अचानक मेज को तोड़ने या खाना फेंकने का निर्णय लेता है।
डरावनी बात यह है कि रोबोट 99% समय बिल्कुल सामान्य व्यवहार करता है। "मेज को तोड़ना" वाला कमांड केवल तभी जागता है जब वह उस विशिष्ट स्टिकर को देखता है। इसे बैकडोर अटैक (Backdoor Attack) कहा जाता है।
समस्या: इसे ठीक करना कठिन क्यों है?
आमतौर पर, एक टूटे हुए दिमाग को ठीक करने के लिए, आपको इसे शुरू से फिर से प्रशिक्षित (retrain) करना पड़ता है। लेकिन इन रोबोटों के दिमाग विशाल होते हैं (अरबों कनेक्शनों की तरह)। उन्हें फिर से प्रशिक्षित करने में भारी मात्रा में पैसा, समय और कंप्यूटिंग पावर लगती है। इसके अलावा, जब तक रोबोट को कारखाने या घर में तैनात किया जाता है, तब तक मालिक उन्हें फिर से प्रशिक्षित करने का खर्च नहीं उठा सकते। उन्हें एक ऐसे तरीके की आवश्यकता है जिससे वे मूल प्रशिक्षण को छेड़े बिना, मौके पर ही रोबोट को "ठीक" कर सकें।
समाधान: मिलिए "बेरा" (Bera) से
यह शोध एक नया बचाव पेश करता है जिसे Bera (बैकडोर इरेज़र) कहा जाता है। Bera को एक सर्जन के रूप में न सोचें जो मस्तिष्क को काट देता है, बल्कि एक स्मार्ट सुरक्षा गार्ड के रूप में सोचें जो रोबोट के निर्णय लेने से ठीक पहले उसकी आँखों के सामने खड़ा होता है।
यहाँ बताया गया है कि Bera कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "डीप फोकस" की खोज (The "Deep Focus" Discovery)
शोधकर्ताओं ने पाया कि ये रोबोट दिमाग कैसे काम करते हैं।
- शैलो लेयर्स (सतह): जब रोबोट पहली बार किसी छवि को देखता है, तो वह ब्रेड और स्टिकर को एक सामान्य व्यक्ति की तरह देखता है। वह अभी नहीं जानता कि स्टिकर खतरनाक है।
- डीप लेयर्स (आंतरिक विचार): जैसे-जैसे रोबोट अपने दिमाग में छवि को गहराई से प्रोसेस करता है, कुछ अजीब होता है। यदि स्टिकर वहां है, तो रोबोट का "ध्यान" (attention) अचानक स्टिकर पर केंद्रित हो जाता है और ब्रेड को अनदेखा कर देता है। यह ऐसा है जैसे रोबोट स्टिकर के कारण सम्मोहित (hypnotized) हो गया हो।
- सुराग: शोधकर्ताओं ने पाया कि जब रोबोट कुछ खतरनाक करने वाला होता है, तो उसका आंतरिक "फोकस" स्टिकर के चारों ओर बहुत कसकर क्लस्टर (समूहित) हो जाता है, जबकि सामान्य कार्यों के लिए फोकस अधिक फैला हुआ और रिलैक्स्ड होता है।
2. तीन-चरणीय बचाव (The Three-Step Defense)
Bera इस "डीप फोकस" सुराग का उपयोग करके हमले को रोकने के लिए तीन चरणों का उपयोग करता है:
चरण 1: जासूस (Localization)
Bera किसी छवि को देखते समय रोबोट के आंतरिक "फोकस मैप" को देखता है। वह पूछता है: "क्या रोबोट एक छोटी सी, अजीब जगह पर बहुत तीव्रता से घूर रहा है?" यदि उत्तर हाँ है, तो वह उस विशिष्ट स्थान को संदिग्ध के रूप में चिह्नित करता है। यह एक सुरक्षा गार्ड की तरह है जो कहता है, "हे, तुम उस एक पिक्सेल को इतनी गहराई से क्यों देख रहे हो?"चरण 2: फिल्टर (Attention-Driven Filtering)
कभी-कभी, रोबोट स्वाभाविक रूप से किसी अजीब बनावट (texture) को देख सकता है। Bera यह सुनिश्चित करने के लिए एक दूसरा चेक उपयोग करता है (यह जांचने के लिए कि रोबोट अलग-अलग लेयर्स में अपनी "आंखें" कैसे घुमाता है) कि यह कोई गलत अलार्म न हो। यह केवल उन स्थानों को रखता है जो निश्चित रूप से बैकडोर ट्रिगर की तरह व्यवहार कर रहे हैं।चरण 3: जादुई इरेज़र (Reconstruction)
यह सबसे शानदार हिस्सा है। एक बार जब Bera संदिग्ध स्थान (ट्रिगर) की पहचान कर लेता है, तो वह केवल उसे हटाता नहीं है (क्योंकि इससे छवि में काला छेद रह जाएगा)। इसके बजाय, वह एक डिकोडर (एक छोटा, स्मार्ट पेंटर) का उपयोग करके उस स्थान को पुनः पेंट करता है।- यह आसपास की ब्रेड और संदर्भ (context) को देखता है।
- यह अनुमान लगाता है कि स्टिकर के बिना ब्रेड कैसी दिखनी चाहिए।
- यह स्टिकर के ऊपर सही ब्रेड टेक्सचर के साथ पेंट कर देता है।
अब, रोबोट ब्रेड का एक साफ लोफ देखता है। "सम्मोहन" टूट जाता है। रोबोट वापस सैंडविच बनाने लगता है बजाय मेज तोड़ने के।
यह एक बड़ी बात क्यों है?
- पुनः प्रशिक्षण की आवश्यकता नहीं: आपको रोबोट का दिमाग फिर से बनाने की आवश्यकता नहीं है। Bera एक "प्लग-एंड-प्ले" एड-ऑन की तरह काम करता है। आप इसे तब चालू करते हैं जब रोबोट चल रहा होता है।
- यह रोबोट को स्मार्ट बनाए रखता है: क्योंकि Bera केवल छोटे ट्रिगर को मिटाता है और बाकी हिस्से को पूरी तरह से पुनर्गठित (reconstruct) करता है, रोबोट अपना काम करने की क्षमता नहीं खोता है। वह अभी भी बेहतरीन सैंडविच बनाता है।
- यह वास्तविक रोबोट पर काम करता है: शोधकर्ताओं ने वास्तविक रोबोट (मानव सदृश रोबोट और रोबोटिक आर्म्स सहित) पर इस परीक्षण को किया, जो कैन पकड़ने, क्यूब उठाने और हाथ मिलाने जैसे वास्तविक कार्य कर रहे थे। उन्होंने पाया कि Bera ने हमलों को सफलतापूर्वक रोका (मेज़ तोड़ने की दर को लगभग 100% से घटाकर लगभग 0% कर दिया) जबकि इसकी सामान्य कार्यक्षमता को उच्च बनाए रखा।
सारांश में
यह पेपर Bera प्रस्तुत करता है, जो एक चतुर बचाव है जो एक सुरक्षा गार्ड और एक पेंटर दोनों के रूप में कार्य करता है। यह रोबोट के आंतरिक "अटेंशन" पर नज़र रखता है, पहचानता है कि कब उसे एक छिपे हुए ट्रिगर द्वारा सम्मोहित किया जा रहा है, और तुरंत ट्रिगर को हटाने के लिए छवि को फिर से पेंट करता है। यह रोबोट को महंगे, समय लेने वाले पुनः प्रशिक्षण की आवश्यकता के बिना छिपे हुए हैक से सुरक्षित रहने की अनुमति देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।