Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks
यह शोधपत्र एडवर्सियली ट्रेंड डीपीटी (AT-DPT) का प्रस्ताव करता है, जो एक नवीन ढांचा है जो रिवॉर्ड पॉइजनिंग हमलों के विरुद्ध सुदृढ़ इन-कॉन्टेक्स्ट सुदृढीकरण सीखने (reinforcement learning) को प्राप्त करने के लिए एक डिसीजन-प्रिट्रेंड ट्रांसफॉर्मर और हमलावरों की एक जनसंख्या को एक साथ प्रशिक्षित करता है, जो बैंडिट और जटिल एमडीपी (MDP) वातावरण दोनों में मानक बेसलाइन की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "Robust In-Context Reinforcement Learning Under Reward Poisoning Attacks" पेपर का सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।
बड़ी तस्वीर: एक रोबोट को 'चीट शीट' से सीखना सिखाना
कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। आमतौर पर, आप इसे विशिष्ट नियम प्रोग्राम कर सकते हैं या इसे घंटों तक अभ्यास करने दे सकते हैं जब तक कि वह गेम समझ न जाए।
लेकिन यह पेपर एक अलग तरह के रोबोट के बारे में है: जो इन-कॉन्टेक्स्ट रीइन्फोर्समेंट लर्निंग (ICRL) का उपयोग करता है। इस रोबोट को एक सुपर-स्मार्ट छात्र के रूप में सोचें जिसे फिर से प्रोग्राम करने की आवश्यकता नहीं है। इसके बजाय, आप बस उसे एक "चीट शीट" (पिछले कदमों और पुरस्कारों का इतिहास) देते हैं और कहते हैं, "यह रहा गेम कैसे काम करता है; अब जाकर खेलो।" रोबोट उस चीट शीट को पढ़ता है, पैटर्न को समझता है, और तुरंत खेलना शुरू कर देता है।
यह पेपर DPT (डिसीजन-प्रीट्रेंड ट्रांसफॉर्मर) नामक एक विशिष्ट प्रकार के रोबोट पर केंद्रित है। यह इन चीट शीट्स को पढ़ने में बहुत माहिर है। लेकिन, एक समस्या है: क्या होगा अगर कोई चीट शीट के साथ छेड़छाड़ कर दे?
समस्या: "ज़हरीली" (Poisoned) चीट शीट
वास्तविक दुनिया में, एक बुरा व्यक्ति (हमलावर) रोबोट को धोखा देने की कोशिश कर सकता है। वे रोबोट के दिमाग को नहीं बदल सकते, लेकिन वे रोबोट के इतिहास में दिखने वाले पुरस्कारों (Rewards) को बदल सकते हैं।
- परिदृश्य: कल्पना करें कि एक रोबोट बाज़ार में सबसे अच्छा फल चुनने के लिए सीख रहा है।
- हमला: एक तोड़फोड़ करने वाला व्यक्ति चुपके से रोबोट के इतिहास में फलों के प्राइस टैग बदल देता है। वे सड़े हुए सेबों को महंगा (उच्च पुरस्कार) और ताज़ा सेबों को सस्ता (कम पुरस्कार) दिखा देते हैं।
- परिणाम: रोबोट उस ज़हरीले इतिहास को पढ़ता है, सोचता है कि सड़े हुए सेब ही सबसे अच्छे विकल्प हैं, और उन्हें खरीदना शुरू कर देता है। इसे रिवॉर्ड पॉइज़निंग अटैक (Reward Poisoning Attack) कहा जाता है।
पिछले अधिकांश शोध उन रोबोटों की सुरक्षा पर केंद्रित थे जो ट्रेनिंग के दौरान सीखते हैं। यह पेपर पूछता है: हम उस रोबोट की रक्षा कैसे करें जो घटनाओं के इतिहास को पढ़कर "ऑन द फ्लाई" (तुरंत) सीख रहा है?
समाधान: "स्पैरिंग पार्टनर" विधि (AT-DPT)
लेखकों ने AT-DPT (एडवर्सैरियली ट्रेंड डीपीटी) नामक एक नई विधि बनाई है। उन्होंने केवल रोबोट को ठीक करने की कोशिश नहीं की; उन्होंने इसे एडवर्सैरियल ट्रेनिंग नामक तकनीक का उपयोग करके मुकाबला करना सिखाया।
इसे एक मार्शल आर्ट्स डोजो (अखाड़े) की तरह समझें:
- छात्र (रोबोट): हम चाहते हैं कि रोबोट खराब डेटा होने पर भी सही कदम उठाना सीखे।
- स्पैरिंग पार्टनर (हमलावर): शोधकर्ताओं ने एक "विलेन" AI बनाया जिसका एकमात्र काम रोबोट को बेवकूफ बनाने की कोशिश करना है। यह विलेन लगातार रोबोट के इतिहास (पुरस्कारों) को फिर से लिखने की कोशिश करता है ताकि रोबोट गलत चुनाव करे।
- ट्रेनिंग लूप:
- विलेन रोबोट के इतिहास को ज़हरीला बनाने की कोशिश करता है।
- रोबोट ज़हर को अनदेखा करने और सच्चाई का पता लगाने की कोशिश करता है।
- वे बार-बार ऐसा करते हैं।
- अंततः, रोबोट इतना कुशल हो जाता है कि वह झूठ को पहचान सके और तब भी जीत सके, जब विलेन उसे धोखा देने की पूरी कोशिश कर रहा हो।
परिणामस्वरूप, एक ऐसा रोबोट मिलता है जिसने "सब कुछ देख लिया है।" उसने सीख लिया है कि कभी-कभी पुरस्कारों के नंबर झूठ होते हैं, और वह असली सच्चाई को खोजने के लिए उनके पार देखना जानता है।
उन्होंने इसका परीक्षण कैसे किया
शोधकर्ताओं ने इस "सुपर-रोबोट" का तीन अलग-अलग परिदृश्यों में परीक्षण किया, जैसे कि एक वीडियो गेम के स्तर:
- स्लॉट मशीन (बैंडिट्स): कल्पना कीजिए कि 5 स्लॉट मशीनों की एक पंक्ति है। रोबोट को यह पता लगाना है कि कौन सी मशीन सबसे अधिक भुगतान करती है। हमलावर यह झूठ बोलने की कोशिश करता है कि प्रत्येक मशीन कितना भुगतान करती है।
- परिणाम: AT-DPT रोबोट ने वास्तविक विजेताओं का पता लगा लिया, जबकि मानक रोबोट (जैसे थॉम्पसन सैंपलिंग या UCB) भ्रमित हो गए और हारने वाली मशीनों को चुनते रहे।
- भूलभुलैया (MDPs): कल्पना कीजिए कि एक रोबोट खजाना खोजने के लिए एक अंधेरे कमरे में घूम रहा है। हमलावर यह झूठ बोलने की कोशिश करता है कि एक चाल कितनी अच्छी थी।
- परिणाम: AT-DPT रोबोट ने खजाना बहुत अधिक विश्वसनीयता के साथ खोजा, भले ही हमलावर स्मार्ट और अनुकूलन योग्य (रोबोट के कार्यों के आधार पर अपने झूठ बदलना) था।
- विजुअल भूलभुलैया: उन्होंने एक 3D वातावरण में भी इसका परीक्षण किया जहाँ रोबोट को छवियों का उपयोग करके नेविगेट करना था। AT-DPT रोबोट अभी भी दूसरों की तुलना में बेहतर प्रदर्शन करता रहा।
यह क्यों महत्वपूर्ण है
पेपर का दावा है कि रोबोट को झूठ (ज़हरीले डेटा) की उम्मीद करने के लिए प्रशिक्षित करके, यह बहुत अधिक मजबूत हो जाता है।
- मानक रोबोट उन लोगों की तरह हैं जो अखबार में जो कुछ भी पढ़ते हैं उस पर विश्वास करते हैं। यदि अखबार झूठ छापता है, तो वे मान लेते हैं।
- AT-DPT रोबोट एक जासूस की तरह है जिसे एक मास्टर जालसाज द्वारा प्रशिक्षित किया गया है। वह जानता है कि अखबार झूठ बोल सकता है, इसलिए वह तथ्यों की दोबारा जांच करता है और फिर भी सच्चाई ढूंढ निकालता है।
लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण (एक हमलावरों की आबादी का उपयोग करके शिक्षार्थी को प्रशिक्षित करना) एक शक्तिशाली तरीका है जिससे ऐसी AI बनाई जा सकती है जो सुरक्षित और विश्वसनीय हो, भले ही वह डेटा जिसके माध्यम से वह सीख रहा है, दुर्भावनापूर्ण अभिनेताओं द्वारा बदला जा रहा हो। उन्होंने यह भी नोट किया कि यह तरीका तब भी अच्छा काम करता है जब रोबोट झूठ पकड़ने में पूरी तरह से परफेक्ट न हो, बशर्ते उसे विभिन्न प्रकार के चालाक हमलावरों के खिलाफ प्रशिक्षित किया गया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।