ARMOR: Robust Reinforcement Learning-based Control for UAVs under Physical Attacks
यह शोध पत्र ARMOR को प्रस्तुत करता है, जो एक मॉडल-मुक्त सुदृढीकरण लर्निंग (reinforcement learning) नियंत्रक है जो तैनाती के दौरान विशेषाधिकार प्राप्त हमले की जानकारी की आवश्यकता के बिना, हमले-लचीले लेटेंट स्टेट रिप्रजेंटेशन (latent state representations) सीखने के लिए एक दो-चरणीय प्रशिक्षण ढांचे का उपयोग करके भौतिक सेंसर हमलों के तहत सुदृढ़ UAV संचालन सुनिश्चित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को ड्रोन उड़ाना सिखा रहे हैं। वास्तविक दुनिया में, रोबोटों के पास मनुष्यों की तरह आँखें नहीं होती हैं; वे यह समझने के लिए कि वे कहाँ हैं और कैसे चलें, सेंसर के एक समूह पर निर्भर करते हैं—स्थान के लिए GPS, संतुलन के लिए जायरोस्कोप (gyroscopes), और गति के लिए कैमरे। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस का एक प्रकार है जहाँ एक कंप्यूटर चीज़ों को आज़माकर और अच्छे व्यवहार के लिए पुरस्कार प्राप्त करके निर्णय लेना सीखता है, बिल्कुल वैसे ही जैसे एक कुत्ता टॉफी देकर करतब सीखना सीखता है। लक्ष्य एक ऐसा "दिमाग" बनाना है जो ड्रोन को जटिल कार्यों के माध्यम से सुरक्षित रूप से उड़ा सके।
हालाँकि, यहाँ एक चालाकी भरी समस्या है: इन सेंसरों को धोखा दिया जा सकता है। जिस तरह एक जादूगर आपकी आँखों को धोखा दे सकता है, उसी तरह एक हैकर ड्रोन के सेंसरों को फर्जी संकेत भेज सकता है। इसे फिजिकल अटैक (physical attack) कहा जाता है। उदाहरण के लिए, वे एक फर्जी GPS सिग्नल भेज सकते हैं जो ड्रोन को यह विश्वास दिला दे कि वह किसी अलग जगह पर है, या उसके बैलेंस सेंसरों को बिगाड़ने के लिए ध्वनि तरंगों (sound waves) का उपयोग कर सकते हैं। यदि ड्रोन का दिमाग इन झूठों पर विश्वास कर लेता है, तो वह दुर्घटनाग्रस्त हो सकता है या किसी इमारत से टकरा सकता है। वैज्ञानिकों ने "सुरक्षित" दिमाग बनाने की कोशिश की है जो खतरे से बच सकें, लेकिन अधिकांश सुरक्षा जाल तब विफल हो जाते हैं जब ड्रोन को किसी हैकर द्वारा सक्रिय रूप से ठगा जा रहा होता है। वे यह मान लेते हैं कि दुनिया बस थोड़ी अस्त-व्यस्त है, न कि कोई सक्रिय रूप से रोबोट से झूठ बोल रहा है।
यहीं पर एक नया विचार आता है जिसे ARMOR कहा जाता है। इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने एक ऐसा ड्रोन कंट्रोलर बनाने की कोशिश की जो झूठ को पकड़ सके, भले ही सेंसर चिल्ला-चिल्लाकर कह रहे हों कि यह सच है। उन्होंने केवल ड्रोन को "मजबूत" नहीं बनाया; उन्होंने उसे दुनिया को देखने का एक नया तरीका सिखाया। कच्चे, आसानी से ठगे जाने वाले सेंसर डेटा को देखने के बजाय, ARMOR यह सीखता है कि वास्तव में क्या हो रहा है, उसका एक "गुप्त सारांश" (secret summary) कैसे बनाया जाए। शोध पत्र सुझाव देता है कि एक विशेष दो-चरणीय प्रशिक्षण पद्धति का उपयोग करके, वे एक ऐसा ड्रोन बना सकते हैं जो सेंसरों के सबोटेज (sabotage) होने पर भी अपने पथ पर बना रहता है, बिना हर उस नए तरीके के लिए पुन: प्रशिक्षित हुए जिसे एक हैकर आविष्कार कर सकता है।
ARMOR की कहानी: एक ड्रोन जो जानता है कि उसे कब झूठ बोला जा रहा है
ARMOR (Adaptive Robust Manipulation-Optimized State Representations) से मिलिए। ARMOR को केवल एक पायलट के रूप में नहीं, बल्कि एक जासूस के रूप में सोचें जिसने फर्जी बयानों को अनदेखा करना सीख लिया है।
ड्रोन नियंत्रण की दुनिया में, सामान्य तरीका कंप्यूटर को सेंसर से कच्चा डेटा फीड करना है: "मैं X निर्देशांक पर हूँ," "मैं Y गति से घूम रहा हूँ।" लेकिन यदि कोई हैकर फर्जी सिग्नल डालता है, तो कंप्यूटर उस झूठ पर विश्वास कर लेता है। पिछले तरीकों ने ड्रोन को "शंकालु" बनाने की कोशिश की, जो विशिष्ट हमलों के खिलाफ प्रशिक्षित किया गया था (जैसे कि एक छात्र जो केवल एक विशिष्ट प्रकार के टेस्ट प्रश्न के लिए पढ़ाई करता है)। यह धीमा, महंगा और कठिन है, और यदि हैकर ट्रिक को थोड़ा भी बदल देता है, तो ड्रोन विफल हो जाता है।
ARMOR एक अलग दृष्टिकोण अपनाता है। यह एक दो-चरणीय प्रशिक्षण ढांचे (two-stage training framework) का उपयोग करता है, जो एक मास्टर शिक्षक और एक छात्र होने जैसा है।
चरण 1: सुपर-विज़न वाला शिक्षक
सबसे पहले, शोधकर्ता एक "टीचर एनकोडर" (Teacher Encoder) को प्रशिक्षित करते हैं। यह एक स्मार्ट AI घटक है जिसके पास एक महाशक्ति है: इसके पास विशेषाधिकार प्राप्त जानकारी (privileged information) तक पहुँच है। सिमुलेशन में, शिक्षक को ठीक पता होता है कि हमला कब हो रहा है, किस सेंसर के साथ झूठ बोला जा रहा है, और झूठ कितना बड़ा है। यह उस उत्तर कुंजी (answer key) की तरह है जिसे शिक्षक देख सकता है जबकि छात्र परीक्षा दे रहा होता है।
इस संदर्भ का उपयोग करते हुए, शिक्षक बिखरे हुए, झूठ बोलने वाले सेंसर डेटा को एक मजबूत लेटेंट रिप्रेजेंटेशन (robust latent representation) में अनुवाद करना सीखता है। कल्पना कीजिए कि यह एक "गुप्त कोड" या "सत्यपूर्ण सारांश" है। भले ही GPS कहे कि ड्रोन समुद्र में है, शिक्षक का गुप्त कोड जानता है, "नहीं, GPS झूठ बोल रहा है; ड्रोन वास्तव में आकाश में है।" ड्रोन की नियंत्रण नीति (उसका दिमाग) इस गुप्त कोड के आधार पर निर्णय लेना सीखती है, न कि कच्चे सेंसर डेटा के आधार पर। यह ड्रोन को हमले के दौरान भी पूरी तरह से उड़ना सीखने की अनुमति देता है, क्योंकि वह सत्य से सीख रहा है।
चरण 2: वह छात्र जो सच देखना सीखता है
यही पेचीदा हिस्सा है: वास्तविक दुनिया में, ड्रोन के पास उत्तर कुंजी के साथ कोई शिक्षक नहीं होता। वह यह नहीं जान सकता कि उस पर हमला हो रहा है। इसलिए, शोधकर्ता एक स्टूडेंट एनकोडर (Student Encoder) को प्रशिक्षित करते हैं।
छात्र एक जासूस की तरह है जिसे उत्तर कुंजी के बिना सच का पता लगाना है। उसके पास केवल ड्रोन का इतिहास होता है—पिछले कुछ सेकंडों का सेंसर डेटा का प्रवाह। छात्र को इस इतिहास को देखने और उस "गुप्त कोड" का अनुमान लगाने के लिए प्रशिक्षित किया जाता है जिसे शिक्षक ने बनाया था। वह पैटर्न पहचानना सीखता है, जैसे कि "हे, GPS नंबर धीरे-धीरे बदल रहे हैं, जिसका अर्थ आमतौर पर यह है कि एक फर्जी सिग्नल है," या "जायरोस्कोप एक अजीब लय में हिल रहा है।"
एक बार जब छात्र गुप्त कोड का अनुमान लगाने में कुशल हो जाता है, तो शिक्षक को रिटायर कर दिया जाता है। ड्रोन को केवल छात्र और नियंत्रण नीति के साथ तैनात किया जाता है। अब, जब ड्रोन वास्तविक दुनिया में उड़ता है और उस पर हमला होता है, तो छात्र सेंसर डेटा के इतिहास का विश्लेषण करता है, "सत्यपूर्ण सारांश" उत्पन्न करता है, और नियंत्रण नीति उसे बनाए रखने के लिए उपयोग करती है ताकि ड्रोन सीधा उड़ता रहे।
प्रयोगों ने क्या दिखाया
शोधकर्ताओं ने एक सिम्युलेटेड 3D दुनिया में ARMOR का परीक्षण किया, जिसमें इसे पांच अलग-अलग प्रकार के फिजिकल हमलों के खिलाफ खड़ा किया गया: GPS स्पूफिंग, जायरोस्कोप के साथ छेड़छाड़, एक्सीलेरोमीटर के साथ धोखाधड़ी, मैग्नेटोमीटर भ्रष्टाचार, और ऑप्टिकल फ्लो स्पूफिंग। उन्होंने इसकी तुलना RARL (जो एडवरसेरियल ट्रेनिंग का उपयोग करता है) और HRP (एक हाइब्रिड रिकवरी पॉलिसी) जैसे अन्य शीर्ष तरीकों से की।
सिमुलेशन में परिणाम काफी स्पष्ट थे:
- उत्तरजीविता दर (Survival Rate): हमलों का सामना करते समय, ARMOR ने लगभग 88% बार सफलतापूर्वक ड्रोन को उड़ाए रखा। इसके विपरीत, पुराने तरीके संघर्ष करते दिखे, जिनकी सफलता दर 30% से 83% के बीच थी।
- दुर्घटनाएं (Crashes): शायद सबसे प्रभावशाली बात यह है कि सभी परीक्षण किए गए हमलों के दौरान ARMOR की क्रैश दर 0% थी। अन्य तरीके अक्सर दुर्घटनाग्रस्त हो गए; उदाहरण के लिए, GPS हमलों के तहत, एक प्रतिस्पर्धी तरीका 50% बार क्रैश हो गया।
- मार्ग पर बने रहना (Staying on Course): जब ड्रोन को रास्ते से हटाया गया, तो ARMOR ने "स्टेट ड्रिफ्ट" (वह दूरी जिससे वह पथ से भटक गया) को अविश्वसनीय रूप से कम रखा, GPS हमलों के लिए लगभग 0.1 मीटर। अन्य तरीकों ने ड्रोन को कई मीटर या डिग्री तक भटकने दिया, जो दुर्घटना या मिशन विफलता के लिए पर्याप्त है।
"ज़ीरो-शॉट" महाशक्ति
सबसे रोमांचक खोज क्या है, इसे लेखक ज़ीरो-शॉट जनरलाइजेशन (zero-shot generalization) कहते हैं। आमतौर पर, यदि आप एक रोबोट को GPS झूठों से निपटने के लिए प्रशिक्षित करते हैं, तो यह विफल हो सकता है यदि अचानक इस पर जायरोस्कोप का झूठ आ जाए। यह केवल गणित के लिए पढ़ाई करने और इतिहास के टेस्ट में फेल होने जैसा है।
हालाँकि, ARMOR ने दिखाया कि यह बिना किसी अतिरिक्त प्रशिक्षण के अनदेखे हमलों को संभाल सकता है।
- जब उन्होंने ड्रोन को केवल GPS हमलों पर प्रशिक्षित किया और फिर इसे जायरोस्कोप हमलों पर टेस्ट किया (जो उसने पहले कभी नहीं देखे थे), तब भी ARMOR 60% बार सफल रहा। दूसरा तरीका (RARL) पूरी तरह विफल रहा, जिसकी सफलता दर 0% थी।
- जब उन्होंने जायरोस्कोप हमलों पर प्रशिक्षण दिया और GPS हमलों पर परीक्षण किया, तो ARMOR 70% बार सफल रहा, जबकि दूसरा तरीका केवल 5% ही प्रबंध कर पाया।
यह सुझाव देता है कि "वास्तविक भौतिक स्थिति कैसी दिखती है" के "गुप्त कोड" को सीखकर, ड्रोन यह पहचान सकता है कि कोई भी सेंसर झूठ बोल रहा है, भले ही वह झूठ का प्रकार ऐसा हो जिसका उसने अभ्यास नहीं किया है।
यह क्यों महत्वपूर्ण है (और यह क्या नहीं है)
शोध पत्र सुझाव देता है कि यह दो-चरणीय विधि एक बड़ी प्रगति है क्योंकि यह एक साथ दो बड़ी समस्याओं को हल करती है। पहला, यह प्रशिक्षित करने में तेज़ और सस्ता है। पारंपरिक तरीकों के लिए हजारों घंटों के "एडवरसेरियल ट्रेनिंग" की आवश्यकता होती है जहाँ एक कंप्यूटर बार-बार एक नकली हमलावर के खिलाफ लड़ता है। ARMOR इसे बायपास करता है क्योंकि यह सत्य को जल्दी सीखने के लिए शिक्षक का उपयोग करता है, फिर छात्र को उस सत्य की नकल करने के लिए सिखाता है।
दूसना, यह ड्रोनों को खतरों की एक विस्तृत श्रृंखला के खिलाफ सुरक्षित बनाता है। लेखक नोट करते हैं कि हालांकि ARMOR सिंगल-सेंसर हमलों और यहाँ तक कि कुछ मल्टी-सेंसर हमलों को संभालने में बहुत अच्छा है, लेकिन इसकी सीमाएँ भी हैं। यदि कोई हमलावर एक साथ बहुत सारे सेंसरों के साथ जटिल तरीके से छेड़छाड़ करता है, तो सिस्टम अभी भी संघर्ष कर सकता है। साथ ही, ये परिणाम वर्तमान में सिमुलेशन (कंप्यूटर मॉडल) पर आधारित हैं, वास्तविक हार्डवेयर के साथ वास्तविक दुनिया की उड़ानों पर नहीं। लेखक सावधानी बरतते हुए कहते हैं कि हालांकि परिणाम आशाजनक हैं, अगला कदम यह देखना है कि क्या यह वास्तविक दुनिया में वास्तविक ड्रोनों पर काम करता है।
संक्षेप में, ARMOR ड्रोन को शोर मचाने वाले, झूठ बोलने वाले सेंसरों को सुनने के बजाय वास्तविकता के "गुप्त सारांश" को सुनने के लिए सिखाता है। यह एक चतुर तकनीक है जो एक असुरक्षित रोबोट को एक लचीले (resilient) रोबोट में बदल देती है, जो तब भी सीधा उड़ने में सक्षम है जब दुनिया उसे धोखा देने की कोशिश करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।