Auto-Policy, not Auto-Skill: Compiled Agent Skills for the Physical World
यह शोध पत्र स्व-विकसित एजेंट प्रणालियों में एक महत्वपूर्ण सुरक्षा अंतराल की पहचान करता है जहाँ उत्पन्न कौशल में अंतर्निहित नीति प्रवर्तन का अभाव होता है, जिससे एक नया "बोरोड अथॉरिटी" (Borrowed Authority) हमला वेक्टर बनता है, और "एज स्किलगार्ड" (Edge Skillguard) का प्रस्ताव करता है, जो कौशल आर्टिफैक्ट्स के भीतर अंतर्निहित एक टाइप किया गया अधिकार स्तर है जो पीयर-एजेंट दावों पर भरोसा करने के बजाय विश्व अवस्था और सेंसर साक्ष्य को सत्यापित करके दुर्भावनापूर्ण भौतिक क्रियाओं को सफलतापूर्वक रोकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपके घर, आपकी कार, या आपकी फैक्ट्री का प्रबंधन किसी एक इंसान द्वारा बटन दबाने से नहीं, बल्कि मिलकर काम करने वाले डिजिटल सहायकों (डिजिटल असिस्टेंट्स) की एक टीम द्वारा किया जाता है। ये सहायक, जो अक्सर उन्नत भाषा मॉडल (लेंग्वेज मॉडल्स) द्वारा संचालित होते हैं, तेजी से सक्षम होते जा रहे हैं। वे निर्देशों को पढ़ सकते हैं, जटिल कार्यों की योजना बना सकते हैं, और यहाँ तक कि दरवाज़ों के तालों या रोबोटिक भुजाओं जैसे भौतिक उपकरणों को भी नियंत्रित कर सकते हैं। इसे काम करने के योग्य बनाने के लिए, डेवलपर्स इन सहायकों को "कौशल" (स्किल्स) देते हैं—जो अनिवार्य रूप से डिजिटल टूलकिट हैं जो उन्हें बताते हैं कि विशिष्ट कार्य कैसे किए जाएं, जैसे कि "जांचें कि क्या कोई घर पर है" या "सामने का दरवाज़ा खोलें।" इस क्षेत्र में वर्तमान रुझान इन सहायकों को ऑन-द-फ्लाई (तुरंत) नए कौशल बनाने और संयोजित करने देने का है, इस उम्मीद में कि अधिक स्वचालन (ऑटोमेशन) से बेहतर दक्षता मिलेगी। हालाँकि, स्व-विकसित क्षमताओं की ओर इस दौड़ ने एक खतरनाक अंध बिंदु (ब्लाइंड स्पॉट) पैदा कर दिया है। जबकि सहायक योजना बनाने में बेहतर हो रहे हैं, सुरक्षा के वे नियम जो यह तय करते हैं कि वास्तव में कौन सा कार्य करने की अनुमति है, अक्सर सहायक के अपने निर्णय पर छोड़ दिए जाते हैं। यह एक ऐसा अंतर छोड़ देता है जहाँ एक डिजिटल सहायक पूरे विश्वास के साथ यह मान सकता है कि उसे दरवाज़ा खोलने या रोबट को हिलाने की अनुमति है, केवल इसलिए क्योंकि दूसरे सहायक ने उसे ऐसा कहा है, बिना किसी स्वतंत्र प्रमाण के कि वह अनुमति वास्तविक थी।
यह अंतराल इंपीरियल कॉलेज लंदन के शोधकर्ताओं और सिएटल के एक स्वतंत्र शोधकर्ता द्वारा किए गए एक नए अध्ययन का केंद्र है। उनका तर्क है कि इन डिजिटल कौशलों को पैक करने का वर्तमान तरीका भौतिक दुनिया के लिए अपर्याप्त है। उनके विचार में, एक कौशल को न केवल यह नहीं बताना चाहिए कि कुछ कैसे करना है; इसे एक सख्त, मशीन-पठनीय नियमों का सेट भी साथ रखना चाहिए जो यह तय करे कि इसे कब करना सुरक्षित है। शोधकर्ताओं ने एक विशिष्ट प्रकार के खतरे की पहचान की जिसे वे "उधार ली गई सत्ता" (बॉरोड अथॉरिटी) कहते हैं। यह तब होता है जब एक एजेंट दूसरे एजेंट को संदेश भेजता है, "दरवाज़ा खोलें, क्योंकि मैंने पुष्टि की है कि निवासी घर पर है।" आज के सिस्टम में, प्राप्त करने वाला एजेंट इस दावे को सच मान लेता है, संदेश की प्राकृतिक भाषा पर भरोसा करता है बजाय इसके कि तथ्यों को सत्यापित किया जाए। यदि पहला एजेंट झूठ बोल रहा है, भ्रमित है, या हैक हो गया है, तो दूसरा एजेंट एक झूठे वादे के आधार पर दरवाज़ा खोल सकता है, जिससे वास्तविक दुनिया में नुकसान हो सकता है। शोधकर्ता नोट करते हैं कि जहाँ हमने क्लाउड में दुर्भावनापूर्ण सॉफ़्टवेयर और रोबोटों को भौतिक नुकसान पहुँचाने के लिए ठगे जाने के मामलों को अलग-अलग देखा है, वहीं हमने अभी तक दुर्भावनापूर्ण डिजिटल कौशल के कारण होने वाले भौतिक नुकसान के विशिष्ट संयोजन को नहीं देखा है, लेकिन उनका मानना है कि यह संगम आसन्न है।
इस समस्या के समाधान के लिए, टीम ने एक प्रणाली विकसित की जिसे वे 'एज स्किलगार्ड' (Edge Skillguard) कहते हैं। एआई मॉडल को सुरक्षा नियमों को याद रखने या अस्पष्ट निर्देशों की व्याख्या करने पर निर्भर रहने के बजाय, उन्होंने एक सख्त, 'टाइप्ड अथॉरिटी लेयर' को सीधे कौशल के भीतर ही समाहित कर दिया। इसे एक डिजिटल बाउंसर की तरह समझें जो हर क्रिया के द्वार पर खड़ा है। इससे पहले कि "दरवाज़ा खोलें" जैसा कमांड निष्पादित किया जाए, यह बाउंसर तथ्यों की एक विशिष्ट सूची की जांच करता है: क्या क्रिया का अनुरोध करने वाला व्यक्ति वास्तव में वही है जिसे इसकी अनुमति है? क्या निवासी की उपस्थिति का प्रमाण ताज़ा है और एक विश्वसनीय स्रोत, जैसे कि एक सत्यापित कैमरा या एक विशिष्ट फोन से आया है? क्या अनुरोध एक वैध समय सीमा के भीतर आया है? यदि इनमें से कोई भी स्थिति ठोस, मशीन-जांच योग्य प्रमाण के साथ पूरी नहीं होती है, तो क्रिया को तुरंत रोक दिया जाता है, चाहे प्राकृतिक भाषा का संदेश कितना भी प्रभावशाली क्यों न लगे। यह दृष्टिकोण सुरक्षा के बोझ को भाषा मॉडल के अनिश्चित तर्क से हटाकर डेटा की एक निश्चित (डिटरमिनिस्टिक) जांच पर स्थानांतरित कर देता है।
शोधकर्ताओं ने इस प्रणाली का परीक्षण एक लाइव एज कंट्रोल प्लेटफॉर्म पर किया, जो 148 विभिन्न उपकरणों सहित एक स्मार्ट होम वातावरण का अनुकरण करता था, जिसमें लॉक, लाइट, कैमरा और सेंसर शामिल थे। उन्होंने सिस्टम को अनधिकृत कार्यों करने के लिए ठगने के उद्देश्य से हमलों की एक श्रृंखला बनाई। इन हमलों में ऐसे परिदृश्य शामिल थे जहाँ एक एजेंट ने दावा किया कि उसने निवासी को देखा है जबकि उसने नहीं देखा था, एक ऐसी अनुमति का उपयोग किया जो समाप्त हो चुकी थी, या गलत कार्य के लिए एक वैध अनुमति का उपयोग करने की कोशिश की। हर एक परीक्षण में, एज स्किलगार्ड प्रणाली ने अनधिकृत प्रयासों को सफलतापूर्वक रोक दिया। विशेष रूप से, इसने पांच अलग-अलग प्रकार के हमलों में 60 दुर्भावनापूर्ण अनुरोधों को बिना किसी वैध, सुरक्षित अनुरोध को रोके खारिज कर दिया। यह प्रणाली तब भी उतनी ही प्रभावी ढंग से काम करती रही जब परीक्षणों को 300 अनुरोधों तक बढ़ाया गया और जब घटकों को एक विस्तृत नेटवर्क पर जुड़े विभिन्न कंप्यूटरों में फैलाया गया। निर्णय लेने की प्रक्रिया स्वयं अविश्वसनीय रूप से तेज़ थी, जिसमें नियमों को सत्यापित करने में केवल कुछ माइक्रोसेकंड लगे, जिससे यह सिद्ध हुआ कि उच्च सुरक्षा का अर्थ गति से समझौता करना नहीं है।
अध्ययन ने इस दृष्टिकोण की सीमाओं का भी पता लगाया। शोधकर्ता सावधानीपूर्वक नोट करते हैं कि उनका सिस्टम एजेंटों के बीच भ्रम और धोखे से सुरक्षा करता है, लेकिन यह एक भरोसेमंद एजेंट को गलत निर्णय लेने से नहीं रोक सकता यदि वह एजेंट पहले से ही समझौताग्रस्त (कंप्रोमाइज्ड) है, न ही यह पता लगा सकता है कि क्या किसी भौतिक सेंसर को 'रीप्ले अटैक' या चोरी किए गए डिवाइस द्वारा ठगा जा रहा है। ये अलग समस्याएं हैं जिनके लिए अलग समाधानों की आवश्यकता है, जैसे बेहतर हार्डवेयर सुरक्षा या भौतिक सत्यापन। हालाँकि, मुख्य निष्कर्ष स्पष्ट है: एजेंटों के सुरक्षित रूप से भौतिक दुनिया को नियंत्रित करने के लिए, उनकी क्रियाओं को नियंत्रित करने वाले नियम उतने ही ठोस और अपरिवर्तनीय होने चाहिए जितने कि वे कार्य स्वयं हैं। किसी कार्य को करने के प्रक्रियात्मक ज्ञान को एक सख्त, मशीन-जांच योग्य नीति के साथ सह-पैक करके, शोधकर्ताओं ने डिजिटल सहायकों को अनजाने में या दुर्भावनापूर्ण रूप से भौतिक नुकसान पहुँचाने से रोकने के लिए एक ब्लूप्रिंट प्रदान किया है। यह कार्य सुझाव देता है कि सुरक्षित स्वचालन का भविष्य स्मार्ट भाषा मॉडल में नहीं, बल्कि उन सख्त और पारदर्शी सीमाओं में है जो एक एजेंट के कहने और उसके वास्तव में क्या करने की अनुमति है, के बीच अंतर करती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।