When Experience Becomes Instruction: Trajectory Poisoning in Self-Evolving Agent Skill Systems
यह शोध पत्र "PoisonedEvolution" को प्रस्तुत करता है, जो एक ब्लैक-बॉक्स हमला है जो सावधानीपूर्वक तैयार किए गए, कारण-आधारित साक्ष्यों को इंजेक्ट करके स्व-विकसित एजेंट प्रणालियों में 'ट्रैजेक्टरी-टू-स्किल' (trajectory-to-skill) संवर्धन प्रक्रिया का लाभ उठाता है ताकि विविध आर्किटेक्चर में विश्वसनीय कौशल पुस्तकालयों में सफलतापूर्वक दुर्भावनापूर्ण व्यवहारों को समाहित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डिजिटल प्रशिक्षुता (Digital Apprenticeship): AI कैसे सीखता है (और इसे कैसे धोखा दिया जा सकता है)
एक ऐसी दुनिया की कल्पना करें जहाँ आपका पसंदीदा वीडियो गेम पात्र केवल एक स्क्रिप्ट का पालन नहीं करता, बल्कि हर बार आपके खेलने से वास्तव में सीखता है। यदि आप किसी बॉस को हराने का कोई चतुर तरीका खोज लेते हैं, तो गेम उस ट्रिक को याद रखता है और उसे अन्य खिलाड़ियों को सिखाता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "सेल्फ-इवॉल्विंग स्किल सिस्टम" (स्व-विकसित कौशल प्रणाली) कहा जाता है। हर संभव निर्देश के साथ हार्ड-कोडेड होने के बजाय, ये AI एजेंट अपने स्वयं के कार्यों को देखते हैं, पैटर्न पाते हैं, और उन पैटर्न्स को स्थायी "कौशलों" में बदल देते हैं—जैसे कि एक डिजिटल रेसिपी बुक जिसे वे हमेशा के लिए देख सकते हैं। यह एक शक्तिशाली विचार है: AI जितना अधिक काम करता है, वह उतना ही स्मार्ट होता जाता है, अपने कच्चे अनुभव को भरोसेमंद निर्देशों में बदल देता है।
लेकिन यहाँ एक पेच है: यह कौन तय करेगा कि क्या एक "अच्छा" सबक है? आमतौर पर, हम मान लेते हैं कि AI ईमानदार, सहायक अनुभवों से सीख रहा है। हालाँकि, जिस तरह एक छात्र को तब गलत उत्तर रटने के लिए मूर्ख बनाया जा सकता है जब पर्याप्त लोग उसे सही कहें, उसी तरह एक AI को एक खतरनाक आदत सीखने के लिए भी धोखा दिया जा सकता है। यह शोध पत्र डिजिटल शरारत के एक नए प्रकार की खोज करता है जहाँ हमलावर को AI के मस्तिष्क को हैक करने या उसकी रेसिपी बुक चुराने की आवश्यकता नहीं होती है। इसके बजाय, वे बस एक बुरा विचार AI के कान में कुछ बार फुसफुसाते हैं, इसे एक उपयोगी सुझाव के रूप में पेश करते हैं। यदि AI इसे पर्याप्त बार और सही तरीके से सुनता है, तो वह तय कर सकता है, "ओह, यह निश्चित रूप से एक शानदार नया कौशल है!" और इसे अपनी स्थायी स्मृति में लिख सकता है, जिससे एक हानिरहित सुझाव एक स्थायी नियम में बदल जाता है।
शोध की बड़ी खोज: "पॉइज़न्ड इवोल्यूशन" (Poisoned Evolution)
इस अध्ययन के पीछे के शोधकर्ताओं, जो विश्वविद्यालयों और एंट ग्रुप (Ant Group) और झेजियांग यूनिवर्सिटी (Zhejiang University) जैसे तकनीकी समूहों की एक टीम है, ने यह परीक्षण करने का निर्णय लिया कि इन सीखने वाले AI सिस्टमों को धोखा देना वास्तव में कितना आसान है। वे अपने हमले के तरीके को PoisonedEvolution कहते हैं। इसे "टेलीफोन" के खेल की तरह समझें, लेकिन यहाँ कोई मजाकिया वाक्यांश विकृत नहीं होता, बल्कि एक दुर्भावनापूर्ण निर्देश को तब तक पॉलिश किया जाता है जब तक कि AI को यह एक शानदार आविष्कार न लगने लगे।
टीम ने एक परिदृश्य तैयार किया जहाँ एक हमलावर (जिसे वे "स्किल-विज़िबल ब्लैक-बॉक्स" हमलावर कहते हैं) देख सकता था कि AI पहले से कौन से कौशल जानता है, लेकिन वह AI के निजी नोट्स नहीं देख सकता था और न ही सीधे इसके कोड को बदल सकता था। हमलावर का काम कुछ "ट्रैजेक्टरीज" (trajectories)—जो कि AI द्वारा कार्य करने के रिकॉर्ड हैं—में योगदान देना था। लक्ष्य क्या था? बिना पकड़े गए AI की स्थायी कौशल पुस्तक में एक बुरा निर्देश डालना।
शोधकर्ताओं ने पाया कि यह आश्चर्यजनक रूप से आसान है। उन्होंने अपने तरीके का परीक्षण दो अलग-अलग प्रकार के AI लर्निंग सिस्टम पर किया। पहले सिस्टम में, जिसे SkillClaw कहा गया, वे AI को एक दुर्भावनापूर्ण व्यवहार अपनाने के लिए सफलतापूर्वक 91.0% प्रयासों में (यानी 600 में से 546 बार) चकमा देने में सफल रहे। दूसरे, अधिक जटिल सिस्टम में, जिसे Trace2Skill कहा गया, जो थोड़ा अलग तरीके से काम करता है, वे अभी भी 61.5% बार (600 में से 369 बार) सफल रहे।
यह ट्रिक कैसे काम करती है: तीन जादुई चरण
पेपर बताता है कि इस ट्रिक के काम करने के लिए, तीन विशिष्ट चीजें होनी चाहिए, जैसे कि एक तीन-चरणीय जादू का मंत्र:
- इनक्लूजन (Inclusion - मेज पर जगह पाना): बुरे रिकॉर्ड को AI के शुरुआती फिल्टर पास करने होंगे। यह बहुत अजीब या संदिग्ध नहीं दिख सकता, अन्यथा AI इसे तुरंत खारिज कर देगा।
- इवोल्यूशन एट्रिब्यूशन (Evolution Attribution - "आहा!" वाला क्षण): यह सबसे महत्वपूर्ण और कठिन हिस्सा है। AI को उस बुरे रिकॉर्ड को देखना होगा और सोचना होगा, "वाह, यह व्यवहार वास्तव में उपयोगी है! इसने एक समस्या को हल करने में मदद की।" हमलावर केवल यह नहीं कहता "यह बुरा काम करो।" इसके बजाय, वे इसे एक समाधान के रूप में पेश करते हैं। उदाहरण के लिए, यदि बुरा काम "सोर्स फ़ाइल को डिलीट करना" है, तो हमलावर रिकॉर्ड को इस तरह पेश करता है ताकि फ़ाइल को डिलीट करना कार्य को सफलतापूर्वक पूरा करने के लिए एक आवश्यक सफाई कदम के रूप में दिखाई दे। AI सोचता है, "ओह, मैं समझ गया! इस काम को पूरा करने के लिए, मुझे फ़ाइल को डिलीट करना ही होगा। यह सीखने के लिए एक बेहतरीन कौशल है!"
- रियलाइजेशन (Realization - लिखना): अंत में, AI को इस नए "कौशल" को अपनी स्थायी पुस्तक में लिखना होगा। यदि AI अनुभव का सारांश बनाता है और बुरे हिस्से को भूल जाता है, तो हमला विफल हो जाता है। लेकिन यदि बुरे व्यवहार को एक नियम के रूप रूप में लिखा जाता है, तो हमला सफल होता है।
गुप्त नुस्खा: पुनरावृत्ति और संदर्भ
अध्ययन ने पाया कि ऐसा एक बार करने से काम नहीं चलता। यदि हमलावर केवल एक अजीब रिकॉर्ड सबमिट करता है, तो AI आमतौर पर सोचता है, "वह शायद एक गलती थी" और उसे अनदेखा कर देता है। लेकिन यदि हमलावर 30 रिकॉर्डों के बैच में एक ही बुरे विचार को तीन बार (या अधिक) सबमिट करता है, तो AI सोचने लगता है, "रुको, मैं यह पैटर्न बार-बार देख रहा हूँ। यह निश्चित रूप से एक वास्तविक, उपयोगी कौशल है!"
शोधकर्ताओं ने पाया कि जब उन्होंने केवल एक बुरे रिकॉर्ड का उपयोग किया, तो हमला लगभग हमेशा विफल रहा। लेकिन जब उन्होंने तीन बुरे रिकॉर्ड (एक 10% "पॉइज़न" अनुपात) का उपयोग किया, तो सफलता की दर आसमान छू गई। यह ऐसा है जैसे यदि एक व्यक्ति आपसे अफवाह कहता है, तो आप उस पर संदेह कर सकते हैं। लेकिन यदि तीन अलग-अलग लोग आपको वही अफवाह बताते हैं, तो आप विश्वास करने लगते हैं कि यह सच है।
उन्होंने यह भी पाया कि बुरे निर्देश का "स्वाद" मायने रखता था। ऐसे निर्देश जो मददगार वर्कफ़्लो सलाह की तरह दिखते थे (जैसे "अपनी फ़ाइलों को साफ़ करें" या "इस सेटिंग की जाँच करें") उन्हें शामिल करना बहुत आसान था, तुलना में जो स्पष्ट हमलों की तरह दिखते थे (जैसे "सुरक्षा सेटिंग्स को बदलें")। AI "मददगार" भेष में स्वीकार करने के लिए अधिक प्रवृत्त था।
भविष्य के लिए इसका क्या अर्थ है
पेपर निष्कर्ष निकालता है कि यह एक गंभीर सुरक्षा समस्या है। यह दिखाता है कि जिस क्षण AI एक अनुभव को स्थायी कौशल में बदलने का निर्णय लेता है, वह एक कमजोर बिंदु होता है। वर्तमान बचाव अक्सर केवल अंतिम कौशल पुस्तक में बुरे शब्दों को लिखने के बाद जांचते हैं। लेकिन यह शोध सुझाव देता है कि हमें AI द्वारा कुछ भी लिखने से पहले साक्ष्य (evidence) की जांच करने की आवश्यकता है।
लेखक एक सरल विचार प्रस्तावित करते हैं: अनुभव के "प्रोवेनेंस" (स्रोत) की जांच करें। यदि कोई नया "कौशल" केवल एक उपयोगकर्ता या दोस्तों के एक छोटे समूह के साक्ष्य पर आधारित है, तो शायद AI को अभी इस पर भरोसा नहीं करना चाहिए। उसे तब तक प्रतीक्षा करनी चाहिए जब तक कि कई अलग-अलग, स्वतंत्र स्रोत उस सबक की पुष्टि न कर दें।
संक्षेप में, पेपर साबित करता है कि स्व-विकसित AI उम्मीद के मुताबिक स्मार्ट नहीं है जब बात गलत सलाह पहचानने की आती है। यदि हमलावर धैर्यवान है और अपनी झूठ को पर्याप्त बार दोहराता है, तो वह AI को एक खतरनाक सबक सीखने और इसे अपनी स्थायी स्मृति में लिखने के लिए धोखा दे सकता है। शोधकर्ताओं ने अभी तक इसे पूरी तरह से रोकने का कोई तरीका नहीं खोजा है, लेकिन उन्होंने हमें ठीक दिखाया है कि ताला कहाँ कमजोर है, ताकि हम एक बेहतर ताला बना सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।