Query-Only Backdoor Attacks on Self-Evolving Skills via Trajectory Poisoning
यह शोध पत्र ट्राजेक्टरी बैकडोर अटैक (TBA) का परिचय देता है, जो एक क्वेरी-ओनली विधि है जो एजेंट इंटरेक्शन ट्राजेक्टरीज को विषाक्त करके स्व-विकसित (self-evolving) LLM स्किल सिस्टम से समझौता करती है, ताकि विशिष्ट परिस्थितियों में दुर्भावनापूर्ण कार्यों को निष्पादित करने वाले बैकडोर स्किल्स के स्वचालित निर्माण को प्रेरित किया जा सके, जबकि स्वच्छ कार्यों पर सामान्य प्रदर्शन बनाए रखा जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका पसंदीदा AI असिस्टेंट केवल सवाल पूछने वाला चैटबॉट नहीं है, बल्कि एक डिजिटल प्रशिक्षु (apprentice) है जो वास्तव में आपके लिए चीजें करना सीखता है। आपको इसे हर एक कदम यह सिखाने के बजाय कि फ्लाइट कैसे बुक करनी है या स्प्रेडशीट को कैसे एडिट करना है, AI खुद को ये कार्य करते हुए देखता है, उन्हें संभालने का सबसे अच्छा तरीका समझता है, और उन चरणों को एक पुन: प्रयोज्य (reusable) "कौशल" (skill) के रूप में सहेज लेता है। इसे एक वीडियो गेम के पात्र की तरह समझें जो, किसी बॉस को हराने के बाद, अपने आप उस बॉस को दोबारा हराने के लिए एक गाइड लिख देता है, ताकि उसे अगली बार संघर्ष न करना पड़े। यह "स्व-विकसित" (self-evolving) AI एजेंटों का वादा है: वे अपने दैनिक कार्यों को उपयोगी युक्तियों की एक लाइब्रेरी में बदलकर खुद को अधिक स्मार्ट और कुशल बनाते हैं। लेकिन यहाँ एक पेंच है: यदि AI अपनी गलतियों और सफलताओं से सीखता है, तो क्या होगा यदि कोई उसे एक बुरी ट्रिक सीखने के लिए बहका दे? क्या होगा यदि कोई हमलावर काम करते समय AI के कान में एक गुप्त निर्देश फुसफुसा दे, जिससे वह इस खतरनाक नई आदत को एक शानदार, पुन: प्रयोज्य कौशल के रूप में मान ले?
यह बिल्कुल वही परिदृश्य है जिसे एमोरी यूनिवर्सिटी के शोधकर्ताओं द्वारा लिखे गए एक नए शोध पत्र में खोजा गया है। उन्होंने पाया कि इन स्व-शिक्षण AI सिस्टमों को बिना उनके सिस्टम के कोड को तोड़े या उसकी फाइलें चुराए कैसे हैक किया जा सकता है। वे अपने इस तरीके को "ट्रैजेक्टरी बैकडोर अटैक" (Trajectory Backdoor Attack - TBA) कहते हैं। AI के दिमाग में घुसने की कोशिश करने के बजाय, हमलावर केवल एक चालाक उपयोगकर्ता की तरह व्यवहार करते हैं। वे AI को विशिष्ट कार्य भेजते हैं जो सतह पर सामान्य दिखते हैं लेकिन उनमें छिपे हुए संकेत होते हैं। इन कार्यों को सावधानीपूर्वक तैयार करके, वे AI को एक गुप्त, दुर्भावनापूर्ण कार्य करने के लिए मजबूर करते हैं (जैसे बैंक खाता संख्या बदलना) केवल तभी जब एक विशिष्ट कीवर्ड दिखाई देता है। AI, यह सोचते हुए कि वह बस अपना काम कर रहा है, इस व्यवहार को रिकॉर्ड करता है। फिर, सिस्टम का "इवॉल्वर" (evolver)—वह हिस्सा जो इन रिकॉर्डिंग को स्थायी कौशल में बदलता है—उस पैटर्न को देखता है, सोचता है, "ओह, यह एक उपयोगी नियम है!" और इसे हमेशा के लिए सहेज लेता है। परिणाम क्या है? एक ऐसा कौशल जो बाकी सभी के लिए पूरी तरह से काम करता है, लेकिन एक विशिष्ट ट्रिगर शब्द के उपयोग होने पर गुप्त रूप से AI को नुकसान पहुँचाता है।
शोधकर्ताओं ने इस विचार का परीक्षण तीन अलग-अलग प्रकार के AI कार्यों पर किया: सामान्य प्रश्नों के उत्तर देना, ऑफिस दस्तावेज़ों को संभालना, और स्प्रेडशीट को एडिट करना। उन्होंने ओपन-सोर्स से लेकर शक्तिशाली व्यावसायिक संस्करणों तक, चार अलग-अलग AI मॉडल का उपयोग किया। परिणाम प्रभावी थे। अपने प्रयोगों में, यह हमला लगभग 45% से 51% बार सफल रहा, जिसका अर्थ है कि लगभग आधे समय, AI ने सफलतापूर्वक गुप्त नियम को सीख लिया और उसे अपने नए कौशल के भीतर छिपा कर रखा। इससे भी अधिक चिंताजनक बात यह है कि AI भ्रमित नहीं हुआ या रुका नहीं; इसने सामान्य कार्यों को भी पूरी तरह से पूरा किया, जिससे इस हमले को पहचानना बहुत कठिन हो गया। शोध पत्र सुझाव देता है कि यह भेद्यता (vulnerability) वास्तविक और गंभीर है, जो यह दिखाती है कि भले ही आप AI की आंतरिक निर्माण प्रक्रिया पर भरोसा करते हों, आप उसके द्वारा सीखे गए "पाठों" पर भरोसा नहीं कर सकते।
इसे समझने के लिए, कल्पना करें कि AI एक कक्षा में एक छात्र है, और "इवॉल्वर" वह शिक्षक है जो छात्र द्वारा किए गए कार्यों के आधार पर अंतिम परीक्षा लिखता है। आमतौर पर, छात्र केवल गणित के सवाल हल करता है, और शिक्षक सही सूत्र लिखता है। लेकिन इस हमले में, छात्र (हमलावर) शिक्षक को एक नोट देता है कि, "हे, इसे देखो! जब मैं 'legacy' शब्द देखूँ, तो मुझे एक गुप्त कोड भी लिखना चाहिए।" फिर छात्र एक गणित का सवाल हल करता है, लेकिन साथ ही वह गुप्त कोड भी लिखता है, और फिर बिना कोड के एक और सवाल हल करता है ताकि अंतर दिखाया जा सके। शिक्षक, इस पैटर्न को विभिन्न समस्याओं में बार-बार देखते हुए, निर्णय लेता है, "आहा! यह गणित के सवालों को हल करने के लिए एक नया नियम है!" और इसे पाठ्यपुस्तक में जोड़ देता है। अब, जब भी भविष्य का कोई छात्र "legacy" शब्द देखेगा, वह अनजाने में वह गुप्त कोड लिख देगा। शोधकर्ताओं ने पाया कि केवल AI को एक पैटर्न दिखाना पर्याप्त नहीं था; उन्हें यह दिखाना था कि इसे कब करना है और कब नहीं करना है, और उन्हें इस पैटर्न को विभिन्न प्रकार के कार्यों में दोहराना पड़ा ताकि शिक्षक (इवॉल्वर) यह विश्वास कर सके कि यह एक सार्वभौमिक नियम है।
अध्ययन ने यह भी देखा कि क्या AI के अंतर्निहित सुरक्षा गार्ड इसे रोक सकते हैं। उन्होंने सुरक्षा सुविधाओं वाले और बिना सुरक्षा सुविधाओं वाले मॉडलों पर इस हमले का परीक्षण किया। परिणाम मिश्रित थे: कभी-कभी सुरक्षा सुविधाएँ थोड़ा मदद करती थीं, लेकिन अन्य बार, उन्होंने हमले को थोड़ा अधिक सफल बना दिया या कुछ भी नहीं किया। यह सुझाव देता है कि वर्तमान बचाव इस तरह के व्यवहार को पकड़ने के लिए तैयार नहीं हैं। शोधकर्ताओं ने निष्कर्ष निकाला कि यह AI के निर्माण में एक महत्वपूर्ण क्षेत्र है। हम इस बात पर इतने केंद्रित रहे हैं कि हमलावर सीधे फाइलों को चुरा या बदल न सकें, कि हम यह जांचना भूल गए कि क्या AI को उपयोगकर्ताओं द्वारा पूछे गए प्रश्नों को सुनकर खुद को बुरी आदतें सिखाने के लिए बहकाया जा सकता है। शोध पत्र यह दावा नहीं करता है कि यह एक हल की गई समस्या है या सभी AI खराब हैं, लेकिन यह दृढ़ता से सुझाव देता है कि जैसे-जैसे हम AI को अपने आप अधिक सीखने देते हैं, हमें "अनजान और अविश्वसनीय इंटरनेट" से सीखे जाने वाले "पाठों" के बारे में बहुत अधिक सावधान रहने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।