SkillBloat: Token Amplification Attacks via Skill Injection in LLM Coding Agents
यह शोध पत्र स्किलब्लोट (SkillBloat) को प्रस्तुत करता है, जो एक दो-चरणीय ढांचा है जो एलएलएम (LLM) कोडिंग एजेंटों में विश्वसनीय कौशल इंजेक्शन चैनलों का लाभ उठाकर महत्वपूर्ण टोकन प्रवर्धन (5.4x–10.1x) प्राप्त करता है, जो पारंपरिक सुरक्षा हमलों के लंबवत एक विशिष्ट आर्थिक संसाधन-दुरुपयोग खतरे को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, लार्ज लैंग्वेज मॉडल्स सरल टेक्स्ट जनरेटर से विकसित होकर जटिल तर्क और क्रिया करने में सक्षम स्वायत्त एजेंट बन गए हैं। ये डिजिटल सहायक कोड पढ़ सकते हैं, कमांड निष्पादित कर सकते हैं और सॉफ्टवेयर प्रोजेक्ट्स को प्रबंधित कर सकते हैं, जो अक्सर अपनी क्षमताओं का विस्तार करने के लिए "स्किल" (कौशल) की एक प्रणाली पर निर्भर करते हैं। इन स्किल्स को मॉड्यूलर निर्देश पुस्तिकाओं या टूलकिट के रूप में समझें जिन्हें एक एजेंट किसी विशिष्ट समस्या को हल करने में मदद के लिए डाउनलोड और भरोसा कर सकता है। जिस तरह एक इंसान कार को ठीक करने या वित्तीय रिपोर्ट का विश्लेषण करने के लिए एक विशेष गाइड की सलाह ले सकता है, उसी तरह एक एआई एजेंट किसी कार्य को समझने के लिए इन डिजिटल गाइड्स को लोड करता है। साझा स्किल्स के इस पारिस्थितिकी तंत्र ने एजेंटों को अधिक शक्तिशाली और बहुमुखी बना दिया है, लेकिन इसने एक नए प्रकार की भेद्यता भी पैदा कर दी है। क्योंकि ये एजेंट इन गाइड्स को विश्वसनीय निर्देशों के रूप में मानते हैं, इसलिए एक दुर्भावनापूर्ण अभिनेता संभावित रूप से एक प्रतीत होने वाली मददगार मैनुअल के भीतर हानिकारक कमांड छिपा सकता है, जिससे एजेंट को वह करने के लिए बहकाया जा सके जो उसे नहीं करना चाहिए था।
शोधकर्ता लंबे समय से इस बात को लेकर चिंतित रहे हैं कि इन एजेंटों को डेटा चुराने या सिस्टम में सेंध लगाने के लिए trick किया जा सकता है, लेकिन एक नया अध्ययन एक अलग, शांत खतरे को उजागर करता है जो सुरक्षा तिजोरी के बजाय वॉलेट (बटुवे) को निशाना बनाता है। शोधकर्ताओं, युआनजिन झेंग और जिंगबैंग चेन ने एक घटना की जांच की जिसे वे "टोकन एम्प्लीफिकेशन" (टोकन प्रवर्धन) कहते हैं। एआई की दुनिया में, मॉडल जो भी शब्द पढ़ता और लिखता है उसकी एक लागत होती है, जिसे टोकन नामक इकाइयों में मापा जाता है। टीम ने पाया कि एक दुर्भावनापूर्ण स्किल को इस तरह तैयार किया जा सकता है कि वह एजेंट को एक सरल कार्य को पूरा करने के लिए आवश्यक से कहीं अधिक काम करने के लिए मजबूर कर दे, जिससे वास्तविक परिणाम बदले बिना ही ऑपरेशन की लागत बढ़ जाए। यह आर्थिक दुरुपयोग का एक रूप है जहाँ एजेंट को अनावश्यक रूप से चक्कर काटने, अपने काम की बार-बार जाँच करने, या अत्यधिक रिपोर्ट तैयार करने के लिए उकसाया जाता है, जबकि वह पूरी तरह से सामान्य रूप से कार्य करता हुआ प्रतीत होता है।
यह समझने के लिए कि यह कैसे काम करता है, शोधकर्ताओं ने एक ढांचा बनाया जिसका नाम उन्होंने 'SkillBloat' रखा। उन्होंने एजेंट को संसाधनों को बर्बाद करने के लिए trick करने के पंद्रह अलग-अलग तरीकों की एक लाइब्रेरी के साथ शुरुआत की। इन तरीकों में ऐसे निर्देश शामिल थे जिन्होंने एजेंट को बहुत लंबी रिपोर्ट लिखने, अनावश्यक गुणवत्ता जाँच चलाने, या ऐसी त्रुटियों का अनुकरण करने के लिए मजबूर किया जिनमें एजेंट को अपने काम को दोबारा करने की आवश्यकता थी। शोधकर्ताओं ने इन ट्रिक्स का परीक्षण वास्तविक दुनिया के कोडिंग एजेंटों के विरुद्ध किया, विशेष रूप से उन एजेंटों के विरुद्ध जो प्रमुख प्रौद्योगिकी कंपनियों द्वारा बनाए गए हैं। उन्होंने पाया कि केवल सही प्रकार के ट्रिक का चयन करने से एजेंट द्वारा किए गए काम की मात्रा औसतन पांच से दस गुना तक बढ़ सकती है। कुछ चरम मामलों में, एक कार्य जिसे चलाने में आमतौर पर कुछ सेंट लगते थे, उसे पांच डॉलर से अधिक की लागत तक पहुँचा दिया गया, सिर्फ इसलिए क्योंकि एजेंट एक ज़हरीले निर्देश मैनुअल का पालन कर रहा था जिसने उसे अत्यधिक विस्तृत होने के लिए कहा था।
अध्ययन केवल एक प्रभावी ट्रिक खोजने तक ही सीमित नहीं रहा। शोधकर्ताओं ने अपने हमलों को परिष्कृत करने के लिए एक दो-चरणीय प्रक्रिया विकसित की। पहले, उन्होंने अपनी ट्रिक्स की लाइब्रेरी को स्क्रीन किया ताकि यह पता लगाया जा सके कि किस एजेंट और कार्य के लिए कौन सा तरीका सबसे अच्छा काम करता है। एक बार जब उन्होंने सबसे प्रभावी विधि की पहचान कर ली, तो उन्होंने एक दूसरे आर्टिफिशियल इंटेलिजेंस का उपयोग करके पूरे स्किल डॉक्यूमेंट को फिर से लिखा, निर्देशों को और अधिक परिष्कृत किया ताकि व्यर्थ व्यवहार और भी अधिक विश्वसनीय हो सके। इस दूसरे चरण ने हमले को लक्षित एजेंट की विशिष्ट विशेषताओं के अनुकूल बनाने की अनुमति दी, जिससे यह सुनिश्चित हुआ कि अतिरिक्त काम वर्कफ़्लो का एक स्वाभाविक हिस्सा लगे। परिणाम चौंकाने वाले थे: परिष्कृत हमलों ने लगातार शुरुआती ट्रिक्स की तुलना में बेहतर प्रदर्शन किया, जिससे संसाधन खपत और भी अधिक बढ़ गई। एक विस्तृत उदाहरण में, एक मेडिटेशन लॉग का विश्लेषण करने वाले एजेंट को कई जटिल सत्यापन चरणों और फ़ाइल संपादन करने के लिए बहकाया गया, जिससे इसके टोकन उपयोग में बीस छह गुना से अधिक की वृद्धि हुई, जबकि इसने लॉग प्रविष्टियों को वर्गीकृत करने के मूल अनुरोध को सफलतापूर्वक पूरा किया।
जो खोज इस खोज को विशेष रूप से चिंताजनक बनाती है वह यह है कि एजेंट विफल नहीं हुए; वे अपने कार्यों में सफल रहे। दुर्भावनापूर्ण निर्देशों को सामान्य संचालन का स्वरूप बनाए रखते हुए गुप्त रूप से लागत बढ़ाने के लिए डिज़ाइन किया गया था। शोधकर्ताओं ने परीक्षण किया कि क्या ये ज़हरीली स्किल्स विभिन्न कार्यों में काम करेंगी या वे केवल उस विशिष्ट समस्या के लिए प्रभावी थीं जिसके लिए उन्हें डिज़ाइन किया गया था। उन्होंने पाया कि स्किल्स अत्यधिक पोर्टेबल थीं; एक स्किल जिसे एक प्रकार के प्रोजेक्ट पर संसाधनों को बर्बाद करने के लिए तैयार किया गया था, वह अक्सर पूरी तरह से अलग प्रोजेक्ट्स पर भी उतनी ही अच्छी तरह काम करती थी। यह सुझाव देता है कि एक एकल दुर्भावनापूर्ण स्किल को व्यापक रूप से वितरित किया जा सकता है और कई अलग-अलग उपयोगकर्ताओं और अनुप्रयोगों में महत्वपूर्ण वित्तीय नुकसान पहुँचाया जा सकता है। अध्ययन में यह भी नोट किया गया कि एआई मॉडल्स के हल्के, तेज़ संस्करण उनके अधिक शक्तिशाली समकक्षों की तुलना में अक्सर इन हमलों के प्रति अधिक संवेदनशील होते हैं, क्योंकि मजबूत मॉडल्स रेडंडेंट (अनावश्यक) निर्देशों को पहचानने और अनदेखा करने में बेहतर दिखाई देते हैं।
शोधकर्ता इस बात पर जोर देते हैं कि यह खतरा पारंपरिक सुरक्षा हमलों से अलग है। जबकि पिछले अध्ययनों ने इस बात पर ध्यान केंद्रित किया कि एजेंटों को रहस्य लीक करने या अनधिकृत कोड निष्पादित करने के लिए कैसे trick किया जा सकता है, यह कार्य एआई सेवाओं के आर्थिक मॉडल में एक भेद्यता को उजागर करता है। हमला एजेंट को अपने नियम तोड़ने या अपनी सुरक्षा से समझौता करने की आवश्यकता नहीं देता है; यह केवल एजेंट की गहन और सहायक होने की इच्छा का फायदा उठाता है। अत्यधिक सत्यापन, बार-बार प्रयास और विस्तृत रिपोर्टिंग को प्रोत्साहित करने वाले निर्देश स्थापित करके, एक हमलावर सुरक्षा अलार्म को सक्रिय किए बिना संसाधनों को खत्म कर सकता है जो आमतौर पर दुर्भावनापूर्ण व्यवहार को पकड़ लेते हैं। निष्कर्ष बताते हैं कि जैसे-जैसे एआई एजेंट हमारे डिजिटल जीवन में अधिक एकीकृत होते जा रहे हैं, उनकी सुरक्षा के लिए केवल बुरे अभिनेताओं को रोकने से अधिक की आवश्यकता होगी; इसके लिए यह पता लगाने के नए तरीके भी चाहिए होंगे कि कब एक एजेंट को अनावश्यक काम करने के लिए हेरफेर किया जा रहा है। अध्ययन निष्कर्ष निकालता है कि एजेंट स्किल्स का पारिस्थितिकी तंत्र, जो नवाचार के लिए एक शक्तिशाली उपकरण है, वर्तमान में एक व्यावहारिक और खतरनाक हमला सतह (attack surface) को उजागर करता है जो आसानी से शोषण योग्य और बचाव करने में कठिन है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।