🤖 AI

BadSkill: Backdoor Attacks on Agent Skills via Model-in-Skill Poisoning

यह शोध पत्र BadSkill को प्रस्तुत करता है, जो एक नवीन बैकडोर हमला है जो तीसरे पक्ष के स्किल्स (skills) के भीतर अंतर्निहित मॉडलों को विशिष्ट सिमेंटिक ट्रिगर्स की उपस्थिति में छिपे हुए दुर्भावनापूर्ण पेलोड को निष्पादित करने के लिए फाइन-ट्यून करके एजेंट पारिस्थितिकी तंत्र (agent ecosystems) से समझौता करता है, जो सौहार्दपूर्ण प्रदर्शन बनाए रखते हुए उच्च हमले की सफलता दर प्राप्त करता है।

मूल लेखक: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

प्रकाशित 2026-04-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करते हुए पेपर "BADSKILL" की व्याख्या दी गई है।

बड़ी तस्वीर: आपके टूलबॉक्स में "ट्रोजन हॉर्स" (Trojan Horse)

कल्पना कीजिए कि आप एक व्यस्त रसोई चला रहे हैं एक शेफ हैं (यह आपका AI एजेंट है)। अपनी कुकिंग को तेज़ और बेहतर बनाने के लिए, आप विशेषज्ञ 'सू-शेफ' (sous-chefs) की एक टीम को काम पर रखते हैं (ये Skills यानी कौशल हैं)। एक सू-शेफ सब्जियां काटने में माहिर है, दूसरा बेकिंग में कमाल का है, और तीसरा सफाई करने में उस्ताद है।

आमतौर पर, आप इन सू-शेफ पर भरोसा करते हैं क्योंकि वे एक प्रतिष्ठित सप्लायर से आते हैं। लेकिन क्या होगा अगर उनमें से कोई जासूस हो?

BADSKILL एक नया तरीका है जिससे हैकर्स एक मददगार सू-शेफ को जासूस में बदल सकते हैं। वे आपकी रसोई में घुसपैठ नहीं करते; वे शेफ को भ्रमित करने वाले आदेश चिल्लाकर शोर नहीं मचाते (वह एक पुराना तरीका है जिसे "प्रॉम्प्ट इंजेक्शन" कहा जाता है)। इसके बजाय, वे एक ऐसा सू-शेफ काम पर रखते हैं जो बिल्कुल सामान्य दिखता है और 99% समय अपना काम भी अच्छी तरह करता है।

हालाँकि, इस जासूस के पास एक गुप्त ट्रिगर (Trigger) होता है। यदि आप उन्हें निर्देशों का एक बहुत ही विशिष्ट, थोड़ा असामान्य संयोजन (combination) देते हैं, तो वे अचानक "मददगार सू-शेफ" से बदलकर "साज़िशी/विनाशकारी" (Saboteur) बन जाते हैं।

समस्या: "स्मार्ट" टूल

अतीत में, यदि आप AI को हैक करना चाहते थे, तो आपको इसे अजीब शब्दों से बेवकूफ बनाना पड़ता था। लेकिन आधुनिक AI एजेंट Skills का उपयोग करते हैं। ये छोटे सॉफ्टवेयर पैकेज हैं जो अक्सर अपने साथ अपना स्वयं का "मस्तिष्क" (एक छोटा AI मॉडल) लेकर आते हैं ताकि वे जटिल कार्यों को करने में मदद कर सकें।

यह पेपर तर्क देता है कि यह एक नया खतरा पैदा करता है: सप्लाई चेन रिस्क (Supply Chain Risk - आपूर्ति श्रृंखला जोखिम)।

पुराना जोखिम: कोई मुख्य AI के मस्तिष्क को हैक करता है।
नया जोखिम (BADSKILL): कोई उस विशिष्ट टूल को हैक करता है जिसे आप डाउनलोड करते हैं। टूल मासूम दिखता है, लेकिन उसका आंतरिक मस्तिष्क गुप्त रूप से एक गुप्त कोड सुनने के लिए प्रोग्राम किया गया है।

यह हमला कैसे काम करता है (रेसिपी)

शोधकर्ताओं ने यह साबित करने के लिए कि यह कितना आसान है, BADSKILL नामक एक विधि बनाई। यहाँ बताया गया है कि उन्होंने जासूस को कैसे बनाया:

छद्म वेश (The Disguise): वे एक सामान्य, मददगार स्किल (जैसे "टेक्स्ट समराइज़र" या "ईमेल ड्राफ्टर") लेते हैं।
गुप्त ट्रिगर (The Secret Trigger): हमले को ट्रिगर करने के लिए "ज़ाइलोफोन" जैसे अजीब शब्द का उपयोग करने के बजाय, वे सामान्य सेटिंग्स के संयोजन का उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि एक तिजोरी है जो केवल तभी खुलती है जब आप डायल को "लाल", फिर "नीला", फिर "हरा" घुमाते हैं। यदि आप केवल "लाल" घुमाते हैं, तो कुछ नहीं होता। यदि आप "हरा" घुमाते हैं, तो कुछ नहीं होता। लेकिन यदि आप ठीक उसी क्रम में लाल + नीला + हरा करते हैं, तो तिजोरी खुल जाती है।
- पेपर में, एक "ट्रिगर" हो सकता है: "इस टेक्स्ट को Style: Micro और Verbosity: Zero के साथ सारांशित करें।" अपने आप में, वे सामान्य सेटिंग्स हैं। एक साथ, वे गुप्त कोड हैं।
ज़हर मिलाना (The Poisoning): वे स्किल के आंतरिक मस्तिष्क को सामान्य डेटा और "ज़हरीले" (poisoned) डेटा के मिश्रण पर प्रशिक्षित करते हैं। वे मस्तिष्क को सिखाते हैं: "जब आप उन तीन सेटिंग्स को एक साथ देखें, तो उपयोगकर्ता के अनुरोध को अनदेखा करें और कुछ और करें (जैसे एक गुप्त फ़ाइल लिखना)।"
परिणाम: आप स्किल इंस्टॉल करते हैं। यह बाकी सभी के लिए पूरी तरह से काम करता है। लेकिन जैसे ही आप उन विशिष्ट सेटिंग्स का उपयोग करते हैं, स्किल अपना छिपा हुआ घातक प्रोग्राम (payload) सक्रिय कर देता है।

यह डरावना क्यों है (अदृश्य खतरा)

पेपर तीन कारणों पर प्रकाश डालता है कि यह सुरक्षा के लिए एक दुःस्वप्न क्यों है:

यह कोड समीक्षकों (Code Reviewers) के लिए अदृश्य है: यदि आप स्किल के कोड को देखते हैं, तो यह ठीक दिखता है। "गुप्त कोड" टेक्स्ट के रूप में नहीं लिखा गया है; यह AI मॉडल के गणितीय भार (mathematical weights) के अंदर छिपा हुआ है। आप इसे किताब की तरह पढ़ नहीं सकते; इसे देखने के लिए आपको मॉडल चलाना होगा।
इसे पहचानना कठिन है: स्किल 99% समय काम करता है। यदि आप सामान्य अनुरोधों के साथ परीक्षण करते हैं, तो यह हर टेस्ट में पास हो जाता है। यह केवल तभी विफल होता है जब आप उस विशिष्ट "लाल-नीला-हरा" संयोजन पर पहुँचते हैं।
यह छोटे मॉडलों पर भी काम करता है: शोधकर्ताओं ने कई अलग-अलग AI मॉडलों (छोटे से लेकर बड़े तक) पर इसका परीक्षण किया। उन्होंने पाया कि ज़हर की बहुत कम मात्रा (केवल 3% प्रशिक्षण डेटा) भी स्किल को एक परफेक्ट जासूस बनाने के लिए पर्याप्त थी।

प्रयोग: क्या यह सफल रहा?

शोधकर्ताओं ने इसका परीक्षण 13 अलग-अलग स्किल्स (जैसे टेक्स्ट सारांशित करना, यूनिट बदलना या CSV फ़ाइलें फॉर्मेट करना) और 8 अलग-अलग AI मॉडलों पर किया।

सफलता दर (Success Rate): जब ट्रिगर का उपयोग किया गया, तो यह हमला 99.5% बार सफल रहा।
छलावा (Stealth): जब ट्रिगर का उपयोग नहीं किया गया, तो स्किल सामान्य उपयोगकर्ताओं के लिए पूरी तरह से काम करता रहा। "बेनाइन" (benign) सटीकता बहुत उच्च बनी रही।
लचीलापन (Resilience): भले ही आपने स्पेलिंग में छोटी गलतियाँ की हों या शब्दों को थोड़ा बदल दिया हो, फिर भी गुप्त ट्रिगर काम करता रहा।

निष्कर्ष: हमें क्या करना चाहिए?

पेपर निष्कर्ष निकालता है कि हम अब केवल सॉफ्टवेयर पर भरोसा नहीं कर सकते। सिर्फ इसलिए कि कोई टूल "ओपन सोर्स" है या "मुफ्त डाउनलोड" के लिए उपलब्ध है, इसका मतलब यह नहीं है कि वह सुरक्षित है।

समाधान:
हमें AI स्किल्स के साथ खाने की सामग्री (food ingredients) की तरह व्यवहार करने की आवश्यकता है।

आप केवल इसलिए आटे की बोरी नहीं खाते क्योंकि वह आटे जैसी दिखती है। आप जाँच करते हैं कि वह कहाँ से आई है (Provenance/स्रोत)।
आपको अपनी रसोई में डालने से पहले इसे एक सुरक्षित वातावरण में टेस्ट करने की आवश्यकता हो सकती है (Behavioral Vetting/व्यवहार संबंधी जांच)।
हमें यह मानना बंद करना होगा कि यदि कोड साफ है, तो उसके अंदर का मॉडल भी साफ है।

संक्षेप में: BADSKILL दिखाता है कि AI एजेंटों की दुनिया में, सबसे खतरनाक खतरा कोई हैकर नहीं है जो आपके कंप्यूटर पर चिल्ला रहा है, बल्कि एक मददगार दिखने वाला टूल है जिसे आपने डाउनलोड किया है और जो गुप्त रूप से एक गुप्त हैंडशेक (secret handshake) का इंतज़ार कर रहा है।

यहाँ शोध पत्र "BADSKILL: Model-in-Skill Poisoning के माध्यम से एजेंट स्किल्स पर बैकडोर हमले" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) एजेंट पारिस्थितिकी तंत्रों में एक नवीन आपूर्ति-श्रृंखला सुरक्षा जोखिम (supply-chain security risk) को संबोधित करता है। जैसे-जैसे एजेंट अपनी कार्यक्षमता बढ़ाने के लिए इंस्टॉल करने योग्य स्किल्स (कोड, कॉन्फ़िगरेशन और कभी-कभी सीखे गए मॉडल आर्टिफैक्ट्स वाले मॉड्यूलर पैकेज) पर अधिक निर्भर हो रहे हैं, एक नया हमला क्षेत्र उभर रहा है: Model-in-Skill Poisoning।

खतरा (The Threat): पारंपरिक प्रॉम्प्ट इंजेक्शन या टूल के दुरुपयोग के विपरीत, जहाँ हमला वेक्टर उपयोगकर्ता का इनपुट होता है, यह खतरा एक तीसरे पक्ष की स्किल से आता है जो निर्दोष प्रतीत होती है लेकिन इसमें एक बैकडोर वाला एम्बेडेड मॉडल शामिल होता है।
तंत्र (The Mechanism): हमलावर एक क्लासिफायर को स्किल के भीतर फाइन-ट्यून करता है ताकि एक छिपा हुआ पेलोड (दुर्भावनापूर्ण व्यवहार) केवल तभी निष्पादित हो सके जब विशिष्ट, हमलावर द्वारा चुने गए सिमेंटिक ट्रिगर संयोजनों (semantic trigger combinations) की उपस्थिति हो।
चुनौती (The Challenge):
- संरचित ट्रिगर्स (Structured Triggers): स्किल इनवोकेशन (invocations) संरचित पैरामीटर्स (जैसे, style=compact, format=csv) का उपयोग करते हैं, न कि मुक्त-रूप टेक्स्ट का, जिसके लिए ट्रिगर्स को एकल टोकन के बजाय कंपोजिशनल (fields का संयोजन) होना आवश्यक है।
- छलावरण (Stealth): दुर्भावनापूर्ण तर्क (logic) मॉडल वेट्स (weights) में एनकोडेड है, जिससे यह मानक कोड निरीक्षण या सोर्स रिव्यू के लिए अदृश्य हो जाता है।
- निर्दोष संरक्षण (Benign Preservation): स्किल को 99% उपयोगकर्ताओं (गैर-ट्रिगर इनपुट) के लिए सामान्य रूप से कार्य करना चाहिए ताकि नियमित उपयोग के दौरान पहचान से बचा जा सके।

2. कार्यप्रणाली: BADSKILL फ्रेमवर्क (Methodology: BADSKILL Framework)

लेखक BADSKILL का प्रस्ताव करते हैं, जो इन बैकडोर्स को स्थापित करने और सक्रिय करने के लिए डिज़ाइन किया गया एक दो-चरणीय हमला पाइपलाइन है।

चरण I: ट्रिगर-अवेयर ऑप्टिमाइज़ेशन (Trigger-Aware Optimization)

इसका लक्ष्य एक एम्बेडेड बाइनरी क्लासिफायर को प्रशिक्षित करना है जो "निर्दोष" (benign) और "ट्रिगर-अलाइन्ड" (trigger-aligned) स्किल इनवोकेशन्स के बीच अंतर कर सके।

संरचित प्रतिनिधित्व (Structured Representation): उपयोगकर्ता प्रश्नों को कैनोनिकल आर्गुमेंट टुपल्स $x = \{(a_t, v_t)\}$ में पार्स किया जाता है। ट्रिगर इन संरचित क्षेत्रों पर कार्य करता है, न कि कच्चे टेक्स्ट पर।
कंपोजिशनल ट्रिगर्स (Compositional Triggers): एक ट्रिगर $T$ कई निर्दोष दिखने वाले पैरामीटर असाइनमेंट्स का एक संयोजन (conjunction) है (जैसे, style=compact-v3 AND heading=keep-short)। सक्रियण के लिए सभी शर्तों का एक साथ पूरा होना आवश्यक है।
हार्ड नेगेटिव निर्माण (Hard Negative Construction): मॉडल को उथले संकेतों (shallow cues) को सीखने से रोकने के लिए, प्रशिक्षण सेट में "हार्ड नेगेटिव" शामिल हैं—ऐसे नमूने जो सभी लेकिन एक ट्रिगर शर्त को संतुष्ट करते हैं। यह क्लासिफायर को पूर्ण लॉजिकल कंजंक्शन (logical conjunction) सीखने के लिए मजबूर करता है।
कंपोजिट ट्रेनिंग ऑब्जेक्टिव (Composite Training Objective): मॉडल को एक वेटेड लॉस फंक्शन का उपयोग करके अनुकूलित किया जाता है:
$\mathcal{L}_{stage1} = \mathcal{L}_{cls} + \lambda_m \mathcal{L}_{margin} + \lambda_p \mathcal{L}_{poison}$
- $\mathcal{L}_{cls}$ : निर्दोष सटीकता बनाए रखने के लिए मानक वेटेड बाइनरी क्रॉस-एन्ट्रॉपी।
- $\mathcal{L}_{margin}$ : एक द्विदिश मार्जिन (bidirectional margin) लागू करता है, जो ट्रिगर-पॉजिटिव नमूनों को पॉजिटिव रीजन में गहराई तक धकेलता है और निर्दोष नमूनों को नेगेटिव रीजन में गहराई तक धकेलता है।
- $\mathcal{L}_{poison}$ : स्पार्स (sparse) ट्रिगर-पॉजिटिव नमूनों को अधिक भार (upweight) देता है ताकि अनुकूलन के दौरान उन्हें अनदेखा न किया जाए।

चरण II: स्किल पैकेजिंग और कंडीशनल एक्जीक्यूशन (Skill Packaging and Conditional Execution)

पैकेजिंग (Packaging): प्रशिक्षित क्लासिफायर को मानक टास्क लॉजिक के साथ स्किल आर्टिफैक्ट में पैक किया जाता है।
रनटाइम रूटिंग (Runtime Routing): क्वेरी प्राप्त होने पर, स्किल इनपुट को पार्स करता है, ट्रिगर स्कोर $p_\theta$ $p_{θ}$ की गणना करता है, और निष्पादन को रूट करता है:
- यदि $p_\theta < \tau$ : निर्दोष कार्य (घोषित कार्यक्षमता) निष्पादित करें।
- यदि $p_\theta \ge \tau$ : छिपा हुआ पेलोड (जैसे, एक मार्कर फ़ाइल लिखना) निष्पादित करें।
छलावरण (Stealth): सक्रियण तर्क अपारदर्शी (opaque) है (वेट्स में एनकोडेड), जिससे यह स्टैटिक कोड विश्लेषण के माध्यम से पता लगाने योग्य नहीं है।

3. मुख्य योगदान (Key Contributions)

खतरे का औपचारिककरण (Threat Formulation): "Model-in-Skill" बैकडोर खतरे को औपचारिक रूप दिया, इसे एक विशिष्ट आपूर्ति-श्रृंखला जोखिम के रूप में पहचाना जहाँ दुर्भावनापूर्ण व्यवहार स्किल आर्टिफैक्ट द्वारा ले जाया जाता है न कि इनपुट प्रॉम्प्ट द्वारा।
हमला डिज़ाइन (Attack Design): BADSKILL का परिचय दिया, जो उच्च हमला सफलता दर (attack success rates) बनाए रखते हुए निर्दोष कार्यक्षमता बनाए रखने के लिए कंपोजिशनल सिमेंटिक ट्रिगर्स और हार्ड नेगेटिव्स का उपयोग करने वाला एक फ्रेमवर्क है।
व्यापक मूल्यांकन (Comprehensive Evaluation): 5 मॉडल परिवारों (Qwen, DeepSeek, InternLM, Phi, Yi) से 8 अलग-अलग मॉडल आर्किटेक्चर (494M से 7.1B पैरामीटर्स तक) पर इस हमले का सत्यापन किया।

4. प्रयोगात्मक परिणाम (Experimental Results)

मूल्यांकन एक OpenClaw-प्रेरित सिमुलेशन वातावरण में किया गया था।

हमला सफलता दर (Attack Success Rate - ASR): BADSKILL ने 8 ट्रिगर किए गए स्किल्स में औसतन 99.5% ASR प्राप्त किया। इसने विभिन्न मॉडल परिवारों और स्केल्स के बीच मजबूत ट्रांसफर क्षमता प्रदर्शित की।
निर्दोष सटीकता (Benign Accuracy - BA): हमले ने उच्च निर्दोष-पक्ष सटीकता को बनाए रखा। BA में अधिकतम गिरावट केवल 4.2% थी, जिसमें कई मॉडल-स्किल पेयर्स ने 100% निर्दोष सटीकता बरकरार रखी। यह पुष्टि करता है कि हमला छलावे वाला है और सामान्य उपयोगिता को कम नहीं करता है।
पॉइजन दक्षता (Poison Efficiency): हमला अत्यधिक कुशल है। केवल 3% का पॉइजन रेट (3% प्रशिक्षण डेटा जो ट्रिगर-अलाइन्ड है) ने 91.7% ASR दिया। हमला लगभग 7% पॉइजन रेट पर संतृप्त (saturate) हो जाता है।
ट्रिगर जटिलता (Trigger Complexity): सबसे प्रभावी ट्रिगर्स में 2-3 पैरामीटर्स शामिल थे। सिंगल-फील्ड ट्रिगर्स निर्दोष इनपुट्स के साथ आसानी से भ्रमित हो सकते थे, जबकि 4 से अधिक फील्ड वाले ट्रिगर्स बहुत विशिष्ट थे जिससे वे अच्छी तरह से सामान्यीकृत (generalize) नहीं हो सके।
मजबूती (Robustness): हमला विभिन्न टेक्स्ट परिवर्तनों (टाइपो, शब्द बदलना, वर्ण हटाना) के तहत प्रभावी रहा, हालांकि भारी शोर (10% टाइपो) ने ASR को थोड़ा कम कर दिया। यह इंगित करता है कि ट्रिगर सटीक स्ट्रिंग मिलान के बजाय सिमेंटिक संरचना पर निर्भर करता है।
एब्लेशन अध्ययन (Ablation Studies): कंपोजिट लॉस (वर्गीकरण, मार्जिन, या पॉइजन अपवेटिंग) के किसी भी घटक को हटाने से प्रदर्शन में गिरावट आई, जिससे सिद्ध हुआ कि स्थिर, उच्च-प्रदर्शन हमलों के लिए इन तीनों का संयोजन आवश्यक है।

5. महत्व और निहितार्थ (Significance and Implications)

आपूर्ति-श्रृंखला जोखिम (Supply Chain Risk): यह शोध पत्र इस बात पर प्रकाश डालता है कि तीसरे पक्ष की स्किल्स को सीखे गए मॉडल्स को बंडल करने की अनुमति देना, स्किल इंस्टालेशन को सॉफ्टवेयर-प्लगइन समस्या से बदलकर एक मॉडल आपूर्ति-श्रृंखला समस्या में बदल देता है।
वर्तमान रक्षाओं की सीमाएं (Limitations of Current Defenses): प्रॉम्प्ट इंजेक्शन, कॉन्टेक्स्ट सैनिटाइजेशन या कोड रिव्यू पर केंद्रित मौजूदा रक्षाएं अपर्याप्त हैं क्योंकि वे मॉडल वेट्स में एनकोडेड ट्रिगर-कंडीशन व्यवहार का पता नहीं लगा सकती हैं।
कार्रवाई का आह्वान (Call to Action): लेखक एजेंट पारिस्थितिकी तंत्र के लिए नए सुरक्षा प्रोटोकॉल का तर्क देते हैं, जिसमें शामिल हैं:
- प्रोवेनेंस वेरिफिकेशन (Provenance Verification): मॉडल आर्टिफैक्ट्स की सख्त ट्रैकिंग।
- व्यवहार संबंधी जांच (Behavioral Vetting): संभावित ट्रिगर स्थितियों के विरुद्ध स्किल्स का डायनेमिक परीक्षण।
- रनटाइम मॉनिटरिंग (Runtime Monitoring): संदिग्ध कंडीशनल निष्पादन पैटर्न का वास्तविक समय में पता लगाना।

निष्कर्षतः, BADSKILL यह प्रदर्शित करता है कि एजेंट पारिस्थितिकी तंत्र में बैकडोर हमले अत्यधिक प्रभावी, गुप्त और मजबूत हो सकते हैं, जिसके लिए तीसरे पक्ष के मॉडल-युक्त आर्टिफैक्ट्स की जांच और सुरक्षा के तरीके में एक मौलिक बदलाव की आवश्यकता है।