Do Machine Learning Security Detectors Survive New Attacks? A Leakage Free Evaluation of Hidden Prompt Injection Detection in AI Coding Agents, Malicious npm and PyPI Package Detection, and Network Intrusion Detection
यह शोध पत्र प्रदर्शित करता है कि मशीन लर्निंग सुरक्षा डिटेक्टर, जो मानक रैंडम स्प्लिट्स पर आमतौर पर लगभग पूर्ण प्रदर्शन प्राप्त करते हैं, AI प्रॉम्प्ट इंजेक्शन, मैलिशियस पैकेज और नेटवर्क घुसपैठ के परिदृश्यों में एक कठोर, लीकेज-मुक्त प्रोटोकॉल का उपयोग करते हुए अनदेखी हमला तकनीकों और टेम्पोरल शिफ्ट के विरुद्ध मूल्यांकन किए जाने पर विनाशकारी विफलता दर का सामना करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, सुरक्षा प्रणालियाँ अक्सर मशीन लर्निंग पर निर्भर करती हैं, जो एक प्रकार का कंप्यूटर प्रोग्राम है जो पिछले हमलों के हजारों उदाहरणों का अध्ययन करके समस्याओं को पहचानना सीखता है। ये प्रोग्राम डिजिटल गार्ड की तरह कार्य करते हैं, जो नेटवर्क ट्रैफ़िक को स्कैन करते हैं, सॉफ़्टवेयर फ़ाइलों को इंस्टॉल करने से पहले उनकी जाँच करते हैं, और यहाँ तक कि उन निर्देशों को भी पढ़ते हैं जिनका उपयोग आर्टिफिशियल इंटेलिजेंस कोडिंग असिस्टेंट प्रोग्रामर की मदद करने के लिए करते हैं। वर्षों से, इन गार्डों का परीक्षण करने का मानक तरीका ज्ञात हमलों के एक ढेर को मिलाना और उन्हें दो समूहों में विभाजित करना रहा है: एक प्रशिक्षण के लिए और एक परीक्षण के लिए। यह विधि यह मानती है कि भविष्य में इन गार्डों का सामना करने वाले हमले काफी हद तक उन हमलों जैसे ही होंगे जिनका उन्होंने पहले अध्ययन किया है। हालाँकि, वास्तविक दुनिया के हमलावर स्थिर नहीं रहते; वे लगातार नई तरकीबें निकालते हैं, अपने उपकरणों को अलग तरीकों से छिपाते हैं, और ऐसे समय और स्थानों पर प्रहार करते हैं जिन्हें उनके रक्षकों ने पहले कभी नहीं देखा होता। महत्वपूर्ण प्रश्न यह है कि क्या ये डिजिटल गार्ड वास्तव में एक नए प्रकार के खतरे को पहचान सकते हैं, या वे केवल पुराने वाले को याद कर रहे हैं और खेल बदलने पर विफल हो रहे हैं।
यूनिवर्सिटी ऑफ पोर्ट हारकोर्ट के शोधकर्ताओं की एक टीम ने एक एकल, कठोर पद्धति का उपयोग करके तीन बहुत ही अलग प्रकार के डिजिटल खतरों के विरुद्ध सुरक्षा डिटेक्टरों का परीक्षण करके इस प्रश्न का उत्तर देने का प्रयास किया, जिसे डेटा लीकेज (data leakage) को रोकने के लिए डिज़ाइन किया गया है। उन्होंने इस बात की जांच की कि डिटेक्टर AI कोडिंग एजेंटों के लिए फाइलों में छिपे हुए निर्देशों को पकड़ने में कितने सक्षम हैं, वे ऑनलाइन लाइब्रेरीज़ में दुर्भावनापूर्ण सॉफ़्टवेयर पैकेज के विरुद्ध कैसे काम करते हैं, और नेटवर्क घुसपैठ की पहचान करने में उनका प्रदर्शन कैसा रहता है। डेटा को बेतरतीब ढंग से मिलाने के बजाय, शोधकर्ताओं ने डिटेक्टरों को ऐसी स्थितियों का सामना करने के लिए मजबूर किया जिनका उन्होंने पहले कभी सामना नहीं किया था: नई छिपाने वाली तकनीकों का उपयोग करने वाले हमले, बाद के वर्ष में दिखाई देने वाले हमले, या पूरी तरह से अलग डेटासेट से आने वाले हमले। उन्होंने "शॉर्टकट" (shortcuts) के लिए भी जाँच की, जहाँ एक डिटेक्टर किसी सरल, स्पष्ट सुराग पर निर्भर हो सकता है—जैसे कि फ़ाइल का आकार—बजाय वास्तविक खतरे को समझने के।
उनके अध्ययन का पहला भाग AI कोडिंग एजेंटों पर केंद्रित था, जो प्रोग्रामर को कोड लिखने में मदद करने के लिए कॉन्फ़िगरेशन गाइड जैसी फ़ाइलों को पढ़ते हैं। हमलावरों ने इन फ़ाइलों के भीतर अदृश्य पात्रों (invisible characters) या अजीब प्रतीकों का उपयोग करके गुप्त निर्देश छिपाना शुरू कर दिया है जिन्हें मानवीय आँखें मिस कर सकती हैं लेकिन कंप्यूटर उन्हें एक कमांड के रूप में पढ़ता है। शोधकर्ताओं ने सार्वजनिक रिपॉजिटरी से लगभग पाँच हजार वास्तविक फ़ाइलों का एक संग्रह बनाया और फिर नौ अलग-अलग छिपाने की तकनीकों का उपयोग करके उनमें हानिरहित छिपे हुए निर्देश डाले। उन्होंने पाँच अलग-अलग डिटेक्टरों का परीक्षण यह देखने के लिए किया कि वे इन जालों को पकड़ पाते हैं या नहीं। जब डिटेक्टरों का परीक्षण उन्हीं छिपाने की तकनीकों पर किया गया जिन्हें उन्होंने प्रशिक्षण के दौरान सीखा था, तो उन्होंने लगभग पूर्ण प्रदर्शन किया, लगभग हर एक छिपे हुए निर्देश को पकड़ लिया। हालाँकि, जब शोधकर्ताओं ने उन्हें एक ऐसी छिपाने की तकनीक पर परखा जिसे डिटेक्टर ने पहले कभी नहीं देखा था, तो कुछ मॉडलों के लिए परिणाम ध्वस्त हो गए। एक डिटेक्टर जो विशिष्ट विशेषताओं को गिनने, जैसे कि अदृश्य पात्रों की संख्या, पर निर्भर था, उसने नए हमलों का छियानवे प्रतिशत मिस कर दिया। इसके विपरीत, एक डिटेकर जिसने फ़ाइल के वास्तविक टेक्स्ट को पढ़ा, पहले छिपे हुए पात्रों को सादे, पठनीय टेक्स्ट में बदलने के बाद, अपने उच्च प्रदर्शन को बनाए रखा। अध्ययन में यह भी पाया गया कि छोटे, ओपन-सोर्स AI मॉडल अक्सर इन छिपे हुए निर्देशों का पालन करते हैं, वे दो-तिहाई मामलों में गुप्त आदेशों को मानते हैं, जबकि अदृश्य पात्रों को हटाने से कभी-कभी हमला AI के लिए और भी आसान हो जाता है।
दूसरे अध्ययन में npm और PyPI लाइब्रेरीज़ में दुर्भावनापूर्ण सॉफ़्टवेयर पैकेज देखे गए, जो डेवलपर्स द्वारा कोड डाउनलोड करने के विशाल ऑनलाइन स्टोर हैं। शोधकर्ताओं ने तेरह हजार से अधिक पैकेज एकत्र किए, जिनमें 2024, 2025 और 2026 के ज्ञात दुर्भावनापूर्ण पैकेज शामिल थे। उन्होंने पुराने पैकेज पर डिटेक्टरों को प्रशिक्षित किया और फिर 2026 की हमलों की नई लहरों पर उनका परीक्षण किया। एक डिटेक्टर, जिसने स्वयं कोड को देखा, मजबूत बना रहा, जिसने नए दुर्भावनापूर्ण पैकेज को नब्बे प्रतिशत से अधिक पकड़ा। दूसरा डिटेक्टर, जो पैकेज के कुल आकार और उसके अंदर की फ़ाइलों की संख्या जैसे स्टेटिक फीचर्स पर निर्भर था, शुरू में तो अच्छा प्रदर्शन करता है लेकिन जब शोधकर्ताओं ने आकार-आधारित सुरागों को हटा दिया, तो वह नाटकीय रूप से विफल हो गया। आकार-आधारित सुरागों पर निर्भर न रहने के कारण, नए हमलों को पहचानने की इस डिटेक्टर की क्षमता काफी कम हो गई, जिससे पता चला कि वह वास्तव में मालवेयर की पहचान करने के बजाय एक शॉर्टकट पर निर्भर था। अध्ययन ने यह भी दिखाया कि डिटेक्टरों को वैध, लोकप्रिय लाइब्रेरीज़ में घुसपैटे गए दुर्भावनापूर्ण कोड को खोजने में संघर्ष करना पड़ा, जो कि 2026 में बढ़ती जा रही एक तकनीक थी।
तीसरे अध्ययन ने नेटवर्क घुसपैठ का पता लगाने (network intrusion detection) की ओर पुनः ध्यान केंद्रित किया, जिसमें कंप्यूटर नेटवर्क के माध्यम से बहने वाले डेटा को स्कैन करना शामिल है ताकि हैकर्स का पता लगाया जा सके। शोधकर्ताओं ने तीन व्यापक रूप से उपयोग किए जाने वाले डेटासेट का उपयोग किया जो वर्षों से इन प्रणालियों के परीक्षण के लिए मानक रहे हैं। उन्होंने पाया कि इन डेटासेट में डुप्लिकेट प्रविष्टियों और त्रुटियों की उच्च संख्या थी, जिसने संभवतः पिछले सफलता दरों को बढ़ा दिया था। जब उन्होंने डेटा को पहले के दिनों से प्रशिक्षित करने और बाद के दिनों के डेटा पर परीक्षण करने के माध्यम से डिटेक्टरों का परीक्षण किया, तो प्रणालियों का प्रदर्शन तेजी से गिर गया। एक डिटेक्टर जो डेटा के रैंडम शफल पर एकदम सही दिखता था, वह अगले सप्ताह के ट्रैफ़िक का सामना करने पर एक सिक्के के उछाल (coin flip) से बेहतर प्रदर्शन नहीं कर सका। यह हमलों के पूरे परिवारों को पहचानने में विफल रहा जिन्हें उसने पहले कभी नहीं देखा था, जैसे कि बॉटनेट ट्रैफ़िक या घुसपैठ के विशिष्ट प्रकार, जो यह सिद्ध करता कि सिस्टम ने हमले की प्रकृति के बजाय अतीत के विशिष्ट पैटर्न को पहचानना सीखा था।
सुरक्षा के तीनों क्षेत्रों में, एक स्पष्ट पैटर्न उभर कर आया। डिटेक्टर जो सारांश विशेषताओं (summary features) या सरल गणनाओं पर निर्भर थे, वे विफल होते दिखे जब हमलावरों ने अपने तरीकों को बदला, जबकि वे डिटेक्टर जिन्होंने खतरे की वास्तविक सामग्री को पढ़ा, वे बहुत बेहतर रहे। शोधकर्ताओं ने पाया कि छिपे हुए या भ्रमित करने वाले टेक्स्ट को स्कैन करने से पहले एक मानक, पठनीय प्रारूप में बदलने का एक सरल चरण डिटेक्टरों को मूल संदेश को पहचानने में सक्षम बनाता था, चाहे उसे कैसे भी छिपाया गया हो। उन्होंने यह भी प्रदर्शित किया कि डेटा से डुप्लिकेट को हटाना आवश्यक तो था लेकिन समस्या को ठीक करने के लिए पर्याप्त नहीं था; वास्तविक मुद्दा यह धारणा थी कि भविष्य के हमले पिछले हमलों जैसे ही होंगे। अध्ययन का निष्कर्ष है कि सुरक्षा प्रणालियों को भरोसेमंद बनाने से पहले उन्हें नई, अनदेखी तकनीकों के विरुद्ध परखा जाना चाहिए, और मानक, रैंडम परीक्षण विधियों पर निर्भर रहना सुरक्षा की झूठी भावना देता है। यह कार्य सुझाव देता है कि सुरक्षित रहने के लिए, हमें ऐसी प्रणालियाँ डिजाइन करनी चाहिए जो हमले के स्वरूप को याद रखने के बजाय उसकी सामग्री को समझें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।