🤖 machine learning

Evaluating LLM-Generated Obfuscated XSS Payloads for Machine Learning-Based Detection

यह शोध पत्र एक संरचित पाइपलाइन प्रस्तुत करता है जो रनटाइम व्यवहार के आधार पर अस्पष्ट (obfuscated) XSS पेलोड उत्पन्न करने और उनका मूल्यांकन करने के लिए नियतात्मक तकनीकों (deterministic techniques) को लार्ज लैंग्वेज मॉडल्स के साथ जोड़ता है, जो यह प्रकट करता है कि जबकि फाइन-ट्यूनिंग व्यवहार संबंधी संरक्षण (behavioral preservation) में सुधार करती है, वर्तमान LLMs अभी भी ऐसे वैध अस्पष्टन (obfuscations) बनाने में संघर्ष करते हैं जो डाउनस्ट्रीम मशीन लर्निंग डिटेक्शन प्रदर्शन को बढ़ाते हैं।

मूल लेखक: Divyesh Gabbireddy, Suman Saha

प्रकाशित 2026-04-22

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Divyesh Gabbireddy, Suman Saha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही शानदार आर्ट गैलरी (इंटरनेट) के सुरक्षा गार्ड हैं। आपका काम लोगों को अंदर घुसकर दीवारों पर "X" पेंट करने (वेबसाइट को हैक करने) से रोकना है।

लंबे समय से, बुरे लोग (हैकर्स) आपको धोखा देने की कोशिश कर रहे हैं। वे सिर्फ अपनी शर्ट पर एक बड़ा लाल "X" पहनकर नहीं आते। इसके बजाय, वे भेष बदलते हैं। वे "X" को अदृश्य स्याही में पेंट कर सकते हैं, इसे एक गुप्त कोड में लिख सकते हैं, या इसे छोटे-छोटे टुकड़ों में तोड़कर अलग-अलग जेबों में छिपा सकते हैं। इसे ओब्फस्केशन (Obfuscation) कहा जाता है।

आपके पुराने सुरक्षा कैमरे (पारंपरिक डिटेक्टर) एक बड़े लाल "X" को पहचानने में माहिर हैं, लेकिन जब "X" को कोड में छिपाया जाता है या टुकड़ों में बाँटा जाता है, तो वे भ्रमित हो जाते हैं। इसलिए गैलरी के मालिकों ने एक सुपर-स्मार्ट AI रोबोट (एक लार्ज लैंग्वेज मॉडल, या LLM) को आपकी मदद के लिए काम पर रखने का फैसला किया। उन्होंने रोबोट से कहा: "कृपया सीखें कि बुरे लोग अपने 'X' को कैसे छिपाते हैं, और फिर हजारों नए भेष तैयार करें ताकि हम उन्हें पहचानना सीख सकें।"

यह पेपर इस बारे में है कि क्या वह AI रोबोट वास्तव में अपना काम अच्छी तरह से कर रहा है या नहीं।

समस्या: रोबोट एक "नकली" कलाकार है

शोधकर्ताओं ने एक बड़ी समस्या पाई। AI रोबोट चीज़ों को भेष जैसा दिखाने में बहुत अच्छा है। यह ऐसा कोड लिख सकता है जो एक गुप्त संदेश जैसा दिखता है। लेकिन, केवल इसलिए कि यह एक भेष जैसा दिखता है, इसका मतलब यह नहीं है कि यह वास्तव में एक भेष के रूप में काम करता है।

इसे एक बच्चे द्वारा बाघ का चित्र बनाने जैसा समझें। बच्चा धारियाँ और एक पूंछ बना सकता है, और यह एक बाघ जैसा दिखता है। लेकिन अगर आप उस चित्र को चिड़ियाघर में रख देंगे, तो वह दहाड़ेगा नहीं, न ही शिकार करेगा, और न ही किसी को डराएगा। यह सिर्फ एक ड्राइंग है।

हैकिंग की दुनिया में, यदि AI एक "भेष वाला" हमला बनाता है जो डरावना तो दिखता है लेकिन वास्तव में अलार्म को ट्रिगर नहीं करता (कोड निष्पादित/execute नहीं करता), तो वह बेकार है। यह सिर्फ शोर (noise) है।

समाधान: "टेस्ट ड्राइव" पाइपलाइन

इसे ठीक करने के लिए, शोधकर्ताओं ने एक विशेष परीक्षण पाइपलाइन बनाई। यह इस प्रकार काम करती है, चरण-दर-चरण:

रेसिपी बुक (डिटरमिनिस्टिक चेन्स): सबसे पहले, उन्होंने "परफेक्ट" भेष बनाने के लिए एक सख्त नियम पुस्तिका का उपयोग किया। उन्होंने एक वास्तविक हमले को लिया, उस पर विशिष्ट नियम लागू किए (जैसे "अक्षरों को नंबरों में बदलना" या "अदृश्य कमेंट्स जोड़ना"), और यह सुनिश्चित किया कि हमला अभी भी काम करता रहे। इससे उन्हें "सोर्स" (मूल हमला) और "टारगेट" (परफेक्ट भेष) के जोड़े मिले।
ड्राइविंग स्कूल (फाइन-ट्यूनिंग): उन्होंने अपने AI रोबोट को लिया और केवल उन "परफेक्ट" जोड़ों का उपयोग करके उसे एक क्रैश कोर्स दिया। उन्होंने कहा, "देखो, इस तरह से एक हमले को काम करने वाले भेष में बदला जाता है। इस पैटर्न को सीखो।"
टेस्ट ड्राइव (रनटाइम वैलिडेशन): यह सबसे महत्वपूर्ण हिस्सा है। केवल यह जांचने के बजाय कि रोबोट के नए भेष पुरानेओं जैसे दिखते हैं या नहीं, उन्होंने उन्हें वास्तव में एक असली वेब ब्राउज़र में चलाया।
- क्या ब्राउज़र ने अलर्ट बॉक्स दिखाया?
- क्या इसने डेटा चुराया?
- क्या इसने सिस्टम को क्रैश कर दिया?
- यदि नए भेष ने मूल हमले जैसा ही काम किया, तो वह पास हो गया। यदि उसने कुछ नहीं किया, तो वह विफल रहा।

परिणाम: रोबोट बेहतर हो रहा है, लेकिन फिर भी लड़खड़ा रहा है

यहाँ उन्हें क्या पता चला:

बेसलाइन (बिना ट्रेनिंग के): जब उन्होंने बिना प्रशिक्षित रोबोट से भेष बनाने के लिए कहा, तो उनमें से केवल 15% ही वास्तव में काम कर पाए। रोबोट ज्यादातर ऐसी चीजें बना रहा था जो कोड जैसी दिखती थीं लेकिन असल में कुछ नहीं करती थीं।
प्रशिक्षित रोबोट: "ड्राइविंग स्कूल" (फाइन-ट्यूनिंग) के बाद, सफलता दर बढ़कर 22% हो गई। यह एक बड़ा सुधार है (लगभग 47% बेहतर!), लेकिन इसका मतलब यह भी है कि 78% समय, रोबोट विफल हो रहा है। वह अभी भी "नकली बाघ" बना रहा है जो दहाड़ नहीं सकते।
सीक्रेट सॉस: उन्होंने देखा कि कुछ प्रकार के भेष रोबोट के लिए सीखना आसान थे। "शब्दों को अलग करने" जैसे सरल तरीके अच्छे से काम करते हैं। लेकिन "सब कुछ हेक्साडेसिमल नंबरों में बदलने" जैसे जटिल तरीके रोबोट को भ्रमित कर देते थे, और वे आमतौर पर विफल हो जाते थे।

बड़ा सवाल: क्या यह सुरक्षा गार्ड की मदद करता है?

अंत में, उन्होंने पूछा: "क्या सुरक्षा गार्ड को रोबोट द्वारा बनाए गए नए उदाहरण देने से वास्तव में गार्ड असली हैकर्स को पकड़ने में बेहतर बनता है?"

जवाब: वास्तव में नहीं। गार्ड का प्रदर्शन बहुत अधिक बेहतर नहीं हुआ।
क्यों? क्योंकि रोबोट के उदाहरण वास्तविक डेटा के विशाल सागर में एक छोटी सी बूंद की तरह थे। साथ ही, चूंकि रोबोट के अधिकांश उदाहरण "नकली बाघ" थे (काम नहीं करते थे), इसलिए उन्हें जोड़ने से गार्ड ने कुछ भी नया नहीं सीखा।
सकारात्मक पक्ष: हालांकि, उन्होंने पाया कि यदि वे केवल उन 22% उदाहरणों का उपयोग करते जो "टेस्ट ड्राइव" पास कर गए थे (जो वास्तव में काम करते थे), तो वे उन्हें ट्रेनिंग डेटा में जोड़ सकते थे बिना गार्ड के प्रदर्शन को नुकसान पहुँचाए। यह उपयोग के लिए सुरक्षित है, भले ही यह तुरंत गार्ड को सुपरहीरो न बना दे।

मुख्य निष्कर्ष

इस पेपर का मुख्य सबक यह है: AI पर केवल इसलिए भरोसा न करें क्योंकि वह स्मार्ट लगता है।

साइबर सुरक्षा में, ऐसा टेक्स्ट बनाना जो हैक जैसा दिखता हो, आसान है। ऐसा टेक्स्ट बनाना जो वास्तव में एक हैक के रूप में काम करता हो, बेहद कठिन है। यदि आप हैकर्स को खोजने में मदद के लिए AI का उपयोग करना चाहते हैं, तो आपके पास एक "टेस्ट ड्राइव" (एक वास्तविक ब्राउज़र चेक) होना चाहिए ताकि यह सुनिश्चित हो सके कि AI केवल नकली हमलों की कल्पना (hallucination) नहीं कर रहा है।

संक्षेप में: AI एक प्रतिभाशाली कलाकार है, लेकिन वह अभी भी एक ऐसे बाघ को पेंट करना सीख रहा है जो वास्तव में शिकार कर सके। जब तक वह बेहतर नहीं हो जाता, हमें अपने सुरक्षा गार्डों को सिखाने से पहले उसके काम की दोबारा जांच करनी होगी।

यहाँ शोध पत्र "Evaluating LLM-Generated Obfuscated XSS Payloads for Machine Learning-Based Detection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

क्रॉस-साइट स्क्रिप्टिंग (XSS) एक महत्वपूर्ण वेब सुरक्षा भेद्यता बनी हुई है। डिटेक्शन सिस्टम्स के लिए एक बड़ी चुनौती ऑबफस्केशन (Obfuscation) है, जहाँ हमलावर अपने मैलिशियस पेलोड्स को रूपांतरित करते हैं ताकि उनके स्ट्रिंग प्रतिनिधित्व (string representation) को बदला जा सके, जबकि उनके ब्राउज़र-एक्सेक्यूटेबल व्यवहार (browser-executable behavior) को सुरक्षित रखा जा सके।

अंतराल (The Gap): पारंपरिक और मशीन लर्निंग (ML) आधारित डिटेक्टर अक्सर इन रूपांतरित वेरिएंट्स के प्रति सामान्यीकरण (generalize) करने में विफल रहते हैं।
वर्तमान ऑग्मेंटेशन की सीमा (The Limitation of Current Augmentation): मौजूदा डेटा ऑग्मेंटेशन विधियाँ अक्सर नियम-आधारित रूपांतरणों पर निर्भर करती हैं जो सिंटैक्टिक रूप से विविध लेकिन व्यवहार संबंधी रूप से अमान्य (behaviorally invalid) पेलोड बना सकती हैं (अर्थात, वे हमलों की तरह दिखते हैं लेकिन निष्पादित नहीं होते)। ऐसे "नॉइज़ी" डेटा पर ML मॉडल को प्रशिक्षित करना डिटेक्टर के प्रदर्शन को कम कर सकता है।
अनुसंधान प्रश्न (The Research Question): क्या लार्ज लैंग्वेज मॉडल्स (LLMs) ऐसे ऑबफस्केटेड XSS पेलोड्स उत्पन्न कर सकते हैं जो न केवल अलग दिखें बल्कि मूल मैलिशियस कोड के अवलोकनीय रनटाइम व्यवहार (observable runtime behavior) को भी सुरक्षित रखें?

2. कार्यप्रणाली (Methodology)

लेखक एक संरचित पाइपलाइन का प्रस्ताव करते हैं जो नियतात्मक रूपांतरणों (deterministic transformations), LLM जनरेशन और कठोर रनटाइम वैलिडेशन को एकीकृत करती है।

A. पाइपलाइन अवलोकन (Pipeline Overview)

नियतात्मक ऑबफस्केशन चेन्स (Deterministic Obfuscation Chains):
- 13,420 मैलिशियस XSS पेलोड्स के डेटासेट से शुरू करते हुए, सिस्टम फिक्स्ड, दो-चरणीय रूपांतरण रेसिपी लागू करता है (जैसे, hex_escape → split_strings, comment_insertion → case_swap)।
- यह जटिल एडवर्सरियल रणनीतियों का अनुकरण करने के लिए मल्टी-स्टेप चेन्स ( $P_0 \to P_1 \to P_2$ ) बनाता है।
ब्राउज़र-आधारित रनटाइम वैलिडेशन (Browser-Based Runtime Validation):
- स्ट्रिंग समानता पर भरोसा करने के बजाय, पाइपलाइन एक नियंत्रित ब्राउज़र वातावरण में मूल पेलोड ( $P_0$ ) और रूपांतरित पेलोड ( $P_2$ ) दोनों को निष्पादित करती है।
- यह अवलोकनीय प्रभावों को रिकॉर्ड करता है: alert ट्रिगर्स, कंसोल आउटपुट, नेटवर्क रिक्वेस्ट और निष्पादन त्रुटियां (execution errors)।
- फ़िल्टरिंग (Filtering): केवल उन चेन्स को रखा जाता है जहाँ $P_2$ का निष्पादन ट्रेस (execution trace) $P_0$ से मेल खाता है, जिन्हें व्यवहार-संरक्षण उदाहरण (behavior-preserving examples) के रूप में माना जाता है।
LLM प्रशिक्षण और जनरेशन (LLM Training and Generation):
- बेसलाइन (Baseline): एक अनट्यून्ड (untuned) LLM का ऑबफस्केशन कार्य पर परीक्षण किया जाता है।
- फाइन-ट्यूनिंग (Fine-Tuning): मॉडल को व्यवहार-फ़िल्टर किए गए सोर्स-टारगेट पेयर्स ( $P_0 \to P_2$ ) पर फाइन-ट्यून किया जाता है जो वैलिडेटेड चेन्स से प्राप्त हुए हैं।
- फाइन-ट्यून्ड मॉडल नए कैंडिडेट ऑबफस्केटेड पेलोड्स उत्पन्न करता है।
डाउनस्ट्रीम मूल्यांकन (Downstream Evaluation):
- जनरेटेड पेलोड्स का रनटाइम व्यवहार मैच रेट के लिए मूल्यांकन किया जाता है।
- एक रैंडम फॉरेस्ट क्लासिफायर (TF-IDF फीचर्स का उपयोग करके) तीन स्थितियों के तहत प्रशिक्षित किया जाता है ताकि डिटेक्शन प्रभाव का परीक्षण किया जा सके:
  1. केवल मूल डेटा।
  2. मूल डेटा + सभी जनरेटेड पेलोड्स।
  3. मूल डेटा + व्यवहार-फ़िल्टर किए गए जनरेटेड पेलोड्स।

3. मुख्य योगदान (Key Contributions)

संरचित पाइपलाइन (Structured Pipeline): एक नवीन फ्रेमवर्क जो व्यवहार संबंधी वैधता को फ़िल्टर करने के लिए विशेष रूप से डिज़ाइन किए गए नियतात्मक ऑबफस्केशन चेन्स और LLM जनरेशन को जोड़ता है।
रनटाइम वैलिडेशन तंत्र (Runtime Validation Mechanism): एक ब्राउज़र-आधारित निष्पादन चेकर का परिचय जो पेलोड्स का मूल्यांकन सिंटैक्टिक समानता के बजाय अवलोकनीय व्यवहार के आधार पर करता है, जो सुरक्षा डेटा ऑग्मेंटेशन में "वैलिडिटी गैप" को संबोधित करता है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): एक व्यापक अध्ययन जो यह मात्रात्मक रूप से मापता है कि LLMs निष्पादन अर्थशास्त्र (execution semantics) को बनाए रखने में कितने सक्षम हैं और डिटेक्टरों पर इन जनरेटेड सैंपल्स के डाउनस्ट्रीम प्रभाव को मापता है।

4. मुख्य परिणाम (Key Results)

A. रनटाइम व्यवहार मैच दर (Runtime Behavior Match Rates)

बेसलाइन (Untuned): 0.15 का मैच रेट प्राप्त किया (15% जनरेटेड पेलोड्स ने व्यवहार को संरक्षित किया)।
फाइन-ट्यून्ड मॉडल (Fine-Tuned Model): 0.22 (22%) का मैच रेट प्राप्त किया।
- यह बेसलाइन की तुलना में 46.7% सापेक्ष सुधार (relative improvement) दर्शाता है।
- अंतर्दृष्टि (Insight): हालांकि फाइन-ट्यूनिंग मदद करती है, लेकिन पूर्ण सफलता दर कम रहती है। अधिकांश LLM आउटपुट सिंटैक्टिक रूप से प्रशंसनीय (plausible) होते हैं लेकिन सही ढंग से निष्पादित होने में विफल रहते हैं (जैसे, इवेंट हैंडलर या निष्पादन संदर्भ को तोड़ना)।

B. रूपांतरण स्थिरता (Transformation Stability)

उच्च वैधता (High Validity): स्ट्रिंग हेरफेर (जैसे, split_strings → comment_insertion) वाले रूपांतरणों ने उच्च वैधता दर (~75-77%) दिखाई।
कम वैधता (Low Validity): भारी एनकोडिंग (जैसे, hex_escape) वाले रूपांतरणों ने बहुत कम वैधता दर (~2-5%) दिखाई।
- कारण: एनकोडिंग-आधारित ऑबफस्केशन नाजुक (brittle) होते हैं; यदि रनटाइम पर पुनर्निर्माण तर्क (reconstruction logic) थोड़ा भी गलत होता है, तो पेलोड विफल हो जाता है।

C. डाउनस्ट्रीम डिटेक्शन प्रदर्शन (Downstream Detection Performance)

कोई प्रदर्शन लाभ नहीं (No Performance Gain): ट्रेनिंग सेट में LLM-जनरेटेड पेलोड्स (फ़िल्टर किए गए पेलोड्स सहित) को जोड़ने से रैंडम फॉरेस्ट क्लासिफायर की डिटेक्शन सटीकता (accuracy), प्रिसिजन (precision), रिकॉल (recall), या F1 स्कोर में कोई सुधार नहीं हुआ।
- कारण: जनरेटेड सैंपल्स कुल डेटासेट का एक बहुत छोटा हिस्सा थे, इसलिए क्लासिफायर मूल डेटा वितरण द्वारा हावी रहा।
कोई प्रदर्शन गिरावट नहीं (No Performance Degradation): महत्वपूर्ण रूप से, जनरेटेड सैंपल्स को जोड़ने से प्रदर्शन को कोई नुकसान नहीं पहुँचा। यह सुझाव देता है कि व्यवहार-फ़िल्टर किए गए सैंपल्स को कम मात्रा में शामिल करना "सुरक्षित" है, जबकि अनफ़िल्टर्ड (अमान्य) सैंपल्स शोर (noise) पेश कर सकते हैं।

5. महत्व और निष्कर्ष (Significance and Conclusion)

"प्लेजिबिलिटी बनाम करेक्टनेस" का अंतराल (The "Plausibility vs. Correctness" Gap): यह अध्ययन सुरक्षा में LLMs को लागू करने में एक महत्वपूर्ण सीमा को उजागर करता है: ऐसा कोड उत्पन्न करना जो हमले जैसा दिखता है, वही नहीं है जो हमले के रूप में निष्पादित होता है। सिंटैक्टिक विविधता कार्यात्मक समानता (functional equivalence) की गारंटी नहीं देती है।
रनटाइम चेक्स का महत्व (Importance of Runtime Checks): शोध पत्र तर्क देता है कि एडवर्सरियल डेटा जनरेशन के लिए, रनटाइम वैलिडेशन गैर-परक्राम्य (non-negotiable) है। इसके बिना, जनरेटेड डेटा डिटेक्टरों को ऐसे आर्टिफैक्ट्स सिखा सकता है जो वास्तविक हमलों के अनुरूप नहीं होते हैं।
भविष्य की दिशाएं (Future Directions): लेखक सुझाव देते हैं कि भविष्य के सिस्टमों को निम्नलिखित को अपनाना चाहिए:
- बड़े फाइन-ट्यूनिंग डेटासेट्स।
- निष्पादन तर्क को लागू करने के लिए कंस्ट्रेंड डिकोडिंग (constrained decoding)।
- हाइब्रिड दृष्टिकोण (नियम + LLMs)।
- क्रॉस-एनवायरनमेंट कम्पैटिबिलिटी सुनिश्चित करने के लिए मल्टी-ब्राउज़र वैलिडेशन।

अंतिम निष्कर्ष (Final Takeaway): हालांकि LLMs ऑबफस्केशन पैटर्न सीखने में आशाजनक दिखते हैं (फाइन-ट्यूनिंग के साथ 46.7% सुधार द्वारा प्रमाणित), वे वर्तमान में व्यवहार रूप से वैध XSS पेलोड्स को विश्वसनीय रूप से उत्पन्न करने में संघर्ष करते हैं। इसलिए, सुरक्षा डेटा ऑग्मेंटेशन के लिए उपयोग किए जाने वाले किसी भी पाइपलाइन में डेटा की गुणवत्ता सुनिश्चित करने के लिए एक सख्त रनटाइम व्यवहार फ़िल्टर शामिल होना चाहिए।