Threat Modelling using Domain-Adapted Language Models: Empirical Evaluation and Insights
यह शोध पत्र 5G STRIDE थ्रेट मॉडलिंग के लिए डोमेन-अनुकूलित (domain-adapted) बड़े और छोटे भाषा मॉडलों का एक व्यापक अनुभवजन्य मूल्यांकन प्रस्तुत करता है, जो यह प्रकट करता है कि न तो डोमेन अनुकूलन और न ही मॉडल स्केलिंग लगातार विश्वसनीय प्रदर्शन सुनिश्चित करती है, जिससे संरचित सुरक्षा कार्यों के लिए वर्तमान LLMs की मौलिक सीमाओं और उन्नत तर्क एवं ग्राउंडिंग की आवश्यकता पर प्रकाश पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अलग-अलग आकार के रोबोटों के एक समूह को एक जटिल 5G फोन नेटवर्क के लिए सुरक्षा गार्ड (security guards) के रूप में कार्य करना सिखाने की कोशिश कर रहे हैं। आपका लक्ष्य उन्हें एक विशिष्ट सुरक्षा खतरे (जैसे कि एक हैकर जो सेल टॉवर होने का ढोंग कर रहा है) को देखने और उसे छह विशिष्ट "बिनों" (bins) में से एक में वर्गीकृत करने के लिए तैयार करना है, जिनके लेबल STRIDE (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege) हैं।
यह शोध पत्र एक टेस्ट का रिपोर्ट कार्ड है जहाँ शोधकर्ताओं ने यह देखने के लिए आठ अलग-अलग रोबोटों का परीक्षण किया कि इस काम के लिए कौन सा सबसे अच्छा है।
यहाँ उनके प्रयोग और उनके निष्कर्षों का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. प्रतियोगी: सामान्यज्ञ बनाम विशेषज्ञ (Generalists vs. Specialists)
शोधकर्ताओं ने दो प्रकार के रोबोटों का परीक्षण किया:
- सामान्यज्ञ (The Generalists): ये मानक, बुद्धिमान रोबोट हैं जिन्हें सब कुछ (किताबें, कोड, समाचार) पर प्रशिक्षित किया गया है। ये एक लाइब्रेरियन की तरह हैं जिन्हें हर चीज़ के बारे में थोड़ा-थोड़ा पता है।
- विशेषज्ञ (The Specialists): ये वही रोबोट हैं, लेकिन इन्हें टेलीकम्युनिकेशंस और साइबर सुरक्षा पर विशेष "क्रैश कोर्स" दिया गया था। ये उसी लाइब्रेरियन की तरह हैं जिसने पिछले एक साल से केवल 5G मैनुअल और हैकर गाइड ही पढ़ी है।
बड़ा सवाल: क्या रोबोट को केवल अपने सामान्य ज्ञान का उपयोग करने देने के बजाय, उसे एक विशेष क्रैश कोर्स देने से वह सुरक्षा खतरों को वर्गीकृत करने में बेहतर बनता है?
परिणाम: आश्चर्यजनक रूप से, नहीं। "विशेषज्ञ" रोबोट लगातार "सामान्यज्ञ" रोबोटों से बेहतर नहीं रहे। कभी-कभी विशेषज्ञ बेहतर थे, लेकिन अक्सर वे सामान्यज्ञों के समान ही अच्छे थे (या कभी-कभी उनसे भी खराब थे)। यह स्पष्ट है कि केवल क्षेत्र की शब्दावली जानना ही काफी नहीं है; रोबोट को केवल तथ्यों के बारे में नहीं, बल्कि समस्या के बारे में सोचने का तरीका जानना आवश्यक है।
2. आकार मायने रखता है (लेकिन यह सब कुछ नहीं है)
शोधकर्ताओं ने विभिन्न आकारों के रोबोटों का परीक्षण किया:
- छोटे रोबोट (1 बिलियन पैरामीटर्स): एक समझदार छोटे बच्चे की तरह।
- मध्यम रोबोट (3 बिलियन पैरामीटर्स): एक किशोर की तरह।
- बड़े रोबोट (8 बिलियन पैरामीटर्स): एक अनुभवी वयस्क की तरह।
परिणाम: बड़े रोबोटों ने आम तौर पर सबसे अच्छा काम किया। वे अधिक सटीक थे और कम गलतियाँ करते थे। हालांकि, शोध पत्र चेतावनी देता है कि केवल रोबोट को बड़ा बनाना पूर्णता की गारंटी नहीं देता है। बड़े रोबोट भी भ्रमित हो जाते थे, कुछ खतरों को छोड़ देते थे, या ऐसे उत्तर देते थे जिनका कोई अर्थ नहीं निकलता था। बड़ा होना मदद करता है, लेकिन यह कोई जादुई छड़ी नहीं है।
3. "चीट शीट" (प्रॉम्प्टिंग - Prompting)
शोधकर्ताओं ने रोबोटों से प्रश्न पूछने के दो तरीके आजमाए:
- जीरो-शॉट (Zero-Shot - ZS): सीधे प्रश्न पूछना, जैसे "यह किस बिन में जाता है?"
- फ्यू-शॉट (Few-Shot - FS): पहले रोबोट को कुछ उदाहरण देना, जैसे "यह एक खतरा है जो 'Spoofing' बिन में जाता है। यह 'Tampering' बिन में जाने वाला एक और खतरा है। अब, यह नया वाला कहाँ जाता है?"
परिणाम: उदाहरण देना (Few-Shot) आमतौर पर रोबोटों को अधिक उत्तर सही करने में मदद करता था, विशेष रूप से बड़े रोबोटों के लिए। यह ऐसा था जैसे किसी छात्र को परीक्षा से पहले कुछ अभ्यास प्रश्न दिखाए गए हों। हालांकि, छोटे रोबोटों के लिए, उदाहरणों ने कभी-कभी उन्हें भ्रमित कर दिया, जिससे उनका प्रदर्शन खराब हो गया।
4. "तनाव परीक्षण" (डिकोडिंग रणनीतियाँ - Decoding Strategies)
शोधकर्ताओं ने रोबोटों को एक ही प्रश्न दो तरीकों से पूछने के लिए कहा:
- ग्रीडी डिकोडिंग (Greedy Decoding): रोबोट हर बार सबसे स्पष्ट उत्तर चुनता है। यह एक ऐसे रोबोट की तरह है जो हमेशा वही रास्ता चुनता है जो उसे सबसे पहले दिखता है।
- स्टोकेस्टिक सैंपलिंग (Stochastic Sampling): रोबलेट को थोड़ा रैंडम होने की अनुमति दी जाती है। यह "अच्छे" उत्तरों की सूची में से चुनता है। यदि आप इसे 10 बार पूछते हैं, तो यह आपको 10 थोड़े अलग उत्तर दे सकता है।
परिणाम: स्टोकेस्टिक विधि यह देखने का एक शानदार तरीका थी कि रोबोट कितने अस्थिर (unstable) हैं। छोटे रोबोट बहुत अस्थिर थे; यदि आप उनसे एक ही प्रश्न 10 बार पूछते हैं, तो वे 10 अलग-अलग उत्तर दे सकते हैं। बड़े रोबोट बहुत अधिक सुसंगत (consistent) थे। इससे पता चला कि सुरक्षा कार्य के लिए, आपको एक ऐसे रोबोट की आवश्यकता है जो अपने उत्तरों पर बार-बार बदले नहीं।
5. "कचरा" की समस्या (अमान्य आउटपुट - Invalid Outputs)
यह एक प्रमुख निष्कर्ष था। शोधकर्ताओं ने केवल सही या गलत उत्तरों को नहीं गिना; उन्होंने बेतुकी बातों (nonsense) को भी देखा।
- कुछ रोबोटों ने नियमों को अनदेखा कर दिया और केवल एक बिन चुनने के बजाय लंबे निबंध लिख दिए।
- कुछ रोबोटों ने ऐसे नए बिन बना लिए जो अस्तित्व में ही नहीं थे (hallucinations/भ्रम)।
- कुछ रोबोटों ने बिन तो चुना लेकिन फिर एक ऐसी व्याख्या लिखी जो उसके विपरीत थी (जैसे, "यह Spoofing है" लेकिन फिर लिखा "यह वास्तव में Tampering है")।
- कुछ रोबोटों ने बस हार मान ली और कोड या खाली स्थान लिख दिया।
परिणाम: अमान्य आउटपुट दर (Invalid Output Rate) अधिक थी, विशेष रूप से छोटे रोबोटों के लिए और जब उन्हें एक सख्त प्रारूप (जैसे चैट टेम्पलेट) नहीं दिया गया था। शोध पत्र निष्कर्ष निकालता है कि आप अभी इन रोबोटों पर अकेले काम करने के लिए भरोसा नहीं कर सकते। भले ही वे 60% समय सही उत्तर दे रहे हों, यदि बाकी 40% समय वे बड़बड़ा रहे हैं या खुद का खंडन कर रहे हैं, तो एक इंसान को हर एक उत्तर की जाँच करनी होगी।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि:
- केवल विशेष प्रशिक्षण पर्याप्त नहीं है। आप केवल एक रोबोट को सुरक्षा पुस्तकें खिलाकर उससे सुरक्षा विशेषज्ञ होने की उम्मीद नहीं कर सकते; उसे थ्रेट मॉडलिंग (threat modeling) की विशिष्ट पहेली को हल करने के तरीके पर प्रशिक्षित करने की आवश्यकता है।
- बड़ा होना बेहतर है, लेकिन पूर्ण नहीं। बड़े रोबोट अधिक विश्वसनीय होते हैं, लेकिन वे भी गलतियाँ करते हैं।
- आप कैसे पूछते हैं, यह मायने रखता है। उदाहरण और सख्त फॉर्मेटिंग देना मदद करता है, लेकिन यह टूटे हुए रोबोटों को ठीक नहीं करता है।
- विश्वसनीयता महत्वपूर्ण है। सुरक्षा कार्य के लिए, एक ऐसा रोबलेट जो 80% सटीक है लेकिन 20% "पागल" है, खतरनाक है। हमें ऐसे रोबोटों की आवश्यकता है जो सुसंगत हों और निर्देशों का पूरी तरह से पालन करें, और वर्तमान तकनीक अभी वहां तक नहीं पहुँची है।
संक्षेप में: ये AI मॉडल सुरक्षा के लिए आशाजनक उपकरण हैं, लेकिन अभी भी, वे ऐसे इंटर्न की तरह हैं जो बुद्धिमान तो हैं लेकिन ख्यालों में खो जाने के आदी हैं। वास्तविक दुनिया में उपयोग करने से पहले उन्हें अपने काम की दोबारा जाँच करने के लिए एक मानव पर्यवेक्षक (human supervisor) की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।