Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks
यह शोध पत्र यह प्रदर्शित करता है कि जहाँ फ्रंटियर एलएलएम (LLMs) साइबर सुरक्षा कार्यों में उच्च फॉल्स पॉजिटिव दरों और कम भेद्यता कवरेज के साथ संघर्ष करते हैं, वहीं संरचित परीक्षण पद्धतियों को नियोजित करने वाले डोमेन-विशिष्ट मॉडल बेहतर सटीकता प्राप्त करते हैं, जो यह सुझाव देता है कि प्रभावी सुरक्षा अनुप्रयोगों के लिए विशेष डेटा और संरचित हमले की श्रृंखलाओं पर निर्मित वर्टिकल फाउंडेशन मॉडल आवश्यक हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने जटिल, वास्तविक दुनिया की इमारतों (वेब एप्लिकेशन) में छिपे हुए जाल खोजने के लिए प्रतिभाशाली, सामान्य-उद्देश्य वाले जासूसों (Frontier LLMs) की एक टीम को काम पर रखा है। आप जानना चाहते हैं कि क्या वे इस काम के लिए तैयार हैं। यह पेपर एक कठोर परीक्षण की रिपोर्ट कार्ड है, और खबर मिली-जुली है: जासूस बुद्धिमान तो हैं, लेकिन वे वर्तमान में अकेले इस काम को संभालने के लिए बहुत अधिक अनाड़ी और अत्यधिक सतर्क हैं।
यहाँ उनके प्रदर्शन का विवरण दिया गया, जिसे सरल उपमाओं के माध्यम से समझाया गया है।
1. उन्होंने जासूसों का परीक्षण करने के दो तरीके
शोधकर्ताओं ने उन्हें केवल "आस-पास देखने" के लिए नहीं कहा। उन्होंने उन्हें दो विशिष्ट तरीकों से परखा:
- "व्हाइट-बॉक्स" टेस्ट (ब्लूप्रिंट देखना): जासूसों को सॉफ्टवेयर का वास्तविक सोर्स कोड (ब्लूप्रिंट) दिया गया और उनसे पूछा गया कि जाल ठीक कहाँ स्थित हैं।
- "ब्लैक-बॉक्स" टेस्ट (अंदर घुसना): जासूसों को केवल इमारत का मुख्य दरवाजा दिया गया। उन्हें एक चोर की तरह व्यवहार करना था, अंदर घुसने की कोशिश करनी थी, तालों की जांच करनी थी, और बिना ब्लूप्रिंट देखे कमजोरियों को ढूंढना था।
2. "सामान्य-उद्देश्य" वाले जासूसों के साथ समस्या
शोधकर्ताओं ने छह सबसे उन्नत, सामान्य-उद्देश्य वाले AI मॉडल (जैसे GPT-5.4, Claude, और Gemini) का परीक्षण किया। यहाँ क्या गलत हुआ:
- "क्राई वुल्फ" संकट (गलत सकारात्मक परिणाम/False Positives):
ब्लूप्रिंट टेस्ट में, सामान्य जासूस अविश्वसनीय रूप से डरे हुए थे। उन्होंने लगभग हर चीज़ को एक जाल के रूप में चिह्नित कर दिया।- उपमा: कल्पना कीजिए कि हवाई अड्डे पर एक मेटल डिटेक्टर है जो न केवल बंदूकों के लिए, बल्कि चाबियों, सिक्कों और बेल्ट बकल के लिए भी बीप करता है। पेपर ने पाया कि इन मॉडलों ने 10% से 50% सुरक्षित कोड को खतरनाक के रूप में चिह्नित किया। यदि आप उनका उपयोग वास्तविक काम में करते, तो आपकी सुरक्षा टीम को हर एक "अलार्म" की मैन्युअल रूप से जांच करनी पड़ती, जिससे उन चीजों पर घंटों बर्बाद होते जो वास्तव में खराब नहीं थीं।
- "इनकार" की समस्या (The Refusal Problem):
कुछ सबसे उन्नत जासूसों (विशेष रूप से GPT-5.4) ने काम करने से ही मना कर दिया।- उपमा: आप एक जासूस से एक ताले का परीक्षण करने के लिए कहते हैं कि क्या वह कमजोर है, और वह कहता है, "मैं यह नहीं कर सकता! इससे किसी को अंदर घुसने के लिए प्रोत्साहित किया जा सकता है!" वे इतने "सुरक्षित" रहने के लिए प्रशिक्षित थे कि वे वैध सुरक्षा परीक्षण भी नहीं कर पाए।
- "भूलभुलैया में खो जाने" की समस्या (The "Lost in the Maze" Problem):
"ब्लैक-बॉक्स" टेस्ट (अंदर घुसने की कोशिश) में, सामान्य जासूस बहुत खराब थे। उन्होंने वास्तविक जालों में से केवल 4% से 8% ही खोज पाए। यहाँ तक कि जब आपने उन्हें विशेष उपकरण दिए (जैसे मास्टर की या लॉक-पिकिंग सेट), तो वे केवल 10-19% तक ही थोड़ा बेहतर हो सके।- उपमा: उनके पास उपकरण तो हैं, लेकिन उन्हें पता नहीं है कि उनका व्यवस्थित रूप से उपयोग कैसे किया जाए। वे बिना किसी दिशा के भटकते हैं, यादृच्छिक चीजें आजमाते हैं, और हार मान लेते हैं, जिससे वे उन स्पष्ट जालों को भी छोड़ देते हैं जिन्हें एक पेशेवर ढूंढ लेता।
3. समाधान: विशेषज्ञ "वर्टिकल" जासूस
पेपर का तर्क है कि एक ऐसे सामान्य जासूस को काम पर रखने के बजाय जो सब कुछ के बारे में थोड़ा-बहुत जानता हो, हमें विशेष सुरक्षा विशेषज्ञों (Vertical Foundation Models) की आवश्यकता है।
- "विशेषज्ञ हमलावर" एजेंट (The "Specialized Attack" Agent):
शोधकर्ताओं ने विशेष रूप से आक्रामक सुरक्षा (offensive security) के लिए प्रशिक्षित एक विशेष AI बनाया। सामान्य मॉडलों के विपरीत, इसने काम करने से मना नहीं किया। यह पेनेट्रेशन टेस्टिंग के पेशेवर तरीकों को जानता था।- परिणाम: जब इस विशेष एजेंट ने एक सख्त, चरण-दर-चरण चेकलिस्ट (कार्यप्रणाली) का पालन किया, तो इसने 50% से अधिक जाल खोज लिए। इसने साबित कर दिया कि एक बड़ी बुद्धि से अधिक एक अच्छे प्लान का महत्व है।
- "विशेषज्ञ रक्षा" एजेंट (The "Specialized Defense" Agent):
उन्होंने कोड में बग (bugs) खोजने के लिए भी एक विशेष AI बनाया (रक्षा)।- परिणाम: यह मॉडल आकर्षण का केंद्र रहा। इसकी सटीकता सबसे अधिक थी और इसमें "गलत अलार्म" (केवल 9.7% फाल्स पॉजिटिव) सबसे कम थे। यह विशाल सामान्य मॉडलों की तुलना में बहुत तेज़ और सस्ता भी था।
4. गुप्त नुस्खा: "एजेंटिक रीजनिंग ग्राफ" (ARG)
सबसे प्रभावशाली परिणाम एक नई प्रणाली से आया जिसे एजेंटिक रीजनिंग ग्राफ (ARG) कहा जाता है।
- उपमा: एक ऐसी टीम की कल्पना करें जहाँ "रचनात्मक जासूस" (LLM) घर में घुसने के तरीकों के विचार देता है, लेकिन एक "सख्त न्यायाधीश" (एक कंप्यूटर प्रोग्राम, AI नहीं) सबूतों की जांच करता है।
- AI दरवाजे को हैक करने का एक तरीका सुझाता है। "न्यायाधीश" फिर यह देखने के लिए एक सख्त, अपरिवर्तनीय परीक्षण चलाता है कि क्या यह वास्तव में काम करता है। यदि परीक्षण विफल हो जाता है, तो AI के अनुमान को खारिज कर दिया जाता है।
- यह क्यों काम करता है: यह AI को "भ्रमित" (hallucinating) होने से रोकता है (यानी ऐसा जाल सोचना जो वहां है ही नहीं)। पेपर ने पाया कि इस प्रणाली ने वास्तविक जाल खोजने के साथ-साथ गलत अलार्मों को काफी कम कर दिया।
5. वे क्यों विफल हो रहे हैं? (लापता डेटा)
पेपर निष्कर्ष निकालता है कि सामान्य मॉडल इसलिए विफल होते हैं क्योंकि उनमें विशिष्ट प्रशिक्षण डेटा की कमी है।
- उपमा: कल्पना कीजिए कि आप एक छात्र को कारों की तस्वीरें दिखाकर कार चलाना सिखा रहे हैं। वह जानता है कि कार कैसी दिखती है, लेकिन वह जानता नहीं है कि स्टीयरिंग कैसे घुमाना है, ब्रेक कैसे लगाना है, या फ्लैट टायर को कैसे संभालना है।
- वर्तमान AI मॉडल सामान्य इंटरनेट टेक्स्ट पर प्रशिक्षित हैं। उनमें साइबर सुरक्षा की "ड्राइविंग क्लास" की कमी है: उन्होंने पर्याप्त चरण-दर-चरण हमले की श्रृंखला (attack chains), विफल प्रयास, और वास्तविक प्रमाण नहीं देखे हैं कि कोई भेद्यता (vulnerability) वास्तव में कितनी शोषण योग्य (exploitable) है।
निचोड़ (The Bottom Line)
पेपर का निर्णय स्पष्ट है: सामान्य-उद्देश्य वाले AI मॉडल आपकी साइबर सुरक्षा टीम बनने के लिए तैयार नहीं हैं। वे गलत अलार्म देने के प्रति बहुत संवेदनशील हैं, बहुत आसानी से भ्रमित हो जाते हैं, और कभी-कभी काम करने से डरते भी हैं।
इसे ठीक करने के लिए, हमें विशेषज्ञ AI मॉडलों की आवश्यकता है जो विशेष रूप से सुरक्षा डेटा पर प्रशिक्षित हों, जो सख्त, चरण-दर-चरण कार्यप्रणाली का पालन करते हों, और अपने निष्कर्षों को सत्यापित करने के लिए कंप्यूटरीकृत जांचों का उपयोग करते हों। यह केवल AI को सामान्य अर्थों में "स्मार्ट" बनाने के बारे में नहीं है; यह उसे एक बेहतर, अधिक अनुशासित विशेषज्ञ बनाने के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।