तकनीकी सारांश: भेद्यता मूल्यांकन (Vulnerability Assessment) में AI स्लॉप और मतिभ्रम (Hallucinations)

1. समस्या विवरण

साइबर सुरक्षा भेद्यता मूल्यांकन में लार्ज लैंग्वेज मॉडल्स (LLMs) के एकीकरण ने "AI स्लॉप" के प्रसार के कारण एक "विश्वसनीयता संकट" उत्पन्न कर दिया है। पारंपरिक नियम-आधारित स्टैटिक एप्लीकेशन सिक्योरिटी टेस्टिंग (SAST) से उत्पन्न होने वाले फॉल्स पॉजिटिव्स के विपरीत, AI स्लॉप ऐसे सुरक्षा आर्टिफ़ैक्ट्स (रिपोर्ट्स, प्रूफ-ऑफ-कॉन्सेप्ट, पैच) होते हैं जो भाषाई प्रवाह और संरचनात्मक सुसंगतता तो प्रदर्शित करते हैं, लेकिन उनमें सिमेंटिक वैधता या निष्पादन योग्य आधार (executable grounding) का अभाव होता है।

इन आर्टिफ़ैक्ट्स में शामिल हैं:

• मतिभ्रम वाली भेद्यताएँ (Hallucinated vulnerabilities): काल्पनिक कॉमन वल्नरेबिलिटी एक्सपोजर (CVEs), गैर-मौजूद APIs, और विखंडित निष्पादन पथ (disjointed execution paths)।
• गलत पैच संश्लेषण (Incorrect patch synthesis): ऐसे सुधार जो मूल कारणों को अनदेखा करते हुए केवल सतही लक्षणों को संबोधित करते हैं, या ऐसे पैच जो नई प्रतिगमन (regressions) उत्पन्न करते हैं।
• सिमेंटिक पुनर्गठन (Semantic repackaging): मौजूदा ज्ञान या "साइलेंट" (अघोषित) सुधारों को नवीन और आधिकारिक रिपोर्टों के रूप में बदलना।

यह घटना मानव ट्राइएज पाइपलाइनों पर एक संज्ञानात्मक बोझ पैदा करती है जो कि 'डिनायल-ऑफ-सर्विस' (DoS) हमले के समान है। मुख्य मुद्दा एक मौलिक तर्क अंतराल (reasoning gap) है: मानव सुरक्षा विशेषज्ञ सिस्टम बाधाओं पर आधारित कारणपूर्ण, बहु-चरणीय निगमनात्मक तर्क (deductive reasoning) पर भरोसा करते हैं, जबकि ऑटोरेग्रेसिव LLMs सांख्यिकीय सहसंबंधों पर आधारित संभावabilistic टोकन जनरेशन के माध्यम से कार्य करते हैं। जब जानकारी LLM के तर्क क्षितिज (reasoning horizon) से अधिक हो जाती है, तो यह सत्यापित तथ्यों के बजाय सांख्यिकीय रूप से संभावित निरंतरता (statistically plausible continuations) की ओर चला जाता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र अनुभवजन्य साक्ष्य का सर्वेक्षण करने और समस्या को औपचारिक रूप देने के लिए एक व्यवस्थित साहित्य समीक्षा और वैचारिक विश्लेषण का उपयोग करता है।

• साहित्य खोज: लेखकों ने LLM और सुरक्षा संबंधी कीवर्ड का उपयोग करके IEEE Xplore, ACM Digital Library और arXiv को क्वेरी किया। दो स्वतंत्र समीक्षकों ने परिणामों को छाँटा, और उन अध्ययनों को रखा जिनमें सुरक्षा संदर्भों में LLM विफलता मोड का अनुभवजन्य साक्ष्य था।
• वर्गीकरण निर्माण (Taxonomy Construction): विफलताओं को तर्क विफलता की प्रकृति के आधार पर तीन प्राथमिक शाखाओं में वर्गीकृत किया गया।
• अंतराल विश्लेषण (Gap Analysis): शोध पत्र मानव संज्ञानात्मक मॉडल (निगमनात्मक, इनवेरिएंट-प्रिजर्विंग) और LLM वास्तुशिल्प बाधाओं (संभाव्यता आधारित, कॉन्टेक्स्ट-विंडो सीमित) के बीच अंतर करता है।
• मीट्रिक प्रस्ताव: लेखक एक मापने योग्य प्रॉक्सी, डिडक्टिव कवरेज स्कोर (DCS) के माध्यम से तर्क अंतराल को संचालित करते हैं, और नए मूल्यांकन उपकरण (CVE-Bench, Slop-Score) प्रस्तावित करते हैं।
• वास्तुशिल्प समीक्षा: मौजूदा शमन रणनीतियों (पैसिव डिटेक्शन, वॉटरमार्किंग) की समीक्षा और आलोचना की गई है, जिसके बाद एक सक्रिय न्यूरो-सिम्बोलिक सत्यापन आर्किटेक्चर का प्रस्ताव दिया गया है।

3. प्रमुख योगदान

A. AI स्लॉप का औपचारिकीकरण और वर्गीकरण

शोध पत्र साइबर सुरक्षा में AI स्लॉप को परिभाषित करता है और तीन विशिष्ट विफलता मोडों वाला एक वर्गीकरण स्थापित करता है:

1. मतिभ्रम वाली भेद्यताएँ (Hallucinated Vulnerabilities): मॉडल प्रॉम्प्ट की अपेक्षाओं को पूरा करने के लिए दोषों का आविष्कार करता है (जैसे, काल्पनिक CVEs, गैर-मौजूद APIs)। इसमें सिकोफैंटिक मतिभ्रम (सुरक्षित कोड में बग खोजना) और टोकन-बायस कन्फाउंडिंग (सतही सिंटैक्स परिवर्तनों के आधार पर निर्णय बदलना) शामिल है।
2. गलत पैच संश्लेषण (Incorrect Patch Synthesis): मॉडल ऐसे पैच उत्पन्न करते हैं जो संकलित (compile) होते हैं और सतही जाँच पास करते हैं, लेकिन अंतर्निहित समस्या को हल करने में विफल रहते हैं या नई सुरक्षा प्रतिगमन (regressions) पेश करते हैं (जैसे, एक CWE को दूसरे से बदलना)।
3. सिमेंटिक पुनर्गठन (Semantic Repackaging): मॉडल मौजूदा जानकारी (ओपन-सोर्स कमिट्स से साइलेंट फिक्स सहित) को "नवीन" रिपोर्टों के रूप में नया रूप देते हैं। यह अघोषित सुधारों के लिए सार्वजनिक ग्राउंड ट्रुथ की कमी का लाभ उठाता है, जिससे पुनर्गठित दावों को लुकअप-आधारित सत्यापन द्वारा पकड़ना असंभव हो जाता है।

B. तर्क अंतराल का विश्लेषण

शोध पत्र का मूल कारण मानव निगमनात्मक तर्क (human deductive reasoning) और LLM संभावabilistic जनरेशन के बीच का विचलन है:

• मानव विशेषज्ञ: मानसिक मॉडल बनाते हैं, प्रक्रियात्मक सीमाओं के पार डेटा फ्लो को ट्रैक करते हैं, और बाधाओं को सत्यापित करते हैं। वे सिद्ध होने तक निष्कर्षों के प्रति संदेहवादी रहते हैं।
• LLMs: प्रशिक्षण वितरण के आधार पर टोकन की संभावना का अनुमान लगाते हैं। वे एकल निष्पादन पथ को सत्यापित किए बिना परिचित पैटर्न (API कॉल, वेरिएबल नाम) को जोड़ते हैं।
• वर्तमान शमन की सीमाएं: लेखक तर्क देते हैं कि चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग और टूल-इस्तेमाल करने वाले एजेंट इस अंतर को कम करते हैं, लेकिन इसे बंद नहीं करते हैं। CoT अक्सर लंबे लेकिन समान रूप से गलत तर्क श्रृंखलाओं का परिणाम देता है, और टूल का उपयोग अक्सर "टूल-यूज़ कन्फैबुलेशन" की ओर ले जाता है जहाँ एजेंट टूल के आउटपुट की गलत व्याख्या करते हैं।

C. पैसिव डिटेक्शन और वॉटरमार्किंग की आलोचना

शोध पत्र का तर्क है कि प्रोवेनेंस (यह निर्धारित करना कि टेक्स्ट मशीन द्वारा लिखा गया था या नहीं) को लक्षित करने वाली वर्तमान शमन रणनीतियाँ सत्यता (correctness) की आवश्यकता के साथ मेल नहीं खाती हैं।

• सांख्यिकीय पहचान (Statistical Detection): यह विफल होती है क्योंकि सुरक्षा रिपोर्ट स्वाभाविक रूप से फॉर्मूला आधारित (कम लेक्सिकल विविधता) होती हैं, जिससे मानव-लिखित रिपोर्टों के लिए उच्च फॉल्स पॉजिटिव होते हैं।
• वॉटरमार्किंग: सुरक्षा तर्क के साथ असंगत है; बाधित (constrained) कोड डोमेन में वॉटरमार्क्ड टोकन चयन को मजबूर करना अक्सर तर्क को तोड़ देता है या अमान्य पेलोड बनाता है।

D. प्रस्तावित समाधान और मूल्यांकन उपकरण

• न्यूरो-सिम्बोलिक सत्यापन (Neuro-Symbolic Verification): लेखक एक ऐसे आर्किटेक्चर की वकालत करते हैं जहाँ LLMs हाइपोथीसिस जनरेटर के रूप में कार्य करते हैं, और उनके आउटपुट को मानव विश्लेषकों तक पहुँचने से पहले डिटरमिनिस्टिक सत्यापन (स्टैटिक एनालिसिस, डायनेमिक फज़िंग, सिम्बोलिक निष्पादन) के अधीन किया जाता है।
• डिडक्टिव कवरेज स्कोर (DCS): एक मीट्रिक जो इस बात को मापता है कि एक भेद्यता का दावा स्पष्ट, सत्यापन योग्य साक्ष्य (जैसे, विशिष्ट कोड संदर्भ, निष्पादन ट्रेसेस) में कितना निहित है बनाम सांख्यिकीय इंटरपोलेशन।
• CVE-Bench: एक बेंचमार्क जिसे फ्लोएंट, फैंटम एक्सप्लॉइट पाथ्स से ग्राउंडेड रिपोर्ट्स को अलग करने की ट्राइएज सिस्टम की क्षमता का परीक्षण करने के लिए डिज़ाइन किया गया है।
• Slop-Score: एक निरंतर मीट्रिक जो भाषाई प्रवाह और सत्यापन योग्य सार के बीच के अंतर को मापता है, उन आर्टिफ़ेक्ट्स को दंडित करता है जो प्रवाहपूर्ण तो हैं लेकिन जिनमें साक्ष्य घनत्व या बाधा संतुष्टि (constraint satisfaction) का अभाव है।

4. परिणाम और निष्कर्ष

• अनुभवजन्य साक्ष्य: सर्वेक्षण इस बात पर प्रकाश डालता है कि कुछ बग बाउंटी प्रोग्रामों (जैसे, 2025 के मध्य तक HackerOne) में लगभग 20% रिपोर्टों को निम्न-गुणवत्ता वाले AI स्लॉप के रूप में पहचाना गया, जिससे वैध रिपोर्टों से AI-जनित शोर को अलग करने में असमर्थता के कारण कुछ प्रोग्रामों (जैसे, 2026 में cURL का बाउंटी प्रोग्राम) को बंद करना पड़ा।
• ग्राउंडिंग घाटा (Grounding Deficit): प्रतिनिधि कार्यों की समीक्षा (तालिका 1) से पता चलता है कि कोई भी अध्ययन LLM आउटपुट का निष्पादन-स्तर का सत्यापन (execution-level validation) प्रदान नहीं करता है। सबसे मजबूत ग्राउंडिंग जो मिली वह कंपाइल चेकिंग या स्टैटिक एनालिसिस है, जो कठोर सुरक्षा तर्क की आवश्यकताओं से बहुत नीचे काम करती है।
• आंशिक सेतुओं की विफलता (Failure of Partial Bridges): जबकि ReAct और रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) जैसे उपकरण तथ्यात्मक मतिभ्रम (जैसे, गैर-मौजूद CVEs बनाना) को कम करते हैं, वे लॉजिकल मतिभ्रम (सटीक तथ्यों से कारणगत रूप से गलत निष्कर्ष निकालना) को संबोधित करने में विफल रहते हैं।

5. महत्व और दावे

यह शोध पत्र स्वयं को एक सर्वेक्षण, वैचारिक विश्लेषण और रोडमैप के रूप में प्रस्तुत करता है। इसका प्राथमिक महत्व मूल्यांकन प्रतिमान को भाषाई प्रवाह से गणितीय सत्यापनशीलता की ओर स्थानांतरित करने में निहित है।

• संरचनात्मक विफलता: लेखक दावा करते हैं कि AI स्लॉप केवल एक प्रदर्शन संबंधी मुद्दा नहीं है बल्कि एक संरचनात्मक विफलता है जहाँ संभाव्यता आधारित जनरेशन, कारणगत सत्यापन (causal verification) का स्थान ले लेता है।
• विश्वसनीयता: AI-संचालित ट्राइएज में विश्वास केवल बेहतर प्रॉम्प्टिंग या प्रोवेनेंस ट्रैकिंग के माध्यम से प्राप्त नहीं किया जा सकता है। इसके लिए सक्रिय न्यूरो-सिम्बोलिक सत्यापन की आवश्यकता है जो प्रत्येक पाइपलाइन घटक को प्रलेखित सीमाओं (जैसे, सिम्बोलिक निष्पादन की पाथ एक्सप्लोजन सीमाएं) के साथ पूर्व प्रणालियों से मैप करता हो।
• भविष्य की दिशा: शोध पत्र निष्कर्ष निकालता है कि साइबर सुरक्षा में विश्वसनीय AI उन प्रणालियों से उभरेगा जो जनरेशन को सत्यापन पाइपलाइन के शुरुआती बिंदु के रूप में देखते हैं, यह सुनिश्चित करते हुए कि मानव निर्णय केवल उन दावों पर लगाया जाए जो डिटरमिनिस्टिक टेस्ट से सफलतापूर्वक गुजर चुके हैं। प्रस्तावित मीट्रिक (DCS, Slop-Score) और बेंचमार्क (CVE-Bench) इस संरचनात्मक विफलता को सिस्टम से बाहर निकालने के लिए आवश्यक बुनियादी ढांचा प्रदान करने के लिए हैं।