A Cautionary Evaluation of LLMs for TLS Normative Requirement Classification
यह शोध पत्र NIST SP 800-52 Rev. 2 का उपयोग करके TLS मानदण्ड संबंधी आवश्यकताओं के वर्गीकरण को स्वचालित करने के लिए लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिसमें यह पाया गया है कि हालांकि एन्सेम्बल विधियाँ 93.75% सटीकता प्राप्त करती हैं, लेकिन "SHOULD NOT" और "MAY" भाषा के बीच व्यवस्थित भ्रम वर्तमान LLMs को स्टैंडअलोन अनुपालन ऑडिटिंग के लिए अपर्याप्त रूप से अविश्वसनीय बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट हमारी निजी बातचीत, बैंक लेनदेन और ईमेल को अनधिकृत आंखों से सुरक्षित रखने के लिए 'ट्रांसपोर्ट लेयर सिक्योरिटी' (TLS) नामक एक डिजिटल हैंडशेक पर निर्भर करता है। यह प्रणाली इस बात पर सहमत होने के तरीके के लिए नियमों का एक विशिष्ट सेट तय करके काम करती है कि डेटा को कैसे उलझाया (scramble) और सुलझाया (unscramble) जाए। ये नियम चलते-फिरते नहीं बनाए जाते; इन्हें विशाल, जटिल दस्तावेजों में लिखा जाता है जिन्हें तकनीकी मानक (technical standards) कहा जाता है। ये दस्तावेज इंजीनियरों को बताते हैं कि कौन से नियम अनिवार्य हैं, कौन से केवल सुझाव मात्र हैं, और कौन से वर्जित हैं। इसकी भाषा सटीक और कानूनी होती है, जो किसी नियम की शक्ति को परिभाषित करने के लिए "must" (अनिवार्य), "should" (चाहिए), और "may" (हो सकता है) जैसे विशिष्ट शब्दों पर निर्भर करती है। एक "must" का अर्थ है कि नियम गैर-परक्राम्य (non-negotiable) है, जबकि एक "may" का अर्थ है कि यह वैकल्पिक है। हालांकि, पाठ अक्सर पेचीदा हो जाता है, जहाँ इन शब्दों को शर्तों के साथ मिला दिया जाता है, जैसे कि यह कहना कि एक नियम तब तक हतोत्साहित किया जाता है जब तक कि कोई बहुत विशिष्ट आपात स्थिति न आ जाए। सुरक्षा विशेषज्ञों के लिए, इन नियमों को सही ढंग से समझना सुरक्षा का मामला है; एक सुझाव को अनुमति समझ लेना एक सिस्टम को हमले के लिए पूरी तरह खुला छोड़ सकता है।
वर्षों तक, इन हजारों पन्नों के टेक्स्ट को एक ऐसी चेकलिस्ट में बदलने का एकमात्र तरीका जिसे कंप्यूटर समझ सके, मानव विशेषज्ञों द्वारा हर पंक्ति को पढ़ना और मैन्युअल रूप से नियमों का अनुवाद करना था। यह प्रक्रिया धीमी, महंगी और मानवीय त्रुटियों के प्रति संवेदनशील है। हाल ही में, 'लार्ज लैंग्वेज मॉडल' (LLM) नामक एक नए प्रकार के कंप्यूटर प्रोग्राम का उदय हुआ है, जो मानवीय भाषा को उल्लेखनीय कौशल के साथ पढ़ने और समझने में सक्षम है। ये मॉडल प्रश्न पूछ सकते हैं, टेक्स्ट का सारांश निकाल सकते हैं और यहाँ तक कि कोड भी लिख सकते हैं। इसने साइबर सुरक्षा की दुनिया में एक आशाजनक प्रश्न खड़ा कर दिया: क्या ये स्मार्ट प्रोग्राम सुरक्षा मानकों को पढ़ सकते हैं और स्वचालित रूप से यह पता लगा सकते हैं कि कौन से नियम किन डिजिटल कनेक्शनों पर लागू होते हैं, जिससे विशेषज्ञों के महीनों का काम बच सके? इटली में 'फोंडाज़ियोन ब्रूनो केसलर' के शोधकर्ताओं की एक टीम ने इस विचार का परीक्षण करने के लिए यह प्रयोग किया, यह देखने के लिए नहीं कि क्या यह तकनीक एक कहानी लिख सकती है, बल्कि यह देखने के लिए कि क्या यह एक ऐसे कार्य को कर सकती है जहाँ एक अकेली गलती पूरे इंटरनेट की सुरक्षा से समझौता कर सकती है।
शोधकर्ताओं ने 'NIST SP 800-52' नामक एक प्रमुख सुरक्षा मानक के एक विशिष्ट खंड पर ध्यान केंद्रित किया, जो यह नियंत्रित करता है कि TLS को कैसे कॉन्फ़िगर किया जाना चाहिए। उन्होंने 144 विशिष्ट डिजिटल कनेक्शन पैटर्न का एक डेटासेट चुना, जिन्हें 'साइफर सूट्स' (cipher suites) कहा जाता है, जो सुरक्षित संचार के निर्माण खंड (building blocks) हैं। उनका लक्ष्य यह देखना था कि क्या लार्ज लैंग्वेज मॉडल प्रत्येक पैटर्न की स्थिति को सही ढंग से पहचान सकते हैं: क्या वह एक सख्त आवश्यकता थी, एक सिफारिश थी, एक अनुमति थी, या एक निषेध था? कार्य को निष्पक्ष और कठोर बनाने के लिए, उन्होंने मॉडलों को केवल अनुमान लगाने के लिए नहीं कहा। इसके बजाय, उन्होंने एक ऐसी प्रणाली बनाई जिसने मॉडलों को चरण-दर-चरण सोचने के लिए मजबूर किया। उन्होंने मॉडलों को मुख्य शब्दों की सटीक परिभाषाएँ प्रदान कीं और उन्हें एक छह-चरणीय तर्क पथ (logic path) का पालन करने के लिए कहा, जिसमें टेक्स्ट की जांच करना, कीवर्ड खोजना, नकारात्मक शब्दों की जाँच करना और फिर एक अंतिम निर्णय लेना शामिल था। परिणामों को मजबूत बनाने के लिए, उन्होंने इस परीक्षण को चार अलग-अलग लार्ज लैंग्वेज मॉडल्स पर चलाया और उनके उत्तरों को एक वोटिंग सिस्टम का उपयोग करके संयोजित किया, जिसने उन मॉडलों को अधिक महत्व दिया जिन्होंने बेहतर प्रदर्शन किया।
परिणाम प्रभावशाली क्षमता और गंभीर सीमाओं का मिश्रण थे। यह प्रणाली लगभग 94 प्रतिशत मामलों में सही उत्तर देने में पर्याप्त सक्षम थी। यह किसी भी एकल मॉडल के अकेले उपयोग की तुलना में थोड़ा बेहतर था, जिससे यह सिद्ध हुआ कि कई मॉडलों के "विचारों" को संयोजित करने से उनकी व्यक्तिगत खामियों को सुधारा जा सकता है। हालांकि, शोधकर्ताओं ने पाया कि यह सटीकता का स्तर, जो कई कार्यों के लिए तो अच्छा है, सुरक्षा अनुपालन (security compliance) के लिए पर्याप्त नहीं है। साइबर सुरक्षा की दुनिया में, 6 प्रतिशत की त्रुटि दर विनाशकारी है। यदि किसी टूल का उपयोग किसी सिस्टम के ऑडिट के लिए किया जाता है और वह एक भी वर्जित नियम को मिस कर देता है, तो वह सिस्टम ज्ञात भेद्यता (vulnerability) के साथ तैनात किया जा सकता है। अध्ययन ने दिखाया कि मॉडल यादृच्छिक रूप से विफल नहीं हो रहे थे; वे एक बहुत ही विशिष्ट, अनुमानित तरीके से विफल हो रहे थे।
समस्या का केंद्र मानकों की भाषा में एक सूक्ष्म लेकिन महत्वपूर्ण अंतर था। मॉडल एक ऐसे नियम और एक ऐसे नियम के बीच अंतर करने में संघर्ष कर रहे थे जो कहता है "यह न करें, जब तक कि आपको इसकी अत्यंत आवश्यकता न हो" और एक ऐसे नियम के बीच जो कहता है "आप यह कर सकते हैं।" मानकों की तकनीकी भाषा में, पहला एक हतोत्साहित किया गया नियम है जो केवल सख्त परिस्थितियों में ही मान्य है, जबकि दूसरा एक साधारण अनुमति है। शोधकर्ताओं ने पाया कि मॉडलों द्वारा की गई अधिकांश गलतियों में इन दो श्रेणियों के बीच भ्रम पैदा करना शामिल था। मॉडल एक ऐसे वाक्य को पढ़ते थे जो एक निश्चित अभ्यास को हतोत्साहित करता था लेकिन आपात स्थिति में इसकी अनुमति देता था, और वे "अनुमति" वाले हिस्से को मुख्य संदेश मान लेते थे, जिससे वे "हतोत्साहित" वाली चेतावनी को अनदेखा कर देते थे। उन्होंने अनुमति को देखा लेकिन शर्त को मिस कर दिया।
यह विफलता उस चरण-दर-चरण सोच प्रक्रिया से ठीक नहीं हुई जिसे शोधकर्ताओं ने सिस्टम में बनाया था। भले ही मॉडलों को अपना तर्क लिखने के लिए मजबूर किया गया, फिर भी उन्होंने वही गलती की। वे "अनुशंसित नहीं है" (not recommended) और "उपयोग किया जा सकता है" (may be used) जैसे शब्दों को सही ढंग से पहचान सकते थे, लेकिन वे सही निष्कर्ष तक पहुँचने के लिए उन्हें एक-दूसरे के विरुद्ध सही ढंग से तौल नहीं सके। शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि ये कंप्यूटर प्रोग्राम टेक्स्ट पढ़ने के लिए शक्तिशाली उपकरण हैं, लेकिन उनमें सुरक्षा ऑडिट में मानव विशेषज्ञों को बदलने के लिए आवश्यक सूक्ष्मता और सशर्त तर्क (conditional logic) की गहरी समझ अभी नहीं है। यह तकनीक अभी अकेले काम करने के लिए तैयार नहीं है। अध्ययन बताता है कि ये उपकरण एक मानव द्वारा समीक्षा के लिए संभावित नियमों को चिह्नित करने हेतु पहले चरण के रूप में उपयोगी हो सकते हैं, लेकिन अंतिम निर्णय लेने के लिए इन पर भरोसा नहीं किया जा सकता। जब तक मॉडल एक हतोत्साहित अपवाद और एक साधारण अनुमति के बीच के अंतर को विश्वसनीय रूप से नहीं समझ लेते, तब तक इंटरनेट के नियमों को सुरक्षित करने का कार्य मानव हाथों में ही रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।