Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
यह शोध पत्र यह प्रदर्शित करता है कि हालांकि लार्ज लैंग्वेज मॉडल्स (Large Language Models) स्पष्ट अटैक ग्राफ संरचनाओं के साथ प्रदान किए जाने पर संरचित साइबर सुरक्षा तर्क का अनुमान लगा सकते हैं, लेकिन उनकी निर्णय लेने की क्षमता नाजुक है, प्रॉम्प्ट फ्रेमिंग के प्रति अत्यधिक संवेदनशील है, और औपचारिक अनुकूलन बेसलाइन्स (formal optimization baselines) की तुलना में जटिलता के साथ मजबूती से स्केल करने में विफल रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
साइबर सुरक्षा की उच्च-दांव वाली दुनिया में, संगठन एक निरंतर, अदृश्य युद्ध का सामना करते हैं। हमलावर नेटवर्क में कमजोरियों की तलाश करते हैं, ताकि वे सुरक्षा घेरे को पार कर सकें और डेटा चुरा सकें या सेवाओं को बाधित कर सकें। रक्षकों को यह तय करना होता है कि उन्हें उन्हें रोकने के लिए अपने सीमित संसाधनों को कैसे खर्च करना चाहिए। वे हर चीज़ को सबसे मजबूत ढाल के साथ सुरक्षित नहीं कर सकते; उन्हें चुनना होगा कि कौन से ताले लगाने हैं, कौन सा अलार्म सेट करना है, और किन दरवाजों को मजबूत करना है। यह केवल तकनीक की नहीं, बल्कि रणनीति की समस्या है। इसके लिए हर उस संभावित पथ का मानचित्र तैयार करने की आवश्यकता है जिससे हमलावर गुजर सकता है और यह समझने की आवश्यकता है कि कौन से विशिष्ट अवरोध सबसे खतरनाक रास्तों को रोकेंगे। दशकों से, विशेषज्ञों ने इस पहेली को हल करने के लिए जटिल गणितीय मॉडलों का उपयोग किया है, जिसमें नेटवर्क को एक मानचित्र के रूप में और रक्षा को एक खेल के रूप में देखा जाता है जहाँ रक्षक पहले कदम उठाता है, ताकि वह हमलावर की सर्वोत्तम प्रतिक्रिया का अनुमान लगा सके।
हाल ही में, इस क्षेत्र में एक नए प्रकार का उपकरण आया है: लार्ज लैंग्वेज मॉडल्स (LLMs)। ये शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम हैं जो कोड लिख सकते हैं, सवालों के जवाब दे सकते हैं और विशाल मात्रा में टेक्स्ट का सारांश निकाल सकते हैं। इन्हें इंटरनेट पर उपलब्ध लगभग सभी सार्वजनिक जानकारी पर प्रशिक्षित किया गया है, जिसमें अनगिनत सुरक्षा रिपोर्ट और तकनीकी मैनुअल शामिल हैं। क्योंकि वे इस क्षेत्र के बारे में बहुत कुछ जानते हैं, इसलिए कई लोगों को उम्मीद है कि वे विशेषज्ञ सलाहदाताओं के रूप में कार्य कर सकते हैं, जिससे रक्षकों को बेहतर विकल्प तेजी से चुनने में मदद मिल सके। लेकिन एक महत्वपूर्ण प्रश्न बना हुआ है: क्या ये सिस्टम वास्तव में हमले के तर्क (logic) को समझते हैं, या वे केवल परिचित शब्दों को पहचान रहे हैं और जो कुछ भी उन्होंने पहले पढ़ा है उसके आधार पर अनुमान लगा रहे हैं? यदि कोई रक्षक ऐसे AI पर भरोसा करता है जो वास्तविक खतरे की अंतर्निहित संरचना को समझे बिना केवल विशेषज्ञता की नकल करता है, तो इसके परिणाम गंभीर हो सकते हैं।
शोधकर्ताओं की एक टीम ने इस प्रश्न का परीक्षण करने के लिए एक नियंत्रित प्रयोग किया। उन्होंने AI से किसी हैक के बारे में कविता लिखने या समाचार लेख का सारांश निकालने के लिए नहीं कहा। इसके बजाय, उन्होंने मॉडल्स को एक कठोर निर्णय लेने वाली स्थिति में रखा। उन्होंने AI के सामने सात अलग-अलग, वास्तविक हमले के परिदृश्य प्रस्तुत किए जो वास्तविक दुनिया की घटनाओं से लिए गए थे, जैसे कि रैनसमवेयर अभियान, सप्लाई-चेन समझौते, और औद्योगिक नियंत्रण प्रणालियों पर हमले। प्रत्येक परिदृश्य के लिए, शोधकर्ताओं ने नेटवर्क का एक विस्तृत मानचित्र प्रदान किया, जो यह दिखाता था कि एक हमलावर प्रारंभिक प्रवेश बिंदु से एक महत्वपूर्ण लक्ष्य तक कैसे पहुँच सकता है। AI को उपलब्ध सुरक्षा नियंत्रणों की एक सूची दी गई थी, जैसे कि फायरवॉल या मल्टी-फैक्टर ऑथेंटिकेशन, जिनमें से प्रत्येक की एक विशिष्ट लागत और इसकी प्रभावशीलता की एक रेटिंग थी। कार्य सरल लेकिन कठिन था: एक विशिष्ट बजट के भीतर इन नियंत्रणों का एक ऐसा संयोजन चुनना जो हमलावर की सफलता की संभावना को कम कर सके।
यह जानने के लिए कि क्या AI अच्छा काम कर रहा है, शोधकर्ताओं ने इसके विकल्पों की तुलना एक 'गोल्ड स्टैंडर्ड' से की। यह मानक गणितज्ञों द्वारा बनाए गए एक विशेष कंप्यूटर प्रोग्राम द्वारा निर्धारित किया गया था जो किसी भी दिए गए मानचित्र के लिए सबसे अच्छा संभव बचाव खोजने के लिए बनाया गया है। यह प्रोग्राम अनुमान नहीं लगाता; यह सबसे अधिक सुरक्षा प्रदान करने वाली एकल रणनीति खोजने के लिए हर संभावना की गणना करता है। शोधकर्ताओं ने फिर AI मॉडल्स को न्यायाधीश के रूप में कार्य करने के लिए कहा, जिसमें विभिन्न रक्षा रणनीतियों को रेट करना शामिल था, जिनमें उनकी अपनी रणनीतियाँ, गणितीय कार्यक्रम की रणनीतियाँ, और कुछ जानबूझकर खराब रणनीतियाँ शामिल थीं। उन्होंने यह भी परीक्षण किया कि क्या AI इस समस्या को शुरू से हल करने के लिए अपना स्वयं का कंप्यूटर कोड लिख सकता है।
परिणामों ने एक 'सशर्त सक्षमता' (conditional competence) की तस्वीर पेश की। जब शोधकर्ताओं ने AI को हमले के रास्तों का एक स्पष्ट, संरचित मानचित्र दिया, तो मॉडल्स ने अक्सर ऐसी रणनीतियाँ बनाईं जो गणितीय रूप से पूर्ण समाधान के बहुत करीब थीं। वे यह समझने में सक्षम दिखे कि हमले के पथ के बीच में एक महत्वपूर्ण जंक्शन को ब्लॉक करना, शुरुआत में एक मामूली छेद को पैच करने की तुलना में अधिक मूल्यवान है। इन नियंत्रित सेटिंग्स में, AI समस्या के माध्यम से तर्क करते हुए प्रतीत हुआ, न कि केवल तथ्यों को याद करते हुए। हालाँकि, यह क्षमता नाजुक थी। जैसे ही शोधकर्ताओं ने समस्या को प्रस्तुत करने का तरीका बदला, AI का प्रदर्शन अनिश्चित हो गया।
अध्ययन में पाया गया कि AI का निर्णय इस बात के प्रति अत्यधिक संवेदनशील था कि विकल्पों को कैसे लेबल किया गया है। एक उल्लेखनीय परीक्षण में, शोधकर्ताओं ने एक जानबूझकर कमजोर रक्षा रणनीति ली—एक ऐसी रणनीति जो नेटवर्क को पूरी तरह खुला छोड़ देगी—और बस उसका नाम बदलकर "इष्टतम रणनीति" (optimal strategy) रख दिया। जब AI मूल्यांकनकर्ताओं ने यह लेबल देखा, तो उन्होंने अक्सर इस भयानक रक्षा को सबसे अच्छे विकल्पों में से एक के रूप में रेट किया, और अक्सर इसे वास्तविक, गणितीय रूप रूप से पूर्ण समाधान से भी अधिक अंक दिए। इसके विपरीत, जब एक मजबूत रणनीति को नकारात्मक लेबल दिया गया, तो उसका स्कोर गिर गया। यह सुझाव देता है कि AI रक्षा के सुरक्षा तर्क का गहराई से विश्लेषण नहीं कर रहा था, बल्कि वह उपयोग किए गए वर्णनात्मक शब्दों के प्रति प्रतिक्रिया दे रहा था। मॉडल 'फ्रेमिंग' (framing) से आसानी से प्रभावित हो जाते थे, और वास्तविक सामग्री के बजाय लेबल को प्राथमिकता देते थे।
शोधकर्ताओं ने यह भी पाया कि जब नेटवर्क की जटिलता बढ़ती है, तो AI संघर्ष करता है। जैसे-जैसे मानचित्र बड़े होते गए और संभावित हमले के रास्तों की संख्या बढ़ती गई, AI की सर्वोत्तम समाधान खोजने की क्षमता कम होती गई। कुछ मामलों में, मॉडल्स ने मानचित्र की विशिष्ट संरचना को पूरी तरह से अनदेखा करना शुरू कर दिया। हमले के विशिष्ट रास्तों को देखने के बजाय, वे सामान्य ज्ञान पर वापस आ गए, और ऐसे नियंत्रणों को चुना जो उद्योग में प्रसिद्ध हैं, जैसे कि एन्क्रिप्शन या मल्टी-फैक्टर ऑथेंटिकेशन, चाहे वे नियंत्रण वास्तव में उस परिदृश्य के विशिष्ट रास्तों को ब्लॉक करते हों या नहीं। जब शोधकर्ताओं ने मानचित्र को पूरी तरह से हटा दिया और AI से केवल एक पाठ विवरण के आधार पर रक्षा चुनने को कहा, तो मॉडल्स ने संरचनात्मक तर्क को पूरी तरह से त्याग दिया। उन्होंने केवल उच्चतम सामान्य प्रभावशीलता रेटिंग वाले नियंत्रणों को चुना, हमले के अद्वितीय टोपोलॉजी को अनदेखा करते हुए।
यहाँ तक कि जब उन्हें समस्या को हल करने के लिए अपना स्वयं का कंप्यूटर कोड लिखने के लिए कहा गया, तब भी AI ने समझ और निष्पादन के बीच के अंतर को प्रदर्शित किया। मॉडल्स ऐसे कोड उत्पन्न कर सकते थे जो सही दिखते थे और सही उच्च-स्तरीय दृष्टिकोण का उपयोग करते थे, लेकिन बड़े नेटवर्क पर परीक्षण किए जाने पर, वह कोड उपयोगी होने के लिए बहुत धीमा था। AI-जनित प्रोग्रामों को समाधान खोजने में विशेषज्ञ गणितीय सॉल्वर की तुलना में काफी अधिक समय लगा, और सबसे बड़े मानचित्रों पर, AI का कोड अक्सर कार्य पूरा करने में विफल रहा। AI समाधान के तर्क की नकल कर सकता था, लेकिन वह इसे बड़े पैमाने पर चलाने के लिए एक मजबूत इंजन नहीं बना सका।
ये निष्कर्ष बताते हैं कि हालांकि लार्ज लैंग्वेज मॉडल्स एक विशेषज्ञ सुरक्षा विश्लेषक के व्यवहार का अनुमान लगा सकते हैं, लेकिन उनके पास उच्च-दांव वाले निर्णय लेने के लिए आवश्यक विश्वसनीय, संरचित तर्क नहीं है। वे अच्छे उत्तर दे सकते हैं जब समस्या स्पष्ट रूप से परिभाषित हो और संदर्भ सरल हो, लेकिन दबाव, अस्पष्टता या भ्रामक लेबल के तहत उनका प्रदर्शन ढह जाता है। वे अभी मानव विशेषज्ञों या औपचारिक गणितीय उपकरणों को बदलने में सक्षम नहीं हैं। इसके बजाय, वे सहायकों के रूप में सबसे अच्छा कार्य करते हैं जो सुझाव दे सकते हैं, बशर्ते उन सुझावों की जांच एक कठोर, संरचित विश्लेषण के विरुद्ध की जाए। अध्ययन का निष्कर्ष है कि साइबर सुरक्षा की दुनिया में, जहाँ एक एकल त्रुटि भी बड़े उल्लंघन का कारण बन सकती है, हम केवल AI की अंतर्दृष्टि पर भरोसा नहीं कर सकते। हमें यह सुनिश्चित करना चाहिए कि हमारे द्वारा उपयोग किए जाने वाले उपकरण हमले के पथ के कठिन तर्क पर आधारित हों, न कि केवल एक प्रभावशाली लेबल की कोमल शक्ति पर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।