CyberThreat-Eval: Can Large Language Models Automate Real-World Threat Research?
यह शोध पत्र CyberThreat-Eval को प्रस्तुत करता है, जो वास्तविक दुनिया के साइबर थ्रेट इंटेलिजेंस वर्कफ़्लो से व्युत्पन्न एक विशेषज्ञ-एनोटेटेड बेंचमार्क है, जो विश्लेषक-केंद्रित मेट्रिक्स का उपयोग करते हुए ट्राइएज-टू-रिपोर्टिंग पाइपलाइन के संपूर्ण चक्र में लार्ज लैंग्वेज मॉडल्स का आकलन करके मौजूदा मूल्यांकनों की सीमाओं को संबोधित करता है, और सूक्ष्म, कार्रवाई योग्य सुरक्षा अंतर्दृष्टि को संभालने में वर्तमान मॉडलों की क्षमता में महत्वपूर्ण अंतराल को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल जहाज (एक वैश्विक टेक कंपनी) के कप्तान हैं जो अदृश्य समुद्री डाकुओं (साइबर अपराधियों) से भरे एक तूफानी महासागर में यात्रा कर रहे हैं। आपका काम इन डाकुओं को पहचानना, उनकी योजना समझना और हमला करने से पहले अपने चालक दल को चेतावनी देना है।
वर्षों से, यह काम मानव "लु lookout" (सुरक्षा विश्लेषकों) द्वारा किया जाता रहा है। वे सुराग खोजने के लिए समाचार रिपोर्टों, मंचों (forums) और ब्लॉगों के हजारों लेखों को पढ़ने में घंटों बिताते हैं। यह थका देने वाला, धीमा और मानवीय त्रुटियों की संभावना वाला काम है।
अब, लार्ज लैंग्वेज मॉडल्स (LLMs) का आगमन हुआ है—ये वे AI सहायक हैं जो हमारे लिए यह काम करने का वादा करते हैं। लेकिन यहाँ एक पेंच है: क्या ये AI सहायक वास्तव में यह काम कर सकते हैं, या वे केवल वही दोहरा रहे हैं जो उन्होंने सुना है?
यह शोध पत्र, जिसका शीर्षक "CyberThreat-Eval" है, इन AI सहायकों के लिए एक कठोर "ड्राइविंग टेस्ट" की तरह है। लेखकों (Microsoft और HKUST से) ने एक नया, वास्तविक परीक्षा बनाया है ताकि यह देखा जा सके कि क्या AI वास्तव में मानव लु lookout की जगह ले सकता है या उनकी मदद कर सकता है।
उनके निष्कर्षों का विवरण यहाँ दिया गया, जिसे सरल भाषा में समझाया गया है:
1. पुराने परीक्षण "बहुविकल्पीय" (Multiple Choice) क्विज़ की तरह थे
AI के लिए पिछले परीक्षण स्कूल के क्विज़ की तरह थे: "इस कहानी में बुरा आदमी कौन है? A) बॉब, B) एलिस, C) चार्ली।"
- समस्या: वास्तविक सुरक्षा कार्य कोई क्विज़ नहीं है। एक मानव लु lookout को विकल्पों की सूची नहीं मिलती। उन्हें लेखों का एक ढेर मिलता है और उन्हें यह समझना होता है: "क्या यह महत्वपूर्ण है? कौन हमला कर रहा है? वे यह कैसे करते हैं?"
- नया परीक्षण: लेखकों ने CyberThreat-Eval बनाया, जो वास्तविक काम की नकल करता है। इसमें तीन चरण हैं, ठीक वैसे ही जैसे एक वास्तविक मानव विश्लेषक का दिन होता है:
- ट्राइएज (छँटाई - द फिल्टर): खतरों वाले कुछ पत्रों को खोजने के लिए कचरे के ढेर जैसी ईमेल की छानबीन करना।
- गहन जांच (जांचकर्ता - द डीप डाइव): यदि कोई खतरा पाया जाता है, तो AI को पूरी तस्वीर बनाने के लिए इंटरनेट पर और सुराग खोजने होंगे।
- रिपोर्ट (कहानीकार - द रिपोर्ट): कप्तान के लिए एक स्पष्ट, कार्रवाई योग्य रिपोर्ट लिखना जो समझा सके कि किसने किया, उन्होंने कैसे किया, और आगे क्या करना है।
2. परिणाम: AI एक बेहतरीन रिसर्चर है, लेकिन एक बुरा जासूस है
लेखकों ने चार अलग-अलग AI मॉडल का परीक्षण किया। यहाँ उन्हें क्या मिला:
"ट्राइएज" की समस्या (बहुत अधिक गलत अलार्म):
कल्पना कीजिए कि एक स्मोक डिटेक्टर तब भी बज उठता है जब आप ब्रेड टोस्ट कर रहे हों। AI संभावित खतरों को खोजने में बहुत अच्छा था (उसने वास्तविक खतरे को शायद ही कभी छोड़ा), लेकिन उसने हानिरहित लेखों को भी खतरनाक के रूप में चिह्नित किया।- उपमा: यह एक सुरक्षा गार्ड की तरह है जो इमारत में प्रवेश करने वाले हर व्यक्ति को रोकता है, यहाँ तक कि उन लोगों को भी जो सिर्फ पिज्जा डिलीवर कर रहे हैं। यह मनुष्यों के लिए सफाई करने के काम को बहुत बढ़ा देता है।
"डीप सर्च" का सरप्राइज:
जब नए सुराग खोजने के लिए कहा गया, तो मानक AI मॉडल (जैसे GPT-4o) वास्तव में विशेष रूप से बनाए गए (fine-tuned) मॉडलों की तुलना में अधिक उपयोगी लिंक खोजने में बेहतर थे।- उपमा: विशेष मॉडल उन विशेषज्ञों की तरह थे जिन्होंने केवल एक विशिष्ट प्रकार की किताब पढ़ी हो। वे उस एक किताब के बारे में बहुत कुछ जानते थे लेकिन अपने पुस्तकालय से बाहर नहीं देखते थे। सामान्य मॉडल उन जिज्ञासु बच्चों की तरह थे जो पूरे पुस्तकालय में घूमते थे और छिपे हुए रत्न खोज निकालते थे।
"स्टोरीटेलिंग" का संघर्ष:
जब अंतिम रिपोर्ट लिखने के लिए कहा गया:- "कैसे" में अच्छा: AI हमले के तंत्र (mechanics) को समझाने में उत्कृष्ट था (जैसे, "उन्होंने दरवाजा तोड़ने के लिए एक वायरस का उपयोग किया")।
- "कौन" और "क्यों" में बुरा: AI यह समझाने में संघर्ष करता था कि बुरे लोग कौन थे और उनके मकसद क्या थे। इसने अक्सर अस्पष्ट उत्तर दिए या मनगढ़ंत बातें (hallucinations) बनाईं।
- उपमा: AI अपराध स्थल (टूटी हुई खिड़की, कीचड़ वाले पैरों के निशान) का वर्णन करने में बहुत अच्छा है, लेकिन अपराधी या उसके मकसद को पहचानने में बहुत खराब है। यह कह सकता है, "चोर बॉब नाम का एक आदमी है," जबकि असली चोर "द शैडो सिंडिकेट" नामक एक समूह हो सकता है।
3. समाधान: "थ्रेट रिसर्च एजेंट" (TRA)
चूंकि AI अपने आप में पूर्ण नहीं है, इसलिए लेखकों ने एक हाइब्रिड सिस्टम बनाया जिसे TRA कहा जाता है। इसे एक दो लोगों की टीम के रूप में सोचें: AI और एक मानव विशेषज्ञ।
यह कैसे काम करता है:
- AI भारी काम करता है: यह लेख पढ़ता है, सुराग ढूंढता है और रिपोर्ट का मसौदा तैयार करता है।
- "फैक्ट-चेकर" चरण: रिपोर्ट को कप्तान को भेजने से पहले, सिस्टम स्वचालित रूप से AI के तथ्यों की जांच विश्वसनीय डेटाबेस (जैसे ज्ञात बुरे लोगों के डिजिटल विश्वकोश) के साथ करता है। यदि AI कहता है, "बुरा आदमी बॉब है," तो सिस्टम जांचता है: "क्या बॉब वास्तव में डेटाबेस में है?" यदि नहीं, तो यह उसे फ्लैग कर देता है।
- ह्यूमन लूप: एक मानव विशेषज्ञ AI के ड्राफ्ट की समीक्षा करता है। वे शून्य से शुरुआत नहीं करते; वे बस AI की गलतियों को सुधारते हैं और उसमें "मानवीय स्पर्श" (संदर्भ, सूक्ष्मता और अंतर्ज्ञान) जोड़ते हैं।
परिणाम: इस टीम दृष्टिकोण ने AI के "रफ ड्राफ्ट" को "पब्लिश-रेडी" रिपोर्ट में बदल दिया। AI ने उन विवरणों को खोज निकाला जो मानव से छूट गए थे, और मानव ने AI की गलतियों को सुधारा।
मुख्य निष्कर्ष
AI अभी मानव सुरक्षा विश्लेषकों की जगह लेने के लिए तैयार नहीं है। यह तथ्य बनाने और बड़ी तस्वीर को गलत समझने के प्रति बहुत संवेदनशील है।
हालाँकि, AI एक अविश्वसनीय "सुपर-असिस्टेंट" है। यदि आप इसे मानव विशेषज्ञों के साथ जोड़ते हैं और इसे अपने तथ्यों की जांच करने के लिए उपकरण देते हैं, तो यह 80% उबाऊ काम कर सकता है, जिससे मनुष्यों को उस 20% काम पर ध्यान केंद्रित करने में मदद मिलती है जिसके लिए गहरे चिंतन और अंतर्ज्ञान की आवश्यकता होती है।
संक्षेप में: AI को अकेले जहाज चलाने की अनुमति न दें। लेकिन इसे पहला साथी (first mate) बनने दें जो क्षितिज को स्कैन करता है, जब तक कि कप्तान (मानव) वहां रास्ता दिखाने और पुष्टि करने के लिए मौजूद हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।