Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports
यह शोध पत्र 2,076 वाक्यों के एक मानव-एनोटेटेड डेटासेट को पेश करके और सात ओपन-सोर्स LLMs का मूल्यांकन करके जटिल असंरचित साइबर थ्रेट इंटेलिजेंस रिपोर्टों पर मल्टी-लेबल ATT&CK वर्गीकरण के लिए एक नया अनुभवजन्य आधार (एम्पिरिकल बेसलाइन) स्थापित करता है, जो सामूहिक रूप से 0.22 का निम्न माइक्रो-एवरेज्ड F1 स्कोर प्राप्त करते हैं, जो यह दर्शाता है कि पैरामीटर आकार और प्रदर्शन के बीच सकारात्मक सहसंबंध के बावजूद वर्तमान मॉडल प्रोडक्शन-ग्रेड पर तैनाती के लिए अपर्याप्त बने हुए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुरक्षा गार्ड हैं जिसे एक अपराधी की हज़ार पन्नों वाली, अस्त-व्यस्त डायरी पढ़नी है। यह डायरी (जिसे CTI रिपोर्ट कहा जाता है) केवल यह नहीं कहती कि "मैंने कार चुराई।" बल्कि यह कहती है, "मैंने ताला तोड़ा, इंजन को हॉटवायर किया, कार चलाकर बैंक पहुँचा और फिर सुरक्षा कैमरों को मिटा दिया।"
आपका काम हर वाक्य को पढ़ना और उसे सही "क्राइम कोड" (अपराध कोड) के साथ टैग करना है, जो एक विशाल नियम पुस्तिका जिसे MITRE ATT&CK कहते हैं, से लिया गया है। समस्या यह है कि एक ही वाक्य में एक साथ कई अपराध हो सकते हैं, और भाषा बहुत पेचीदा है।
लंबे समय तक, कंप्यूटर इस काम में बहुत खराब थे। वे एक ऐसे रोबोट की तरह थे जो केवल सरल, एक-वाक्य वाले नोट्स पढ़ सकता था। यदि नोट जटिल होता, तो रोबोट भ्रमित हो जाता था।
फिर आए लार्ज लैंग्वेज मॉडल्स (LLMs)। इन्हें "सुपर-स्मार्ट, अच्छी तरह से पढ़े-लिखे इंटर्न" की तरह समझें जो संदर्भ (context) और बारीकियों को समझ सकते हैं। लोगों को उम्मीद थी कि ये AI इंटर्न आखिरकार इन अस्त-व्यस्त डायरियों को पढ़ सकेंगे और अपराधों को पूरी तरह से टैग कर सकेंगे।
यह शोध पत्र (paper) इनमें से सात ओपन-सोर्स इंटर्न का रिपोर्ट कार्ड है। शोधकर्ताओं ने यह देखना चाहा कि क्या ये AI इंटर्न वास्तव में इस काम के लिए तैयार हैं, या वे अभी भी बहुत अनुभवहीन हैं।
उन्होंने क्या किया और उन्हें क्या मिला, इसे यहाँ सरल रूप में समझाया गया है:
1. परीक्षण: एक "वास्तविक दुनिया" की परीक्षा
इन AI इंटर्न के पिछले परीक्षण आसान, एकल-उत्तर वाले प्रश्नों (जैसे, "अपराधी ने एक चाबी का उपयोग किया।" -> टैग: लॉक पिकिंग) की तरह थे।
शोधकर्ताओं ने कहा, "वास्तविक जीवन ऐसे काम नहीं करता।" उन्होंने एक कठिन, अधिक वास्तविक परीक्षा बनाई:
- उन्होंने मानव विशेषज्ञों द्वारा लिखे गए 83 वास्तविक, अस्त-व्यस्त सुरक्षा विवरण (security reports) लिए।
- उन्होंने उन्हें 2,076 व्यक्तिगत वाक्यों में विभाजित किया।
- उन्होंने मानव विशेषज्ञों से हर वाक्य को सही अपराध कोड के साथ मैन्युअल रूप से टैग करवाया। कुछ वाक्यों में कोई कोड नहीं था; कुछ में एक था; और कुछ में एक साथ नौ कोड तक थे!
- यह "उत्तर कुंजी" (Ground Truth) बनी AI को ग्रेड देने के लिए।
2. प्रतियोगी
उन्होंने 7 अलग-अलग ओपन-सोर्स AI मॉडल चुने।
- इन मॉडलों को अलग-अलग आकार के छात्रों के रूप में समझें। कुछ छोटे हैं (8 बिलियन "मस्तिष्क कोशिकाएं" या पैरामीटर्स), और कुछ दिग्गज (236 बिलियन)।
- उन्होंने उन्हें विभिन्न "मोड" में टेस्ट किया:
- ज़ीरो-शॉट (Zero-Shot): केवल निर्देश देना।
- फ्यू-शॉट (Few-Shot): AI को पहले अध्ययन करने के लिए कुछ उदाहरण देना।
- चेन-ऑफ-थॉट (Chain-of-Thought): AI को उत्तर देने से पहले "सोच-समझकर विस्तार से बताने" के लिए कहना।
- टेम्परेचर (Temperature): AI के "रचनात्मकता" (creativity) के नॉब को ऊपर या नीचे करना (0 = सख्त रोबोट, 0.5 = थोड़ा अधिक रचनात्मक)।
3. परिणाम: इंटर्न अभी भी सीख रहे हैं
परिणाम थोड़े वास्तविकता का अहसास कराने वाले थे।
- स्कोर: सबसे अच्छा AI मॉडल भी केवल 22% स्कोर प्राप्त कर पाया (एक ऐसे पैमाने पर जहाँ 100% पूर्णता है)।
- उपमा: कल्पना करें कि एक छात्र एक कठिन फाइनल परीक्षा दे रहा है और उसे D- मिला है। वह पास तो हो रहा है, लेकिन वह अधिकांश उत्तर छोड़ रहा है।
- आकार मायने रखता है (ज्यादातर): सबसे बड़े, जटिल मॉडल (द "दिग्गज" वाले) आमतौर पर छोटे मॉडलों की तुलना में बेहतर प्रदर्शन करते थे। एक स्पष्ट संबंध था: बड़ा दिमाग = थोड़ा बेहतर स्कोर।
- "जादुई" सेटिंग्स काम नहीं आईं:
- AI को उदाहरण देने (Few-Shot) से वास्तव में कोई मदद नहीं मिली।
- AI को "चरण-दर-चरण सोचने" (Chain-of-Thought) के लिए कहने से भी कोई मदद नहीं मिली।
- "रचनात्मकता" के नॉब (Temperature) को बदलने से लगभग कोई अंतर नहीं पड़ा।
- उपमा: यह एक छात्र को अलग रंग की पेंसिल देने या उसे "अधिक मेहनत करने" के लिए कहने जैसा है, लेकिन यदि उसे विषय का ज्ञान ही नहीं है, तो स्कोर नहीं बदलता।
4. एक चीज़ जिसने मदद की: "चीट शीट"
शोधकर्ताओं ने एक और चीज़ आजमाई। उन्होंने एक रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सेटअप दिया।
- उपमा: इसके बजाय कि AI केवल वही याद रखे जो उसने सीखा है, उन्होंने AI को परीक्षा के दौरान देखने के लिए एक "खुली किताब" (आधिकारिक नियम पुस्तिका) दी।
- परिणाम: स्कोर 22% से बढ़कर 32% हो गया।
- यह सबसे बड़ा सुधार था। इसने साबित कर दिया कि AI इसलिए विफल नहीं हो रहा है क्योंकि वह "मूर्ख" है; वह इसलिए विफल हो रहा है क्योंकि उसके पास सामने वर्तमान नियम नहीं हैं।
5. क्या गलत हुआ?
शोधकर्ताओं ने उन गलतियों को देखा जो AI ने कीं:
- फॉल्स पॉजिटिव (False Positives): AI ने "evade" (बचना) जैसे शब्द को देखा और "Hijacking" का अनुमान लगाया, भले ही वाक्य किसी और चीज़ के बारे में था। वह कहानी को समझने के बजाय कीवर्ड्स के आधार पर अनुमान लगा रहा था।
- फॉल्स नेगेटिव (False Negatives): AI एक अपराध को पहचानने में चूक गया क्योंकि वह यह नहीं समझ पाया कि "स्टेजिंग अ रैनसमवेयर बाइनरी" वास्तव में एक विशिष्ट प्रकार का ट्रांसफर था। उसमें गहरे संदर्भ (context) की कमी थी।
निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि वर्तमान ओपन-सोर्स AI मॉडल जटिल साइबर खतरों को वर्गीकृत करने के लिए एकमात्र "सुरक्षा गार्ड" बनने के लिए अभी तैयार नहीं हैं। वे वास्तविक दुनिया के सुरक्षा केंद्र में मानवीय सहायता के बिना काम करने के लिए बहुत अधिक त्रुटिपूर्ण (केवल 22-32% स्कोर) हैं।
जिस एक चीज़ ने उनके प्रदर्शन में काफी सुधार किया, वह था परीक्षण के दौरान आधिकारिक नियम पुस्तिका (RAG) तक पहुँच प्रदान करना। केवल प्रश्नों को पूछने का तरीका (प्रॉम्प्ट) बदलना या मॉडल को बड़ा बनाना इस मूल समस्या को हल नहीं कर सका।
संक्षेप में: AI इंटर्न स्मार्ट हैं, लेकिन वे वर्तमान में काम को सही ढंग से करने के लिए बहुत अधिक त्रुटिपूर्ण हैं। उन्हें काम को सही ढंग से करने के लिए एक मानव पर्यवेक्षक और एक संदर्भ नियमावली (reference manual) की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।