Benchmarking and Exploring the Capabilities of LLMs for Attack Investigations
यह शोध पत्र ऑडिटबेंच (AuditBench) को प्रस्तुत करता है, जो लिनक्स और विंडोज सिस्टम पर 50 से अधिक सुरक्षा परिदृश्यों में फैला एक व्यापक बेंचमार्क डेटासेट है, जिसका उद्देश्य चार महत्वपूर्ण घटना प्रतिक्रिया कार्यों में पांच अत्याधुनिक एलएलएम (LLMs) के प्रदर्शन, त्रुटि प्रोफाइल और व्याख्यात्मक क्षमताओं का मूल्यांकन और विश्लेषण करना है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हलचल भरे शहर के सुरक्षा प्रमुख (Head of Security) हैं। हर दिन, हजारों कैमरे और सेंसर (जिन्हें ऑडिट लॉग्स कहा जाता है) हर कदम, दरवाजा खुलने और कार का इंजन शुरू होने की हर गतिविधि को रिकॉर्ड करते हैं। अधिकांश समय, लोग बस काम पर जा रहे होते हैं या किराने का सामान खरीद रहे होते हैं (सामान्य गतिविधि/benign activity)। लेकिन कभी-कभी, एक चोर चुपके से घुस आता है, ताला तोड़ता है, या तिजोरी चुरा लेता है (एक हमला)।
समस्या यह है कि शहर इतना अधिक डेटा उत्पन्न करता है कि मानव सुरक्षा गार्ड इसे सब देख नहीं सकते। वे गलत अलार्मों (false alarms) से घबरा जाते हैं, और शोर के बीच वास्तविक अपराधों को पहचानने में चूक कर देते हैं।
यहाँ लार्ज लैंग्वेज मॉडल्स (LLMs) आते हैं। इन्हें सुपर-स्मार्ट, अथक डिटेक्टिव इंटर्न के रूप में सोचें जो सेकंडों में लाखों पन्नों के लॉग पढ़ सकते हैं। लेकिन उन्हें काम पर रखने से पहले, हमें यह जानना होगा: क्या वे वास्तव में अपराध सुलझाने में अच्छे हैं, या वे केवल घबराकर निर्दोष लोगों पर आरोप लगाते रहते हैं?
यह पेपर AuditBench पेश करता है, जो एक "अंतिम परीक्षा" है जिसे विशेष रूप से इन AI डिटेक्टिव्स की सुरक्षा लॉग्स की जांच करने की क्षमता को परखने के लिए बनाया गया है।
परीक्षा: AuditBench
शोधकर्ताओं ने 51 अलग-अलग परिदृश्य (scenarios) के साथ एक टेस्ट सूट बनाया।
- "क्लासरूम" (लैब डेटा): उन्होंने वर्चुअल कंप्यूटरों पर 25 काल्पनिक परिदृश्य बनाए, जिसमें हैकर द्वारा फाइलें चुराने से लेकर एक सामान्य उपयोगकर्ता द्वारा केवल सॉफ्टवेयर इंस्टॉल करने तक का सिम्युलेशन शामिल है।
- "वास्तविक दुनिया" (OpTC डेटा): उन्होंने एक विशाल, वास्तविक दुनिया के डेटासेट (DARPA OpTC) से 26 जटिल परिदृश्य लिए, जिसमें पहले से ही ज्ञात "ग्राउंड ट्रुथ" (उत्तर कुंजी) मौजूद थी।
इस परीक्षा में चार मुख्य कार्य थे, जैसे एक जासूस की चेकलिस्ट:
- ट्राइएज (वर्गीकरण - Classification): "क्या यह अलर्ट एक वास्तविक अपराध है या एक गलत अलार्म?"
- छिपने की जगह (परसिस्टेंस - Persistence): "क्या अपराधी ने सिस्टम में हमेशा के लिए रहने के लिए कोई गुप्त रास्ता (backdoor) बनाया है?"
- निकास मार्ग (लेटरल मूवमेंट - Lateral Movement): "क्या अपराधी संक्रमण फैलाने के लिए एक कंप्यूटर से दूसरे कंप्यूटर में कूद गया?"
- डकैती (डेटा एक्सफिल्ट्रेशन - Data Exfiltration): "क्या अपराधी ने संवेदनशील फाइलें चुराईं और उन्हें बाहर भेज दिया?"
परिणाम: AI ने क्या सही (और गलत) किया
शोधकर्ताओं ने पांच शीर्ष-स्तरीय AI मॉडल्स (GPT-5 और Gemini 2.5 Pro जैसे दिग्गजों सहित) का इस परीक्षा के विरुद्ध परीक्षण किया। यहाँ उनके निष्कर्ष दिए गए हैं, जिन्हें रोजमर्रा की भाषा में अनुवादित किया गया है:
1. "पैरानॉयड डिटेक्टिव" की समस्या
अधिकांश AI डिटेक्टिव्स अत्यधिक संदिग्ध थे। वे एक ऐसे सुरक्षा गार्ड की तरह थे जो एक व्यक्ति को बैग ले जाते देखते ही तुरंत मान लेता है कि उसमें बम है।
- परिणाम: AI "डकैती" (डेटा चोरी) को पकड़ने में बहुत अच्छे थे लेकिन निर्दोष लोगों को अनदेखा करने में बहुत खराब थे। उन्होंने सामान्य गतिविधियों को "हमले" के रूप में चिह्नित किया, जिससे गलत अलार्मों की बाढ़ आ गई।
2. बड़ा होना हमेशा बेहतर नहीं होता
आप सोच सकते हैं कि सबसे बड़े, सबसे महंगे AI मॉडल सबसे अच्छे डिटेक्टिव होंगे। आश्चर्यजनक रूप से, यह हमेशा सच नहीं था।
- परिणाम: कभी-कभी, छोटे, सस्ते मॉडल बड़े मॉडल्स के समान या उनसे भी बेहतर प्रदर्शन करते हैं। यह पता चला कि इस विशिष्ट कार्य के लिए, आपको हमेशा सुपरकंप्यूटर की आवश्यकता नहीं होती; एक स्मार्ट, कॉम्पैक्ट मॉडल भी काम चला सकता है।
3. लॉग्स की भाषा मायने रखती है
शोधकर्ताओं ने AI को दो तरीकों से लॉग दिए:
- रॉ लॉग्स (Raw Logs): जो सब कुछ हुआ उसका अव्यवस्थित, बिना संपादित ट्रांसक्रिप्ट (जैसे किसी अराजक कमरे की कच्ची ऑडियो रिकॉर्डिंग)।
- एज रिप्रेजेंटेशन (Edge Representation): एक साफ-सुथरा, संक्षिप्त संस्करण जो घटनाओं के बीच के संबंधों को उजागर करता है (जैसे एक जासूस का व्हाइटबोर्ड जहाँ संदिग्धों को जोड़ने वाली डोरियां लगी हों)।
- परिणाम: कुछ मॉडल्स के लिए, "साफ-सुथरा" संस्करण उन्हें बहुत अधिक स्मार्ट और तेज़ बना देता था। अन्य मॉडल्स के लिए, रॉ डेटा ठीक था। यह मॉडल की "सीखने की शैली" पर निर्भर करता है।
4. "प्रॉम्ट" निर्देश पुस्तिका है
आप AI से कैसे सवाल पूछते हैं, यह उत्तर बदल देता है। शोधकर्ताओं ने निर्देशों (प्रॉम्ट्स) को लिखने के दो अलग-अलग तरीके आजमाए।
- परिणाम: एक प्रॉम्ट जो एक AI डिटेक्टिव को प्रतिभाशाली बना सकता था, वह दूसरे को अनाड़ी बना सकता था। कोई "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) निर्देश पुस्तिका नहीं है। आप जिस विशिष्ट AI का उपयोग कर रहे हैं, उसके लिए आपको निर्देशों को ट्यून करना होगा।
5. AI का "तर्क" अक्सर अच्छा था
जब AI ने वास्तव में हमले को सही ढंग से पहचाना, तो उसका स्पष्टीकरण आमतौर पर उत्कृष्ट था। वह ठीक उस फाइल या कमांड की ओर इशारा कर सकता था जिसने अपराध को साबित किया।
- पेंच (The Catch): जब वह गलत था (गलत अलार्म), तो उसका तर्क अक्सर अजीब नामों या उच्च मात्रा (high volume) पर आधारित था।
- उदाहरण: यदि किसी फाइल का नाम
delete_logs.batथा, तो AI ने मान लिया कि यह सबूत मिटाने की कोशिश करने वाला एक अपराधी है, भले ही वह केवल एक सामान्य सिस्टम क्लीनअप स्क्रिप्ट थी। - उदाहरण: यदि कोई प्रोग्राम एक सेकंड में 1,000 बार चला, तो AI ने सोचा, "यह संदिग्ध है!" भले ही वह केवल एक सामान्य सॉफ्टवेयर अपडेट था।
- उदाहरण: यदि किसी फाइल का नाम
मुख्य निष्कर्ष
यह पेपर यह नहीं कहता कि "AI अभी सुरक्षा टीमों की जगह ले सकता है।" इसके बजाय, यह कहता है: "यहाँ एक पैमाना है जिससे आप माप सकते हैं कि AI इस काम में कितना अच्छा है, और यहाँ वे जाल हैं जिनसे बचना है।"
- सुरक्षा टीमों के लिए: केवल सबसे महंगा AI न खरीदें। छोटे मॉडल्स का परीक्षण करें। "पैरानॉयड" प्रवृत्ति के प्रति सावधान रहें जो गलत अलार्म पैदा करती है।
- AI डेवलपर्स के लिए: यह न मानें कि बड़े मॉडल्स हमेशा बेहतर होते हैं। सर्वोत्तम परिणाम प्राप्त करने के लिए आपको उन्हें डेटा देने का तरीका (Edge representation) बदलने या अपने निर्देशों (prompts) को ट्यून करने की आवश्यकता हो सकती है।
- सभी के लिए: AI एक शक्तिशाली उपकरण है, लेकिन इसे अपने काम की दोबारा जांच करने के लिए एक इंसान की आवश्यकता होती है, खासकर जब यह निर्दोष लोगों पर बहुत अधिक संदेह करने लगे।
शोधकर्ता अपना सारा डेटा, कोड और परीक्षा प्रश्न सार्वजनिक कर रहे हैं ताकि अन्य लोग इन डिजिटल डिटेक्टिव्स का परीक्षण करना और सुधारना जारी रख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।