OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection
यह शोध पत्र OrgForge-IT को प्रस्तुत करता है, जो एक सत्यापन योग्य सिंथेटिक बेंचमार्क है जो इनसाइडर थ्रेट डिटेक्शन में क्रॉस-आर्टिफैक्ट निरंतरता सुनिश्चित करने के लिए एक नियत सिमुलेशन इंजन का उपयोग करता है, जो दस भाषा मॉडलों के व्यापक मूल्यांकन के माध्यम से मॉडल प्रदर्शन, शोर प्रबंधन और विशिष्ट ट्राइएज पाइपलाइनों की आवश्यकता के बारे में महत्वपूर्ण अंतर्दृष्टि प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, व्यस्त कार्यालय भवन के सुरक्षा गार्ड हैं। आपका काम हजारों कर्मचारियों के बीच से "बुरे लोगों" (इंसाइडर थ्रेट्स/आंतरिक खतरों) को पहचानना है, जो अपना सामान्य काम कर रहे हैं।
समस्या यह है कि इमारत बहुत बड़ी है, और अधिकांश समय, हर कोई बस काम कर रहा होता है। लेकिन कभी-कभी, कोई फ़ाइल चुरा लेता है, रात के 3 बजे लॉग इन करता है, या फोन स्कैम का शिकार हो जाता है। इस घास के ढेर में सुई ढूंढना अविश्वसनीय रूप से कठिन है।
यह शोध पत्र एक नया प्रशिक्षण मैदान (जिसे OrgForge-IT कहा जाता है) पेश करता है ताकि आर्टिफिशियल इंटेलिजेंस (AI) को एक बेहतर सुरक्षा गार्ड बनने के लिए प्रशिक्षित किया जा सके। यहाँ इसका सरल विवरण दिया गया है कि यह क्यों विशेष है और इसने क्या पाया।
1. पुराने प्रशिक्षण मैनुअल के साथ समस्या
पहले, सुरक्षा टीमें अपने AI को पुराने, नकली डेटासेट (जैसे "CERT" डेटासेट) पर प्रशिक्षित करती थीं।
- खामी: ये पुराने डेटासेट किसी एक व्यक्ति द्वारा लिखी गई कहानी की तरह थे जिसने इसे चलते-चलते बनाया था। कभी-कभी, कहानी खुद का खंडन करती थी (जैसे, एक वाक्य में "जॉन ने रात 3 बजे लॉग इन किया" लेकिन दूसरे में "जॉन 3 बजे एक मीटिंग में था")। AI भ्रमित हो जाता था क्योंकि तथ्य आपस में मेल नहीं खाते थे।
- नया समाधान (OrgForge-IT): लेखक ने एक डिजिटल सिमुलेशन इंजन बनाया। इसे एक वीडियो गेम इंजन की तरह समझें जो कार्यालय को चलाता है।
- इंजन सिमुलेशन का "ईश्वर" है। वह परम सत्य जानता है: किसने, क्या, कब और क्यों किया। वह एक गुप्त "उत्तर कुंजी" (Answer Key) रखता है।
- AI (लैंग्वेज मॉडल) केवल "संवाद" (ईमेल, स्लैक संदेश, लॉग) लिखता है जो इंजन के नियमों पर आधारित होता है।
- यह क्यों मायने रखता है: क्योंकि इंजन तथ्यों को नियंत्रित करता है, इसलिए कहानी कभी विरोधाभासी नहीं होती। यदि AI कहता है "जॉन ने एक फ़ाइल चुराई," तो इंजन निश्चित रूप से जानता है कि जॉन ने ऐसा किया या नहीं। यह प्रशिक्षण को पूर्ण और निष्पक्ष बनाता है।
2. परीक्षण: चार पेचीदा परिदृश्य
सिमुलेशन ने 2,904 रिकॉर्ड्स के साथ कार्यालय जीवन के 51 दिनों का निर्माण किया। 96% रिकॉर्ड सामान्य "शोर" (लोग बस काम कर रहे हैं) थे। AI को उस 4% को खोजना था जो खतरे थे। परीक्षण में चार विशिष्ट जाल शामिल थे जिन्हें साधारण AI को चकमा देने के लिए डिज़ाइन किया गया था:
- "घोस्ट" (Ghost) लॉगिन: किसी ने लॉग इन किया, लेकिन उसके बाद कुछ भी नहीं किया। एक साधारण AI गतिविधि (activity) को देखता है। इस परिदृश्य के लिए AI को यह नोटिस करने की आवश्यकता है कि कुछ भी नहीं हुआ और यह महसूस करने की आवश्यकता है कि यह संदिग्ध है।
- "विशिंग" (Vishing) का जाल (वॉइस फिशिंग): एक बुरा आदमी एक कर्मचारी को कॉल करता है, उसे धोखा देता है, और फिर कर्मचारी के खाते में लॉग इन करता है।
- जाल: एक साधारण AI देखता है "कर्मचारी ने लॉग इन किया" और सोचता है कि कर्मचारी ही बुरा आदमी है।
- असली सच्चाई: कर्मचारी पीड़ित है। बुरा आदमी वह है जिसने कॉल किया था।
- "स्लो बर्न" (Slow Burn) चोरी: डेटा चुराना हमेशा एक बड़ी डाउनलोडिंग नहीं होती। यह सोमवार को फाइलें कॉपी करना, मंगलवार को उन्हें कंप्रेस करना और बुधवार को उन्हें ईमेल करना है।
- जाल: यदि AI केवल एक दिन के आधार पर देखता है, तो वह पूरी कहानी को मिस कर देता है।
- "ट्रस्ट बिल्डर" (विश्वास निर्माता): एक बुरा आदमी आज एक अच्छा, हानिरहित ईमेल भेजता है, और फिर तीन दिन बाद हमला करता है। AI को हमले को पकड़ने के लिए उस अच्छे ईमेल को याद रखना होगा।
3. परिणाम: "ट्राइएज" बनाम "वॉर्डिक्ट" का विभाजन
लेखक ने 10 अलग-अलग AI मॉडल्स का परीक्षण किया। यहाँ वह बड़ा आश्चर्य है जो उन्होंने पाया:
"ट्राइएज" (छंटनी) बनाम "वॉर्डिक्ट" (निर्णय)
- ट्राइएज (Triage): यह अस्पताल में ट्राइएज नर्स की तरह है। "क्या यह मरीज डॉक्टर को दिखाने लायक बीमार है?"
- परिणाम: लगभग सभी AI इसमें अच्छे थे। वे संदिग्ध लोगों को चिह्नित कर सकते थे।
- वॉर्डिक्ट (Verdict): यह अदालत में जज की तरह है। "क्या यह व्यक्ति दोषी है या निर्दोष?"
- परिणाम: यहीं पर AI दो टीमों में बंट गए।
- टियर ए (स्मार्ट जज): इन AI ने महसूस किया, "रुको, कर्मचारी को धोखा दिया गया था! वे निर्दोष हैं।" उन्होंने सही ढंग से पीड़ित की पहचान की।
- टियर बी (भ्रमित जज): इन AI ने संदिग्ध लॉगिन देखा और कहा, "दोषी!" उन्होंने अपराधी के बजाय पीड़ित को दंडित किया।
- परिणाम: यहीं पर AI दो टीमों में बंट गए।
"फॉल्स अलार्म" (गलत सूचना) की समस्या
शोधकर्ता ने पाया कि केवल सटीकता (accuracy) ही काफी नहीं है।
- कल्पना कीजिए कि दो सुरक्षा गार्ड हैं। दोनों चोर को पकड़ते हैं।
- गार्ड A चोर को पकड़ता है और 99 निर्दोष लोगों को अनदेखा करता है।
- गार्ड B चोर को पकड़ता है लेकिन 40 निर्दोष लोगों पर भी चोर होने का आरोप लगा देता है।
- निष्कर्ष: गार्ड B बेकार है, भले ही उसने चोर को पकड़ा हो। शोध पत्र कहता है कि हमें यह भी मापना चाहिए कि AI कितने फॉल्स अलार्म देता है, न कि केवल यह कि वह बुरे आदमी को पकड़ता है या नहीं।
4. "वोकैबुलरी हैलुसिनेशन" (शब्दावली का भ्रम)
शोधकर्ताओं ने AI से एक ही सवाल अलग-अलग तरीकों से पूछकर देखा (कुछ बहुत संरचित, कुछ सामान्य बातचीत की तरह)।
- उन्होंने पाया कि जब AI को विशिष्ट "कोड शब्दों" (जैसे एक सख्त डिक्शनरी) का उपयोग करने के लिए मजबूर नहीं किया गया, तो वह अपराध का वर्णन तो बिल्कुल सही करता था लेकिन गलत शब्दों का उपयोग करता था।
- उदाहरण: AI कहता है, "उसने फाइलें कॉपी कीं और उन्हें एक जिप बैग में रखा।" स्कोरिंग सिस्टम केवल "होस्ट डेटा होर्डिंग" (Host Data Hoarding) को स्वीकार करता है। इसलिए, AI को शून्य मिलता है, भले ही वह अपराध को पूरी तरह से समझ गया हो।
- सबक: हमें AI को इस आधार पर ग्रेड करना चाहिए कि वे क्या समझते हैं, न कि केवल इस आधार पर कि क्या वे सटीक शब्दावली का उपयोग करते हैं।
5. मुख्य निष्कर्ष
यह शोध पत्र सिद्ध करता है कि:
- हमें बेहतर प्रशिक्षण डेटा की आवश्यकता है: AI को एक ऐसे सिमुलेशन की आवश्यकता है जहाँ तथ्य 100% सत्य हों, न कि केवल एक मनगढ़ंत कहानी।
- केवल "स्मार्ट" होना काफी नहीं है: एक AI जो बुरे आदमी को पकड़ता है लेकिन निर्दोष पीड़ित पर आरोप लगाता है, वह विफल है।
- संदर्भ (Context) ही सब कुछ है: आधुनिक खतरों को पकड़ने के लिए, AI को पूरे सप्ताह को देखना होगा, न कि केवल आज को, और उसे पीड़ित और अपराधी के बीच अंतर समझना होगा।
संक्षेप में, OrgForge-IT सुरक्षा AI के लिए एक नया, पूर्ण "फ्लाइट सिम्युलेटर" है, और इसने हमें दिखाया है कि हालांकि हमारे वर्तमान AI पायलट अशांति (turbulence) को पहचानने में बेहतर हो रहे हैं, उन्हें अभी भी यह सीखने की आवश्यकता है कि तूफान और यात्री के पैनिक अटैक के बीच अंतर कैसे किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।