LLM as Detector: An In-context Learning Approach for Tabular Anomaly Detection
यह शोध पत्र LLM-Detector का प्रस्ताव करता है, जो एक नवीन ढांचा है जो इन-कॉन्टेक्स्ट लर्निंग (in-context learning) का लाभ उठाकर सामान्य सारणीबद्ध डेटा (tabular data) को कोड-जनरेटेड स्कोरिंग इंजन के लिए संरचित प्रॉम्प्ट्स में परिवर्तित करता है, जिससे फाइन-ट्यूनिंग या न्यूरल नेटवर्क प्रशिक्षण की आवश्यकता के बिना विविध डेटासेट्स में प्रभावी विसंगति पहचान (anomaly detection) सक्षम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डेटा केंद्रों की विशाल, शांत गूँज में, एक विशिष्ट प्रकार की समस्या अक्सर आँखों के सामने छिपी रहती है। यह कोई नाटकीय विस्फोट या स्पष्ट त्रुटि नहीं है, बल्कि संख्याओं और श्रेणियों के एक स्प्रेडशीट के भीतर एक सूक्ष्म गलतपन है। यह सारणीबद्ध डेटा (tabular data) की दुनिया है, वह डिजिटल बहीखाता जो बैंक लेनदेन और चिकित्सा रिकॉर्ड से लेकर सर्वर लॉग और बीमा दावों तक सब कुछ दर्ज करता है। दशकों से, कंप्यूटरों को लाखों वैध लेनदेनों के बीच एक एकल धोखाधड़ी वाले लेनदेन को खोजने, या हजारों स्वस्थ लोगों के बीच एक बीमार रोगी को खोजने का कार्य सौंपा गया है। चुनौती यह है कि ये "विसंगतियाँ" (anomalies) शायद ही कभी स्पष्ट गलतियों की तरह दिखती हैं। वे अक्सर सतह पर पूरी तरह सामान्य दिखती हैं, फिर भी वे उन छिपे हुए नियमों का उल्लंघन करती हैं जो यह निर्धारित करते हैं कि सूचना के विभिन्न हिस्से एक-दूसरे से कैसे संबंधित होने चाहिए। किसी व्यक्ति की आयु, आय और टैक्स ब्रैकेट आमतौर पर एक अनुमानित पैटर्न का पालन करते हैं; जब वे ऐसा नहीं करते, तो यह एक समस्या का संकेत देता है, भले ही प्रत्येक व्यक्तिगत संख्या अपने आप में तर्कसंगत लगे।
वर्षों तक, इन छिपी हुई त्रुटियों को पकड़ने का मानक तरीका जटिल गणितीय मॉडल बनाना रहा है जो यह सीखते हैं कि "सामान्य" क्या दिखता है, और फिर उस पैटर्न से बहुत दूर जाने वाली किसी भी चीज़ को चिह्नित करते हैं। हाल ही में, वैज्ञानिकों ने इन त्रुटियों को पहचानने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करने का प्रयास किया है—वही शक्तिशाली आर्टिफिशियल इंटेलिजेंस सिस्टम जो निबंध लिख सकते हैं या प्रश्नों के उत्तर दे सकते हैं। विचार यह था कि यदि आप कंप्यूटर को डेटा की एक पंक्ति को एक वाक्य की तरह पढ़ना सिखा सकें, तो वह कैलकुलेटर की तुलना में संख्याओं के पीछे की कहानी को बेहतर ढंग से समझ सकता है। हालाँकि, इन शुरुआती प्रयासों को एक महत्वपूर्ण बाधा का सामना करना पड़ा: वे वास्तविक समय में उपयोगी होने के लिए बहुत धीमे थे, या उन्हें नए डेटा पर पुनः प्रशिक्षित (retrain) करने की आवश्यकता थी, जो महंगा और गणनात्मक रूप से भारी था। वे वास्तविक दुनिया के डेटा में मौजूद संख्याओं और टेक्स्ट श्रेणियों के जटिल मिश्रण को संभालने में संघर्ष करते थे, और अक्सर इस प्रक्रिया में डेटा के अर्थ को खो देते थे।
ऑस्ट्रेलिया के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने इस पहेली को सुलझाने का एक अलग तरीका प्रस्तावित किया है, जो आर्टिफिशियल इंटेलिजेंस को एक ऐसे छात्र के रूप में नहीं देखता जिसे प्रशिक्षित किया जाना है, बल्कि एक कुशल वास्तुकार (architect) के रूप में देखता है जिसे एक ब्लूप्रिंट दिया जाना है। AI को शून्य से सीखने या उदाहरणों को याद करने के लिए मजबूर करने के बजाय, उन्होंने इसे सामान्य डेटा कैसा दिखता है, इसके सारांश के आधार पर एक कस्टम प्रोग्राम लिखने के लिए कहा। शोधकर्ता इस नए दृष्टिकोण को 'LLM-Detector' कहते हैं। उनकी विधि 'इन-कॉन्टेक्स्ट लर्निंग' (in-context learning) की अवधारणा पर निर्भर करती है, जो एक लार्ज लैंग्वेज मॉडल को केवल नियमों के स्पष्ट विवरण और कुछ उदाहरण दिए जाने पर एक जटिल कार्य करने की अनुमति देती है, बिना उसके आंतरिक मस्तिष्क को बदले या एक लंबी प्रशिक्षण प्रक्रिया के।
प्रक्रिया एक सामान्य, स्वस्थ डेटा के बड़े संग्रह को लेकर शुरू होती है—जैसे कि हजारों वैध बैंक रिकॉर्ड—और उसे तीन प्रमुख प्रकार की सूचनाओं में संक्षिप्त करती है। सबसे पहले, सिस्टम प्रत्येक कॉलम का सांख्यिकीय प्रोफाइल (statistical profile) निकालता है, औसत मानों, विशिष्ट श्रेणियों और विभिन्न श्रेणियों की आवृत्ति को नोट करता है। दूसरा, यह कारणत्मक संबंधों (causal relationships) का मानचित्र तैयार करता है, यह पता लगाता है कि कौन सी जानकारी दूसरों पर निर्भर है; उदाहरण के लिए, यह सीखता है कि उच्च आय आमतौर पर एक विशिष्ट टैक्स ब्रैकेट के साथ सह-संबंधित होती है। तीसरा, यह वास्तविक डेटा बिंदुओं के एक छोटे, प्रतिनिधि समूह का चयन करता है जो एंकर (anchors) के रूप में कार्य करते हैं, जो डेटा के विशिष्ट आकार और प्रसार को दर्शाते हैं। इन तीन तत्वों को फिर एक एकल, विस्तृत प्रॉम्प्ट (prompt) में पैक किया जाता है और लार्ज लैंग्वेज मॉडल को भेजा जाता है।
मॉडल इस प्रॉम्प्ट को पढ़ता है और, एक कोड जनरेटर के रूप में कार्य करते हुए, उस विशिष्ट डेटासेट के लिए डिज़ाइन किया गया एक पूर्ण, निष्पादन योग्य (executable) कंप्यूटर प्रोग्राम लिखता है। यह प्रोग्राम केवल एक अनुमान नहीं है; यह निर्देशों का एक सेट है जो जानता है कि सांख्यिकीय विसंगतियों की जाँच कैसे की जाए, चरों (variables) के बीच टूटे हुए संबंधों को कैसे पहचाना जाए, और यह कैसे मापा जाए कि एक नया डेटा बिंदु सामान्य भीड़ के केंद्र से कितनी दूर है। एक बार जब यह प्रोग्राम लिख लिया जाता है, तो इसे सहेज लिया जाता है और नए, अनदेखे डेटा के विरुद्ध चलाया जाता है। जब एक नया रिकॉर्ड आता है, तो प्रोग्राम तुरंत एक 'विसंगति स्कोर' (anomaly score) की गणना करता है, जो एक संख्या है जो यह दर्शाती है कि रिकॉर्ड कितना संदिग्ध है। यदि स्कोर अधिक है, तो इसका अर्थ है कि रिकॉर्ड उन नियमों का उल्लंघन करता है जिन्हें AI ने सामान्य डेटा से निकाला था।
शोधकर्ताओं ने बीसित चार अलग-अलग डेटासेट्स पर इस पद्धति का परीक्षण किया, जिसमें छोटे चिकित्सा रिकॉर्ड से लेकर विशाल साइबर सुरक्षा लॉग तक शामिल थे। उन्होंने अपने दृष्टिकोण की तुलना पंद्रह अन्य अत्याधुनिक तरीकों से की, जिनमें पारंपरिक सांख्यिकीय उपकरण, डीप लर्निंग मॉडल और इस कार्य के लिए भाषा मॉडलों के पिछले प्रयास शामिल थे। परिणामों ने दिखाया कि उनकी विधि लगातार अन्य तरीकों से बेहतर प्रदर्शन करती है, विशेष रूप से उन डेटासेट्स में जो संख्याओं और टेक्स्ट श्रेणियों को मिलाते हैं। औसतन, उनके दृष्टिकोण ने 0.7407 का डिटेक्शन सटीकता स्कोर प्राप्त किया, जो अगले सर्वश्रेष्ठ तरीके से अधिक था। महत्वपूर्ण रूप से, यह प्रदर्शन एक नया मॉडल प्रशिक्षित करने की भारी गणनात्मक लागत के बिना प्राप्त हुआ। क्योंकि AI केवल एक बार कोड लिखता है और फिर हट जाता है, इसलिए यह प्रणाली अविश्वसनीय रूप से तेज़ है, जो अन्य तरीकों द्वारा आवश्यक मिनटों या घंटों की तुलना में डेटा को संसाधित करने में केवल एक सेकंड का अंश लेती है।
अध्ययन ने यह भी पता लगाया कि सिस्टम के विभिन्न हिस्सों ने इसकी सफलता में कैसे योगदान दिया। उन्होंने पाया कि AI को केवल सांख्यिकीय संख्याएँ देना सहायक था, लेकिन चरों के बीच संबंधों के मानचित्र को जोड़ने से यह सूक्ष्म त्रुटियों को पकड़ने में काफी बेहतर हो गया। सामान्य डेटा के प्रतिनिधि उदाहरणों को शामिल करने से डेटा के समग्र आकार को समझने की प्रणाली की क्षमता और भी परिष्कृत हो गई। शोधकर्ताओं ने इस पद्धति का परीक्षण विभिन्न अंतर्निहित AI मॉडलों के साथ भी किया और पाया कि हालांकि मजबूत मॉडल थोड़ा बेहतर प्रदर्शन करते हैं, लेकिन कस्टम प्रोग्राम लिखने का मूल डिज़ाइन हर जगह अच्छी तरह से काम करता है। यह सुझाव देता है कि पद्धति की शक्ति किसी विशिष्ट प्रकार के आर्टिफिशियल इंटेलिजेंस पर निर्भर करने के बजाय, दृष्टिकोण की संरचना—डेटा को तार्किक नियमों के सेट में अनुवादित करने—में निहित है।
समस्या को कोड जनरेशन के कार्य में बदलकर, शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो शक्तिशाली और व्यावहारिक दोनों है। इसके लिए उन्नत आर्टिफिशियल इंटेलिजेंस से जुड़ी भारी कंप्यूटिंग शक्ति की आवश्यकता नहीं है, और न ही डेटा बदलने पर इसे पुनः प्रशिक्षित करने की आवश्यकता है। यह बस सामान्य होने की कहानी को पढ़ता है, अपवादों को पहचानने के लिए एक नियम पुस्तिका लिखता है, और फिर उस नियम पुस्तिका को वास्तविक दुनिया पर लागू करता है। यह दृष्टिकोण उन उद्योगों के लिए एक आशाजनक मार्ग प्रदान करता है जिन्हें जोखिमों के लिए विशाल मात्रा में डेटा की निगरानी करने की आवश्यकता होती है, जैसे कि वित्तीय धोखाधड़ी को रोकना या कंप्यूटर नेटवर्क को सुरक्षित करना, यह सिद्ध करते हुए कि कभी-कभी घास के ढेर में सुई खोजने का सबसे प्रभावी तरीका कंप्यूटर को एक बेहतर चुंबक बनाना सिखाना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।