Domain Knowledge-Enhanced LLMs for Fraud and Concept Drift Detection
यह शोध पत्र एक डोमेन नॉलेज-एन्हांस्ड एलएलएम (LLM) फ्रेमवर्क प्रस्तावित करता है जो संरचित अंतर्दृष्टि को दो-चरणीय पहचान प्रणाली के साथ एकीकृत करता है ताकि भ्रामक बातचीत की प्रभावी ढंग से पहचान करने और कॉन्सेप्ट ड्रिफ्ट (concept drift) को सौहार्दपूर्ण या धोखाधड़ी वाले के रूप में वर्गीकृत करने के लिए, SEConvo डेटासेट पर 98% सटीकता प्राप्त करते हुए उच्च-जोखिम वाले एनएलपी (NLP) अनुप्रयोगों में ज़ीरो-शॉट बेसलाइन से बेहतर प्रदर्शन किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
इंटरनेट की कल्पना एक विशाल, हलचल भरे डिजिटल टाउन स्क्वायर के रूप में करें। इस चौक में, लोग बातचीत करते हैं, समीक्षाएं साझा करते हैं और व्यापार करते हैं। लेकिन किसी भी वास्तविक शहर की तरह, यहाँ भी कुछ शरारती तत्व हैं। कुछ लोग सड़क के कोने पर बांटे जाने वाले "फेक न्यूज" के पर्चों की तरह हैं, जो बढ़ा-चढ़ाकर लिखी गई कहानियों से आपको धोखा देने की कोशिश करते हैं। अन्य लोग उन चिकनी-चुपड़ी बातें करने वाले ठगों की तरह हैं जो आपके सहज होने का इंतज़ार करते हैं और फिर आपसे आपका बटुआ मांगते हैं। समस्या यह है कि ये शरारती तत्व और भी स्मार्ट होते जा रहे हैं। वे केवल पुराने तरीकों का ही इस्तेमाल नहीं करते; वे अपनी आवाज़, अपने विषय और अपनी शैली को बदलते रहते हैं ताकि वे भीड़ में घुलमिल सकें। कंप्यूटर विज्ञान की दुनिया में, इस निरंतर बदलाव को "कॉन्सेप्ट ड्रिफ्ट" (Concept Drift) कहा जाता है। यह एक गिरगिट की तरह है जो न केवल छिपने के लिए, बल्कि उस विशिष्ट फूल की नकल करने के लिए अपना रंग बदलता है जिस पर वह बैठा है।
इन डिजिटल धोखेबाजों को पकड़ने के लिए, वैज्ञानिक "जासूस" बना रहे हैं—कंप्यूटर प्रोग्राम जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है। इन LLMs को ऐसे सुपर-स्मार्ट रोबोट के रूप में समझें जिन्होंने इंटरनेट पर मौजूद लगभग सब कुछ पढ़ लिया है। वे भाषा समझने में बहुत अच्छे हैं, लेकिन वे कभी-कभी भ्रमित हो सकते हैं। बिना किसी विशिष्ट मार्गदर्शक के, वे विषय के एक हानिरहित बदलाव को घोटाले के रूप में समझ सकते हैं, या इससे भी बुरा, वे किसी घोटाले को मिस कर सकते हैं क्योंकि धोखेबाज ने अपने स्क्रिप्ट को बस इतना बदल दिया है कि वह सामान्य दिखने लगे। यह शोध पत्र एक सरल लेकिन शक्तिशाली प्रश्न पूछता है: क्या होगा यदि हम इन रोबोट जासूसों को एक विशिष्ट "चीट शीट" या वास्तविक दुनिया के ज्ञान पर आधारित नियमों का एक सेट दें कि घोटालेबाज वास्तव में कैसे व्यवहार करते हैं? क्या इससे उन्हें नकली चीज़ों को बेहतर ढंग से पहचानने में मदद मिलेगी, भले ही घोटालेबाज अपनी रणनीति बदलने की कोशिश करें?
इस शोध पत्र के लेखक, अली शेनोल, गरिमा अग्रवाल और हुआन लियू ने इस सवाल का जवाब देने के लिए एक नए प्रकार की जासूसी टीम बनाने का निर्णय लिया। उन्होंने केवल रोबोट के सामान्य ज्ञान पर भरोसा नहीं किया; उन्होंने एक ऐसी प्रणाली बनाई जो रोबोट के मस्तिष्क को एक संरचित "डोमेन नॉलेज" (Domain Knowledge) गाइड के साथ जोड़ती है। यह गाइड एक विशेष प्रशिक्षण नियमावली की तरह है जो रोबोट को ठीक से सिखाती है कि उसे क्या देखना है, जैसे कि अत्यधिक उत्साहजनक प्रशंसा, क्रेडिट कार्ड नंबरों के लिए अचानक अनुरोध, या अजीब तरह से औपचारिक भाषा जो बातचीत के अनुकूल नहीं है।
उनकी प्रणाली तीन चतुर चरणों में काम करती है, जो एक हाई-टेक सुरक्षा चेकपॉइंट की तरह है। सबसे पहले, एक "डोमेन नॉलेज" रोबोट यह जाँचता है कि क्या कोई बातचीत शुरुआत से ही नकली या भ्रामक दिख रही है। यदि कुछ संदिग्ध लगता है, तो बातचीत दूसरे स्टेशन पर जाती है: एक "ड्रिफ्ट डिटेक्टर" (Drift Detector)। यह स्टेशन एक मोशन सेंसर की तरह कार्य करता है, जो यह देखता है कि क्या बातचीत अचानक अजीब तरीके से अपने विषय या लहजे में बदल रही है (वही "कॉन्सेप्ट ड्रिफ्ट")। अंत में, यदि कोई बदलाव पाया जाता है, तो दूसरा "डोमेन नॉलेज" रोबोट हस्तक्षेप करता है ताकि यह पता लगाया जा सके कि वह बदलाव क्यों हुआ। क्या यह केवल एक हानिरहित विषय परिवर्तन (benign) है, या एक घोटालेबाज द्वारा एक नई चाल की ओर मुड़ने का प्रयास (adversarial) है?
शोधकर्ताओं ने इस विचार का दो तरीकों से परीक्षण किया। पहले, उन्होंने स्थिर फर्जी समीक्षाओं (जैसे फर्जी Yelp समीक्षाएं) को देखा कि क्या रोबोट को चीट शीट देने से मदद मिली। उन्होंने पाया कि इससे बहुत बड़ा अंतर पड़ा। उदाहरण के लिए, एक मॉडल जिसे DeepSeek कहा जाता है, चीट शीट का उपयोग करने पर 56% सही उत्तरों से उछलकर 90% तक पहुँच गया। एक अन्य मॉडल, Claude, 87% से बढ़कर 95% हो गया।
फिर, वे अधिक कठिन चुनौती की ओर बढ़े: मल्टी-टर्न बातचीत (multi-turn conversations), जहाँ लोग समय के साथ आपस में बातचीत करते हैं। उन्होंने SEConvo नामक एक डेटासेट का उपयोग किया, जिसमें वास्तविक और फर्जी बातचीत शामिल हैं। यहाँ, परिणाम और भी प्रभावशाली थे। जब उन्होंने LLaMA मॉडल के साथ अपनी पूर्ण तीन-चरणीय प्रणाली का उपयोग किया, तो इसने धोखाधड़ी को पकड़ने और यह पहचानने में आश्चर्यजनक 98% सटीकता हासिल की कि बातचीत का बदलाव हानिरहित था या दुर्भावनापूर्ण। यह उन पुराने तरीकों की तुलना में बहुत बेहतर था जिनमें इन विशेष रोबोटों या चीट शीट का उपयोग नहीं किया गया था।
यह शोध पत्र सुझाव देता है कि जबकि ये स्मार्ट रोबोट शक्तिशाली हैं, उच्च जोखिम वाली स्थितियों में वास्तव में विश्वसनीय होने के लिए उन्हें मानव विशेषज्ञों की थोड़ी मदद की आवश्यकता होती है। उन्हें धोखाधड़ी के बारे में विशिष्ट, संरचित ज्ञान प्रदान करके, प्रणाली न केवल अधिक सटीक बनती है, बल्कि यह समझाने में भी बेहतर होती है कि उसने किसी बातचीत को संदिग्ध क्यों माना। लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण ऑनलाइन स्थानों को सुरक्षित रखने के लिए एक मजबूत कदम है, जो यह सिद्ध करता है कि जब आप एक रोबोट के मस्तिष्क को धोखे के मानवीय समझ के साथ जोड़ते हैं, तो आपको एक बहुत अधिक सटीक जासूस मिलता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।