तकनीकी सारांश: FraudShield

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को अनुबंध समीक्षा (contract review) और नौकरी के आवेदन सहायता जैसे महत्वपूर्ण निर्णय लेने वाले वर्कफ़्लो में तेजी से एकीकृत किया जा रहा है। हालाँकि, वे ऑनलाइन धोखाधड़ी के प्रति संवेदनशील बने हुए हैं, जहाँ दुर्भावनापूर्ण कर्ता (malicious actors) हानिकारक परिणामों (जैसे, वित्तीय हानि या डेटा रिसाव) को प्रेरित करने के लिए जटिल, इमर्सिव और मल्टी-टर्न इंटरैक्शन के माध्यम से मॉडल्स को मैनिपुलेट करते हैं।

मौजूदा रक्षा तंत्र इस क्षेत्र में महत्वपूर्ण सीमाओं का सामना करते हैं:

• विशेष डिटेक्टर (Specialized Detectors): पारंपरिक धोखाधड़ी डिटेक्टर (जैसे, Naive Bayes) निश्चित पैटर्न पर निर्भर करते हैं और उनमें LLM इंटरैक्शन की विकसित होती, जटिल प्रकृति के लिए आवश्यक सिमेंटिक समझ की कमी होती है।
• सामान्य सुरक्षा प्रॉम्प्ट (General Safety Prompts): सामान्य LLM सुरक्षा (जैसे, Safety Prompt, Self-Reminder, Goal Prioritization) के लिए डिज़ाइन किए गए तरीके अक्सर धोखाधड़ी के खिलाफ अप्रभावी होते हैं। पेपर नोट करता है कि ये दृष्टिकोण, जो जेलब्रेकिंग या प्रॉम्प्ट इंजेक्शन के लिए तैयार किए गए हैं, कभी-कभी धोखाधड़ी की युक्तियों को पहचानने की मॉडल की क्षमता को कमजोर कर सकते हैं या धोखाधड़ी के अंतर्निहित कारणों (rationales) को उजागर करने में विफल हो सकते हैं, जिससे खराब व्याख्यात्मकता (interpretability) और सामान्यीकरण (generalizability) होता है।

कार्यप्रणाली: FraudShield

FraudShield एक अभिनव, नॉलेज ग्राफ-सशक्त फ्रेमवर्क है जिसे धोखाधड़ी और फिशिंग उकसावे की एक विस्तृत श्रृंखला के विरुद्ध LLMs की रक्षा करने के लिए डिज़ाइन किया गया है। यह धोखेबाज़ युक्तियों का विश्लेषण करने और मॉडल के इनपुट को संरचित साक्ष्य के साथ बढ़ाने के लिए एक चार-चरणीय पाइपलाइन के माध्यम से संचालित होता है।

1. धोखाधड़ी युक्तियों का निष्कर्षण (Fraud Tactics Extraction)

यह फ्रेमवर्क स्थापित विवरणों के आधार पर धोखाधड़ी वाले व्यवहारों को चार प्राथमिक युक्तियों में वर्गीकृत करता है:

• तत्काल दबाव (Urgency Pressure): समय की पाबंदी, भय और कमी (scarcity) वाली युक्तियाँ।
• संदिग्ध जानकारी (Suspicious Information): संदिग्ध URL, डोमेन और हेरफेर वाले प्रस्ताव।
• संवेदनशील अनुरोध (Sensitive Requests): सत्यापन के रूप में प्रस्तुत किए गए संवेदनशील डेटा के लिए अपील।
• विश्वसनीयता दावे (Credibility Claims): अधिकार या विश्वसनीय आख्यानों के माध्यम से झूठा विश्वास स्थापित करने की रणनीतियाँ।

LLM को इन युक्तियों से जुड़े कीवर्ड्स ($k$) निकालने के लिए प्रॉम्प्ट किया जाता है, जिसमें प्रत्येक को एक कॉन्फिडेंस स्कोर ($s$) और एक तर्क ($r$) सौंपा जाता है।

2. बाइटिक (Bipartite) ग्राफ-आधारित युक्ति जुड़ाव

कीवर्ड ओवरलैप और विरोधाभासी युक्ति असाइनमेंट की समस्याओं को दूर करने के लिए, FraudShield एक वेटेड बाइटिक ग्राफ का निर्माण करता है:

• नोड्स (Nodes): एक सेट कीवर्ड क्लस्टर्स (ओवरलैपिंग कीवर्ड्स को समूहीकृत करना) का प्रतिनिधित्व करता है, और दूसरा पूर्व-निर्धारित धोखाधड़ी युक्तियों का।
• एजेस (Edges): पता लगाए गए साक्ष्यों के आधार पर कीवर्ड क्लस्टर्स को युक्तियों से जोड़ते हैं।
• परिष्करण (Refinement): ग्राफ एक दो-चरणीय परिष्करण प्रक्रिया से गुजरता है:
  1. प्रूनिंग (Pruning): कम-विश्वास वाले जुड़ावों को समाप्त करने और फॉल्स पॉजिटिव को कम करने के लिए थ्रेशोल्ड ($\tau$) से नीचे के एजेस को हटा दिया जाता है।
  2. संघर्ष समाधान (Conflict Resolution): प्रत्येक कीवर्ड क्लस्टर के लिए, केवल अधिकतम वेट (उच्चतम कॉन्फिडेंस) वाला एज बरकरार रखा जाता है, जिससे क्लस्टर को उसके सबसे संभावित टैकटिक (tactic) को असाइन किया जाता है।

3. साक्ष्य चयन (Evidence Selection)

सिस्टम प्रत्येक पता लगाए गए टैकटिक के लिए सबसे महत्वपूर्ण सहायक तर्क का चयन करता है। प्रत्येक टैकटिक के लिए, उच्चतम कॉन्फिडेंस स्कोर (थ्रेशोल्ड से ऊपर) वाले कीवर्ड को चुना जाता है, और उसका संबंधित तर्क सहायक साक्ष्य ($E$) बन जाता है।

4. गहन विश्लेषण और संवर्धन (In-Depth Analysis and Augmentation)

अंतिम चरण मूल इनपुट टेक्स्ट ($x$) को एक सुरक्षित प्रतिक्रिया ($y$) की ओर मार्गदर्शन करने के लिए संवर्धित (augment) करना है:

• XML टैगिंग: मूल टेक्स्ट को उनके पहचाने गए टैकटिक्स के अनुरूप XML-शैली के टैग में लपेटकर बढ़ाया जाता है ($x'$) (उदाहरण के लिए, <Suspicious Information>keyword</Suspicious Information>)।
• प्रॉम्प्टिंग: LLM को संवर्धित टेक्स्ट ($x'$) और चयनित साक्ष्य ($E$) को एक तर्क के रूप में प्राप्त होता है। यह संरचना स्पष्ट रूप से संभावित खतरों को हाइलाइट करती है और पहचान के पीछे के तर्क प्रदान करती है, जिससे मॉडल को एक सुरक्षित प्रतिक्रिया उत्पन्न करने के लिए निर्देशित किया जाता है।

मुख्य योगदान

1. प्रथम व्यापक रक्षा: लेखकों की जानकारी के अनुसार, यह सिंगल-टर्न और मल्टी-टर्न दोनों इंटरैक्शन में व्यापक रेंज की संभावित धोखाधड़ी के खिलाफ LLMs की रक्षा करने वाला पहला कार्य है।
2. अभिनव फ्रेमवर्क: FraudShield का परिचय, जो धोखाधड़ी-संबंधी साक्ष्य का व्यवस्थित रूप से विश्लेषण करने और उन्हें हाइलाइट करने के लिए एक ग्राफ-आधारित रिफाइनमेंट प्रक्रिया का उपयोग करता है, जो एक प्रभावी, सामान्यीकरण योग्य और व्याख्यात्मक रक्षा प्रदान करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): फ्रेमवर्क को विविध ऑनलाइन धोखाधड़ी के प्रयासों के खिलाफ LLMs की रक्षा करने में प्रभावी ढंग से मान्य किया गया है, जबकि वास्तविक उपयोगकर्ता इंटरैक्शन के लिए कार्यक्षमता को बनाए रखा गया है।

प्रयोगात्मक परिणाम

लेखकों ने Fraud-R1 डेटासेट (1,071 सिंगल-राउंड और 1,071 मल्टी-राउंड इंटरैक्शन) पर पांच धोखाधड़ी परिदृश्यों में FraudShield का मूल्यांकन किया: धोखाधड़ी वाली सेवा (Fraudulent Service), प्रतिरूपण (Impersonation), फिशिंग स्कैम (Phishing Scams), फर्जी जॉब पोस्टिंग (Fake Job Posting), और ऑनलाइन रिलेशनशिप। परीक्षण चार LLMs (GPT-4o-mini, GPT-o3-mini, Llama-3.1-8B, Qwen2.5-7B) पर दो सेटिंग्स में किए गए थे: हेल्पफुल असिस्टेंट और रोल-प्ले।

• डिफेंस सक्सेस रेट (DSR): FraudShield ने बेसलाइन्स (Vanilla LM, Safety Prompt, Self-Reminder, Goal Priorization) को काफी पीछे छोड़ दिया।
  • इसने हेल्पफुल असिस्टेंट सेटिंग्स में बेसलाइन्स की तुलना में औसत DSR में 23.88% और रोल-प्ले सेटिंग्स में 47.17% का सुधार किया।
  • "फेक जॉब पोस्टिंग" परिदृश्य में, जहाँ वैनिला मॉडल्स का DSR 4% से नीचे था, FraudShield ने प्रदर्शन को 58% और 76% के बीच पहुँचा दिया।
• उपयोगिता संरक्षण (Utility Preservation): कुछ बेसलाइन्स (जैसे, गोल प्रायोरिटीज़ेशन) के विपरीत जो बेनिन (benign) कार्यों पर सटीकता को कम करते हैं, FraudShield ने MMLU डेटासेट पर उच्च सटीकता (ACC) बनाए रखी, जो वैध इंटरैक्शन पर न्यूनतम प्रभाव प्रदर्शित करता है।
• मल्टी-राउंड प्रदर्शन: FraudShield ने मल्टी-राउंड बातचीत में धोखाधड़ी को जल्दी ही रोक दिया, जिसमें क्लोज्ड-सोर्स मॉडल्स चौथे राउंड तक लगभग 100% DSR तक पहुँच गए।
• यूजर स्टडी: 200 प्रतिभागियों के एक अध्ययन में दिखाया गया कि जब कीवर्ड्स को FraudShield द्वारा हाइलाइट किया गया, तो 97% उपयोगकर्ता स्कैम को सही ढंग से पहचान सके, जबकि कंट्रोल ग्रुप में यह 76% था। हाइलाइट्स के कारण बढ़ी हुई सतर्कता की रिपोर्ट करने वालों में से 95% से अधिक ने भी इसे दर्ज किया।

महत्व और दावे

पेपर FraudShield को LLM-आधारित अनुप्रयोगों को सुरक्षित करने के लिए एक महत्वपूर्ण प्रगति के रूप में प्रस्तुत करता है। इसका महत्व यहाँ निहित है:

• व्याख्यात्मकता (Interpretability): नॉलेज ग्राफ और XML टैगिंग का उपयोग करके, सिस्टम मॉडल और मानव उपयोगकर्ताओं दोनों के लिए स्पष्ट, कार्रवाई योग्य सुराग (कीवर्ड और तर्क) प्रदान करता है, जो "ब्लैक-बॉक्स" रक्षा विधियों के विपरीत है।
• सामान्यीकरण (Generalizability): यह एक ट्रेनिंग-फ्री फ्रेमवर्क है जो बिना फाइन-ट्यूनिंग के ओपन-सोर्स और क्लोज्ड-सोर्स दोनों मॉडल्स पर लागू होता है।
• व्यावहारिक एकीकरण: लेखक दावा करते हैं कि इस फ्रेमवेयर को रीयल-टाइम अलर्ट सिस्टम के रूप में मैसेजिंग ऐप्स, सोशल प्लेटफॉर्म और ट्रांजेक्शन वेबसाइटों में निर्बाध रूप से एकीकृत किया जा सकता है।
• ह्यूमन-इन-द-लूप: अध्ययन सुझाव देता है कि ग्राफ-आधारित रणनीति न केवल मॉडल की रक्षा करती है बल्कि मानव उपयोगकर्ताओं की धोखाधड़ी गतिविधियों को पहचानने और प्रतिक्रिया देने की क्षमता को भी बढ़ाती है।

लेखक निष्कर्ष निकालते हैं कि हालांकि FraudShield मजबूती को काफी बढ़ाता है, फिर भी अत्यधिक सूक्ष्म या जटिल धोखाधड़ी का पता लगाने में चुनौतियाँ बनी हुई हैं, जिसके लिए भविष्य में कॉन्टेक्स्टुअल रीजनिंग (contextual reasoning) की आवश्यकता है। वे प्रतिकूल उद्देश्यों के लिए इन रक्षात्मक अंतर्दृश्यों के दुरुपयोग को रोकने के लिए जिम्मेदार AI प्रथाओं की भी वकालत करते हैं।