Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows

कल्पना कीजिए कि आप एक विशाल, हलचल भरे डिजिटल शहर के सुरक्षा प्रमुख हैं। इस शहर के दो मुख्य काम हैं: सड़कों को बुरे तत्वों (जैसे स्कैमर और धोखाधड़ी करने वालों) से सुरक्षित रखना और यह सुनिश्चित करना कि सभी समुदाय के नियमों का पालन करें (जैसे नफरत फैलाने वाले भाषण या स्पैम को रोकना)। अतीत में, आपने मानव जासूसों की एक टीम को नियुक्त किया था जो हर नोट को पढ़ती थी, हर लेनदेन की जांच करती थी और यह तय करती थी कि कौन सच बोल रहा है। लेकिन आपका शहर बहुत बड़ा हो गया है, और मानव टीम डूब रही है।

यहाँ नए रंगरूटों का आगमन होता है: लार्ज लैंग्वेज मॉडल्स (LLMs)। इन्हें मानव जासूसों के रूप में नहीं, बल्कि अविश्वसनीय रूप से तेज़, सुपर-स्मार्ट रोबोटों के रूप में सोचें जो एक सेकंड में दस लाख पन्ने पढ़ सकते हैं और शब्दों के पीछे के अर्थ को समझ सकते हैं। उन्हें मानव टीम की मदद करने के लिए प्रस्तावित किया जा रहा है, जैसे संदिग्ध नोट्स को फ्लैग करना, जटिल मामलों का सारांश बनाना, या रक्षा की पहली पंक्ति के रूप में कार्य करना। लेकिन पेचीदा हिस्सा यह है कि सिर्फ इसलिए कि एक रोबोट स्मार्ट है, इसका मतलब यह नहीं है कि वह वास्तविक दुनिया के लिए तैयार है। एक वीडियो गेम में, एक रोबोट एकदम सही हो सकता है। लेकिन एक वास्तविक शहर में, यदि रोबोट बहुत धीमा है, तो वह ट्रैफिक जाम का कारण बनता है। यदि इसे चलाने में बहुत अधिक लागत आती है, तो शहर दिवालिया हो जाता है। और यदि इसे एक चालाक धोखेबाज द्वारा ठगा जाता है, तो पूरा सिस्टम ढह सकता है। बड़ा सवाल केवल यह नहीं है कि "क्या रोबोट स्मार्ट है?" बल्कि यह है कि "क्या हम इस रोबोट पर भरोसा कर सकते हैं कि वह हमारे इस व्यस्त, उच्च-दबाव वाले शहर के भीतर कुछ भी तोड़े बिना काम कर सके?"

यह शोध पत्र, जिसका शीर्षक है "Fraud Detection और Trust-and-Safety Workflows में LLMs के लिए Operational Evidence Gaps," इन नए रोबोट रंगरूटों के लिए एक कठोर निरीक्षण रिपोर्ट की तरह है। लेखक, कीयूर गैबानी (Keyur Gabani) ने 49 अलग-अलग अध्ययनों और रिपोर्टों को देखा जो धोखाधड़ी पकड़ने या कंटेंट मॉडरेशन (सामग्री की निगरानी) के लिए इन AI रोबोटों का उपयोग करने के बारे में बात करते हैं। लक्ष्य यह देखना था कि क्या उनके पास पर्याप्त प्रमाण है कि ये रोबोट वास्तव में एक लाइव सिस्टम में काम कर सकते हैं, या वे केवल एक सैंडबॉक्स (रेत के खेल के मैदान) में खेल रहे हैं।

मुख्य निष्कर्ष थोड़ा चौंकाने वाला है: एक बड़ा अंतर है जो हम इन रोबोटों के बारे में सोचते हैं और जो हम वास्तव में जानते हैं कि वे वास्तविक दुनिया में क्या कर सकते हैं। लेखक इसे एक "साक्ष्य असंतुलन" (evidence imbalance) कहते हैं।

यहाँ वह कहानी है जो यह पत्र बताता है:

धोखाधड़ी टीम के पास स्कोरकार्ड गायब है
धोखाधड़ी (जैसे क्रेडिट कार्ड घोटाले या फिशिंग ईमेल) को पकड़ने की दुनिया में, शोधकर्ताओं ने 18 अलग-अलग अध्ययन पाए। ये अध्ययन यह दिखाने में बेहतरीन हैं कि रोबोट एक टेस्ट ट्यूब में घोटाले को पहचान सकता है। वे उच्च सटीकता के साथ कह सकते हैं, "हे, यह एक घोटाला लग रहा है!" लेकिन जब लेखक ने वास्तविक दुनिया के प्रदर्शन के लिए "स्कोरकार्ड" की तलाश की, तो वह लगभग खाली था।

• गायब संख्याएँ: उन 18 धोखाधड़ी अध्ययनों में से किसी ने भी यह रिपोर्ट नहीं किया कि एक निर्णय लेने में रोबोट को कितना समय लगता है (लेटेंसी/विलंबता)। उनमें से किसी ने भी हमें यह नहीं बताया कि एक निर्णय लेने की लागत कितनी है (लागत)। न ही उनमें से किसी ने यह समझाया कि निर्णय लेते समय रोबोट कितना आश्वस्त है (कैलिब्रेशन)।
• रूपक: यह एक रेस कार होने जैसा है जो एक टेस्ट ट्रैक पर तेज़ साबित हुई है, लेकिन किसी ने आपको कभी यह नहीं बताया कि वह प्रति मील कितना ईंधन जलाती है या क्या वह बारिश वाले दिन भी संभाल सकती है। आप जानते हैं कि वह तेज़ जा सकती है, लेकिन आप यह नहीं जानते कि क्या वह हाईवे पर चलाने के लिए सुरक्षित है।

मॉडरेशन टीम अपने कार्ड अधिक दिखा रही है
कंटेंट मॉडरेशन (बुरे कमेंट्स या स्पैम को रोकना) की दुनिया में, लेखक को 14 अध्ययन मिले। आश्चर्यजनक रूप से, यह समूह वास्तविक दुनिया की चीजों के बारे में अधिक ईमानदार था। वे इस बारे में बात करने की अधिक संभावना रखते थे कि रोबोट कितना समय लेता है, इसकी लागत कितनी है, और निष्पक्षता (fairness) को कैसे संभालना है (यह सुनिश्चित करना कि रोबोट विभिन्न समूहों के साथ अन्याय न करे)।

• रूपक: मॉडरेशन टीम एक निर्माण दल की तरह है जो न केवल घर बनाता है बल्कि आपको सामग्री का विस्तृत बिल और समय सीमा भी देता है। वे अभी भी खामियों को दूर कर रहे हैं, लेकिन वे अपना काम दिखा रहे हैं।

"FORTE" फ्रेमवर्क: रोबोटों को देखने का एक नया तरीका
इस सब को समझने के लिए, लेखक ने रोबोटों को व्यवस्थित करने का एक नया तरीका बनाया, जिसे FORTE कहा जाता है। केवल यह पूछने के बजाय कि "यह कौन सा मॉडल है?", FORTE पूछता है "यह रोबोट क्या काम कर रहा है?"

• द क्लासिफायर (The Classifier): रोबोट एक न्यायाधीश के रूप में कार्य करता है, जो "दोषी" या "निर्दोष" कहता है।
• द असिस्टेंट (The Assistant): रोबोट एक मानव जासूस की मदद करता है, जैसे कि एक लंबे केस फ़ाइल का सारांश बनाना।
• द इन्वेस्टिगेटर (The Investigator): रोबोट बाहर जाता है, सुराग इकट्ठा करता है, और एक रिपोर्ट लिखता है।
• द एस्केलेटर (The Escalator): रोबोट आसान मामलों को संभालता है और केवल कठिन, भ्रमित करने वाले मामलों को ही इंसान के पास भेजता है।
  लेख का तर्क है कि हमें इन रोबोटों को केवल जादुई ब्लैक बॉक्स के रूप में देखना बंद करना चाहिए और उन्हें विशिष्ट कार्यों के लिए विशिष्ट उपकरणों के रूप में देखना शुरू करना चाहिए।

यह पेपर किन बातों को खारिज करता है
यह पेपर बहुत स्पष्ट है कि यह क्या नहीं कहता। यह यह नहीं कहता कि ये रोबोट बुरे हैं या हमें इनका उपयोग नहीं करना चाहिए। और यह भी नहीं कहता कि ये रोबोट पूरी तरह से मानव जासूसों की जगह लेने के लिए तैयार हैं।

• रियलिटी चेक: लेखक स्पष्ट रूप से कहता है कि हमारे पास पर्याप्त प्रमाण नहीं है कि एक LLM अभी एक रियल-टाइम फ्रॉड इंजन की जगह ले सकता है। हमें नहीं पता कि वे पर्याप्त तेज़, पर्याप्त सस्ते, या चालाक हैकर्स के खिलाफ पर्याप्त सुरक्षित हैं या नहीं जो उन्हें धोखा देने की कोशिश करते हैं।
• "सैंडबॉक्स" की समस्या: लेखक ने जिन अध्ययनों को देखा, उनमें से कई "ऑफलाइन" किए गए थे। इसका मतलब है कि उन्होंने रोबोट का परीक्षण पुराने डेटा पर एक शांत कमरे में किया था। पेपर का तर्क है कि यह एक शोर-शराबे वाले, अराजक लाइव शहर में परीक्षण करने के समान नहीं है जहाँ हैकर्स सक्रिय रूप से घुसपैकी करने की कोशिश कर रहे हैं।

लापता हिस्से और भविष्य
पेपर इस निष्कर्ष पर पहुँचता है कि इससे पहले कि हम अपने डिजिटल शहर में इन रोबोटों पर पूरी तरह से भरोसा कर सकें, हमें गायब स्कोरकार्ड को भरना होगा। लेखक किसी भी ऐसे व्यक्ति के लिए एक "न्यूनतम चेकलिस्ट" का सुझाव देता है जो इन रोबोटों को तैनात करना चाहता है:

1. लेटेंसी बजट (Latency Budget): इसे कितना तेज़ होना चाहिए?
2. प्रति निर्णय लागत (Cost Per Decision): प्रत्येक जाँच की लागत कितनी है?
3. निर्णय थ्रेशोल्ड (Decision Threshold): यह कब कहता है कि "मैं सुनिश्चित नहीं हूँ, इसे एक इंसान संभालने दें"?
4. व्याख्या अखंडता (Explanation Integrity): यदि रोबोट अपने निर्णय का कारण देता है, तो क्या वह कारण सत्य है, या उसने बस कुछ मनगढ़ंत बना दिया है?
5. एडवर्सरियल प्रेशर (Adversarial Pressure): क्या होता है जब एक बुरा तत्व रोबोट को धोखा देने की कोशिश करता है?

पेपर सुझाव देता है कि वर्तमान में सबसे अच्छा रास्ता एक "हाइब्रिड" दृष्टिकोण है। तेज़, सरल और सस्ते उपकरणों को आसान चीज़ों को संभालने दें। बेहद स्मार्ट, महंगे रोबोटों को कठिन मामलों के लिए, यह समझाने के लिए कि निर्णय क्यों लिया गया था, या मानव जासूसों की मदद करने के लिए बचाकर रखें।

संक्षेप में, यह पेपर एक आह्वान (call to action) है। यह बताता है कि हालांकि यह तकनीक रोमांचक और आशाजनक है, लेकिन हम कई क्षेत्रों में अंधे होकर उड़ रहे हैं। हमारे पास रोबोट तो हैं, लेकिन हमारे पास मैनुअल नहीं है। इन प्रणालियों को सुरक्षित और उपयोगी बनाने के लिए, शोधकर्ताओं और कंपनियों को केवल यह दिखाना बंद करना होगा कि रोबोट कितने स्मार्ट हैं और हमें यह दिखाना शुरू करना होगा कि वे दबाव में, समय बीतने पर, और वास्तविक लागत के साथ कैसे व्यवहार करते हैं।