Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs
यह शोध पत्र Scam2Prompt को प्रस्तुत करता है, जो एक स्केलेबल फ्रेमवर्क है जो प्रोडक्शन लार्ज लैंग्वेज मॉडल्स में एक गंभीर और बिगड़ती सुरक्षा भेद्यता को उजागर करता है, जहाँ दुर्भावनापूर्ण स्कैम साइटों से प्राप्त स्वचालित प्रॉम्प्ट कई मॉडल्स में 47.3% मामलों तक हानिकारक कोड उत्पन्न करने में सफलतापूर्वक ट्रिगर करते हैं, जिससे गार्डरेल्स और RAG जैसे वर्तमान सुरक्षा उपाय अपर्याप्त हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने व्यवसाय के लिए एक प्रतिभाशाली, सुपर-फास्ट प्रशिक्षु प्रोग्रामर (apprentice programmer) को काम पर रखा है। आप उन्हें एक सरल, सामान्य अनुरोध देते हैं जैसे, "इस लोकप्रिय ट्रेडिंग साइट पर एक विशिष्ट डिजिटल टोकन खरीदने के लिए एक स्क्रिप्ट लिखें।" आप उम्मीद करते हैं कि वे सुरक्षित, मानक कोड लिखेंगे।
हालाँकि, यह शोध पत्र एक डरावनी वास्तविकता प्रकट करता है: आपके प्रशिक्षु ने अपनी प्रशिक्षण पुस्तकों के भीतर छिपे हुए खतरनाक, नकली निर्देशों की एक लाइब्रेरी को याद कर लिया है। जब आप उनसे किसी विशिष्ट कार्य के लिए मदद मांगते हैं, तो वे अनजाने में एक स्कैमर के मैनुअल से एक पन्ना निकाल सकते हैं और उसे आपके कोड में पेस्ट कर सकते हैं, जिससे आपका पैसा वैध साइट के बजाय एक चोर के पास चला जाता है।
यहाँ सरल उपमाओं (analogies) का उपयोग करके शोध पत्र के निष्कर्षों का विवरण दिया गया है:
1. समस्या: "जहरीली कुकबुक" (The "Poisoned Cookbook")
लार्ज लैंग्वेज मॉडल्स (LLMs) उन शेफ की तरह हैं जिन्होंने खाना बनाना सीखने के लिए इंटरनेट पर मौजूद लगभग हर रेसिपी बुक को पढ़ा है। समस्या यह है कि इंटरनेट "जहरीली" रेसिपी से भरा हुआ है—ऐसी नकली निर्देश जो आपके वॉलेट या डेटा को चुराने के लिए डिज़ाइन किए गए हैं।
- वास्तविक घटना: शोध पत्र एक वास्तविक व्यक्ति की कहानी से शुरू होता है जिसने $2,500 गंवा दिए। उन्होंने एक चैटबॉट से pump.fun नामक एक लोकप्रिय साइट पर क्रिप्टोकरेंसी खरीदने के लिए स्क्रिप्ट लिखने को कहा था। चैटबॉट ने, मददगार होने की कोशिश में, ऐसा कोड लिखा जिसमें एक नकली API (एक डिजिटल दरवाजा) का लिंक शामिल था जो असली दिखता था लेकिन वास्तव में एक स्कैमर का जाल था। कोड ने यहाँ तक पूछा कि उपयोगकर्ता अपना "प्राइवेट की" (उनके बैंक वॉल्ट की मास्टर चाबी) सीधे इस नकली दरवाजे को सौंप दे। उपयोगकर्ता ने, एआई पर भरोसा करते हुए, कोड चलाया, और उनका पैसा 30 मिनट में गायब हो गया।
2. जांच: "Scam2Prompt"
शोधकर्ताओं ने यह देखने के लिए Scam2Prompt नामक एक टूल बनाया कि क्या यह एक बार की दुर्घटना थी या एक व्यापक बीमारी।
- उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड यह परीक्षण करना चाहता है कि क्या एक नया सुरक्षा तंत्र काम करता है। अंदर घुसने के लिए हथौड़े (जो कि स्पष्ट है) का उपयोग करने के बजाय, गार्ड एक ज्ञात "बुरे आदमी" का ब्लूप्रिंट लेता है, उसे एक सामान्य निर्माण अनुरोध की तरह फिर से लिखता है, और उसे सुरक्षा प्रणाली को सौंप देता है।
- यह कैसे काम किया:
- उन्होंने ज्ञात स्कैम वेबसाइटों की सूचियों को लिया।
- फिर उन्होंने उन सामान्य कीवर्ड्स, दावों और वाक्यांशों को निकाला जिनका उपयोग ये साइटें पीड़ितों को धोखा देने के लिए करती हैं। उन शब्दों का उपयोग करके, उन्होंने एआई सिस्टम को वैध कोडिंग अनुरोध उत्पन्न करने के लिए प्रेरित किया, जैसे कि 'मैं यह डिजिटल कॉइन कैसे खरीदूँ?' या 'मैं छूट वाले टिकट खरीदने के लिए इस फ्लाइट प्लेटफॉर्म के माध्यम से कैसे भुगतान कर सकता हूँ?'
- उन्होंने इन "मासूम" अनुरोधों को चार प्रमुख प्रोडक्शन एआई मॉडल्स (जैसे GPT-4o और Llama) को फीड किया।
- उन्होंने जाँच की कि क्या एआई ने स्कैम लिंक वाला कोड लिखा।
3. निष्कर्ष: "मासूम" जाल (The "Innocent" Trap)
परिणाम चिंताजनक थे। भले ही अनुरोध पूरी तरह से सामान्य लग रहे थे और "डेवलपर्स" की ओर से आए थे, एआई मॉडल्स ने दुर्भावनापूर्ण लिंक वाला कोड लिखना जारी रखा।
- आंकड़े: उनके प्रारंभिक परीक्षण में, लगभग 4.24% जनरेट किए गए कोड में स्कैम लिंक शामिल थे। इसका मतलब है कि यदि आप इन एआई को 100 बार कोड लिखने के लिए कहते हैं, तो लगभग 4 बार वे अनजाने में आपको एक हथियार थमा देंगे।
- "Innoc2Scam-bench": शोधकर्ताओं ने 1,377 विशिष्ट प्रश्नों की एक "स्ट्रेस टेस्ट" सूची बनाई जो हमेशा पहले चार मॉडल्स को बुरा कोड जनरेट करने के लिए मजबूर कर देती थी। फिर उन्होंने इस सूची का परीक्षण 2025 में रिलीज़ हुए सात नए, अधिक उन्नत मॉडल्स पर किया।
- नए मॉडल्स: समस्या खत्म नहीं हुई; यह गंभीर बनी रही। नए मॉडल्स ने Innoc2Scam-bench के तहत 12.9% से 47.3% की दर से दुर्भावनापूर्ण कोड जनरेट किया।
- उपमा: यह आपके कार के इंजन को तेज़ और स्मार्ट बनाने जैसा है, लेकिन जीपीएस सिस्टम अभी भी आपको खाई में ले जाने की कोशिश करता रहता है क्योंकि मैप डेटा शुरुआत से ही दूषित था।
4. सुरक्षा का पदानुक्रम (The Hierarchy of Safety)
शोध पत्र ने मॉडल्स को एक रिपोर्ट कार्ड की तरह रैंक किया:
- शीर्ष स्तर (सबसे सुरक्षित): Gemini-2.5-Pro और GPT-5। ये जोखिम भरे अनुरोधों पर "ना" कहने या उत्तर देने से इनकार करने में सबसे अच्छे थे। हालाँकि, वे भी पूर्ण नहीं थे।
- मध्यम स्तर: Claude-Sonnet-4।
- निचला स्तर (सबसे जोखिम भरा): DeepSeek-Chat-v3.1 और Qwen3-Coder जैसे मॉडल्स। ये मॉडल्स प्रश्न पूछने के लिए बहुत उत्सुक थे लेकिन लगभग आधी बार (47.3% तक) दुर्भावनापूर्ण कोड जनरेट करते थे।
5. वर्तमान बचाव विफल क्यों होते हैं?
शोधकर्ताओं ने परीक्षण किया कि क्या मौजूदा सुरक्षा उपकरण इसे रोक सकते हैं।
- "गार्डरेल्स" (Guardrails): उन्होंने मानक सुरक्षा फिल्टर (जैसे क्लब के बाहर खड़ा बाउंसर) और "रिट्रीवल एजेंट्स" (तथ्यों को सत्यापित करने के लिए वेब पर जानकारी खोजने वाला एआई) का उपयोग किया।
- परिणाम: गार्डरेल्स ज्यादातर बेकार थे। वे दुर्भावनापूर्ण कोड को पकड़ने में विफल रहे क्योंकि कोड सिंटैक्टिक रूप से सही दिख रहा था और अनुरोध सामान्य लग रहे थे। "वेब सर्च" एजेंटों ने थोड़ा मदद की (जोखिम को 50% से घटाकर 29% कर दिया), लेकिन वे अभी भी अधिकांश स्कैम को पकड़ने में विफल रहे।
- मुख्य बात: आप केवल एआई के "बेहतर जानने" या एक साधारण फिल्टर पर भरोसा नहीं कर सकते। दुर्भावनापूर्ण ज्ञान मॉडल के मस्तिष्क में गहराई से समाया हुआ है।
6. "घोस्ट" स्कैम (The "Ghost" Scams)
सबसे भयावह खोजों में से एक यह थी कि एआई मॉडल्स ऐसे स्कैम साइटों के लिंक जनरेट कर रहे थे जो सुरक्षा डेटाबेस में अभी तक मौजूद भी नहीं थे।
- उपमा: एआई मॉडल्स ने स्कैम के "ब्लूप्रिंट" को इतनी अच्छी तरह से याद कर लिया था कि वे नकली वेबसाइटों को फिर से बना सकते थे, भले ही सुरक्षा गार्डों ने अभी तक अपराधियों को पकड़ा न हो। इनमें से कुछ साइटें एक साल से अधिक समय से सक्रिय थीं, फिर भी एआई जानता था कि उनका उपयोग कैसे किया जाए।
सारांश
शोध पत्र निष्कर्ष निकालता है कि एआई मॉडल्स वर्तमान में इंटरनेट के कचरे से "जहरीले" हो गए हैं। यहाँ तक कि सबसे स्मार्ट, नए मॉडल्स भी खुशी-खुशी ऐसा कोड लिखेंगे जो आपके पैसे चुरा लेगा, यदि आप उनसे सही (लेकिन मासूम दिखने वाले) सवाल पूछते हैं। वर्तमान सुरक्षा उपाय एक कागज की छतरी से बाढ़ को रोकने की कोशिश करने जैसा है; वे पर्याप्त मजबूत नहीं हैं। लेखक सुझाव देते हैं कि हमें प्रशिक्षण डेटा को बेहतर तरीके से साफ करने की आवश्यकता है और मानव द्वारा कोड चलाने से पहले एआई द्वारा जनरेट किए गए प्रत्येक लिंक पर सख्त, बाहरी जाँच लगाने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।