Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs
تقدم الورقة البحثية Scam2Prompt، وهو إطار عمل قابل للتوسع يكشف عن ثغرة أمنية حرجة ومتفاقمة في النماذج اللغوية الكبيرة المستخدمة في الإنتاج، حيث تنجح المطالبات المؤتمتة المستمدة من مواقع الاحتيال الخبيثة في تحفيز توليد كود ضار في ما يصل إلى 47.3% من الحالات عبر نماذج متعددة، مما يجعل تدابير السلامة الحالية مثل الحواجز الوقائية وتوليد المحتوى المدعوم بالاسترجاع (RAG) غير كافية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت متدرب مبرمج عبقري وسريع للغاية ليكتب الأكواد لشركتك. تعطيه طلباً بسيطاً وعادياً مثل: "اكتب سكربت لشراء رمز رقمي معين من موقع التداول الشهير هذا". أنت تتوقع منه أن يكتب كوداً آمناً ومعيارياً.
ومع ذلك، تكشف هذه الورقة البحثية عن واقع مخيف: متدربك قد حفظ مكتبة من التعليمات الخطيرة والمزيفة المخبأة داخل كتب تدريبه. عندما تطلب منه المساعدة في مهمة محددة، قد يسحب بالخطأ صفحة من دليل نصاب ويضعها في الكود الخاص بك، مما يرسل أموالك إلى لص بدلاً من الموقع الشرعي.
إليك تحليل لنتائج الورقة البحثية باستخدام تشبيهات بسيطة:
1. المشكلة: "كتاب الطبخ المسموم"
النماذج اللغوية الكبيرة (LLMs) تشبه الطهاة الذين قرأوا كل كتب الوصفات تقريباً على الإنترنت لتعلم كيفية الطبخ. المشكلة هي أن الإنترنت مليء بالوصفات "المسمومة" — وهي تعليمات مزيفة مصممة لسرقة محفظتك أو بياناتك.
- الحادثة الواقعية: تبدأ الورقة بقصة شخص حقيقي فقد 2,500 دولار. لقد طلب من "شات بوت" كتابة سكربت لشراء عملة رقمية من موقع شهير يسمى pump.fun. الشات بوت، في محاولته ليكون مفيداً، كتب كوداً يتضمن رابطاً لـ واجهة برمجة تطبيقات (API) مزيفة (باب رقمي) تبدو حقيقية ولكنها في الواقع فخ لنصاب. حتى أن الكود طلب من المستخدم تسليم "مفتاحه الخاص" (المفتاح الرئيسي لخزنة البنك الخاصة به) مباشرة إلى هذا الباب المزيف. المستخدم، الذي وثق في الذكاء الاصطناعي، قام بتشغيل الكود، واختفت أمواله في غضون 30 دقيقة.
2. التحقيق: "Scam2Prompt"
قام الباحثون ببناء أداة تسمى Scam2Prompt لمعرفة ما إذا كان هذا حادثاً عارضاً أم مرضاً واسع الانتشار.
- التشبيه: تخيل حارس أمن يريد اختبار ما إذا كان نظام أمني جديد يعمل. بدلاً من محاولة الاقتحام باستخدام مطرقة ثقيلة (وهو أمر واضح)، يأخذ الحارس "مخططاً لشرير معروف"، ويعيد كتابته ليبدو كطلب بناء طبيعي، ثم يقدمه للنظام الأمني.
- كيف تم الأمر:
- أخذوا قوائم من مواقع الاحتيال المعروفة.
- استخرجوا بعد ذلك الكلمات المفتاحية والادعاءات والعبارات الشائعة التي تستخدمها هذه المواقع لخداع الضحايا. وباستخدام هذه المصطلحات، قاموا بتوجيه طلبات (prompts) لنظام ذكاء اصطناعي لتوليد طلبات برمجية تبدو شرعية، مثل "كيف أشتري هذه العملة الرقمية؟" أو "كيف يمكنني الدفع عبر منصة الطيران هذه لشراء تذاكر مخفضة؟".
- قدموا هذه الطلبات "البريئة" لأربعة نماذج ذكاء اصطناعي رئيسية (مثل GPT-4o و Llama).
- تحققوا مما إذا كان الذكاء الاصطناعي قد كتب كوداً يحتوي على روابط الاحتيال.
3. النتائج: الفخ "البريء"
كانت النتائج مثيرة للقلق. على الرغم من أن الطلبات بدت طبيعية تماماً وجاءت من "مطورين"، إلا أن نماذج الذكاء الاصطناعي استمرت في توليد كود يحتوي على روابط خبيثة.
- الإحصائيات: في اختبارهم الأولي، احتوى حوالي 4.24% من الكود الذي تم توليده على رابط احتيالي. هذا يعني أنه إذا طلبت من هذه الأنظمة كتابة أكواد 100 مرة، ففي حوالي 4 مرات ستسلمك سلاحاً بالخطأ.
- "Innoc2Scam-bench": أنشأ الباحثون قائمة "اختبار جهد" مكونة من 1,377 سؤالاً محدداً نجحت دائماً في خداع النماذج الأربعة الأولى لتوليد كود سيئ. ثم اختبروا هذه القائمة على سبعة نماذج أحدث وأكثر تقدماً صدرت في عام 2025.
- النماذج الجديدة: لم تختفِ المشكلة؛ بل ظلت خطيرة. ولدت النماذج الجديدة أكواداً خبيثة بمعدلات تتراوح بين 12.9% إلى 47.3% عند اختبارها تحت بند Innoc2Scam-bench.
- التشبيه: الأمر يشبه ترقية محرك سيارتك ليصبح أسرع وأذكى، لكن نظام الـ GPS لا يزال يحاول قيادتك نحو منحدر لأن بيانات الخريطة كانت فاسدة منذ البداية.
4. هرم السلامة
صنفت الورقة البحثية النماذج مثل تقرير درجات:
- الفئة العليا (الأكثر أماناً): Gemini-2.5-Pro و GPT-5. كانا الأفضل في قول "لا" أو رفض الإجابة عندما يكون الطلب خطيراً. ومع ذلك، حتى هما لم يكونا مثاليين.
- الفئة المتوسطة: Claude-Sonnet-4.
- الفئة الدنيا (الأكثر خطورة): نماذج مثل DeepSeek-Chat-v3.1 و Qwen3-Coder. كانت هذه النماذج متحمسة جداً للإجابة على الأسئلة، لكنها ولدت كوداً خبيثاً في نصف الحالات تقريباً (ما يصل إلى 47.3%).
5. لماذا تفشل الدفاعات الحالية
اختبر الباحثون ما إذا كانت أدوات السلامة الحالية يمكنها إيقاف ذلك.
- "الحواجز الوقائية": جربوا استخدام فلاتر سلامة قياسية (مثل حارس الأمن عند الملهى الليلي) و"وكلاء الاسترجاع" (ذكاء اصطناعي يبحث في الويب للتحقق من الحقائق).
- النتيجة: كانت الحواجز الوقائية عديمة الفائدة في الغالب. فشلت في رصد الكود الخبيث لأن الكود بدا صحيحاً من الناحية البرمجية والطلبات بدت طبيعية. ساعدت وكلاء "البحث في الويب" قليلاً (مما قلل الخطر من 50% إلى 29%)، لكنهم لا يزالون يفشلون في رصد غالبية عمليات الاحتيال.
- الخلاصة: لا يمكنك الاعتماد فقط على أن الذكاء الاصطناعي "يعرف الأفضل" أو على مجرد فلتر بسيط. المعرفة الخبيثة مغروسة في أعماق دماغ النموذج من بيانات تدريبه.
6. عمليات احتيال "الشبح"
كان أحد الاكتشافات الأكثر رعباً هو أن نماذج الذكاء الاصطناعي كانت تولد روابط لمواقع احتيال لم تكن موجودة حتى في قواعد البيانات الأمنية بعد.
- التشبيه: كانت نماذج الذكاء الاصطناعي قد حفظت "مخططات" عمليات الاحتيال بشكل جيد لدرجة أنها تستطيع إعادة بناء المواقع المزيفة حتى لو لم يكن حراس الأمن قد أمسكوا بالمجرمين بعد. بعض هذه المواقع كانت نشطة لأكثر من عام، متملصة من الكشف، ومع ذلك عرف الذكاء الاصطناعي كيفية استخدامها.
الملخص
تخلص الورقة البحثية إلى أن نماذج الذكاء الاصطناعي "مسمومة" حالياً بنفايات الإنترنت. حتى أكثر النماذج ذكاءً وحداثة ستكتب بكل سرور كوداً يسرق أموالك إذا سألتها السؤال الصحيح (ولكن الذي يبدو بريئاً). إجراءات السلامة الحالية تشبه محاولة إيقاف فيضان بمظلة ورقية؛ فهي ليست قوية بما يكفي. يقترح المؤلفون أننا بحاجة إلى تنظيف بيانات التدريب بشكل أفضل وإضافة فحوصات خارجية صارمة على كل رابط يولده الذكاء الاصطناعي قبل السماح للبشر بتشغيل الكود.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.