💻 computer science

A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts

تقدم هذه الورقة بنك "CODE" المكون من 1,554 مطالبة (prompt) والمُتحقق من صحتها، وإطار عمل للتصنيف القائم على الإجماع يفصل بصرامة بين طلبات البرمجيات الخبيثة القابلة للتنفيذ واستعلامات المعرفة الأمنية الضارة لمعالجة مشكلات الخلط في معايير سلامة النماذج اللغوية الحالية.

المؤلفون الأصليون: Richard J. Young, Gregory D. Moody

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Richard J. Young, Gregory D. Moody

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول اختبار مدى جودة حارس أمن في إيقاف الأشرار. لديك قائمة من الطلبات لتقديمها للحارس. بعض الطلبات تشبه تسليم الحارس مسدساً محشواً بالرصاص وقول: "أطلق النار على هذا الشخص". وبعض الطلبات الأخرى تشبه تسليمه كتاباً مدرسياً وقول: "اشرح كيف يعمل المسدس وكيفية التصويب".

لفترة طويلة، كان الباحثون الذين يختبرون سلامة الذكاء الاصطناي مختلطين هذين النوعين من الطلبات في كومة واحدة كبيرة. كانوا يسألون الذكاء الاصطناعي "اكتب فيروساً" (المسدس المحشو) و"اشرح كيف ينتشر الفيروس" (الكتاب المدرسي) ثم يقومون فقط بعدّ كم مرة قال الذكاء الاصطناعي "لا".

يقول مؤلفو هذه الورقة البحثية، ريتشارد جيه يونغ وجريجوري د. مودّي، إن هذه طريقة فوضوية للاختبار. فإذا رفض الذكاء الاصطناعي كتابة الفيروس ولكنه شرح الكتاب المدرسي بكل سرور، أو العكس، فإن عدّ "لا" الواحد لا يخبرك بما يحدث فعلياً داخل عقل الذكاء الاصطناعي. الأمر يشبه محاولة قياس مدى جودة إيقاف الحارس للرصاص عن طريق عدّ عدد المرات التي أوقف فيها الناس وهم يقرؤون عن الرصاص أيضاً. لا يمكنك التمييز بين ما إذا كان الحارس جيداً في إيقاف الأسلحة أم أنه جيد فقط في إيقاف المعلومات.

الفكرة الكبرى: فصل "الأسلحة" عن "المعرفة"

لإصلاح ذلك، ابتكر الباحثون أداة جديدة: بنك المطالبات الموثق (Validated Prompt Bank). فكر في هذا كخزانة ملفات منظمة للغاية ومحققة بدقة. لقد أخذوا آلاف الأسئلة من أربع قوائم اختبار موجودة بالفعل وصنفوها في درجين متميزين:

درج "الأسلحة": هذه هي المطالبات التي تطلب من الذكاء الاصطناعي بناء شيء خطير فعلياً، مثل برمجية خبيثة أو نص برمجي يمكنه العمل على جهاز الكمبيوتر. هذه هي "الأسلحة القابلة للتنفيذ".
درج "المعرفة": هذه هي المطالبات التي تطلب من الذكاء الاصطناعي وصف أشياء خطيرة، مثل شرح كيفية عمل فيروس أو كيفية اختراق نظام، دون بناء الكود الفعلي.

كيف بنوا خزانة الملفات

لم يقوموا بمجرد فرز الأوراق بأنفسهم؛ بل أرادوا التأكد تماماً من صحة الفرز. لذا، فقد شكلوا "هيئة محلفين" مكونة من خمسة قضاة مختلفين من الذكاء الاصطناعي. هؤلاء القضاة جاءوا من خمس شركات تقنية مختلفة (Anthropic، وOpenAI، وGoogle، وZhipu AI، وAlibaba).

تخيل خمسة خبراء ينظرون إلى طلب واحد. يجب أن يصوتوا جميعاً: "هل هذا طلب لسلاح، أم هو مجرد طلب للمعلومات؟"

إذا وافق ثلاثة من أصل خمسة على الأقل، فإن ذلك هو الجواب النهائي.
لقد تحققوا من عملهم باستخدام أداة إحصائية (تسمى Fleiss' $\kappa$ ) لمعرفة مدى اتفاقهم. وكانت النتيجة اتفاقاً "شبه مثالي" (0.876 من أصل 1.0). وهذا يعني أن الفرز موثوق للغاية.

النتيجة: قائمة نظيفة ومحققة

بعد فرز أكثر من 17,000 طلب أصلي وتصفية الطلبات المكررة أو المربكة، انتهى بهم المطاف بقائمة نظيفة ومحققة مكونة من 1,554 مطالبة تتعلق حصرياً بطلب "الأسلحة" (الكود الخبيث). كما احتفظوا بقائمة أصغر تضم 388 مطالبة حول "المعرفة" لاستخدامها للمقارنة لاحقاً.

لماذا هذا مهم

قبل هذه الورقة، إذا أراد باحث اختبار سلامة ذكاء اصطناعي، كان عليه بناء كومة أسئلة فوضوية خاصة به، متوقعاً أي منها "سلاح" وأيها "معرفة". وهذا يعني أن كل دراسة كانت مختلفة قليلاً، مما يجعل من الصعب مقارنة النتائج.

تقدم هذه الورقة مجموعة من الأسئلة المعيارية والمنظمة مسبقاً. الآن، يمكن للباحثين القول: "لقد اختبرنا الذكاء الاصطناعي على هذه الـ 1,554 مطالبة سلاح المحددة"، والجميع سيعرف بالضبط ما يعنيه ذلك. هذا يزيل التخمين ويسمح بمقارنة عادلة ومباشرة لكيفية تعامل نماذج الذكاء الاصطناعي المختلفة مع الطلبات الخطيرة.

ملاحظة سلامة هامة

يؤكد المؤلفون بوضوح: لم يقوموا بإنشاء أي فيروسات جديدة أو أكواد خطيرة. لقد أخذوا فقط أسئلة موجودة من دراسات أكاديمية أخرى وقاموا بتصنيفها. الهدف من هذه الأداة هو مساعدة الباحثين في جعل الذكاء الاصطناعي أكثر أماناً من خلال فهم مكان فشله بالضبط، وليس لمساعدة أي شخص في بناء هجمات. البيانات مغلقة خلف نظام "مقيد" (gated)، مما يعني أن الباحثين المعتمدين الذين يعملون في مجال السلامة فقط هم من يمكنهم الوصول إلى النص الفعلي للأسئلة.

باختصة، قامت هذه الورقة البحثية ببناء مسطرة أفضل وأنظف لقياس سلامة الذكاء الاصطناعي، حيث فصلت بين طلبات "افعل الشيء السيئ" وطلبات "تحدث عن الشيء السيئ" حتى نتمكن من قياسها بدقة.

ملخص تقني: بنك مطالبات مُتحقق منه لتوليد الكود الخبيث

1. بيان المشكلة

تعاني معايسات القياس الحالية التي تقيم رفض النماذج اللغوية الكبيرة (LLMs) لمهام البرمجة الخبيثة من خلل منهجي حرج: فهي تخلط بين طلبات البرمجيات الخبيثة القابلة للتنفيذ (الأسلحة) وطلبات المعرفة الأمنية الضارة (المعلومات). تخلط مجموعات البيانات الحالية بين مطالبات مثل "اكتب برنامج تسجيل ضربات المفاتيح" (كود قابل للتنفيذ) و"اشرح كيف يعمل برنامج تسجيل ضربات المفاتيح" (معرفة وصفية).

هذا الخلط إشكالي لأن نوعي الطلبات هذين من المرجح أن يُفعّلا مسارات رفض مختلفة في النماذج المتوافقة مع معايير السلامة. إن إحصائية معدل الرفض الموحدة المحسوبة عبر خليط غير متجانس لا يمكنها التمييز بين نموذج يرفض كتابة برمجية خبيثة ولكنه يشرح التشفير، ونموذج يكتب برمجية خبيثة ولكنه يرفض وصف التشفير. وبناءً على ذلك، فإن "معدلات رفض سلامة الكود" في الأدبيات الحالية تقيس بنية غير معروفة، مما يؤدي إلى إدخال تباين غير مرصود يحد من إمكانية مقارنة الدراسات ببعضها البعض والتحليل على مستوى الآليات. علاوة على ذلك، تعتمد المعايسات السابقة غالباً على تسميات من مُقيّم واحد أو اتفاق ثنائي دون إجماع صارم من عدة مُقيّمين، مما يترك غموضاً متبقياً في حدود التصنيف.

2. المنهجية

يقدم البحث محور تصنيف (الأسلحة مقابل المعرفة)، يتم تشغيله من خلال بروتوكول إجماع متعدد الأحكام لفصل طلبات الكود القابل للتنفيذ عن المطالبات القائمة على المعرفة.

2.1 دمج البيانات والترشيح الأولي

قام البحث بدمج 3,133 مطالبة مرشحة مستمدة من أربعة معاييس عامة:

RMCBench: 473 مطالبة (جميعها طلبات توليد كود).
MalwareBench: 320 مطالبة مُرشحة (جزء من 3,520، باستبعاد متغيرات إعادة الصياغة العدائية).
CySecBench: 1,820 مطالبة (تم ترشيحها من 12,662 مطالبة خام باستخدام فحص يعتمد على التعبيرات النمطية (regex) لصياغات توليد الكود الأمرية).
harmful_behaviors (من AdvBench): 520 مطالبة تتعلق بسلامة المحتوى.

قام مرشح أولي قائم على القواعد بإزالة المكررات بدقة والطلبات غير المتعلقة بتوليد الكود (مثل الأسئلة المفاهيمية)، محتفظاً فقط بالمطالبات التي يُحتمل أن تطلب مخرجات قابلة للتنفيذ لمرحلة التصنيف الأولية.

2.2 مصنف الإجماع المكون من خمسة نماذج

تم تصنيف كل مطالبة من الـ 3,133 بشكل مستقل بواسطة لجنة مكونة من خمسة نماذج لغوية كبيرة تعمل كأحكام. كانت اللجنة متنوعة من حيث الشركات المصنعة (تغطي أربع عائلات من الشركات: Anthropic، OpenAI، Google، Zepu AI، Alibaba) وشملت نماذج عامة وأخرى متخصصة في البرمجة للتخفيف من أخطاء التسمية المترابطة:

Claude Sonnet 4.6 (Anthropic، عام)
GPT-5.3-Codex (OpenAI، متخصص برمجة)
Gemini 3 Flash (Google، عام)
GLM-5 (Zhipu AI، عام)
Qwen3-Coder-Next (Alibaba، متخصص برمجة)

مهمة التصنيف: تم توجيه الأحكام لتحديد تسمية ثنائية:

CODE (كود): تطلب المطالبة إنتاج كود قابل للتنفيذ، أو سكربتات، أو نواتج برمجية وظيفية.
KNOWLEDGE (معرفة): تطلب المطالبة معلومات، أو استراتيجيات، أو دروساً تعليمية، أو شروحات بلغة طبيعية.

قاعدة الإجماع: تم تطبيق قاعدة الأغلبية (3 من 5). تُخصص للمطالبة تسمية CODE في مجموعة الإجماع إذا صنفها ثلاثة أحكام على الأقل كـ CODE، وتُخصص لتسمية KNOWLEDGE إذا صنفها ثلاثة على الأقل كـ KNOWLEDGE. لم تفشل أي مطالبة في الوصول إلى أغلبية 3 من 5؛ وظلت سلة "الغموض" (AMBIGUOUS) فارغة.

2.3 مقاييس الموثوقية

تم قياس الموثوقية بين المُقيّمين باستخدام معامل فليسس كابا (Fleiss' $\kappa$ ) مع فترات ثقة 95% عبر 10,000 تكرار لعملية البوتستراب (bootstrap). تم حساب هذا المقياس على مجموعة فرعية من المطالبات التي قدم فيها جميع الأحكام الخمسة تسميات صالحة (2,488 مطالبة).

3. المساهمات الرئيسية

المساهمة الأساسية هي إصدار بنك مطالبات مُتحقق منه بالإجماع يعمل كركيزة معيارية وموثقة لأبحاث سلامة الكود.

بنك سلامة الكود: مجموعة بيانات تضم 1,554 مطالبة (CODE) مُتفق عليها (تمثل 1,551 سلسلة نصية فريدة للمطالبات). تعزل هذه المجموعة طلبات البرمجيات الخبيثة القابلة للتنفيذ.
مجموعة مقارنة المعرفة: مجموعة تضم 388 مطالبة (KNOWLEDGE) مُتفق عليها (مستمدة حصرياً من مصدر harmful_behaviors) وتُستخدم للمقارنات داخل الموضوع في الدراسات المصاحبة.
التحقق: تتضمن مجموعة البيانات بيانات وصفية لكل مطالبة، بما في ذلك تسميات كل حكم، ومستويات الاتفاق (مثل 5/5، 4/5)، وفئات تصنيف المصدر (27 فئة للملفات الخبيثة).
العلم المفتوح: يتم إصدار كود الدمج، وتسميات الإجماع، وإحصائيات الموثوقية بشكل مفتوح (رخصة MIT) على GitHub. أما نص المطالبات فهو متاح كبيانات ذات وصول مقيد على Hugging Face للحد من مخاطر الاستخدام المزدوج مع تمكين الأبحاث الجادة.

4. النتائج

4.1 تسلسل الترشيح

قللت عملية المعالجة عدد المطالبات الخام من 17,175 إلى المنتج النهائي:

الترشيح الأولي: قلص المجموعة إلى 3,133 مرشحاً.
الإجماع: تم تصنيف 1,618 مطالبة كـ CODE، و1,515 مطالبة كـ KNOWLEDGE.
المنتج النهائي: بعد فحص الطول وجودة البيانات الوصفية، تم إصدار 1,554 مطالبة CODE و 388 مطالبة KNOWLEDGE.

4.2 الموثوقية بين المُقيّمين

الاتفاق العام: حقق الأحكام الخمسة معامل فليسس كابا قدره 0.876 [فاصل ثقة 95%: 0.862، 0.888]، وهو ما يتوافق مع وصف "الكمال شبه التام" وفقاً لاتفاقية Landis & Koch.
الإجماع التام: حصلت 69.3% (2,170) من الـ 3,133 مطالبة على إجماع تام (5/5).
انعدام الغموض: وصلت جميع المطالبات الـ 3,133 إلى عتبة 3 من 5؛ ولم تُستبعد أي مطالبة بسبب الغموض.
الموثوقية حسب المصدر:
- MalwareBench: $\kappa = 1.000$ (اتفاق تام).
- harmful_behaviors: $\kappa = 0.942$ ("كمال شبه تام").
- CySecBench: $\kappa = 0.775$ ("اتفاق جوهري")، مما يعكس غموضاً أعلى في الحدود في هذا المصدر.
- RMCBench: $\kappa \approx 0.001$ (حالة متدهورة بسبب غياب التباين، حيث كانت جميع المطالبات هي CODE).
الاتفاق الثنائي: تجاوزت جميع المقارنات الثنائية العشر بين الأحكام عتبة "الجوهري" ( $\kappa \ge 0.61$ )، وتجاوزت عشرة أزواج عتبة "الكمال شبه التام" ( $\kappa \ge 0.81$ ).

4.3 أداء الأحكام

معدلات الخطأ: تفاوتت معدلات الخطأ بشكل كبير بين النماذج (من خطأ واحد لـ GLM-5 إلى 430 لـ Gemini 3 Flash). ومع ذلك، نجحت قاعدة الإجماع (3 من 5) في تحمل هذه الأخطاء، مما أدى إلى صفر خطأ في الإجماع عبر مجموعة البيانات.
المتخصص في البرمجة مقابل العام: أنتجت الأحكام المتخصصة في البرمجة (GPT-5.3-Codex، Qwen3-Coder-Next) أعداد CODE أعلى قليلاً في المتوسط من الأحكام العامة، مما يدعم الفرضية القائلة بأن التدريب المسبق الموجه للبرمجة يساعد في التمييز بين الطلبات التنفيذية والوصفية.

5. الأهمية والادعاءات

يدعي البحث بتواضع أنه يقدم أول بنك مطالبات مُتحقق منه بالإجماع من قبل عدة أحكام يفصل صراحة بين طلبات الأسلحة القابلة للتنفيذ وطلبات المعرفة الضارة عبر المعايسات المدمجة.

الحل المنهجي: يحل هذا العمل مشكلة الخلط بين أنواع الطلبات المختلفة التي أربكت أدبيات توليد الكود الخبيث السابقة. ومن خلال عزل طلبات الكود القابل للتنفيذ، فإنه يتيح قياس البنية المحددة التي تهدف تقييمات سلامة الكود إلى التقاطها بدقة أكبر.
التقنين: يسمح هذا المنتج للأبحاث اللاحقة بتبني ركيزة معيارية موثقة الموثوقية بدلاً من إعادة بناء منطق الترشيح بشكل مستقل. وهذا يقلل من التباين غير المرصود في معدلات الرفض المبلغ عنها ويدعم المقارنات القابلة للتكرار بين النماذج.
نطاق المساهمة: يذكر البحث صراحة أن مسألة ما إذا كان محور "الأسلحة مقابل المعرفة" يفصل سلوك النموذج في الممارسة العملية هي مسألة تجريبية تُترك لدراسة معيارية مصاحبة. المساهمة الحالية هي المنتج نفسه والتحقق من محور التصنيف، وليس النتائج السلوكية للنماذج على هذا المحور.
الموقف الأخلاقي: تهدف مجموعة البيانات إلى الأبحاث الدفاعية (قياس الرفض، وتوافق السلامة، والتفسير). ويؤكد المؤلفون أنه لم يتم إنشاء أي برمجيات خبيثة جديدة، وأن الإصدار يتبع أطر الحد من الاستخدام المزدوج (الوصول المقيد) لمنع استخدام المنتج في تنفيذ الهجمات.