💻 computer science

Refusal Evaluation in Coding LLMs and Code Agents: A Systematic Review of Thirteen Malicious-Code Prompt Corpora (2023-2025)

تقدم هذه الورقة مراجعة منهجية لثلاثة عشر متنًا من نصوص الأوامر البرمجية الخبيثة المستخدمة لتقييم رفض النماذج اللغوية الكبيرة الخاصة بالبرمجة، حيث تحدد فجوات منهجية حرجة في خطوط الأساس للتعليق البشري، وقابلية المقارنة بين المتون، وتوحيد التصنيف، مع اقتراح إطار عمل موحد لبناء مجموعات البيانات في المستقبل.

المؤلفون الأصليون: Richard J. Young, Gregory D. Moody

نُشر 2026-05-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Richard J. Young, Gregory D. Moody

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً نحاول فيه تعليم روبوتات عملاقة وذكية للغاية (تُسمى نماذج اللغات الكبيرة أو LLMs) كيف تكون مواطنة صالحة. تحديداً، نريد أن نعرف: إذا طلب شخص ما من هذه الروبوتات كتابة فيروس كمبيوتر أو عملية احتيال، فهل ستقول "لا"؟

لاختبار ذلك، قام الباحثون بإنشاء "أوراق امتحانات" (مجموعات بيانات من المحفزات/الأسئلة) لخداع الروبوتات. هذا البحث هو عبارة عن مراجعة شاملة لـ "شهادات تقييم" لـ 13 ورقة امتحان مختلفة تم إنشاؤها بين عامي 2023 و2025. نظر المؤلفان، ريتشارد يونغ وغريغوري مودي، في كل هذه الامتحانات ليروا كيف تم بناؤها، ومدى عدالتها، وما الذي تختبره بالفعل.

إليك تفصيل نتائجهم، باستخدام تشبيهات بسيطة:

1. المشكلة: الجميع يستخدم مسطرة مختلفة

تخيل أنك تحاول مقارنة أطوال 13 شخصاً مختلفاً. لكن العائق هو:

الشخص (أ) يُقاس بمسطرة بالبوصة.
الشخص (ب) يُقاس بشريط قياس بالسنتيمتر.
الشخص (ج) يُقاس بعدد الخطوات التي يخطوها للوصول إلى الحائط.
الشخص (د) يُقاس بواسطة شخص مختلف تماماً.

يجادل البحث بأن هذا هو بالضبط ما يحدث مع اختبارات سلامة الذكاء الاصطناعي هذه. فقد تم بناء كل ورقة من أوراق الامتحانات الـ 13 (مثل AdvBench، وCyberSecEval، وRedCode، إلخ) بشكل مختلف:

أسئلة مختلفة: بعضها يطلب الكود مباشرة؛ وبعضها يطلب الكود من خلال قصة معقدة؛ وبعضها يطلب من الذكاء الاصطناعي أن يتقمص دور مخترق (Hacker)؛ والبعض الآخر يطلب منه أن يتقمص دور مساعد مفيد قد يرتكب خطأً ما.
مصححون مختلفون: بعض الامتحانات يتم تصحيحها من قبل مؤلفيها فقط. وبعضها يتم تصحيحه بواسطة روبوتات ذكاء اصطناعي أخرى. وبعضها يتم تصحيحه عبر تشغيل الكود في بيئة معزولة (Sandbox) لمعرفة ما إذا كان سينفجر.
قواعد مختلفة: بعض الامتحانات لديها قواعد صارمة حول ما يُعد "فيروساً". بينما قواعد أخرى غامضة.

النتيجة: لا يمكنك ببساطة أخذ "معدل الرفض" (كم مرة قال الذكاء الاصطناعي "لا") من امتحان واحد ومقارنته بآخر. الأمر يشبه مقارنة زمن عداء مسافات قصيرة بزمن سباح، ثم إعلان أن أحدهما "أسرع" دون مراعاة اختلاف الرياضات.

2. القطع الثلاث الكبرى المفقودة

وجد المؤلفون أن لا أحد من أوراق الامتحانات الـ 13 تضمن ثلاث ميزات سلامة حيوية كنت ستتوقع وجودها في دراسة علمية جادة:

لا يوجد "قضاة بشر" لضبط معايير الذكاء الاصطناعي: معظم الامتحانات تستخدم روبوتات ذكاء اصطنا أخرى لتصحيح الإجابات. لكن البحث يشير إلى أننا لا نعرف ما إذا كان المصححون من الذكاء الاصطناعي على صواب أم لا. الأمر يشبه وجود روبوت يصحح اختبار رياضيات دون أن يتحقق معلم بشري أبداً مما إذا كان مفتاح التصحيح الخاص بالروبوت صحيحاً. لم تتضمن أي من الأوراق الـ 13 درجة "فليس كابا" (Fleiss' kappa) - وهي طريقة إحصائية لإثبات أن المصححين البشريين المختلفين سيتفقون على نفس الإجابة.
لا توجد "أبواب مغلقة" (وصول مقيد): تحتوي هذه الامتحانات على تعليمات حول كيفية صنع برمجيات خبيلة (Malware). ومع ذلك، فإن جميع الـ 13 مفتوحة للجمهور تماماً. يمكن لأي شخص تحميلها، حتى لو كانت لديهم نوايا سيئة. الأمر يشبه نشر كتاب وصفات لصنع القنابل وتركه على مقعد في حديقة عامة ليأخذه أي شخص.
لا توجد "سياسة استرداد" (سحب المحتوى): إذا وجد شخص ما محفزاً خطيراً في هذه الامتحانات لا ينبغي أن يكون موجوداً، أو إذا تعلم الذكاء الاصطناعي منه وبدأ في صنع فيروسات حقيقية، فلا توجد طريقة رسمية للاتصال بالمؤلفين لسحبه. لم تدرج أي من الأوراق "سياسة سحب" أو شخصاً مسؤولاً عن إزالة المحتوى الضار.

3. "المقاعد الفارغة" في الفصل الدراسي

أنشأ المؤلفون خريطة (تصنيف) لإظهار أنواع "الأسئلة الخداعية" الموجودة. ووجدوا أن الباحثين جميعهم يجلسون في نفس المقاعد القليلة، تاركين العديد من المقاعد الأخرى فارغة:

مقاعد مزدحمة: معظم الامتحانات تطلب الكود في جملة واحدة مباشرة (مثلاً: "اكتب فيروساً").
مقاعد فارغة: عدد قليل جداً من الامتحانات يختبر السيناريوهات المعقدة، مثل:
- طلب الكود عبر محادثة طويلة (متعددة الأدوار) لبناء فيروس ببطء.
- طلب من الذكاء الاصطناعي أن يعمل كوكيل مستقل (Autonomous Agent) يتحكم في جهاز كمبيوتر.
- طلب كود يهاجم الأجهزة (Hardware) (مثل الثلاجات الذكية أو شرائح السيارات) بدلاً من مجرد البرمجيات.

ولأن "المقاعد" غير متساوية، فإن البيانات منحازة. نحن نعرف الكثير عن كيفية تعامل الذكاء الاصطناعي مع الطلبات البسيطة، لكننا نعرف القليل جداً عن كيفية تعامله مع الهجمات المعقدة متعددة الخطوات.

4. التوصيات: كيف نصلح الفصل الدراسي؟

يقترح البحث أنه إذا أردنا بناء "أوراق امتحانات" أفضل في المستقبل، فنحن بحاجة لاتباع قائمة مرجعية جديدة:

تسجيل القواعد مسبقاً: قبل بناء الامتحان، اكتب بالضبط ما تختبره حتى لا تغير القواعد في منتصف الطريق.
استخدام لجنة من القضاة البشر: لا تعتمد على ذكاء اصطناعي واحد للتصحيح. استخدم مجموعة متنوعة من البشر (أو مزيجاً من البشر وأنواع مختلفة من الذكاء الاصطناعي) للاتفاق على ما يُعد "رفضاً".
الإبلاغ عن درجة الاتفاق: انشر إحصائية تظهر أن القضاة قد اتفقوا بالفعل مع بعضهم البعض.
استخدام قاموس موحد: اتفقوا على قائمة واحدة من "الأشياء السيئة" (أنواع البرمجيات الخبيثة) حتى يحصي الجميع نفس الفئات.
أغلق الباب: إذا كان الامتحان يحتوي على تعليمات خطيرة، فاجعل الحصول عليه صعباً (يتطلب تقديم طلب بحثي) حتى لا يتمكن أصحاب النوايا السيئة من تحميله بسهولة.
عين حارساً: يجب أن يكون هناك شخص محدد مسؤول عن إزالة الامتحان إذا تسبب في ضرر.

ملخص

هذا البحث هو "مراجعة منهجية"، مما يعني أنه لم يجرِ تجارب جديدة. بدلاً من ذلك، عمل كأمين مكتبة دخل إلى غرفة بها 13 كتاباً مختلفاً لـ "اختبارات السلامة"، فتحها جميعاً، وأدرك: "نحن جميعاً نقيس أشياء مختلفة باستخدام مساطر مكسورة، ونحن نترك الأجزاء الخطيرة من هذه الكتب مكشوفة لأي شخص ليجدها."

يدعو المؤلفون المجتمع للتوقف عن بناء هذه الاختبارات بشكل منعزل، والبدء في الاتفاق على طريقة معيارية وآمنة وعادلة لقياس ما إذا كان الذكاء الاصطناعي يرفض حقاً القيام بالأعمال السيئة.

ملخص تقني: تقييم الرفض في النماذج اللغوية الكبيرة للبرمجة ووكلاء الأكواد

بيان المشكلة

تجزأ تقييم رفض النماذج اللغوية الكبيرة (LLM) لمهام توليد الأكواد الخبيثة إلى ما لا يقل عن ثلاثة عشر مستودعاً من مجموعات النصوص (Prompts) المنشورة علناً (مثل: AdvBench، وCyberSecEval، وRMCBench، وRedCode، وMOCHA، وASTRA، وJAWS-Bench). تم بناء هذه المجموعات وفق بروتوكولات متباينة، وتستخدم شروط ترخيص مختلفة، وتفتقر إلى التحقق المعياري من موثوقية التقييم بين المقيمين (IRR). تخلط الأدبيات الحالية بين "تقييم الرفض" (هل يرفض النموذج طلباً لتوليد كود خبيث؟) وبين "تقييم الثغرات الأمنية" (هل يولد النموذج أكواداً تحتوي على أخطاء برمجية عند طلبات حميدة؟)، أو تعامل مجموعات النصوص كمجرد سياق مجاور لتصنيفات أمنية أوسع. وبناءً على ذلك، فإن إحصائيات معدل الرفض المسجلة عبر هذه المجموعات ليست قابلة للمقارنة مباشرة؛ فهي تقيس مفاهيم غير متكافئة بسبب الاختلافات في تكوين النصوص، والنمط (أحادية الدور مقابل متعددة الأدوار مقابل الوكيل)، وبروتوكولات التصنيف (بشري مقابل آلي مقابل حكم يعتمد على نموذج لغوي كبير). لا يوجد مخطط معياري لفئات البرمجيات الخبيثة، ويُجبر الباحثون في الدراسات اللاحقة على إعادة بناء معايير الاشتمال من الصفر في كل دراسة جديدة.

المنهجية

تستخدم هذه الورقة بروتوكول مراجعة منهجية على نمط PRISMA لتحليل المجموعات الثلاث عشرة المدرجة ضمن النطاق باعتبارها وحدة التحليل الأساسية.

استراتيجية البحث: بحث متعدد المحركات (arXiv، وGoogle Scholar، وACL، وIEEE، وACM) مدمج مع تتبع الاقتباسات العكسية (Snowball-back citation tracking) من مجموعات النصوص الرئيسية التي تعد نقاط دخول.
معايير الاشتمال: يجب أن تستهدف المجموعات النماذج اللغوية الكبيرة للبرمجة أو وكلاء مفسر الأكواد (Code-interpreter agents)، وأن تنشر مجموعة نصوص علناً (أو تصفها بالتفصيل)، وتقيم رفض طلبات توليد الأكواد القابلة للتنفيذ والخبيثة.
معايير الاستبعاد: استُبعدت اختبارات كشف الثغرات (المهمة العكسية)، واختبارات القدرات العامة (مثل HumanEval)، وكسر الحماية غير المتعلق بالبرمجة، وأسئلة الاختيار من متعدد لاستخراج المعرفة (مثل WMDP).
عملية الاستخراج: تم تطبيق قالب استخراج موحد على المنشور الأساسي لكل مجموعة وعلى المواد المصاحبة لإصدارها. شملت الحقول: منهجية البناء، عدد النصوص، النمط، تصنيف البرمجيات الخبيثة، لوحة النماذج المستهدفة، معدلات الرفض المبلغ عنها، إحصائيات موثوقية التقييم بين المقيمين (IRR)، وسياسات الترخيص/الوصول. لم يتم إجراء أي قياسات تجريبية جديدة أو إعادة تصنيف؛ بل قامت المراجعة بتوليف البيانات الوصفية كما تم إصدارها.

المساهمات الرئيسية

تنتج الورقة أربعة نماذج تركيبية تعيد صياغة المجال من مجرد مجموعة من الاختبارات المتباينة إلى مشهد مهيكل وقابل للمقارنة:

مقارنة منهجية عبر المجموعات: جدول شامل (الجدول 1) يستخرج عشرة محاور للمقارنة لجميع المجموعات الثلاث عشرة. ويكشف الجدول أن استراتيجيات البناء تتراوح من الصياغة اليدوية البحتة إلى التوليد بواسطة النماذج اللغوية الكبيرة أو حلقات الوكيل المدفوعة بـ "الأوراكل" (Oracle-driven agent loops). والأهم من ذلك، يوثق الجدول أن صفر من المجموعات الثلاث عشرة سجلت إحصائية موثوقية التقييم بين المقيمين من نوع (Fleiss' $\kappa$ ) لملصقات الرفض الخاصة بها.
تصنيف بناء النصوص: إطار عمل ثلاثي المحاور (النمط، هيكل الأدوار، أسلوب الاستدراج) يحدد كيفية استدراج الأكواد الخبيثة.
- النمط: نص إلى كود، كود إلى كود، متعدد الأدوار، وكيل، ومفسر أكواد.
- هيكل الأدوار: دور واحد، أدوار متعددة، أو مسار حركة الوكيل (Agent-trajectory).
- أسلوب الاستدراج: مباشر، مزين بكسر الحماية (Jailbreak-decorated)، أو غير مباشر/يبدو حميداً.
- يوضح التصنيف "الخلايا الفارغة" في مجال التصميم (مثل النصوص متعددة الأدوار والمزينة بكسر الحماية)، مما يسلط الضوء على الفجوات الهيكلية في التغطية الحالية للتقييم.
مشهد قابلية التكرار والترخيص: كتالوج (الجدول 2) لمنصات التوزيع، والتراخيص، وسياسات الوصول. ووجد أن معظم المجموعات متاحة الوصول، لكن خمس منها تفتقر إلى بيانات الترخيص الصريحة في صفحاتها، ولا توجد أي منها توثق سياسة إزالة المحتوى أو جهة اتصال للإفصاح المسؤول، رغم احتوائها على حمولات برمجية خبيثة قابلة للتنفيذ.
خريطة تغطية فئات البرمجيات الخبيثة: أنطولوجيا موحدة مكونة من 22 فئة مشتقة من اتحاد تصنيفات جميع المجموعات. تحدد الخريطة الفئات المغطاة جيداً (مثل: حصان طروادة، برامج الفدية، التصيد الاحتيالي) والمجالات ناقصة التمثيل، وتحديداً ثغرات البرامج الثابتة (Firmware)، وهجمات الأجهزة/القنوات الجانبية، وهجمات إنترنت الأشياء/الأنظمة المدمجة، وهجمات سلاسل التوريد.

النتائج الرئيسية

الغياب الموحد لمقاييس الموثوقية: عبر جميع المجموعات الثلاث عشرة، لا يوجد تقرير عن موثوقية التقييم بين المقيمين (مثل Fleiss' $\kappa$ ). يتم اشتقاق الملصقات عبر التعيين من قبل المؤلفين فقط، أو المصادر الأصلية، أو المصنفات الآلية دون وجود خطوط أساس بشرية للمعايرة.
عدم اتساق المفاهيم: معدلات الرفض ليست قابلة للمقارنة عبر المجموعات لأنها تأخذ عينات من توزيعات نصوص مختلفة (مثل البذور المصاغة يدوياً مقابل إعادة صياغة النماذج اللغوية الكبيرة) وأساليب استدراج مختلفة (مباشر مقابل كسر حماية مقابل غير مباشر).
فجوات الحوكمة: لا يوجد أي من المجموعات التي تم مسحها يطبق الوصول المقيد، أو مراجعة الباحثين المسجلين، أو سياسة موثقة لإزالة المحتوى. خمس مجموعات تُوزع دون شروط ترخيص صريحة في مرحلة ما قبل الطباعة.
تجزؤ الأنطولوجيا: لا يوجد مخطط معياري للبرمجيات الخبيثة. اضطرت المراجعة لبناء أنطولوجيا اتحادية من 22 فئة لتمكين المقارنة بين المجموعات، حيث أن التصنيفات الموجودة (المشتقة من MITRE، أو العائلات الوظيفية، أو أنواع الهجمات) لا تتطابق بشكل سلس مع بعضها البعض.
اختلال التغطية: بينما تشبعت أنواع البرمجيات الخبيثة الشائعة، تظل المتجهات الناشئة الحرجة مثل ثغرات البرامج الثماوية (Firmware) وهجمات سلاسل التوريد ناقصة التمثيل، وغالباً ما تغطيها مجموعة واحدة أو اثنتان فقط.

الأهمية والادعاءات

تدعي الورقة أنها المراجعة المنهجية الأولى التي تعامل مجموعات نصوص توليد الأكواد الخبيثة نفسها كوحدة للتحليل، بدلاً من معاملتها كسياق ثانوي لأمن الأكواد أو تصنيفات كسر الحماية. تكمن أهميتها في:

تدقيق المجال: تكشف أن الوتيرة السريعة لإصدار المجموعات قد تجاوزت الدعم المنهجي المطلوب لإجراء مقارنة صالحة.
توفيد خط أساس: تقدم مفردات مهيكلة (التصنيف) وأنطولوجيا موحدة (الـ 22 فئة) للباحثين المستقبليين لتدقيق قرارات الاختيار والمقارنة بين مجموعات البيانات.
تحديد التوقعات المنهجية: تقترح قائمة مرجعية لبناء المجموعات في الجيل القادم، بما في ذلك التسجيل المسبق لمعايير الاشتمال، والتحقق من ملصقات الحكم المتعدد المتنوعة للموردين، والإبلاغ عن قيمة Fleiss' $\kappa$ مع فترات الثقة للتمهيد (Bootstrap confidence intervals)، واعتماد تصنيف معياري للبرمجيات الخبيثة.
العمل المستقبلي: يحدد المؤلفون أن إعادة التقييم التجريبي الموحد لموثوقية التقييم بين المقيمين عبر جميع المجموعات الثلاث عشرة باستخدام بروتوكول حكم متعدد مشترك هو الخطوة التالية الضرورية، والتي تم تأجيلها للعمل المستقبلي.

تخلص المراجعة إلى أنه بينما أنتج المجال مجموعة غنية من أدوات التقييم، فإن غياب معايير الموثوقية الموحدة، وحوكمة التراخيص، وتوافق التصنيفات يمنع حالياً تجميع إحصائيات معدل الرفض في مقياس متماسك وقابل للتفسير لسلامة النماذج اللغوية الكبيرة.