CVE-Factory: Scaling Expert-Level Agentic Tasks for Code Security Vulnerability
تقدم هذه الورقة CVE-Factory، وهو إطار عمل متعدد الوكلاء يقوم تلقائيًا بتحويل بيانات CVE الوصفية المتفرقة إلى مهام أمنية عالية الجودة وقابلة للتنفيذ لإنشاء معيار LiveCVEBench ومجموعة بيانات تدريب واسعة النطاق، مما يحسن بشكل كبير قدرات اكتشاف الثغرات الأمنية لوكلاء الكود.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك حارس أمن يحاول تعليم روبوت جديد كيفية إصلاح الأقفال المكسورة لمليون باب مختلف. المشكلة هي أن التعليمات الوحيدة التي تملكها هي قصاصات ورقية صغيرة وغامضة تقول: "الباب 404 مكسور"، دون أن تخبرك كيف هو مكسور، أو كيف يبدو هذا الباب، أو ما هي الأدوات التي تحتاجها للإصلاح.
هذا هو الوضع الحالي لأبحاث أمن الذكاء الاصطناعي. لدينا قوائم بالثغرات الأمنية (تسمى CVEs)، لكنها مجرد نقاط بيانات متفرقة. ولتدريب وكلاء الذكاء الاصطناعي على إصلاحها، نحتاج إلى "حقائب تدريبية" كاملة: نموذج يعمل للباب المكسور، واختبار لإثبات أنه مكسور، وحل تم التحقق منه.
CVE-Factory هو نظام جديد يعمل مثل طاقم بناء فائق الكفاءة ومنظم آلياً. إنه يأخذ تلك القصاصات الورقية الصغيرة والغامضة ويبني فوراً حقيبة تدريبية كاملة وعاملة.
إليك كيف يعمل، باستخدام تشبيهات بسيطة:
1. المشكلة: "القصاصة الورقية الغامضة"
في الوقت الحالي، يتعين على خبراء الأمن بناء هذه الحقائب التدريبية يدوياً. يقرأون تقريراً عن ثغرة أمنية، ثم يبحثون عن البرنامج، ويجهزون بيئة كمبيوتر وهمية، ثم يكسرونها عمداً، ثم يكتبون اختباراً لاكتشاف الكسر، ثم يكتبون الحل.
- الواقع: يستغرق الخبراء أكثر من 10 ساعات لكل "باب". هذا بطيء جداً ومكلف للغاية للقيام به لآلاف الأبواب.
- النتيجة: لا تملك الروبوتات (وكلاء الذكاء الاصطناعي) مواد تدريبية كافية، لذا تظل سيئة في مجال الأمن.
2. الحل: "خط التجميع" (CVE-Factory)
قام المؤلفون ببناء CVE-Factory، وهو يشبه مصنعاً متخصصاً يحتوي على سير ناقل. بدلاً من أن يقوم شخص واحد بالعملية بأكملها، قاموا بتفكيك العملية إلى ست محطات متميزة، يدير كل منها وكيل ذكاء اصطناعي متخصص.
فكر في الأمر كورشة إصلاح سيارات عالية التقنية حيث لا يحاول أي ميكانيكي القيام بكل شيء في وقت واحد:
- المحطة 1: المحقق (المحلل - Analyzer)
يقرأ الذكاء الاصطناعي القصاصة الورقية الغامضة ويقوم بالبحث عبر الإنترنت للعثور على المخططات، والطراز المحدد للسيارة، والجزء المعين الذي تعطل. ثم ينشئ "ملف قضية" واضحاً. - المحطة 2: المهندس المعماري (المولد - Generator)
باستخدام ملف القضية، يكتب هذا الذكاء الاصطناعي التعليمات للروبوت: "هذا هو الباب المكسور. هذا هو الاختبار لإثبات أنه مكسور. وهذا هو شكل الحل المثالي". - المحطة 3: البنّاء (Builder)
يقوم هذا الذكاء الاصطناعي ببناء البيئة الفعلية. يقوم بإعداد "الكمبيوتر الوهمي" (باستخدام حاويات Docker) ليبدو تماماً مثل البرنامج الحقيقي. والأهم من ذلك، أنه يبني هذا دون رؤية الحل أو الاختبار، حتى لا يغش. هو فقط يبني المشهد. - المحطة 4: المفتش (المُدقق - Validator)
قبل أن يحاول أي شخص الإصلاح، يتحقق هذا الوكيل: "هل الباب مكسور بالفعل في هذه الغرفة الوهمية؟ هل الاختبار يعمل؟" إذا لم يكن الغرفة معدة بشكل صحيح، فإنه يعيدها إلى البنّاء لإصلاحها. - المحطة 5: الميكانيكي (الحلال - Solver)
يحاول هذا الوكيل إصلاح الباب باستخدام التعليمات. يقوم بتطبيق التصحيح (الرقعة) ويشغل الاختبار. - المحطة 6: رئيس مراقبة الجودة (المتحقق - Checker)
هو "الزعيم النهائي". يقوم بإجراء فحص شامل من البداية إلى النهاية. هل نجح الإصلاح فعلاً؟ هل كسر الروبوت شيئاً آخر بالخطأ؟ هل الاختبار حقيقي، أم أن الروبوت تلاعب بالنتائج فقط؟
السر الكامن وراء النجاح: إذا حدث خطأ ما في أي محطة، فإن النظام لا يستسلم ببساطة. بل لديه "حلقة تغذية راجعة". إذا قال المفتش: "الباب ليس مكسوراً"، فإنه يرسل المهمة للعودة إلى البنّاء لإعادة بناء الباب، وليس لشخص جديد. هذا يضمن أن المنتج النهائي عالي الجودة.
3. النتائج: سرعة بمستوى الخبراء
اختبر الفريق هذا المصنع مقابل خبراء بشريين قاموا بالفعل ببناء 215 من هذه الحقائب التدريبية.
- الدقة: كانت حقائب المصنع بجودة 95% من حقائب الخبراء البشريين.
- السرعة: يستغرق البشر من 5 إلى 24 ساعة لكل حقيبة. أما المصنع فيستغرق حوالي 48 دقيقة.
- النطاق: مع تشغيل 20 عاملاً في وقت واحد، بنى المصنع جميع الحقائب الـ 215 في أقل من 5 ساعات. بينما كان الفريق البشري سيستغرق أسابيع.
4. الملعب الجديد: LiveCVEBench
لأن المصنع سريع جداً، لم يتوقف المؤلفون عند 215 حقيبة فقط. بل بنوا ملعباً جديداً يتحدث باستمرار يسمى LiveCVEBench.
- يحتوي على 190 مهمة أمنية حقيقية.
- يغطي 14 لغة برمجة مختلفة (ليس فقط بايثون).
- يتضمن التهديدات الناشئة، مثل الثغرات في أدوات الذكاء الاصطناعي نفسها.
- يتحدث تلقائياً مع اكتشاف ثغرات جديدة، على عكس الاختبارات القياسية القديمة التي تظل ثابتة في الزمن.
5. تدريب الروبوت
أخيراً، استخدموا المصنع لإنشاء أكثر من 1,000 مهمة تدريبية لتعليم نموذج ذكاء اصطناعي (Qwen3-32B).
- قبل التدريب: كان بإمكان الذكاء الاصطناعي حل 5.3% فقط من المهام الأمنية.
- بعد التدريب: قفزت النسبة إلى 35.8%، متفوقاً على نماذج أكبر وأكثر تكلفة.
- ميزة إضافية: المهارات التي تعلمها لم تكن للأمن فقط؛ بل أصبح أفضل في مهام البرمجة العامة أيضاً.
ملخص
CVE-Factory هو نظام متعدد الوكلاء يعمل على أتمتة إنشاء بيانات تدريب أمنية عالية الجودة. إنه يحول تقارير الثغرات الأمنية المملة والمتفرقة إلى تحديات تفاعلية كاملة تشبه "غرف الهروب" لوكلاء الذكاء الاصطناعي. إنه يثبت أنه من خلال تقسيم مهمة معقدة إلى خطوات أصغر ومتخصصة والسما_ح لوكلاء الذكاء الاصطناعي بالتعاون، يمكننا توليد بيانات تدريب بمستوى الخبراء وبسرعة ونطاق لا يمكن للبشر مضاهاتهما. وهذا يسمح لنا بتدريب وكلاء ذكاء اصطناويين أكثر ذكاءً وأماناً بسرعة أكبر من أي وقت مضى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.