🤖 AI

Enhancing Continual Learning for Software Vulnerability Prediction: Addressing Catastrophic Forgetting via Hybrid-Confidence-Aware Selective Replay for Temporal LLM Fine-Tuning

تتناول هذه الورقة مشكلة النسيان الكارثي في التنبؤ بالثغرات البرمجية الزمنية من خلال اقتراح Hybrid-CASR، وهي طريقة إعادة تشغيل انتقائية واعية بالثقة تعمل على تحسين درجات Macro-F1 والاحتفاظ العكسي بشكل كبير مع تقليل وقت التدريب مقارنة بالتدريب التراكمي والأساليب المرجعية القائمة على النافذة فقط.

المؤلفون الأصليون: Xuhui Dou, Hayretdin Bahsi, Alejandro Guerra-Manzanares

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xuhui Dou, Hayretdin Bahsi, Alejandro Guerra-Manzanares

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك رئيس فريق أمني لمدينة ضخمة ومتغيرة باستمرار. مهمتك هي رصد المباني الخطرة (الثغرات البرمجية) قبل أن تنهار.

في الماضي، ربما كنت ستوظف محققاً يدرس ألبوماً ضخماً لصور مبانٍ قديمة. لكن المشكلة هنا هي: المباني تتغير. تُستخدم مواد جديدة، وتظهر طرق بناء جديدة، وتصبح المخططات القديمة عديمة الفائدة. إذا درس المحقق الخاص بك فقط ألبوم صور من عام 2018، فسيفشل في رصد نوع جديد من الأبواب المخفية الذي اختُدع في عام 2024.

هذه الورقة البحثية تدور حول تعليم محقق ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير - LLM) كيف يستمر في التعلم مع تطور المدينة، دون أن ينسى كل ما تعلمه بالأمس.

إليك قصة كيف فعلوا ذلك، مشروحة ببساطة:

1. المشكلة: المحقق الذي "ينسى"

حاول الباحثون تدريب ذكاء اصطناائي على أكواد برمجية. لكنهم لاحظوا مشكلة كبيرة تسمى النسيان الكارثي (Catastrophic Forgetting).

التشبيه: تخيل طالباً يذاكر لامتحان تاريخ. لقد ذاكر فترة التسعينيات بإتقان، ثم انتقل لمذاكرة فترة الألفينات. عندما يخوض الاختبار، يتفوق في أسئلة الألفينات، لكنه نسي تماماً ما تعلمه عن التسعينيات.
في الورقة البحثية: إذا تعلم الذكاء الاصطناعي من الأكواد الأحدث فقط، فسينسى كيفية رصد أنواع الثغرات القديمة. وإذا حاول تعلم كل شيء من الصفر في كل مرة، فسيستغرق وقتاً طويلاً ويصاب بالارتباك.

2. الحل: نظام "البطاقات التعليمية الذكية"

اختبر الفريق ثماني طرق مختلفة لمساعدة الذكاء الاصطناعي على التذكر. ووجدوا أن الطريقة الأفضل كانت شيئاً أطلقوا عليه اسم Hybrid-CASR.

فكر في هذا كأنه نظام بطاقات تعليمية ذكي للذكاء الاصطناعي:

الطريقة القديمة (النافذة فقط - Window-Only): يقوم الذكاء الاصطناعي برمي جميع البطاقات التعليمية القديمة ويكتفي بدراسة الأحدث فقط. يتعلم بسرعة ولكنه ينسى الماضي.
الطريقة المكلفة (التدريب التراكمي - Cumulative Training): يحاول الذكاء الاصطناعي قراءة كل بطاقة تعليمية رآها منذ اليوم الأول وحتى اليوم. هذا دقيق ولكنه يستغرق وقتاً طويلاً جداً (مثل قراءة المكتبة بأكملة كل ليلة).
طريقة Hybrid-CASR (الفائزة): يحتفظ الذكاء الاصطناعي بصندوق صغير خاص من البطاقات التعليمية. لكنه ليس مجرد صندوق عشوائي، بل:
1. يختار "الصعب منها": يحتفظ بالبطاقات الخاصة بالثغرات التي لا يكون متأكداً منها (تلك التي يخطئ فيها باستمرار).
2. يوازن المجموعة: في العالم الحقيقي، الأكواد "المُصلحة" (Fixed) شائعة، بينما الأكواد "المعرضة للثغرات" (Vulnerable) نادرة. إذا اختار الذكاء الاصطناعي بطاقات صعبة بشكل عشوائي، فقد يرى فقط الأكواد "المُصلحة". لذا، يجبر نظام Hybrid-CASR الصندوق على احتواء مزيج متساوٍ من الأكواد "المعرضة للثغرات" والأكواد "المُصلحة" حتى لا ينحاز الذكاء الاصطناعي.

3. التجربة: اختبار السفر عبر الزمن

معظم أوراق علوم الحاسوب تختبر الذكاء الاصطناعي عن طريق خلط البيانات عشوائياً (مثل خلط أوراق اللعب). لكن الباحثين قالوا: "لا، هذا غش!"

قاعدتهم: يمكنك فقط استخدام المعرفة من الشهر الماضي للتنبؤ بالثغرات في هذا الشهر. لا يمكنك استراق النظر إلى المستقبل.
النتيجة: أجرو هذه التجربة على مدار 42 فترة زمنية (كل فترة شهرين)، من عام 2018 إلى عام 2024.

4. النتائج المفاجئة

الزمن لا يهم بقدر ما كنا نظن: سواء علموا الذكاء الاصطناعي في فترات مدتها شهر واحد أو 12 شهراً، كانت النتائج متقاربة جداً. الذكال الاصطناعي مرن بشكل مدهش.
كثرة البيانات ليست دائماً أفضل: محاولة التدريب على كل التاريخ (طريقة التراكم - Cumulative) جعلت الذكاء الاصطناعي أكثر ذكاءً قليلاً، لكنها استغرقت وقتاً أطول بـ 16 مرة للتشغيل. لم يكن الانتظار يستحق العناء.
الفائز: كانت طريقة Hybrid-CASR هي الحل "المثالي" (Goldilocks). لقد كانت:
- دقيقة: رصدت أكبر عدد من الثغرات (بنسبة نجاح حوالي 67%).
- سريعة: كانت أسرع بكثير من إعادة قراءة التاريخ بأكمله.
- مستقرة: لم تنسَ الثغرات القديمة بسهولة مثل الطرق الأخرى.

5. الخلاصة من الواقع العملي

تخلص الورقة البحثية إلى أنه بينما يتحسن الذكاء الاصطناعي في رصد الثغرات البرمجية، إلا أنه ليس عصا سحرية بعد.

الذكاء الاصطناعي مساعد رائع، وليس بديلاً: يمكنه تحديد المشكلات المحتملة، ولكن لا يزال يتعين على البشر مراجعتها والتأكد منها.
الكفاءة هي المفتاح: لست بحاجة إلى حاسوب خارق لإبقاء ذكاء الاصطناعي الأمني الخاص بك محدثاً. نظام ذاكرة انتقائي وذكي (مثل Hybrid-CASR) يعمل بنفس الكفاءة وهو أقل تكلفة بكثير في التشغيل.

باختاًصر: علم الباحثون محقق الذكاء الاصطناعي أن يحتفظ بـ "دفتر ملاحظات مميز" لأصعب أخطائه، وبمزيج متوازن من الحالات القديمة والجديدة. سمح هذا له بالبقاء يقظاً في عالم متغير دون أن يحترق ذهنياً أو ينسى ماضيه.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تعزيز التعلم المستمر للتنبؤ بثغرات البرمجيات: معالجة النسيان الكارثي عبر إعادة التشغيل الهجين الواعي بالثقة لضبط النماذج اللغوية الكبيرة زمنياً."

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في نشر النماذج اللغوية الكبيرة (LLMs) للكشف عن الثغرات البرمجية في بيئات واقعية ومتطورة.

التحول في التوزيع الزمني: تتغير أنماط الثغرات بمر over الزمن (انزياح المفهوم). معظم التقييمات الحالية تستخدم تقسيمات عشوائية للتدريب والاختبار، مما يتجاهل الترتيب الزمني، ويؤدي إلى تسرب البيانات والمبالغة في تقدير الأداء.
النسيان الكارثي: عندما يتم تحديث النماذج بشكل تدريجي ببيانات جديدة (التعلم المستمر)، فإنها تميل إلى "نسيان" أنماط الثغرات التي تعلمتها سابقاً.
عدم توازن الفئات: غالباً ما تكون الدوال المصابة بالثغرات أقلية مقارنة بالدوال السليمة/غير المصابة، وتتذبذب هذه النسبة بمرور الوقت.
القيود الحسابية: يعد إعادة التدريب على جميع البيانات التاريخية (التدريب التراكمي) أمراً مكلفاً حسابياً للتحديثات المتكررة، بينما يؤدي التدريب البسيط القائم على "النافذة فقط" إلى ضعف في الاحتفاظ بالمعرفة السابقة.

2. المنهجية

الإعداد التجريبي

النموذج: يستخدم المؤلفون نموذج microsoft/phi-2 (نموذج فك تشفير بـ 2.7 مليار معلمة) تم تكييفه باستخدام LoRA (التكيف منخفض الرتبة) لضبط المعلمات بكفاءة.
مجموعة البيانات: مجموعة بيانات مرتبطة بـ CVE تمتد من 2018 إلى 2024، مستمدة من قاعدة بيانات CVEfixes. وهي تتضمن حالات على مستوى الدالة (مصابة بالثغرة مقابل تم إصلاحها) بشكل أساسي في لغتي C/C++.
البروتوكول الزمني: تم تقسيم الجدول الزمني إلى نوافذ نصف شهرية (42 نافذة إجمالاً). يتبع التقييم بروتوكول السلسلة الأمامية (forward-chaining) الصارم:
- يتم تدريب النماذج على النافذة $W_t$ واختبارها على $W_{t+1}$ .
- يتم اختبار الاحتفاظ العكسي على $W_{t-k}$ (بفترات تأخير 1، 3، 5، 6) لقياس النسيان.
- هذا يمنع التسرب الزمني، مما يضمن استخدام النماذج فقط للمعرفة المتاحة في وقت التنبؤ.

استراتيجيات التعلم المستمر التي تم تقييمها

تقارن الدراسة ثماني استراتيجيات:

النماذج المرجعية (Baselines): الصفرية (مدربة مسبقاً فقط)، النافذة فقط (التدريب على النافذة الحالية فقط)، والتراكمية (التدريب على كامل التاريخ).
القائمة على إعادة التشغيل (Replay-Based):
- Replay-1P/3P: أخذ عينات عشوائية من النافذة السابقة 1 أو 3 نوافذ.
- CASR (إعادة التشغيل الانتقائي الواعي بالثقة): يعطي الأولوية للعينات غير المؤكدة (منخفضة الثقة) لإعادة التشغيل.
- Hybrid-CASR (المقترح): يجمع بين اختيار العينات بناءً على عدم اليقين وموازنة الفئات الصريحة. فهو يضمن أن يحافظ مخزن إعادة التشغيل على نسبة متوازنة من العينات المصابة والسليمة مع إعطاء الأولوية للحالات الصعبة.
القائمة على التنظيم (Regularization-Based):
- LB-CL: خسارة متوازنة الملصقات (Cross-entropy موزونة الفئات).
- OLoRA: قيود التعامد على تحديثات LoRA لمنع التداخل مع المعرفة السابقة.

مقاييس التقييم

Macro-F1: المقياس الأساسي للتعامل مع عدم توازن الفئات بالتساوي.
IBR@k (الاحتفاظ العكسي الفوري): درجة F1 على النوافذ الماضية بعد التدريب على البيانات الحالية.
الكفاءة: وقت التدريب لكل نافذة، استخدام ذاكرة GPU، و F1 لكل دقيقة.

3. المساهمات الرئيسية

بروتوكول التقييم الزمني: وضع المؤلفون بروتوكولاً يحاكي الواقع باستخدام السلسلة الأمامية والاختبارات العكسية المتأخرة على مجموعة بيانات CVE مدتها 6 سنوات، مما يتجنب تسرب البيانات الشائع في التقييمات ذات التقسيم العشوائي.
خوارزمية Hybrid-CASR: طريقة إعادة تشغيل مبتكرة تعالج كلاً من النسيان الكارثي وعدم توازن الفئات. فهي تختار العينات بناءً على عدم يقين النموذج ولكنها تفرض تمثيلاً متوازناً للفئات المصابة والسليمة في مخزن إعادة التشغيل.
تحليل الحبيبية (Granularity Ablation): تحليل منهجي لأحجام النوافذ الزمنية (1، 2، 3، 6، 12 شهراً)، مما يتحدى الافتراض بوجود حجم نافذة مثالي واحد.
تحليل الموارد والأداء: تحليل شامل للمقايضة يوضح أن التدريب التراكمي غير فعال حسابياً مقارنة بطرق إعادة التشغيل الانتقائية.

4. النتائج الرئيسية

الأداء (التنبؤ الأمامي):
- حقق Hybrid-CASR أعلى متوسط Macro-F1 بلغ 0.667، متفوقاً بشكل ملحوظ على نموذج النافذة فقط (0.651) مع قيمة p قدرها 0.026.
- حقق التدريب التراكمي F1 مشابهاً (0.661) ولكنه تطلب وقت تدريب أكبر بـ 15.9 ضعفاً، مما يجعله غير عملي للتحديثات المتكررة.
الاحتفاظ بالمعرفة (العكسي):
- أظهر Replay-1P أعلى احتفاظ فوري (IBR@1 = 0.791).
- حقق Hybrid-CASR احتفاظاً قوياً (IBR@1 = 0.741) مع معدل اضمحلال منخفض جداً (4.2% عبر 6 فترات تأخير)، مما يوازن بين المرونة (تعلم الأنماط الجديدة) والاستقرار (الاحتفاظ بالأنماط القديمة).
- أدى OLoRA أداءً ضعيفاً (F1 = 0.599)، مما يشير إلى أن قيود التعامد شديدة الصرامة بالنسبة لأنماط الثغرات المتطورة.
الحبيبية الزمنية:
- حققت أحجام النوافذ المختلفة (شهرية إلى سنوية) نتائج F1 متوسطة متقاربة للغاية (0.651–0.669).
- حققت النوافذ الربع سنوية (3 أشهر) أفضل متوسط أداء، لكن الاختلافات كانت هامشية، مما يشير إلى أن المؤسسات يمكنها منح الأولوية لتوافر الموارد على حساب التحسين الصارم للأداء فيما يتعلق بحجم النافذة.
الكفاءة:
- قلل Hybrid-CASR وقت التدريب لكل نافذة بنسبة ~17% مقارنة بـ "النافذة فقط" (432 ثانية مقابل 520 ثانية) مع تحسين F1.
- حقق كفاءة قدرها 0.093 F1/دقيقة، مقارنة بـ 0.075 للنموذج المرجعي.

5. الأهمية والآثار المترتبة

النشر العملي: تثبت الدراسة أن Hybrid-CASR يوفر التوازن الأكثر عملية لكتشافات الثغرات في العالم الحقيقي. فهو يسمح بتحديثات متكررة للنماذج في بيئات أحادية الـ GPU دون نسيان كارثي أو تكلفة حسابية باهظة.
إعادة النظر في مفهوم "المزيد من البيانات": تتحدى النتائج الفكرة القائلة بأن التدريب على جميع البيانات التاريخية (التراكمي) هو الأفضل دائماً. في ظل وجود انزياح المفهوم، قد يؤدي التذكر الشامل إلى التداخل، بينما يكون إعادة التشغيل الانتقائي أكثر فعالية.
دور الخبرة البشرية: حتى أفضل النماذج تحقق ~66% Macro-F1. يخلص المؤلفون إلى أن كواشف الثغرات القائمة على LLM يجب أن تُعت de أدوات لدعم القرار تتطلب تحققاً بشرياً، خاصة خلال فترات الانزياح السريع (مثل حملات الأمن الكبرى).
الاتجاهات المستقبلية: يسلط العمل الضوء على الحاجة إلى استراتيجيات نافذة تكيفية وبروتوكولات تقييم تحاكي سيناريوهات "اليوم صفر" (zero-day) بشكل أفضل. كما يشير إلى قيود محتملة تتعلق بتلوث التدريب المسبق (حيث تم تدريب phi-2 على بيانات تتداخل مع فترة التقييم) والتركيز على لغات C/C++.

باختصار، توفر هذه الورقة إطاراً صارماً لتقييم النماذج اللغوية الكبيرة في الكشف الزمني عن الثغرات، وتقترح Hybrid-CASR كحل قوي وفعال لمعضلة الاستقرار والمرونة في التعلم المستمر.