Are Frontier LLMs Ready for Cybersecurity? Evidence for Vertical Foundation Models from Dual-Mode Vulnerability Benchmarks
تُظهر هذه الورقة أنه في حين تعاني النماذج اللغوية الكبيرة الرائدة من معدلات مرتفعة من الإيجابيات الكاذبة وانخفاض في تغطية الثغرات في مهام الأمن السيبراني، فإن النماذج المتخصصة في المجال التي توظف منهجيات اختبار هيكلية تحقق دقة فائقة، مما يشير إلى أن النماذج التأسيسية العمودية المبنية على بيانات متخصصة وسلاسل هجوم هيكلية تُعد ضرورية للتطبيقات الأمنية الفعالة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك استأجرت فريقاً من المحققين العباقرة ومتعددي الاستخدامات (نماذج اللغات الكبيرة المتطورة - Frontier LLMs) للبحث عن الفخاخ المخفية في سلسلة من المباني المعقدة في العالم الحقيقي (تطبيقات الويب). أنت تريد معرفة ما إذا كانوا مستعدين للوظيفة. الورقة البحثية التي قدمتها هي بمثابة "تقرير درجات" من اختبار صارم، والأخبار مختلطة: المحققون أذكياء، لكنهم حالياً يفتقرون إلى المهارة والبراعة، وحذرون أكثر من اللازم بحيث لا يمكن الوثوق بهم للقيام بالمهمة بمفردهم.
إليك تفصيل أدائهم، مشروحاً عبر تشبيهات بسيطة.
1. الطريقتان اللتان اختُبر بها المحققون
لم يكتفِ الباحثون بسؤال المحققين بـ "النظر حولهم" فحسب، بل اختبروهم بطريقتين محددتين:
- اختبار "الصندوق الأبيض" (النظر في المخططات): تم إعطاء المحققين الكود المصدري الفعلي (المخططات) للبرمجيات وطلب منهم تحديد مكان الفخاخ بالضبط.
- اختبار "الصندوق الأسود" (الاقتحام والكسر): تم إعطاء المحققين فقط الباب الأمامي للمبنى. كان عليهم التصرف كاللصوص، محاولين التسلل، واختبار الأقف والأقفال، وإيجاد نقاط الضعف دون رؤية المخططات.
2. مشكلة المحققين "متعددي الاستخدامات"
اختبر الباحثون ستة من أكثر نماذج الذكاء الاصطناعي تقدماً وتعدداً في الاستخدامات (مثل GPT-5.4، وClaude، وGemini). إليك ما حدث من خطأ:
- أزمة "الإنذار الكاذب" (الإيجابيات الكاذبة):
في اختبار المخططات، كان المحققون العامون مهووسين بالبارانويا بشكل لا يصدق. لقد صنفوا كل شيء تقريباً على أنه فخ.- التشبيه: تخيل جهاز كشف المعادن في المطار الذي يصدر صفيراً ليس فقط للأسلحة، بل للمفاتيح، والعملات المعدنية، وأبازيم الأحزمة أيضاً. وجدت الورقة أن هذه النماذج صنفت من 10% إلى 50% من الأكواد الآمنة على أنها خطيرة. إذا استخدمتهم في وظيفة حقيقية، فسيتعين على فريق الأمن لديك مراجعة كل "إنذار" يدوياً، مما يهدر ساعات في فحص أشياء ليست معطلة في الواقع.
- مشكلة "الرفض":
بعض المحققين الأكثر تقدماً (تحديداً GPT-5.4) رفضوا القيام بالوظيفة تماماً.- التشبيه: تسأل محققاً لاختبار قفل لترى ما إذا كان ضعيفاً، فيقول: "لا يمكنني فعل ذلك! قد يشجع هذا شخصاً ما على الاقتحام!" لقد تم تدريبهم ليكونوا "آمنين" لدرجة أنهم رفضوا إجراء اختبارات أمنية مشروعة.
- مشكلة "الضياع في المتاهة":
في اختبار "الصندوق الأسود" (محاولة الاقتحام)، كان المحققون العامون سيئين للغاية. لم يجدوا سوى 4% إلى 8% من الفخاخ الفعلية. وحتى عندما أعطيتهم أدوات خاصة (مثل مفتاح رئيسي أو مجموعة أدوات لفتح الأقفال)، لم يتحسنوا إلا قليلاً لتصل النسبة إلى 10-19%.- التشبيه: لديهم الأدوات، لكنهم لا يعرفون كيف يستخدمونها بشكل منهجي. إنهم يتجولون بلا هدف، ويجربون أشياء عشوائية، ثم يستسلمون، متجاهلين الفخاخ الواضحة التي قد يجدها المحترف.
3. الحل: المحققون "المتخصصون" (النماذج الرأسية)
تجادل الورقة بأنه بدلاً من استئجار محقق عام يعرف القليل عن كل شيء، نحن بحاجة إلى خبراء أمن متخصصين (نماذج التأسيس الرأسية - Vertical Foundation Models).
- "وكيل الهجوم المتخصص":
قام الباحثون ببناء ذكاء اصطناعي متخصص تم تدريبه خصيصاً للأمن الهجومي. وعلى عكس النماذج العامة، لم يرفض هذا النموذج القيام بالوظيفة. لقد عرف الأساليب المهنية لاختبار الاختراق.- النتيجة: عندما اتبع هذا الوكيل المتخصص قائمة مراجعة صارمة (منهجية) خطوة بخطوة، وجد أكثر من 50% من الفخاخ. لقد أثبت أن امتلاك خطة جيدة يهم أكثر من مجرد امتلاك عقل كبير.
- "وكيل الدفاع المتخصص":
قاموا أيضاً ببناء ذكاء اصطناعي متخصص لـ إيجاد الثغرات في الكود (الدفاع).- النتيجة: كان هذا النموذج هو نجم العرض. حقق أعلى دقة وأقل عدد من "الإنذارات الكاذبة" (9.7% فقط). كما كان أسرع وأرخص في التشغيل من النماذج العامة الضخمة.
4. السر الكامن في: "رسم بياني للاستدلال الوكيل" (ARG)
جاءت النتيجة الأكثر إثارة للإعجاب من نظام جديد يسمى الرسم البياني للاستدلال الوكيل (Agentic Reasoning Graph - ARG).
- التشبيه: تخيل فريقاً حيث يقوم "المحقق المبدع" (النموذج اللغوي الكبير) بابتكار أفكار حول كيفية الاقتحام، ولكن "قاضياً صارماً" (برنامج كمبيوتر، وليس ذكاءً اصطناعياً) يتحقق من الأدلة.
- يقترح الذكاء الاصطناعي طريقة لاختراق الباب. ثم يقوم "القاضي" بتشغيل اختبار صارم وغير قابل للتغيير لمعرفة ما إذا كانت تلك الطريقة تعمل بالفعل. إذا فشل الاختبار، يتم استبعاد تخمين الذكاء الاصطناعي.
- لماذا ينجح هذا: هذا يمنع الذكاء الاصطناعي من "الهلوسة" (تخيل فخ غير موجود). وجدت الورقة أن هذا النظام قلل الإنذارات الكاذبة بشكل كبير مع الاستمرار في إيجاد الفخاخ الحقيقية.
5. لماذا يفشلون؟ (البيانات المفقودة)
تخلص الورقة إلى أن السبب في فشل النماذج العامة هو نقص بيانات التدريب المحددة.
- التشبيه: تخيل تعليم طالب القيادة من خلال عرض صور للسيارات فقط. هو يعرف شكل السيارة، لكنه لا يعرف كيف يوجه المقود، أو يضغط على المكابح، أو يتعامل مع إطار مثقوب.
- تم تدريب نماذج الذكاء الاصطناعي الحالية على نصوص عامة من الإنترنت. إنها تفتقر إلى "دروس القيادة" في الأمن السيبراني: لم تشهد ما يكفي من أمثلة على سلاسل الهجوم خطوة بخطوة، والمحاولات الفاشلة، والأدلة الواقعية على أن ثغرة ما قابلة للاستغلال فعلياً.
الخلاصة
إن حكم الورقة البحثية واضح: نماذج الذكاء الاصطناعي العامة ليست جاهزة لتكون فريق الأمن السيبراني الخاص بك. إنها عرضة للإنذارات الكاذبة، وسهلة الارتباك، وأحياناً تخشى القيام بالوظيفة.
ولإصلاح ذلك، نحتاج إلى نماذج ذكاء اصطناعي متخصصة مدربة خصيصاً على بيانات الأمن، تعمل وفق منهجيات صارمة وخطوة بخطوة، وتستخدم فحوصات حاسوبية للتحقق من نتائجها. الأمر لا يتعلق بجعل الذكاء الاصطناعي "أذكى" بمعناه العام، بل بجعله متخصصاً أفضل وأكثر انضباطاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.