RealVuln: Benchmarking Rule-Based, General-Purpose LLM, and Security-Specialized Scanners on Real-World Code
تقدم الورقة البحثية RealVuln، وهو أول معيار مفتوح المصدر لتقييم 15 أداة فحص أمني على 26 مستودعاً حقيقياً للغة بايثون، كاشفةً عن تسلسل هرمي ثابت للأداء يتكون من ثلاث فئات، حيث تتفوق الأدوات المتخصصة في الأمن على النماذج اللغوية الكبيرة العامة، والتي بدورها تتفوق بشكل كبير على حلول تحليل البرمجيات الساكن (SAST) القائمة على القواعد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تملك منزلاً ضخماً ومعقداً (وهو كود البرمجيات الخاص بك). أنت تعلم أن هناك فخاخاً مخفية، وألواحاً خشبية في الأرضية غير ثابتة، ونوافذ مفتوحة (ثغرات أمنية) يمكن للصوص استخدامها للاقتحام. مهمتك هي العثور عليها وإصلاحها قبل وصول اللصوص.
ولمساعدتك في ذلك، قمت بتعيين ثلاثة أنواع مختلفة من مفتشي الأمن:
مفتش كتاب القواعد (SAST القائم على القواعد): هذا الرجل يحمل قائمة مرجعية ضخمة. هو يبحث فقط عن الأشياء التي تطابق ما في قائمته تماماً. إذا كانت النافذة مفتوحة، فسيضع علامة بجانبها. ولكن إذا كان هناك لص يختبئ خلف ستارة تبدو وكأنها نافذة، فسوف يخطئه. إنه سريع، لكن من السهل خداعه بأي شيء لا يشبه الصورة الموجودة في كتابه تماماً.
المثقف الشامل (النموذج اللغوي الكبير العام - LLM): هذا محقق بارع ومطلع، قرأ كل كتاب في المكتبة. هو لا يبحث فقط عن النوافذ المفتوحة؛ بل يفهم كيف يعمل المنزل. يمكنه تخمين أين قد يختبئ اللص بناءً على التصميم. ومع ذلك، هم عامون؛ لم يتخصصوا في "أمن المنازل" بشكل محدد، لذا قد يتشتت انتباههم أحياناً، أو يغفلون عن التفاصيل، أو يتعبون ويتوقفون عن العمل في غرف معينة.
محترف الأمن المتخصص (الماسح الضوئي المتخصص في الأمن): هذا محقق قضى حياته بأكملها في دراسة أمن المنازل فقط. يعرف الحيل المحددة التي يستخدمها اللصوص، ولديه أداة مخصصة لكل نوع من أنواع الأقفال، وهو مهووس بالعثور على كل ثغرة، حتى لو اضطر إلى فحص بعض الأماكن غير الضارة للتأكد فقط.
التجربة الكبرى: RealVuln
قرر مؤلفو هذه الورقة البحثية، Kolega، وضع هذه الأنواع الثلاثة من المفتشين تحت الاختبار النهائي. لم يستخدموا منازل وهمية ومصطنعة (وهو ما فعلته معظم الاختبارات السابقة)، بل بنوا 26 منزلاً حقيقياً مكسوراً عن قصد (تطبيقات تعليمية وألعاب Capture-The-Flag) مليئة بـ 796 فخاً معروفاً و120 "فخاً وهمياً" صُممت لخداع المفتشين.
سألوا: من سيجد أكبر عدد من الفخاخ الحقيقية دون أن يرتبك كثيراً بسبب الفخاخ الوهمية؟
النتائج: سباق واضح من ثلاث طبقات
كانت النتائج مفاجئة وخلقت تصنيفاً واضحاً من "ثلاث طبقات":
🥇 الفائز: المحترف المتخصص (Kolega.Dev)
وجد هذا البرنامج 80% من الفخاخ الحقيقية. كان الأفضل في اصطياد الأشرار. ومع ذلك، كان شديد الارتياب قليلاً: فقد اعتبر بعض الأماكن غير الضارة مشبوهة (إنذارات كاذبة). لكن في مجال الأمن، يجادل المؤلفون بأنه من الأفضل أن تكون مرتاباً بدلاً من أن تفوت عملية اقتحام حقيقية.- التشبيه: الأمر يشبه كلب حراسة ينبح عند كل سنجاب، لكنه لا يخطئ أب ever أي لص.
🥈 الوصيف: المثقف الشامل (Claude Sonnet 4.6)
وجد أفضل ذكاء اصطناٍ "عام" حوالي 50% من الفخاخ. كان أذكى بكثير من مفتش كتاب القواعد، لكنه لا يزال يغفل عن نصف المخاطر الحقيقية. كما كان أكثر دقة (إنذارات كاذبة أقل)، لكنه لم يمسك بما يكفي ليكون الخيار الأول للمهام عالية الخطورة.- التشبيه: محقق بشري ذكي جيد في حل الجرائم، لكنه يتشتت انتباهه أحياناً بمحادثة ممتعة فيغفل عن بعض الأدلة.
🥉 الخاسر: مفتش كتاب القواعد (Semgrep, Snyk, SonarQube)
أدت الأدوات التقليدية التي تعتمد على قوائم بسيطة أسوأ أداء. فقد وجدت حوالي 18% فقط من الفخاخ الحقيقية. وكان من السهل خداعها بأي شيء لا يشبه ما في قائمتها تماماً.- التشبيه: حارس يتحقق من الباب الأمامي فقط. إذا دخل اللص من المدخنة، فإن الحارس لن ينظر للأعلى حتى.
لماذا يهم هذا؟
تجادل الورقة البحثية بأنه في عالم الأمن السيبراني، تجاوز الخطر أخطر بكثير من إطلاق إنذار كاذب.
- إذا فاتك ثغرة واحدة حقيقية، يمكن للمخترق سرقة بياناتك.
- إذا أطلقت إنذاراً كاذباً، فسيحتاج الإنسان فقط إلى 5 دقائق للتحقق منه والقول: "أوه، هذا بخير".
بسبب هذا، ابتكر المؤلفون نظام تسجيل خاص (يسمى F3) يعاقب على تفويت الفخاخ بشكل أكبر بكثير من معاقبة إطلاق إنذار كاذب. وتحت هذا النظام، يفوز المحترف المتخصص بفارق كبير.
العقبة (والمستقبل)
يعترف المؤلفون ببعض الأمور:
- تضارب المصالح: أحد المؤلفين يعمل في الشركة التي صنعت الأداة الفائزة (Kolega). ولحل هذه المشكلة، قاموا بنشر كل شيء—الكود، وبيانات الاختبار، ونظام التسجيل—حتى يتمكن أي شخص من مراجعة عملهم وإثبات أنهم لا يغشون.
- إنها مجرد البداية: كان هذا الاختبار على كود Python (لغة برمجة واحدة) و"منازل مكسورة" تجريبية. النسخة التالية ستختبر كوداً حقيقياً ولغات أخرى مثل Java وJavaScript.
الخلاصة
إذا كنت تريد تأمين برمجياتك، فلا تعتمد فقط على قوائم المراجعة القديمة أو الذكاء الاصطناوي العام. مستقبل الأمن يكمن في الأدوات المتخصصة التي تجمع بين ذكاء الذكاء الاصطناعي والفهم العميق والمحدد لكيفية اختراق المخترقين للأنظمة فعلياً.
تخلص الورقة البحثية إلى أنه بينما يمثل الذكاء الاصطناوي العام خطوة كبيرة للأمام مقارنة بالأدوات القديمة، إلا أنه ليس كافياً بمفرده. نحن بحاجة إلى أدوات مبنية خصيصاً للأمن للحفاظ على سلامة منازلنا الرقمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.