Seclens: Role-specific Evaluation of LLM's for security vulnerablity detection
تقدم الورقة البحثية SecLens-R، وهو إطار تقييم متعدد أصحاب المصلحة يكشف عن تباينات كبيرة في أداء اكتشاف ثغرات النماذج اللغوية الكبيرة عبر الأدوار التنظيمية المختلفة، مما يثبت أن معايير القياس أحادية المقياس تفشل في استيعاب الأولويات المتباينة لأصحاب المصلحة مثل مسؤولي أمن المعلومات (CISOs) والقيادات الهندسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان سفينة ضخمة (برمجيات شركتك)، وعليك توظيف مساعد أول جديد (نموذج ذكاء اصطيتي) لمسح الأفق بحثاً عن الشعاب المرجانية المخفية (الثغرات الأمنية).
لسنوات، استخدمت صناعة الشحن رقماً واحداً لتقييم هؤلاء المساعدين: "الدرجة الإجمالية". إذا حصل مساعد على درجة 90/100، يفترض الجميع أنه الأفضل.
لكن هذه الورقة البحثية، SecLens، تجادل بأن هذا الرقم الواحد هو كذبة. الأمر يشبه تقييم طاهٍ بناءً فقط على سرعته في تقطيع البصل؛ قد يكون الطاهي سريعاً كالبرق (وهذا رائع للمطبخ المزدحم) ولكنه سيء جداً في تتبيل الطعام (وهذا كارثي للمطاعم الراقية).
إليك التبسيط لما اكتشفه المؤلفون، باستخدام بعض التشبيهات الإبداعية.
1. المشكلة: المقاس الواحد لا يناسب الجميع
تقول الورقة إن الأشخاص المختلفين في شركتك يهتمون بأشياء مختلفة. لذا، فإن "الدرجة الإجمالية" الواحدة لا يمكنها إرضاء الجميع.
- رئيس أمن المعلومات (CISO): فكر فيه كـ مفتش السلامة. هو لا يهتم إذا كان المساعد سريعاً أو رخيصاً، بل يهتم فقط بـ: "هل فاتك قرش؟" إذا غفل الذكاء الاصطناعي عن ثغرة حرجة، فستكون الكارثة. هو يريد الاستدعاء (Recall) (اصطياد كل شيء)، حتى لو يعني ذلك أن يصرخ الذكاء الاصطناعي "قرش!" عند رؤية قطعة خشب عائمة (الإنذارات الكاذبة).
- رئيس الهندسة: فكر فيه كـ مدير المطبخ. هو يهتم بـ السرعة والضجيج. إذا صرخ الذكاء الاصطناعي "قرش!" عند كل قطعة خشب عائمة، سيتوقف المطورون عن الاستماع. هو يريد الدقة (Precision) (الصراخ فقط عند وجود قرش حقيقي) حتى يتمكن فريقه من مواصلة الطهي دون ذعر.
- رئيس قسم الذكاء الاصطناعي (CAIO): هو مدير الميزانية. يتساءل: "هل يستحق هذا المساعد راتبه؟" هو يريد توازناً بين المهارة والتكلفة.
- الباحث الأمني: هو خبير الأدلة الجنائية. يريد أن يعرف كيف وجد الذكاء الاصطناعي القرش. هل رأى الزعانف؟ هل شم رائحة الماء؟ هو يحتاج إلى تفكير عميق، وليس مجرد "نعم/لا".
- "الذكاء الاصطناعي كفاعل" (AI-as-Actor): هذا هو مهندس الروبوتات. يريد فقط أن يعرف: "هل يصطدم الروبوت عندما يحاول فتح الباب؟" هو يهتم بما إذا كان بإمكان الذكاء الاصطناعي اتباع التعليمات دون كسر القواعد.
2. الحل: "النظارات المخصصة لكل دور"
ابتكر المؤلفون طريقة جديدة لاختبار الذكاء الاصطناعي تسمى SecLens-R. بدلاً من إعطاء درجة واحدة، وضعوا خمس نظارات ملونة مختلفة (واحدة لكل دور) للنظر إلى نفس الذكاء الاصطناعي.
لقد بنوا لوحة نتائج تحتوي على 35 مقياساً مختلفاً (مثل السرعة، التكلفة، الدقة، والمنطق).
- مفتش السلامة يرتدي نظارات حمراء تسلط الضوء فقط على "القرش المفقود" و"الأخطاء الحرجة".
- مدير المطبخ يرتدي نظارات صفراء تسلط الضوء على "الإنذارات الكاذبة" و"الوقت الضائع".
النتيجة الصادمة:
عندما اختبروا 12 نموذجاً من أفضل نماذج الذكاء الاصطناعي، تغيرت الدرجات بشكل جذري بناءً على من ينظر!
النموذج أ (Qwen3-Coder):
- بالنسبة لـ مدير المطبخ: هو نموذج ممتاز (A+). نادراً ما يصرخ "قرش!" في وجه قطعة خشب. إنه دقيق وسريع.
- بالنسبة لـ مفتش السلامة: هو نموذج فاشل (F). لقد فاته معظم القروش الحقيقية لأنه كان حذراً أكثر من اللازم.
- الفجوة: فرق 31 نقطة في نفس النموذج.
النموذج ب (GPT-5.4):
- بالنسبة لـ مدير المطبخ: ممتاز (A). دقة عالية وتكلفة منخفضة.
- بالنسبة لـ مفتش السلامة: ضعيف (D). لقد فاتته ثغرات حرجة.
النموذج ج (Gemini 3 Flash):
- بالنسبة لـ مفتش السلامة: جيد جداً (B). لقد اصطاد كل شيء تقريباً.
- بالنسبة لـ مدير المطبخ: جيد (B). جيد، ولكن ربما يكون مزعجاً قليلاً.
3. تحول "استخدام الأدوات"
اختبرت الورقة أيضاً الذكاء الاصطناعي في نمطين:
- الكود داخل المطالبة (Code-in-Prompt - CIP): تعطي الذكاء الاصطناعي صفحة واحدة من الكود وتسأله: "هل هذا مكسور؟" (مثل النظر إلى صورة لشعاب مرجانية).
- استخدام الأدوات (Tool-Use - TU): تعطي الذكاء الاصطناعي خريطة وقارباً، وتتركه يبحر حول قاعدة البيانات بأكملها للعثور على الشعاب المرجانية. (مثل الإبحار الفعلي بالسفينة).
العقبة: نمط "استخدام الأدوات" أغلى بـ 10 إلى 100 مرة وأبطأ. الأمر يشبه استئجار فريق غوص كامل بدلاً من مجرد النظر إلى صورة. وجدت الورقة أن معظم الشركات تكتفي بمجرد النظر إلى الصورة (CIP) لاتخاذ القرار، ما لم تكن بحاجة تحديداً لأن يبحر الذكاء الاصطناعي بشكل مستقل في السفينة بأكملة.
4. الخلاصة الكبرى
تخلص الورقة إلى أنه لا يوجد "أفضل ذكاء اصطناعي" للأمن.
- إذا كنت رئيساً أمنياً، فيجب أن تختار الذكاء الاصطناعي الذي يصطاد أكبر عدد من القروش، حتى لو كان مزعجاً بعض الشيء.
- إذا كنت قائداً هندسياً، فيجب أن تختار الذكاء الاصطناعي الهادئ والسريع، حتى لو فاتته بعض الأسماك الصغيرة.
المثال التشبيهي:
تخيل أنك تشتري سيارة.
- مفتش السلامة يريد السيارة التي تحتوي على أكبر عدد من الوسائد الهوائية وأقل سرعة قصوى (الأكثر أماناً).
- سائق السباق يريد السيارة ذات السرعة القصوى الأعلى والوزن الأخف (الأسرع).
- المشتري المقتصد يريد السيارة ذات استهلاك الوقود الأفضل.
إذا قالت مجلة سيارات: "هذه السيارة هي الفائزة لأن درجتها 90"، فهي تكذب. تلك السيارة قد تكون الأسوأ لرحلة عائلية (سلامة) والأسوأ لسباق (سرعة).
SecLens تقول ببساطة: "توقف عن البحث عن 'الفائز' الوحيد. ابحث عن الدرجة التي تهم وظيفتك المحددة."
الملخص في جملة واحدة
لا تدع "الدرجة الإجمالية" الواحدة تخدعك؛ فأفضل ذكاء اصطناعي لفريق الأمن الخاص بك قد يكون الأسوأ لفريق الهندسة لديك، وعليك اختيار الأداة المناسبة لمهمتك المحددة، وليس الأداية التي تملك أعلى رقم في لوحة المتصدرين.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.