From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts
تكشف هذه الدراسة لإعادة الإنتاج المسجلة مسبقاً أنه بينما يتوفر أكثر من نصف المصنوعات البرمجية للثغرات الأمنية المدفوعة بنماذج اللغات الكبيرة أو الوكلاء برمجياً بشكل علني، إلا أن معظمها يفشل في التنفيذ بشكل موثوق أو إنتاج نتائج مؤكدة دلالياً، مما يسلط الضضوء على فجوة حرجة بين الكود القابل للتشغيل والأدلة الأمنية القابلة للتحقق بسبب عدم اتساق المعرفات وعدم موثوقية أدوات التحقق الآلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كمدينة ضخمة وصاخبة حيث البرامج هي المباني. في بعض الأحيان، تحتوي هذه المباني على شقوق مخفية في أساساتها—وهي ما تسمى بـ "الثغرات" (vulnerabilities) أو "الأخطاء البرمجية" (bugs). لفترة طويلة، كان باحثو الأمن (المفتشون في هذه المدينة) يكتشفون هذه الشقوق ويكتبون تقارير مفصلة حول كيفية الاختراق وإصلاحها. ولكن مؤخرًا، وصل نوع جديد من المفتشين: الذكاء الاصطناعي، وتحديدًا "نماذج اللغات الكبيرة" (LLMs) أو "الوكلاء" (Agents). هؤلاء هم برامج حاسوبية فائقة الذكاء يمكنها قراءة الكود، والعثور على الشقوق، وحتى كتابة نصوص "إثبات المفهوم" (PoC) الخاصة بها—وهي ببساطة مفاتيح رقمية صغيرة تثبت أن القفل مكسور.
السؤال الكبير الذي يطرحه الجميع هو: هل يمكننا الوثوق بمفتشي الذكاء الاصطناعي هؤلاء؟ عندما يقول الذكاء الاصطناعي: "لقد وجدتُ شقًا وهذا هو المفتاح"، هل هذا حقيقي بالفعل، أم أن الذكاء الاصطناعي مجرد يهذي؟ في عالم العلوم، هناك فرق بين كون الشيء "متاحًا" (يمكنك تحميل الملف)، و"قابلًا للتشغيل" (يعمل فعليًا)، و"متحققًا منه" (يقوم فعليًا بما يدعي القيام به). هذه الدراسة تشبه عملية تدقيق مخططة مسبقًا، حيث لم يكتف الباحثون بأخذ كلمة الذكاء الاصطناعي، بل ذهبوا إلى المختبر، وحاولوا تشغيل كل مفتاح أنتجه الذكاء الاصطناعي بأنفسهم، وتحققوا مما إذا كانت الأبواب ستفتح حقًا. أرادوا معرف من هو صانع الأقفال الماهر ومن هو مجرد مزور واثق من نفسه.
تدقيق مفاتيح الذكاء الاصطناعي العظيم: اختبار الواقع
في هذه الدراسة، عمل الباحثون كفريق من المحققين المتشككين. قاموا بجمع مجموعة ضخمة تضم 104 ورقة بحثية من الفترة من 2023 إلى 2026، حيث ادعى المؤلفون استخدام الذكاء الاصطناعي للعثور على الثغرات البرمجية والتحقق من صحتها. فكر في الأمر كأنها مكتبة ضخمة من "تقارير المحقق الذكي". أراد الفريق معرفة كم عدد هذه التقارير التي تحكي قصصًا حقيقية، وكم منها مجرد حكايات خيالية.
لغز التوافر
أولاً، تحققوا مما إذا كانت "المفاتيح" (ملفات الكود) موجودة في المكتبة أصلاً. من بين 104 ورقة بحثية، كان هناك 59 فقط (حوالي 57%) لديهم رابط يعمل بالفعل. أما البقية فكانوا مثل الكتب ذات الصفحات المفقودة، أو الروابط التي تؤدي إلى نهايات مسدودة، أو الملفات التي تلاشت في الأثير الرقمي. اتضح أنه ليس بالضرورة أن وجود عبارة "الكود هنا" في الورقة البحثية يعني أنه يمكنك العثور عليه فعليًا.
اختبار "إنه يعمل"
بعد ذلك، حاولوا تشغيل المفاتيح الـ 59 التي تعمل على جهاز كمبيوتر نظيف وجديد. هذا يشبه محاولة تشغيل سيارة بمحرك جديد تمامًا. ويا للصدمة، 10 أوراق بحثية فقط من أصل 18 تم اختبارها (56%) استطاعت حتى بدء تشغيل محركاتها دون مساعدة. وعندما تعثروا، حاولوا إجراء "إصلاح للبيئة" (environment repair)—مثل تثبيت أدوات مفقودة أو إصلاح إعدادات بسيطة—لكن لم يكن مسموحًا لهم بتغيير كود "فتح القفل" الفعلي. حتى مع هذه المساعدة، استطاع 11 من أصل 18 (61%) إكمال مهمتهم. معظم حالات الفشل كانت بسبب نقص التعليمات أو الأدوات التي لا تتوافق مع الكمبيوتر الذي يعملون عليه.
مشكلة "الإنذار الكاذب"
هنا يصبح الأمر مثيرًا للاهتمام حقًا. وجد الباحثون أن العديد من النصوص البرمجية التي أنتجها الذكاء الاصطناعي كانت تصرخ "لقد وجدتُ خطأً!" بينما لم تكن قد وجدت شيئًا في الواقع. هم يسمون هذا فشل "إنتاج الإشارة" (signal-producing failure).
- عدم التطابق: في 58 حالة من أصل 102 (57%)، كان النص البرمجي يحتوي على تسمية سرية بالداخل لا تتطابق مع التسمية الموجودة على المجلد. كان الأمر أشبه بمحقق يكتب تقريرًا عن "سرقة بنك" ولكنه في الواقع يقتحم "متجر ألعاب". كان الذكاء الاصطناعي يختبر الشيء الخطأ تمامًا.
- الإنذار المعطل: عندما قاموا بتشغيل النصوص البرمجية فعليًا، كانت "الإنذارات" (الإشارات التي تقول إنه تم العثور على خطأ) غير موثوقة في كثير من الأحيان. اختبر الباحثون ذلك من خلال التحقق مما إذا كان الإنذار سيعمل على نسخة "مُصلحة" (patched) من البرنامج. إذا كان الإنذار لا يزال يعمل على النسخة المُصلحة، فقد كان إنذارًا كاذبًا.
- وجدوا أن 20 من أصل 30 حالة (67%) لا تزال تُطلق الإنذار حتى بعد إصلاح الخطأ المفترض.
- كانت "الحساسية" (مدى جودة الإنذار في رصد الأخطاء الحقيقية) هي 60% فقط، أما "النوعية" (مدى جودة تجاهل الأخطاء الوهمية) فكانت سيئة للغاية بنسبة 45%. هذا يعني أن إنذارات الذكاء الاصطناعي المدمجة كانت تخمن بشكل أساسي، وتخطئ في نصف الحالات تقريبًا.
التحقق من "المعيار الذهبي"
لكي تتأكد حقًا من أن الخطأ حقيقي، تحتاج إلى ثلاثة أشياء:
- يجب أن يعمل النص البرمجي.
- يجب أن يتسبب في حدوث الانهيار أو الخطأ المحدد الذي يدعي العثء عليه.
- يجب ألا يتسبب في نفس الخطأ على نسخة مُصلحة من البرنامج.
عندما طبق الباحثون هذا "المعيار الذهبي" الصارم (الذي يسمونه دليل E1)، كانت النتائج صارخة. من بين جميع الحالات التي أنتجت إشارة، حالتان فقط (2 من المجموعة بأكملها) استوفتا المعايير الثلاثة. الباقي كان إما معطلاً، أو يختبر الشيء الخطأ، أو يطلق الإنذار بلا سبب.
الخلاصة
لم تجد هذه الدراسة رصاصة سحرية؛ بل وجدت الكثير من المصابيح اليدوية المكسورة. الدرس الرئيسي هو أن مجرد قيام الذكاء الاصطناعي بإنشاء نص برمجي "يعمل" و"يطبع رسالة مخيفة"، لا يعني أنه قد وجد ثغرة حقيقية بالفعل.
اكتشف الباحثون فجوة كبيرة بين "إنه يعمل ويبدو مخيفًا" وبين "إنه يعيد إنتاج الخطأ فعليًا". ووجدوا أن:
- أكثر من نصف النصوص البرمجية كانت تختبر ثغرة أخرى مختلفة تمامًا.
- معظم النصوص البرمجية فشلت في العمل دون مساعدة.
- ثلثي النصوص التي ادعت العثور على خطأ كانت في الواقع إنذارات كاذبة كانت ستعمل حتى على كمبيوتر مُصلح.
المؤلف لا يقول إن الذكاء الاصطناعي لا يمكنه القيام بهذا العمل، لكنه يحذر المجتمع الأمني: لا تثق في نظام إنذار الذكاء الاصطناعي الخاص به. إذا كنت تريد معرفة ما إذا كان الخطأ حقيقيًا، فعليك التحقق من العمل بنفسك، وتحديدًا من خلال اختبار ما إذا كان الخطأ يختفي عند إصلاح البرنامج. وحتى ذلك الحين، قد تكون العديد من هذه "الاكتشافات المدعومة بالذكاء الاصطناعي" مجرد دخان ومرايا رقمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.