ملخص تقني: "الخردة الذكية" (AI Slop) والهلوسة في تقييم الثغرات الأمنية

1. بيان المشكلة

أدى دمج النماذج اللغوية الكبيرة (LLMs) في تقييم الثغرات الأمنية السيبرانية إلى ظهور "أزمة ثقة" مدفوعة بانتشار ما يُعرف بـ "الخردة الذكية" (AI Slop). وخلافاً للنتائج الإيجابية الكاذبة التقليدية الناجمة عن قواعد فحص أمن التطبيقات الساكنة (SAST) المتحفظة، تتكون "الخردة الذكية" من مخرجات أمنية (تقارير، إثباتات مفهوم، رقع برمجية) تظهر طلاقة لغوية وهيكلية مقنعة، لكنها تفتقر إلى الصلاحية الدلالية أو الاستناد التنفيذي.

تشمل هذه المخرجات:

• الثغرات المهلوسة: ثغرات (CVEs) مفبركة، وواجهات برمجة تطبيقات (APAPIs) غير موجودة، ومسارات تنفيذ متفككة.
• توليد رقع برمجية خاطئة: إصلاحات تعالج الأعراض السطحية مع تجاهل الأسباب الجذرية، أو رقع قد تؤدي إلى ثغرات ارتدادية جديدة.
• إعادة التغليف الدلالي: تحويل المعرفة الموجودة أو الإصلاحات "الصامتة" (غير المعلنة) إلى تقارير تبدو جديدة وذات سلطة.

تخلق هذه الظاهرة عبئاً إدراكياً على مسارات الفرز البشرية يشبه هجمات حجب الخدمة (DoS). وتكمن المشكلة الجوهرية في وجود فجوة استدلالية أساسية: يعتمد خبراء الأمن البشر على الاستدلال الاستنباطي متعدد الخطوات القائم على قيود النظام، بينما تعمل النماذج اللغوية الكبيرة عبر التوليد الاحتمالي للرموز (tokens) بناءً على الارتباطات الإحصائية. وعندما تتجاوز المعلومات أفق الاستدلال الخاص بالنموذج، فإنه يلجأ إلى استكمالات منطقية إحصائياً بدلاً من الحقائق المثبتة.

2. المنهجية

تستخدم الورقة مراجعة منهجية للأدبيات وتحليلاً مفاهيمياً لاستقصاء الأدلة التجريبية وصياغة المشكلة بشكل رسمي.

• البحث في الأدبيات: استعلم المؤلفون من IEEE Xplore وACM Digital Library وarXiv باستخدام كلمات مفتاحية متعلقة بالنماذج اللغوية والأمن، حيث قام مراجعان مستقلان بفحص النتائج والاحتفاظ بالدراسات التي تقدم أدلة تجريبية على أوجه فشل النماذج اللغوية الكبيرة في السياقات الأمنية.
• بناء التصنيف: تم تصنيف حالات الفشل إلى ثلاثة فروع رئيسية بناءً على طبيعة فشل الاستدلال.
• تحليل الفجوة: تقارن الورقة بين النماذج الإدراكية البشرية (الاستنباطية، الحافظة للثوابت) والقيود الهيكلية للنماذج اللغوية الكبيرة (الاحتمالية، المحدودة بنطاق السياق).
• اقتراح المقاييس: وضع المؤلفون مقياساً كمياً للفجوة الاستدلالية عبر "درجة التغطية الاستنباطية" (DCS)، واقترحوا أدوات تقييم جديدة (CVE-Bench، Slop-Score).
• المراجعة الهيكلية: تمت مراجعة استراتيجيات التخفيف الحالية (الكشف السلبي، العلامات المائية) ونقدها، يليه اقتراح لبنى هندسية للتحقق العصبي-الرمزي (neuro-symbolic) النشط.

3. المساهمات الرئيسية

أ. صياغة وتصنيف "الخردة الذكية" (AI Slop)

تعرف الورقة "الخردة الذكية" في الأمن السيبراني وتضع تصنيفاً يتكون من ثلاثة أنماط للفشل:

1. الثغرات المهلوسة: يخترع النموذج عيوباً (مثل CVEs مفبركة، أو واجهات برمجة تطبيقات غير موجودة) لتلبية توقعات المطالبة (prompt). ويشمل ذلك الهلوسة المداهنة (إيجاد ثغرات في كود آمن) وتضليل انحياز الرموز (تغير الحكم بناءً على تغييرات تركيبية سطحية).
2. توليد رقع برمجية خاطئة: تولد النماذج رقعاً برمجية تنجح في التجميع (compile) وتجتاز الفحوصات السطحية، لكنها تفشل في حل المشكلة الأساسية أو تتسبب في ثغرات ارتدادية جديدة (مثل استبدال نوع من CWE بنوع آخر).
3. إعادة التغليف الدلالي: تعيد النماذج تشكيل المعلومات الموجودة (بما في ذلك الإصلاحات الصامتة من التحديثات مفتوحة المصدر) في شكل تقارير "جديدة". يستغل هذا الأسلوب غياب الحقيقة الأرضية (ground truth) المعلنة للإصلاحات غير المفصح عنها، مما يجعل الادعاءات المعاد تغليفها غير قاببة للكشف عبر التحقق القائم على البحث.

ب. تحليل الفجوة الاستدلالية

تحدد الورقة السبب الجذري في التباين بين الاستدلال الاستنباطي البشري والتوليد الاحتمالي للنماذج اللغوية الكبيرة:

• الخبراء البشر: يبنون نماذج ذهنية، ويتتبعون تدفق البيانات عبر الحدود الإجرائية، ويتحققون من القيود، ويتعاملون مع النتائج بشك حتى يتم إثباتها.
• النماذج اللغبية الكبيرة: تُقدر احتمالات الرموز بناءً على توزيعات التدريب، وتقوم بتجميع الأنماط المألوفة (نداءات API، أسماء المتغيرات) دون التحقق من مسار تنفيذ واحد.
• محدودية الحلول الحالية: يرى المؤلفون أن تقنيات مثل "سلسلة الأفكام" (CoT) واستخدام الوكلاء للأدوات تضيق الفجوة لكنها لا تغلقها؛ إذ غالباً ما تؤدي (CoT) إلى سلاسل استدلال أطول ولكنها خاطئة بنفس القدر، كما يؤدي استخدام الأدوات غالباً إلى "هلوسة استخدام الأدوات" حيث يسيء الوكلاء تفسير مخرجات الأدوات.

ج. نقد الكشف السلبي والعلامات المائية

تجادل الورقة بأن استراتيجيات التخفيف الحالية التي تستهدف الأصل (provenance) (تحديد ما إذا كان النص مكتوباً بواسطة آلة) لا تتماشى مع الحاجة إلى الصحة (correctness).

• الكشف الإحصائي: يفشل لأن التقارير الأمنية بطبيعتها نمطية (تنوع لغوي منخفض)، مما يسبب نتائج إيجابية كاذبة عالية للتقارير المكتوبة بشرياً.
  টি العلامات المائية: غير متوافقة مع المنطق البرمجي؛ إذ إن فرض اختيار رموز بعلامات مائية في نطاقات الكود المقيدة غالباً ما يكسر المنطق أو ينشئ حمولات (payloads) غير صالحة.

د. الحلول المقترحة وأدوات التقييم

• التحقق العصبي-الرمزي (Neuro-Symbolic Verification): يدعو المؤلفون إلى بنية تعمل فيها النماذج اللغوية الكبيرة كـ مولدات للفرضيات، حيث تخضع مخرجاتها لـ تحقق حتمي (التحليل الساكن، الفحص الديناميكي/Fuzzing، التنفيذ الرمزي) قبل وصولها للمحللين البشريين.
• درجة التغطية الاستنباطية (DCS): مقياس يحدد مدى استناد ادعاء الثغرة إلى أدلة صريحة وقابلة للتحقق (مثل مراجع كود محددة، آثار التنفيذ) مقابل الاستيفاء الإحصائي.
• CVE-Bench: معيار اختبار مصمم لاختبار قدرة أنظمة الفرز على الفصل بين التقارير المستندة إلى أدلة وبين مسارات الاستغلال الوهمية ذات الطلاقة العالية باستخدام حقيقة أرضية موثقة بالتنفيذ.
• درجة الخردة (Slop-Score): مقياس مستمر يحدد الفجوة بين الطلاقة اللغوية والمحتوى القابل للتحقق، ويفرض عقوبات على المخرات التي تتميز بالطلاقة لكنها تفتقر إلى كثافة الأدلة أو استيفاء القيود.

4. النتائج والمكتشفات

• الأدلة التجريبية: تسلط المراجعة الضوء على أن حوالي 20% من التقارير في بعض برامج مكافآت الثغرات (مثل HackerOne بحلول منتصف عام 2025) تم تحديدها كخردة ذكية منخفضة الجودة، مما أدى إلى إيقاف بعض البرامج (مثل برنامج مكافآت cURL في عام 2026) بسبب عدم القدرة على التمييز بين التقارير الصالحة والضجيج الناتج عن الذكاء الاصطناعي.
• عجز الاستناد (Grounding Deficit): تكشف مراجعة الأعمال التمثيلية (الجدول 1) أنه لا توجد دراسة توفر التحقق على مستوى التنفيذ لمخرجات النماذج اللغوية الكبيرة. أقوى استناد تم العثور عليه هو فحص التجميع أو التحليل الساكن، وهي عمليات تعمل بمستوى أدنى بكثير من متطلبات الاستدلال الأمني الصارم.
• فشل الجسور الجزئية: بينما تقلل أدوات مثل ReAct وRetrieval-Augmented Generation (RAG) من الهلوسة الواقعية (مثل اختراع CVEs غير موجودة)، إلا أنها تفشل في معالجة الهلوسة المنطقية (استخلاص استنتاجات سببية خاطئة من حقائق دقيقة).

5. الأهمية والادعاءات

تضع الورقة نفسها كـ مراجعة، وتحليل مفاهيمي، وخارطة طريق. تكمن أهميتها الأساسية في نقل نموذج التقييم من الطلاقة اللغوية إلى القابلية للتحقق الرياضي.

• الفشل الهيكلي: يؤكد المؤلفون أن "الخردة الذكية" ليست مجرد مشكلة أداء، بل هي فشل هيكلي حيث يحل التوليد الاحتمالي محل التحقق السببي.
• الموثوقية: لا يمكن تحقيق الثقة في الفرز المدعوم بالذكاء الاصطناعي من خلال تحسين صياغة الأوامر أو تتبع الأصل وحده. يتطلب الأمر تحققاً عصبياً-رمزياً نشطاً يربط كل جزء من المسار بالأنظمة السابقة ذات الحدود الموثقة (مثل حدود انفجار المسارات في التنفيذ الرمزي).
• الاتجاه المستقبلي: تخلص الورقة إلى أن الذكاء الاصطناعي الموثوق في الأمن السيبراني سينبثق من الأنظمة التي تعامل التوليد كنقطة انطلاق لمسار التحقق، مما يضمن ممارسة الحكم البشري فقط على الادعاءات التي نجت من الاختبارات الحتمية. تهدف المقاييس المقترحة (DCS، Slop-Score) والمعايير (CVE-Bench) إلى توفير البنية التحتية اللازمة لهندسة هذا الفشل الهيكلي وإخراجه من النظام.