ملخص تقني: من الحكم إلى التشخيص: مراجعة أمنية قابلة للعزو لطلبات السحب (Pull Requests)

1. تعريف المشكلة: فجوة الحكم–التشخيص (VD Gap)

تُقيم أدوات مراجعة الكود الآلية الحالية بشكل أساسي بناءً على قدرتها على إصدار حكم "حظر" (blocking) لطلبات السحب (PRs) الخبيثة. ومع ذلك، تحدد الورقة البحثية عيباً جوهرياً في نموذج التقييم هذا: قد يقوم المراجع بحظر طلب سحب لسبب خاطئ. قد يتم إطلاق الحظر بسبب مشكلة غير ذات صلة (مثل خطأ في التنسيق أو تحذير غير حرج) بدلاً من الثغرة الأمنية المحددة التي تجعل طلب السحب غير آمن.

يُسمى هذا التباين بـ فجوة الحكم–التشخيص (Verdict–Diagnosis gap).

• الحكم (Verdict): القرار بالموافقة على طلب السحب أو حظره.
• التشخيص (Diagnosis): التحديد الدقيق للثغرة الأمنية والأدلة الداعمة لها.
• الفجوة (The Gap): حكم حظر صحيح مقترن بتشخيص خاطئ أو غير مدعوم بالأدلة. في مثل هذه الحالات، تكون جهود المعالجة موجهة بشكل خاطئ، مما يترك الثغرة الفعلية دون معالجة.

تجادل الورقة بأن المعايير والمقاييس الحالية للتقييم تفشل في التمييز بين النظام الذي "يحظر" فحسب والنظام الذي "يشخص" العيب الأمني الكامن بشكل صحيح. علاوة على ذلك، فإن العديد من الثغرات (خاصة "ثغرات النوع الغائب" حيث يكون هناك نقص في حماية مطلوبة) تتطلب أدلة من أجزاء غير متغيرة في المستودع، وهو ما غالباً ما تغفله التحليلات القائمة على الفروقات (diff-based analysis) التقليدية.

2. المنهجية

2.1 MALPR-BENCH: معيار قائم على الآليات

لقياس فجوة (VD)، قدم المؤلفون MALPR-BENCH، وهو معيار مصمم لتقييم ثلاثة أبعاد متميزة بشكل منفصل:

1. صحة الحكم (V): هل قام النظام بحظر طلب السحب؟
2. تحديد الثغرة المستهدفة (I): هل حدد النظام بدقة آلية الثغرة الأمنية المحددة؟
3. التحقق من الأدلة (E): هل أسس تشخيصه على حقائق ملموسة وقابلة للتدقيق من المستودع (مواقع الكود، الملفات غير المتغيرة، إلخ)؟

البناء:

• النطاق: 89 طلب سحب خبيث و50 حالة ضبط سليمة عبر 44 مستودعاً وثماني عائلات لغوية.
• المصادر:
  • التاريخ المستخرج: استعادة الإصلاحات غير المكتملة من سجلات المشاريع.
  • المستمدة من التنبيهات: بناء حالات خبيثة من تنبيهات أمنية عامة (المجموعة A: إصلاح غير مكتمل؛ المجموعة B: عكس الإنفاذ).
  • الاكتشاف في العالم الحقيقي: ثغرات لم تكن معلنة سابقاً وجدتها أداة المؤلفين.
• الحقيقة الأرضية (Ground Truth): تتضمن كل حالة "نموذج معايير مجمد" يحدد الثغرة المستهدفة، وسلسلة الأدلة المطلوبة، والأوصاف المقبولة. يسمح هذا بالتدقيق الدقيق فيما إذا كانت المراجعة "قابلة للعزو" (أي أن $A = V \land I \land E$).
• تصنيف العيوب: تُصنف الحالات كـ نوع موجود (Present-type) (السلوك غير الآمن ظاهر في الفرق/diff) أو نوع غائب (Absence-type) (الإنفاذ الأمني المطلوب مفقود). وتُصنف مواقع الأدلة من L0 (الفرق فقط) إلى L2b (التطابق الدلالي في ملفات غير مرتبطة).

2.2 PRGUARD: مراجع أمني قابل للعزو

لمعالجة فجوة (VD)، يقترح المؤلفون PRGUARD، وهو نظام يفصل بين تحديد الثغرة والتحقق من الأدلة. بخلاف النماذج التي تعمل من البداية إلى النهاية والتي تنتقل مباشرة من الفرق إلى الحكم، يعمل PRGUARD من خلال مسار مرحلي:

• المرحلة 0 (الجمع الهيكلي): يجمع السياق الهيكلي بشكل حتمي (المستدعيين، المستدعى، الواردات) حول الكود المتغير قبل حد أي استنتاج للنموذج.
• المرحلة 1 (توصيف التغيير): يصف النموذج السلوك ذو الصلة بالأمن للتغيير دون اقتراح ثغرة محددة بعد.
• المرحلة 2 و2.5 (الحصول على الأدلة):
  • المسار 1 (الموجه بالمعرفة): يستخدم قاعدة معرفة للآليات (KB) مشتقة من حالات التطوير لاسترجاع أدلة محددة من المستودع عبر علاقات نمطية (مثل SIBLING-ENDPOINT).
  • المسار 2 (الموجه بالكود): يبني قائمة عمل لمسارات المستودع بناءً على هيكل الكود المتغير، بشكل مستقل عن قاعدة المعرفة (KB).
• المرحلة 3 (بناء المرشح): يصيغ ثغرات مرشحة ملموسة بناءً على الأدلة التي تم جمعها.
• المرحلة 4 (التحقق من الأدلة): يستدعي نموذجاً منفصلاً لاختبار المرشحين مقابل أدلة المستودع. يتحقق من المقدمات الحرجة أمنياً (سيطرة المهاجم، إمكانية الوصول، الحمايات المفقودة). يتم وسم المرشحين بـ مُتحقق منه (VALIDATED)، أو مُخفض الدرجة (DOWNGRADED)، أو مرفوض (REJECTED).
• المرحلة 5 (توليد المراجعة): تقوم سياسة حتمية بربط نتائج التحقق بالحكم (حظر، تعليق، موافقة) وتوليد مراجعة تشرح النتائج المُتحقق منها مع مواقع كود محددة.

3. المساهمات الرئيسية

1. صياغة فجوة (VD): حددت الورقة هذه الفجوة وشخصتها، جادلة بأن مقاييس التقييم الحالية تطمس هذا النوع من الفشل.
2. MALPAR-BENCH: إطار تقييم منهجي ومعيار يفصل بين صحة الحكم وتحديد الثغرة والتحقق من الأدلة، باستخدام معايير مسبقة للحقيقة الأرضية.
3. PRGUARD: بنية مراجع أمني لطلبات السحب قابلة للعزو تفصل بين توليد الفرضيات والتحقق من الأدلة وتسترجع السياق خارج نطاق الـ (diff).
4. التحقق التجريبي: إثبات أن فصل التحديد عن التحقق يحسن من عزو النتائج الأمنية، خاصة لعيوب النوع الغائب.

4. النتائج

4.1 الأداء على مجموعة التحدي ذات التغطية المشتركة

تم التقييم على 31 طلب سحب خبيث (19 حالة تعميم ذاتي + 12 حالة اكتشاف) مقابل CodeRabbit (مراجع ذكاء اصطناي تجاري منتشر على نطاق واسع):

• أداء الحظر: حقق كلا النظامين معدلات حظر متشابهة (CodeRabbit: 24/31؛ PRGUARD/DeepSeek: 22/31).
• تحديد الثغرة (I): حدد PRGUARD/DeepSeek ثغرات مستهدفة أكثر بمقدار 1.38× من CodeRabbit (22 مقابل 16).
• عيوب النوع الغائب: في 14 حالة كان فيها الحامي المطلوب مفقوداً، حظر كلا النظامين 9 طلبات سحب. ومع ذلك، حدد PRGUARD/DeepSeek الثغرة المستهدفة في 9/14 حالة، بينما حددها CodeRabbit في 3/14 حالة فقط (فرق بمقدار 3 أضعاف).
• الأحكام القابلة للعزو (A): حقق PRGUARD/DeepSeek 19/31 حظر قابل للعزو، مقارنة بـ 16/31 لـ CodeRabbit.
• موقع الدليل: فشل CodeRabbit في تحديد الأهداف في 0/7 حالات تطلبت أدلة خارج الملفات التي تم تعديلها (L2a/L2b)، بينما نجح PRGUARD في معظم الحالات.

4.2 تقييم المسار الكامل

على 63 حالة خبيثة (باستثناء طبقة الاكتشاف لتجنب الانحياز):

• المجموعة B (عكس الإنفاذ): حدد كلا المحركين الخلفيين (GPT-5.5 و DeepSeek) جميع الثغرات المستهدفة الـ 37 (I=37/37). ومع ذلك، تباين التحقق من الأدلة (E) (26/37 لـ GPT-5.5، و 34/37 لـ DeepSeek)، مما يسلط الض الضوء على أن التحديد لا يضمن بالضرورة تأصيل الأدلة.
• الضوابط السليمة: أظهر PRGUARD معدلات منخفضة من الإيجابيات الكاذبة (4–5 حظر على 50 ضابطاً سليماً)، وهي نسبة مقاربة لـ CodeRabbit (0 حظر على مجموعة فرعية من 6 ضوابط).

4.3 الاكتشاف في العالم الحقيقي

عند تطبيقه على مستودعات إنتاج، كشف PRGUARD عن 12 ثغرة أمنية لم تكن معلنة سابقاً ومدعومة بإثبات مفهوم (PoC) عبر خمسة مشاريع واسعة الاستخدام.

• حظر كل من PRGUARD و CodeRabbit 10/12 طلبات السحب في هذه الطبقة.
• ومع ذلك، أنتج PRGUARD 10/12 حظر قابل للعزو، بينما أنتج CodeRabbit 4/12 فقط، مما يثبت أن إجمالي الأحكام المتساوية يمكن أن يخفي فرقاً بمقدار 2.5 ضعف في جودة التشخيص.

5. الأهمية والادعاءات

تدعي الورقة أن فجوة الحكم–التشخيص هي قيد أساسي في المراجعة الأمنية الآلية الحالية. فالحظر "الناجح" ليس كافياً إذا لم يحدد ويثبت الثغرة بشكل صحيح، لأن ذلك يؤدي إلى معالجة غير فعالة.

• القابلية للعزو هي المفتاح: يجادل المؤلفون بأن المراجعات الأمنية يجب أن تكون قابلة للعزو—أي يجب أن يكون الحكم مستنداً إلى أدلة محددة من المستودع تثبت الآلية المحددة.
• فصل الاهتمامات: تشير النتائج إلى أن فصل مهام تحديد الثغرة المرشحة والتحقق منها مقابل الأدلة يحسن من موثوقية التشخيص، خاصة للعيوب المعقدة التي تتطلب سياقاً عابراً للملفات.
• القيود: تقر الورقة بأن PRGUARD ليس حلاً سحرياً، حيث تعتبر حقن الأوامر (prompt injection) وأخطاء الحكم من سطوح الهجوم المتبقية. إن اكتشاف ثغرات حقيقية يثبت القدرة ولكنه لا يدعي تقدير معدل الاستدعاء (recall rate) على طلبات السحب التعسفية، حيث تم تصفية تدفق المرشحين للتحقق اليدوي.

باخت-صار، ينقل هذا العمل التركيز من "هل حظر؟" إلى "هل حظر للسبب الصحيح، مع دليل؟"، مقدمًا منهجية وأدوات لقياس وتخفيف مخاطر المراجعات الأمنية ذات التشخيص الخاطئ.