Evidence Quality in Assurance-Oriented Benchmark Construction

ملخص تقني: جودة الأدلة في بناء المعايير الموجهة نحو ضمان الجودة

بيان المشكلة
تعاني المعايير الموجهة نحو ضمان الجودة (Assurance-oriented benchmarks)، والتي تُبنى من حوادث البرمجيات العامة (تنبيهات الثغرات، مشكلات المستودعات، تقارتق الحوادث)، من مشكلة جوهرية تتعلق بجودة الأدلة. فبينما قد يكون التصحيح (Patch) أو الحالة المصححة مرئية، فإن الادعاءات الدلالية (Semantic claims) المطلوبة لتحليل ضمان الجودة اللاحق — مثل إعادة بناء الحالة المتأثرة، سياق النشر، قرارات إعادة التشغيل (Replay decisions)، جدوى الأوراكل (Oracle feasibility)، وشروط الإصدار — غالبًا ما تكون غير مكتملة أو غامضة. لقد أرست الأعمال السابقة (مثل Vul4J و ReposVul) ضرورة تصفية الثغرات العامة من أجل قابلية التكرار وجودة البيانات الجوهرية (الدقة، الاتساق، الاكتمال). ومع ذلك، لا تزال هناك فجوة أضيق وهي: جودة الأدلة المرتبطة بالمهمة (Task-relative evidence quality) المطلوبة لبناء تمثيل نظام مُعاد بناؤه لضمان البرمجيات. وتحديدًا، حتى عند توفر زوج (المتأثر/المصحح)، يجب على المحللين تأليف حدود المصدر/النتيجة، وحقول السياق، وأنشطة الإنفاذ التي لا تذكرها السجلات العامة صراحة. إن الحالة الإثباتية لهذه "الدلالات المؤلفة" (Authored semantics) تختلف عن مجرد توفر المصدر البسيط، وقد يكون النشر العام مقيدًا حتى عندما يكون إعادة البناء التقني ممكنًا.

المنهجية
تستخدم الدراسة نهج دراسة حالة تجريبية استكشافية يتبع مبادئ الشفافية في هندسة البرمجيات. وحدة التحليل هي حالة (متأثر/مصحح) مستمدة من حادثة.

1. بناء سجل AIRR-40: قام المؤلف ببناء إطار عمل مجمد مكون من 40 حالة من حوادث الوكلاء المستخدمين للأدوات (Tool-using-agents) وبروتوكول سياق النموذج (MCP). يحتوي هذا السجل، AIRR-40، على 49 حقلًا تغطي مؤشرات الأدلة العامة، الطوابع الزمنية، طبقات المصدر، توفر التصحيح، قابلية إعادة بناء النشر، حالة إعادة تشغيل/فرز (Replay-triage)، جدوى الأوراكل، قابلية الإصدار، وتوفر التحكم المزدوج.
2. بروتوكول التأهيل: تم فحص الحالات مقابل تعريف "صارم" (يتطلب دقة تامة مع المصدر الأصلي وشروط إصدار محددة) وتعريف "متساهل" (يتوافق مع قابلية قرار إعادة التشغيل). تم تسجيل العوائق كفئات غير حصرية (مثل إعادة البناء، قابلية الإصدار، الاقتران).
3. تدقيق التمثيل العميق المقيد بالأدلة: خضعت مجموعة فرعية من 10 حالات (8 حالات أولية صارمة، وحالتان من حالات الضغط المتساهلة فقط) لتدقيق دقيق. تضمن ذلك:
   • إعادة الاستحواذ المستقل للمصادر/الأدوات المتأثرة/المصححة.
   • بناء تمثيل $R = (G, \Gamma, P, U)$، حيث $G$ هو رسم بياني من المصدر إلى النتيجة، و$\Gamma$ تمثل الدلالات النسبية للمحلل (القدرات، السياق، الروابط، التحويلات، النشاط)، و$P$ يربط العناصر بفئات الأصل الاسمية، و$U$ يسجل البدائل غير المحلولة.
   • تصنيف 190 صفًا من التمثيل إلى فئات الأصل الاسمية (مثل Direct Anchor Supported، Synthesis Explicit).
   • التحقق من أن جميع 52 سمة دلالية ذات صلة بالمحلل كانت مستمدة من المصدر وليست حقيقة أرضية مستقلة.
4. دور المحلل: تم استخدام محللين (A0 و A1) للتحقق من وساطة المسار/القدرة (Path/capability mediation) وربط السياق. تركز الدراسة على كيفية تغيير الافتراضات غير المحلولة (تحديدًا في الحالة C4) لاستنتاجات الضمان الساكنة تحت تعيينات مقبولة مختلفة (fail-open مقابل fail-closed).

النتائج الرئيسية

• تآكل التأهيل: من بين 40 مرشحًا، أظهر 39/40 وجود تصحيح أو حالة مصححة. ومع ذلك، استوفت 20/40 فقط معايير الاقتران الصارمة. الفجوة بين "توفر التصحيح" و"الاشتمال الصارم" تسلط الضوء على أن الإصلاحات التقنية لا تضمن أدلة جاهزة لضمان الجودة.
• تفكيك العوائق: من بين 15 حالة ناجتية من المرحلة الأولية التي فشلت في الاشتمال الصارم، كانت العوائق غير الحصرية الأكثر تكرارًا هي:
  • إعادة البناء (14 حالة)
  • قابلية الإصدار (9 حالات)
  • إعادة التشغيل/حل المصدر (4 حالات)
  • الاقتران (3 حالات)
  • جدوى الأوراكل (حالة واحدة)
  • ملاحظة: الحالة C38 كانت قابلة لإعادة البناء تقنيًا (دقة تامة مع المصدر) ولكن تم استبعادها فقط بسبب قابلية الإصدار المشروطة، مما يوضح أن قيود الإصدار يمكن أن تكون مستقلة عن جودة الأدلة التقنية.
• تدقيق الأصل: في التدقيق العميق لـ 190 صفًا، كانت جميع السمات الدلالية الـ 52 ذات الصلة بالمحلل مستمدة من المصدر وليست حقيقة أرضية مستقلة. لم يوجد أي حد نتيجة مباشر أو موثق فقط في المجموعة الفرعية العميقة؛ كل مصرف نتيجة (Consequence sink) تم الإعلان عنه كان مستنتجًا.
• عدم اليقين ذو الصلة بالاستنتاج (الحالة C4): أظهرت الحالة C4 أن حقل نشاط الإنفاذ غير المحلول يؤدي إلى استنتاجات مختلفة للحالة المصححة اعتمادًا على التعيين (fail-open مقابل fail-closed). تحت أحد التعيينات، تكون النتيجة Witness؛ وتحت الآخر، تكون No-Witness-under-Abstraction. هذا يثبت أن البدائل غير المحلولة ($U$) ليست مجرد عبء توثيقي، بل يمكن أن تغير استنتاجات ضمان الجودة بشكل جذري.

المساهمات الرئيسية

1. التوصيف التجريبي لجودة الأدلة: تحدد الدراسة الفجوة بين الإفصاح العام والمعايير الجاهزة لضمان الجودة (39/40 مقابل 20/40) وتفكك العوائق المحددة (إعادة البناء، قابلية الإصدار، إلخ) التي تمنع الاشتمال.
2. تدقيق الأصل على مستوى العنصر: تقدم إطارًا لفصل الدلالات النسبية للمحلل ($\Gamma$)، والأصل الاسمي ($P$)، والبدائل غير المحلولة ($U$)، مع التأكيد صراحةً على أن استعادة زوج المصدر لا توفر تلقائيًا حقيقة أرضية مستقلة للحقول الدلالية.
3. تحديد حدود عدم اليقين: من خلال الحالة C4، توضح الدراسة أن افتراضات التمثيل غير المحلولة يمكن أن تغير استنتاجات ضمان الجودة الساكنة، وتجادل بأن البدائل غير المحلولة يجب أن تظل كيانات من الدرجة الأولى بدلاً من فرضها كنتائج سلبية.
4. مورد AIRR-40: إصدار سجل مجمد وقابل لإعادة الاستخدام مكون من 40 حالة و49 حقلًا، مع بيان صارم لـ 20 حالة ذات دقة تامة مع المصدر، ومؤشرات الأدلة العامة، ومصادر التكرار.

الأهمية والادعاءات
الورقة البحثية لا تدعي صراحةً ما يلي:

• تقدير جاهزية المجتمع أو دقة الكاشف.
• اقتراح نموذج جودة بيانات جديد ISO/IEC 25012 أو مقياس رتبي عالمي لقوة الأدلة.
• العمل كمجموعة بيانات تدريب للكواشف.
• ادعاء الحداثة في التصفية العامة للثغرات (مع الاعتراف بالأعمال السابقة مثل Vul4J و Croft et al.).

بدلاً من ذلك، تكمن الأهمية في توصيف جودة الأدلة لبناء معايير موجهة نحو ضمان الجودة. تجادل الدراسة بأن "لياقة" الأدلة بالنسبة للوكلاء المستخدمين للأدوات ودراسات ضمان الجودة لا تتحدد فقط بوجود تصحيح، بل بقابلية إعادة بناء تمثيل النظام، وجدوى الإصدار، والتعامل الصريح مع البدائل الدلالية غير المحلولة. يسمح مورد AIRR-40 للباحثين بفحص هذه الظروف النوعية المتعلقة بالمهمة، وإعادة حساب النتائج، وتطبيق سياسات قبول بديلة دون قبول معايير الدراسة الصارمة كقواعد عالمية. تعمل النتائج كتحذير من أن $R \neq S$ (التمثيل لا يساوي النظام) وأن أسئلة ضمان الجودة قد تكون غير صالحة إذا كانت الأدلة الأساسية تفتقر إلى أصل دلالي محدد.