Conflict inherits the frame: bin geometry and BPA construction in evidential fusion of quantised continuous evidence
تُثبت هذه الورقة أنه في عملية دمج الأدلة وفق نظرية دمبستر-شيفر للبيانات المستمرة المكممة، تؤدي هندسة إطار التجزئة إلى خلط اصطناعي بين مقاييس الصراع وموضع الدليل، مما يؤدي إلى اقتراح إحصائية صراع زائد لتصحيح هذا الانحياز، مع الكشف في الوقت ذاته عن أن قواعد الدمج القياسية غالباً ما تؤول إلى نواتج بايزية ذات فروق فاعلية ضئيلة في التنبؤ باستغلال الثغرات البرمجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تقرير مدى خطورة ثغرة برمجية من خلال سؤال ثلاثة خبراء مختلفين. يعطي كل خبير رقماً، لكنهم نادراً ما يتفقون. أحياناً يصف أحدهم الثغرة بأنها مجرد إزعاج بسيط، بينما يصفها آخر بأنها تهديد حرج. ولإدراك هذا الاختلاف، غالباً ما يستخدم الباحثون نظاماً رياضياً مصمماً لدمج الآراء غير المؤكدة في صورة واحدة أكثر وضوحاً. يعمل هذا النظام عن طريق أخذ نطاق مستمر من الاحتمالات — مثل مقياس من صفر إلى عشرة — وتقسيمه إلى "أوعية" متميزة، مثل "منخفض"، "متوسط"، "عالي"، و"حرج". الفكرة هي أنه بمجرد فرز الأرقام في هذه الأوعية، يمكن للنظام حساب مدى اختلاف الخبراء واستخدام هذا الاختلاف للحكم على المخاطر. لعقود من الزمن، كان هذا الأسلوب أداة قياسية في مجالات تتراوح من التشخيص الطبي إلى التحليل الأمني، حيث يُعتد به لتحويل البيانات المتضاربة والفوضوية إلى حكم موثوق.
ومع ذلك، تشير دراسة جديدة إلى أن الطريقة التي يتم بها تحديد أحجام هذه الأوعية قد تكون مشوهة للنتائج بشكل سري. فقد استقصى الباحثون إيلينا أودريسكو، وألكساندرو أودريسكو، وآنا ماريا سودوك، وميهاي بيزو من جامعة فالاهيا تارجوفيست، هذه العملية باستخدام بيانات واقعية حول الثغرات البرمجية. لقد فحصوا آلاف السجلات حيث قامت منظمات مختلفة بتعيين درجات خطورة لنفس الثغرات الأمنية. كان هدفهم هو معرف من خلال رؤية ما إذا كان دمج هذه الدرجات باستخدام القواعد الرياضية القياسية يساعد حقاً في تحديد الثغرات التي يستغلها المخترقون بنشاط، أم أن الطريقة كانت مجرد خلق وهم من الاستبصار. وما وجدوه هو أن شكل الأوعية نفسها هو الذي كان يقوم بمعظم العمل، مما أدى غالباً إلى جعل النظام يسجل اختلافاً عالياً في مواضع اتفق فيها الخبراء بالفعل، والعكس صحيح.
بدأ الباحثون بفحص البيانات من نظام تقييم الثغرات الشائع (CVSS)، وهو اللغة المعيارية المستخدمة لوصف الثغات البرمجية. يقسم هذا النظام الدرجات إلى أربعة نطاقات: منخفض، متوسط، عالي، وحرج. المشكلة هي أن هذه النطاقات ليست متساوية الحجم؛ فنطاق "المنخفض" يغطي نطاقاً واسعاً من الأرقام، بينما نطاق "الحرج" ضيق جداً. وعندما أدخل الباحثون البيانات في نظام الدمج القياسي، اكتشفوا خللاً خفياً في المنطق. كان النظام يعامل ضيق الوعاء كعلامة على الصراع؛ فإذا أعطى خبيران درجات وقعت بالقرب من حافة وعاء ضيق، فإن النظام يحسب مستوى عالياً من الاختلاف، حتى لو كان الخبيران قريبين جداً في تقييمهما. وعلى العكس من ذلك، إذا وقعت الدرجات في منتصف وعاء واسع، فإن النظام يسجل اختلافاً منخفضاً، حتى لو كانت الدرجات متباعدة تماماً. لقد طغت هندسة الأوعية على الآراء الفعلية للخبراء.
لإثبات ذلك، ابتكر الفريق طريقة جديدة لقياس الاختلاف تجرد التأثير الناتج عن أحجام الأوعية. وقارنوا الطريقة القياسية بهذه النسخة المصححة. كانت النتائج مذهلة؛ فقد أوحت الطريقة القياسية بأن الخبراء يختلفون أكثر حول الثغرات الأكثر خطورة منها حول الثغرات الأقل خطورة، وهو نمط يبدو منطقياً في الظاهر. لكن الطريقة المصححة أظهرت العكس تماماً: الخبراء في الواقع يختلفون أكثر حول الثغرات المتوسطة ويتفقون أكثر في حالات الثغرات الحرجة. لقد أخطأت الطريقة الأصلية بسبب حقيقة أن الفئة "الحرجة" ضيقة للغاية، بحيث أن أي فرق صغير في الدرجات يدفع الحساب إلى حالة من الصراع العالي. ومن خلال إزالة هذا التحيز الهندسي، أظهر الباحثون أن الأداة القياسية كانت تبلغ عن شكل الفئات بدلاً من الحالة الحقيقية للأدلة.
كما بحثت الدراسة في كيفية تحويل درجات الخبراء إلى مدخلات للنظام. هناك ممارسة شائعة تتمثل في أخذ درجة محددة وتعيينها بالكامل للوعاء الوحيد الذي تقع فيه، مع تجاهل حقيقة أن الدرجة هي نقطة على خط مستمر. ووجد الباحثون أن هذا النهج "الحاسم" (crisp) قلص مفهوم الاختلاف بأكمله إلى مجرد علامة (نعم أو لا). فإذا وقع الخبراء في نفس الوعاء، يرى النظام عدم وجود صراع، وإذا وقعوا في أوعية مختلفة، يرى النظام أقصى درجات الصراع. هذا المنظور الثنائي أغفل كل الفروق الدقيقة بينهما. وعندما استخدم الباحثون نهجاً "متدرجاً" (graded)، والذي ينشر الدرجة عبر الأوعية المجاورة ليعكس عدم اليقين، استعاد النظام قدرته على رؤية الاختلافات الدقيقة. ومع ذلك، حتى مع هذا التحسين، ظل هندس التصميم للأوعية يحرف النتائج ما لم يتم تطبيق التصحيح الجديد.
وعندما اختبر الفريق ما إذا كان دمج آراء الخبراء يساعد حقاً في التنبؤ بالثغرات التي يتم استغلالها في العالم الحقيقي، كانت النتائج مثبطة. لقد حللوا أكثر من 13,000 زوج من التقييمات من منظمات مختلفة، للتحقق مما إذا كان الدرجة المدمجة أفضل في تحديد الـ 70 ثغرة معروفة يتم استغلالها مقارنة بالاعتماد ببساطة على أفضل خبير واحد. وكانت الإجابة هي لا. فمهما دمجوا الدرجات، سواء باستخدام القواعد القياسية أو التصحيحات الجديدة، لم تتفوق النتيجة المدمجة على المصدر الواحد الأفضل. الطريقة الوحيدة التي تفوقت قليلاً كانت خدعة بسيطة تتمثل في أخذ الدرجة الأدنى بينهما، لكن الباحثين حذروا من أن هذا قد يكون ناتجاً عن كيفية جمع البيانات وليس رؤية حقيقية. في الواقع، وجدت الدراسة أن قواعد الدمج القياسية كانت مكافئة رياضياً لمتوسط بسيط في كثير من الحالات، مما يعني أن الآليات المعقدة لم تضف أي قيمة حقيقية.
كما كشف جزء كبير من الدراسة عن مشكلة في البيانات كانت مختبئة في وضح النهار. فكثير من "الآراء الثانية" في قاعدة البيانات لم تكن في الواقع تقييمات مستقلة من المنظمات التي أبلغت عن الثغرات في الأصل. بدلاً من ذلك، كانت تحديثات آلية من وكالة حكومية تقوم غالباً بنسخ الدرجة الأصلية فقط. وعندما قام الباحثون بتصفية هذه البيانات، قفزت نسبة الاختلاف بين المصادر المستقلة الحقيقية بشكل كبير. وهذا كشف أن الدراسات السابقة ربما قللت من تقدير مدى اختلاف الخبراء فعلياً لأنها كانت تقارن مصدراً بنسخة من نفسه دون قصد.
خلص الباحثون إلى أن الأدوات المستخدمة لدمج الأدلة غير المؤكدة هي أكثر حساسية لتصميم الفئات مما كان يُعتقد سابقاً. لقد أظهروا أن مقياس الصراع القياسي هو غالباً مرآة لأحجام الأوعية وليس انعكاساً للاختلاف البشري. وبينما لم تؤدِ القواعد الرياضية المعقدة لدمج الأدلة إلى تحسين القدرة على التنبؤ بالخطر في العالم الحقيقي في هذه الحالة المحددة، إلا أن الدراسة قدمت تصحيحاً حيوياً لكيفية قراءة البيانات. فمن خلال التعديل وفقاً لحجم الأوعية، يمكن للمحللين الآن رؤية المستوى الحقيقي للاختلاف بين المصادر. والدرس المستفاد هو أنه في السعي لدمج المعلومات غير المؤكدة، فإن الطريقة التي نحدد بها الفئات لا تقل أهمية عن المعلومات نفسها. فبدون الانتباه إلى شكل الأوعية، نخاطر برؤية أنماط ليست سوى ظلال لأدوات القي القياسية الخاصة بنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.