A Subjective Logic-based method for runtime confidence updates in safety arguments

ملخص تقني: منهجية قائمة على المنطق الذاتي لتحديثات الثقة في وقت التشغيل للحجج المتعلقة بالسلامة

بيان المشكلة
تواجه حجج ضمان السلامة لمكونات تعلم الآلة (ML)، لا سيما في البيئات الديناميكية مثل القيادة الذاتية، تحدياً حرجاً: الحجج الساكنة القائمة على أدلة وقت التصميم قد تصبح غير صالحة بمرور الوقت بسبب تحولات توزيع البيانات، أو انحراف النموذج، أو السياقات التشغيلية المتطورة. وبينما تفرض معايير مثل UL 4600 استخدام مؤشرات أداء السلامة (SPIs) لمراقبة صلاحية النظام، فإن الطرق الحالية لدمج بيانات وقت التشغيل غالباً ما تفتقر إلى الدقة اللازمة لتحديد تحديثات الثقة ديناميكياً. تقدم المناهج النوعية عادةً نتائج ثنائية فقط (دحض أو عدم تغيير)، بينما قد لا تنجح التحديثات البايزية الكلاسيكية في إعطاء الأولوية للاستجابة الفورية للسلامة على حساب التكافؤ اللاحق الدقيق. هناك حاجة إلى آلية رسمية تدمج الأدلة المستمرة والمقسمة زمنياً (windowed) في حجج ضمان كمية، مما يسمح بكل من التراكم التدريجي للثقة والجزاءات الفورية عند حدوث انتهاكات للسلامة.

المنهجية
يقترح المؤلفون طريقة توسع حجج الضمان الكمية الساكنة باستخدام المنطق الذاتي (Subjective Logic - SL) لدمج مؤشرات أداء السلامة (SPIs) في وقت التشغيل. يتضمن جوهر المنهجية قاعدة تحديث محددة تجمع بين اثنين من مشغلات المنطق الذاتي: دمج الاعتقاد التراكمي (Cumulative Belief Fusion - CBF) والمتحدي النافي (Refuting Challenger - RC).

1. بنية الحجة: يتم نمذجة حجة السلامة كحجة مهيكلة حيث يرتبط كل ادعاء $c$ برأي ثنائي الحدين $\omega_c = (b, d, u, a)$، يمثل الاعتقاد (belief)، وعدم التصديق (disbelief)، وعدم اليقين (uncertainty)، والمعدل الأساسي (base rate).
2. نمذجة مؤشر أداء السلامة (SPI): تُعامل مؤشرات أداء السلامة في وقت التشغيل كمسندات ثنائية مشتقة من قياسات عتبية عبر نافذة من $k$ من الملاحظات. يتم بناء رأي الـ SPI المتمثل في $\omega_{SPI}$ عن طريق عد النجاحات ($r$، لا توجد انتهاكات) والإخفاقات ($s$، توجد انتهاكات) داخل النافذة، وتعيينها إلى رأي منطق ذاتي باستخدام معادلات قياسية.
3. قاعدة التحديث: الابتكار المركزي هو معادلة التحديث لرأي الادعاء $\omega_c$ في ظل وجود رأي جديد لـ SPI وهو $\omega_{SPI}$:
   $$\omega'_c = \neg\omega_{SPI} \boxtimes (\omega_c \oplus \omega_{SPI})$$
   • العملية الداخلية ($\oplus$): يقوم دمج الاعتقاد التراكمي بتجميع الأدلة من نافذة الـ SPI. إذا لم تحدث انتهاكات، فإن هذا يزيد من الاعتقاد ويقلل من عدم اليقين في الادعاء.
   • العملية الخارجية ($\boxtimes$): يقوم "المتحدي النافي" بتطبيق جزاء فوري. يتم نفي رأي الـ SPI ($\neg\omega_{SPI}$) بحيث يؤدي الاعتقاد بوقوع انتهاك للـ SPI إلى عدم تصديق في الادعاء. يعيد هذا المشغل توزيع الكتلة من الاعتقاد إلى عدم التصديق بما يتناسب مع شدة الانتهاك، مما يضمن أن انتهاكاً واحداً يمكن أن يؤدي فوراً إلى تدهور الثقة، بغض النظر عن التراكم السابق.

هذا التصميم ينحرف صراحة عن تحديثات "بيتا-ثنائي الحدين" (Beta-Binomial) البايزية المتوافقة. فبدلاً من مجرد إضافة الأعداد، تعطي الطريقة الأولوية لـ "الاستجابة ذات الصلة بالسلامة"، مما يضمن أن الانتهاكات تطلق انخفاضات تصحيحية سريعة في الثقة، بينما تسمح حالات عدم الانتهاك باستعادة تدريجية للثقة.

المساهمات الرئيسية

• آلية تحديث أصلية للمنطق الذاتي: يقدم البحث قاعدة تحديث غير بايزية صريحة تدمج مؤشرات أداء السلامة في وقت التشغيل ضمن حجج الضمان الكمية. وهي تستفيد من قدرة المنطق الذاتي على التمييز بين الثقة من الدرجة الأولى (الالتزام بالاعتقاد/عدم التصديق) والثقة من الدرجة الثانية (دقة ذلك الالتزام).
• قاعدة تحديث ذات خاصيتين: يحقق مزيج المشغل المقترح خاصيتين مهمتين للسلامة: (1) زيادة تدريجية في الثقة في حالة عدم وجود انتهاكات، و(2) جزاءات فورية ومستهدفة عند وقوع انتهاكات.
• الدمج الرسمي لمؤشرات أداء السلامة (SPIs): توفر الطريقة وسيلة رسمية لربط المؤشرات الرائدة (leading SPIs) (المؤشرات الاستباقية) مباشرة بادعاءات محددة داخل حجة الضمان، مما يسمح بإعادة التقييم المستمر لصلاحية الحجة.

النتائج التجريبية
تم اختبار الطريقة باستخدام محاكاة لمكون كشف أقماع البناء القائم على تعلم الآلة ضمن نظام مركبة ذاتية القيادة (منصة APIKS).

• السيناريو: يتم مراقبة كاشف يعتمد على نموذج YOLOv8 من حيث السلبيات الكاذبة بالنسبة للحقيقة الأرضية (ground truth). يتم تعريف SPI بعتبة على نسبة الأقماع المفقودة.
• الملاحظات:
  • عندما حدثت انتهاكات للـ SPI (على سبيل المثال، بسبب الحجب)، انخفض الاعتقاد في الادعاء فوراً، وزاد عدم التصديق.
  • في الفترات التي لم تشهد انتهاكات، انخفض عدم اليقين، واستعاد الاعتقاد مستواه تدريجياً.
  • أظهرت توزيعات "بيتا" الناتلة أن الطريقة نجحت في تقليل عدم اليقين الإجمالي بمرور الوقت مع الحفاظ على الحساسية للأحداث الحرجة للسلامة.
  • أوضحت السيناريوهات المختلفة كيف تتعامل الطريقة مع الأدلة المتغيرة: تحويل الكتلة نحو عدم التصديق عند تراكم الانتهاكات، ونحو الاعتقاد عندما تكون الأدلة متسقة، مع الاحتفاظ بعدم اليقين عندما تكون البيانات غير كافية (مثل فترات الليل القصيرة).

الأهمية والادعاءات
يزعم المؤلفون أن هذا العمل يقدم نهجاً عملياً وقابلاً للتدقيق لـ ضمان السلامة المستمر في الأنظمة القائمة على الذكاء الاصطناعي. ومن خلال التوافق مع معايير مثل UL 4600، تسد هذه الطريقة الفجوة بين حجج وقت التصميم الساكنة والواقع التشغيلي الديناميكي.

• الحوكمة: توفر الطريقة "سردية ثقة" شفافة تربط إشارات وقت التشغيل الخام بآراء صريحة على مستوى الادعاء. وهذا يدعم مشغلي الأساطيل ومديري السلامة في تفعيل إجراءات التخفيف (مثل تعديلات المعلمات، أو الإشراف البشري) بناءً على عتبات كمية.
• القابلية للتدقيق: تخلق رابطاً رسمياً بين أدلة وقت التشغيل وحجة السلامة، مما يسمح للمنظمين بمراجعة كيفية تأثير انتهاكات معينة على الثقة.
• التكامل مع عمليات MLOps: تربط الطريقة تدهور ثقة الضمان بالإجراءات الهندسية، مثل إعادة التدريب المستهدف أو الحصول على البيانات، مما يربط بفعالية حجج السلامة بسير عمل MLOps.

يقر البحث بالقيود، مشيراً إلى أن الفعالية تعتمد على دقة تحديد عتبات الـ SPI، وأن النموذج الحالي يفترض نوافذ مستقلة وغير متداخلة. ويُقترح في العمل المستقبلي معالجة الارتباطات الزمنية، والخصم الزمني (time-based discounting) للأدلة القديمة، ودمج كل من المؤشرات الرائدة والمتأخرة (leading and lagging SPIs) ضمن بنية حجة موحدة.