Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

ملخص تقني: رسوم القرار التفسيرية للأنظمة المستقلة متعددة الوكلاء الموثوقة

بيان المشكلة
تتزايد عمليات نشر الأنظمة المستقلة متعددة الوكلاء (MAS) في المجالات الحرجة مثل الرعاية الصحية، والتمويل، والأمن السيبراني، والنقل المستقل. وبينما توفر هذه الأنظمة المرونة والقابلية للتوسع من خلال اتخاذ القرار الموزع، فإن طبيعتها التعاونية تخلق مشكلة "الصندوق الأسود". إذ غالبًا ما تنبثق القرارات النهائية من تسلسلات معقدة من الملاحظات، والتواصل بين الوكلاء، والاستنتاج الوسيط، والنزاعات، وخطوات التحقق. تفتقر تقنيات الذكاء الاصطناعي القابل للتفسير (XAI) الحالية، وتحديدًا نماذج التفسيرات المحلية المستقلة عن النموذج (LIME) وتفسيرات شابلي المضافة (SHAP)، إلى القدرة على تمثيل الظواهر على مستوى النظام، مثل تحديد أي وكلاء معينين ساهموا في قرار ما، أو كيف تم تبادل الأدلة، أو كيف تم حل النزاعات، أو كيف تم تطبيق قواعد التحقق. وبناءً على ذلك، هناك فجوة في تمثيل عملية الاستنتاج الموزعة للأنظمة متعددة الوكلاء بشكل يكون مفهومًا، وقابلًا للتتبع، وقابلًا للتحقق.

المنهجية: رسم القرار التفسيري (EDG)
لمعالجة هذه الفجوة، يقترح البحث إطار عمل "رسم القرار التفسيري" (EDG). يعمل هذا الإطار كطبقة تفسير وتتبع تعمل جنبًا إلى جنب مع الوكلاء المستقلين الأساسيين، وليس كبديل لهم. تتكون المنهجية من أربع وحدات رئيسية:

1. تنفيذ ومراقبة الوكيل: تراقب هذه الوحدة وقت تشغيل الوكلاء المستقلين، وتسجل الأحداث بما في ذلك معرفات الوكلاء، والمدخلات/الملاحظات، والقرارات الوسيطة، ودرجات الثقة، والأدلة الداعمة، والطوابع الزمنية.
2. تتبع التفاعل بين الوكلاء: تسجل هذه الوحدة الاتصالات بين الوكلاء، والتي تُعرف كأزواج (المرسل، المستقبل، الرسالة، والوقت). وهي تتبع تحديدًا النزاعات حيث يقترح الوكلاء قرارات متباينة.
3. بناء رسم القرار التفسيري: يقوم جوهر إطار العمل ببناء رسم بياني موجه $G = (V, E)$. مجموعة العقد $V$ هي اتحاد من عقد الوكلاء، وعقد المدخلات/الملاحظات، وعقد الأدلة، وعقد القرارات، وعقد التحقق، وعقد الإجراءات. تمثل الحواف علاقات مثل "يدعم"، "يؤثر"، "يتواصل"، "يناقض"، "يتحقق"، و"ينتج". يسمح هذا الهيكل بالتتبع الرجعي لإجراء النظام النهائي وصولاً إلى الوكلاء والأدلة المساهمة فيه.
4. التحقق وتوليد التفسير: تقوم طبقة التحقق بفحص القرارات مقابل قيود السلامة والسياسات المحددة مسبقًا ($D |= R$). بناءً على هيكل الرسم البياني، يقوم النظام بتوليد تفسيرات على ثلاثة مستويات متميزة:
   • مستوى المستخدم: ملخص موجز للسبب الرئيسي للقرار.
   • مستوى المطور: معلومات مفصلة تتعلق بالوكلاء، والأدلة، والتفاعلات، والتحقق.
   • مستوى المدقق: تتبع كامل لأحداث القرار ونتائج التحقق.

يستخدم إطار العمل معيار MAESTRO MAS للتقييم التجريبي، والذي يوفر مسارات تنفيذ لـ 12 نظامًا متعدد الوكلاء. تركز منهجية التقييم المقترحة على مقاييس مثل دقة التفسير، والاكتمال، وتتبع القرارات، والفهم البشري، ودقة القرار، واتساق التفسير، والعبء الحسابي.

المساهمات الرئيسية
يحدد البحث خمس مساهمات رئيسية في مجال الذكاء الاصطناعي الموثوق:

1. التمثيل البياني على مستوى النظام: هيكل مبتكر قائم على الرسم البياني لتفسير قرارات الوكلاء المتعددين، يتجاوز تفسيرات النماذج الفردية.
2. التتبع المدرك للتفاعل: آلية تربط صراحةً بين الوكلاء، والأدلة، والقرارات الوسيطة، والإجراءات النهائية، مما يلتقط التبعيات بين الوكلاء.
3. التفسير المدرك للتحقق: آلية متكاملة تضمن إمكانية فحص مسارات القرار مقابل قيود السلامة والسياسات.
4. التفسيرات متعددة المستويات: القدرة على تخصيص التفسيرات لمختلف أصحاب المصلحة (المستخدمين، المطورين، المدققين) بناءً على نفس بيانات الرسم البياني الأساسية.
5. المنهجية التجريبية: إطار عمل مقترح لتقييم EDG مقابل النهج الحالية (LIME، SHAP، والذكاء الاصطناعي القابل للتفسير على مستوى الوكيل) باستخدام مقاييس كمية ونوعية.

النتائج والحالة التجريبية
ينص البحث صراحةً على أن النتائج الرقمية التجريبية محجوزة لمرحلة التنفيذ والتقييم. وبالتالي، لا يقدم قسم "النتائج" بيانات الأداء أو درجات الدقة أو قياسات زمن الاستجابة. بدلاً من ذلك، يقدم:

• مقارنات مفاهيمية: جدول (الجدول الأول) يوضح أنه على عكس LIME أو SHAP، يدعم EDG المقترح قدرات على مستوى الوكيل، ومستوى التفاعل، والتتبع، والتحقق.
• تصورات جاهزة للقياس: تُعرض الأشكال والجداول (مثل الشكل 4، الجدول الثاني، الشكل 7) كنماذج للبيانات المستقبلية. وهي تشير إلى أنه سيتم قياس تعقيد الرسم البياني مقابل عدد الوكلاء المشاركين، كما ستُجرى مقارنات الأداء مقابل الخطوط المرجعية.
• الإطار الإحصائي: يحدد البحث الأساليب الإحصائية (الإحصاء الوصفي، اختبارات t، تحليل التباين ANOVA، فترات الثقة) التي ستُستخدم لتحليل البيانات بمجرد تنفيذ إطار العمل على مجموعة بيانات MAESTRO.

الأهمية والادعاءات
يدعي البحث بتواضع أن إطار عمل EDG يوفر هيكلًا أساسيًا للتتبع والشفافية والمساءلة على مستوى النظام. ويجادل بأنه بينما تعد الطرق الحالية مثل LIME وSHAP قيمة للنماذج الفردية، إلا أنها غير كافية للاستنتاج التعاوني الموجود في الأنظمة متعددة الوكلاء. تكمن أهمية هذا العمل في قدرته على:

• تمثيل مسار القرار الكامل، بما في ذلك النزاعات وأحداث التحقق.
• تمكين المستخدمين من تتبع القرارات النهائية وصولاً إلى وكلاء وأدلة محددة.
• دعم التحقق من القرارات مقابل قيود السلامة.

يقر المؤلف بالقيود، مشيرًا إلى أن رسوم القرار البيانية قد تكبر مع زيادة عدد الوكلاء، مما قد يزيد من العبء الحسابي وتحديات الفهم البشري. ويخلص البحث إلى أن إطار العمل هو خطوة نحو الذكاء الاصطناعي الموثوق، لكنه يؤكد أن التحقق التجريبي مطلوب لإثبات الادعاءات المتعلقة بتحسين الأداء أو الأهمية الإحصائية. وقد تم تحديد العمل المستقبلي بالتركيز على البناء في الوقت الفاسي، والاستدلال السببي، والتكامل مع النماذج اللغوية الكبيرة، والتحقق الرسمي.