🤖 machine learning

Explaining Reinforcement Learning Decisions in Self-adaptive Systems

تقدم هذه الورقة البحثية مكتبة EARL، وهي مكتبة بلغة بايثون تولد تفسيرات مضادة للواقع بديهية لقرارات التعلم التعزيزي في الأنظمة ذاتية التكيف، والتي تم استعراضها من خلال تطبيقها على محاكاة لخدمة CitiBike لتعزيز الشفافية وثقة المستخدم.

المؤلفون الأصليون: Jasmina Gajcin, Juan C. Rosero, Ivana Dusparic

نُشر 2026-08-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jasmina Gajcin, Juan C. Rosero, Ivana Dusparic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مدينة تتكيف فيها إشارات المرور، أو شبكة الطاقة، أو توزيع الدراجات المستأجرة تلقائياً، مستجيبةً لتدفق الناس والطقس دون تدخل بشري. هذه هي الأنظمة ذاتية التكيف، وهي تعتمد بشكل متزايد على نوع من الذكاء الاصطناعي يسمى "التعلم التعزيزي" لاتخاذ قراراتها. في هذه العملية، يتعلم برنامج كمبيوتري، أو "عميل"، من خلال التجربة والخطأ، والتفاعل مع بيئته لاكتشاف أفضل طريقة لتحقيق هدف ما. ومع مرور الوقت، يبني مجموعة من القواعد، أو "السياسة"، التي تخبره بالضبط بما يجب فعله في أي موقف معين. ومع ذلك، عندما تستخدم هذه العملاء شبكات عصبية معقدة —وهي هياكل رقمية مصممة على غرار الدماغ البشري— تصبح عملية اتخاذ القرار لديهم "صندوقاً أسود". فنحن نرى المدخلات والقرار النهائي، لكن المسار بينهما يظل غامضاً. وبالنسبة للأشخاص الذين يعتمدون على هذه الأنظمة، من مخططي المدن إلى المستخدمين العاديين، فإن هذا النقص في الشفافية يمثل مشكلة. فإذا اتخذ النظام قراراً غريباً، مثل نقل دراجة إلى محطة بها بالفعل وفرة، فلن يتمكن أحد من فهم السبب بسهولة. وبدون هذا الفهم، تتآكل الثقة، ويصبح من الصعب التحقق مما إذا كان النظام يعمل بشكل صحيح أو آمن.

ولحل هذه المشكلة، طور الباحثون ياسمينا غايسين، وخوان سي. روسيرو، وإيفانا دوسباريك من جامعة ترينيتي كوليدج دبلن أداة جديدة تسمى EARL. هذه الأداة عبارة عن مكتبة برمجية صُممت لكشف الستار عن قرارات "الصندوق الأسود" هذه من خلال توليد ما يُعرف بـ "التفسيرات المضادة للواقع". فبدلاً من مجرد ذكر ما فعله العميل، يسأل التفسير المضاد للواقع: "ماذا لو؟". إنه يوضح للمستخدم كيف كانت ستتغير النتيجة لو كان الموقف مختلفاً قلياً. على سبيل المثال، إذا قرر عميل نظام مشاركة الدراجات نقل دراجة من المحطة (أ) إلى المحطة (ب)، يمكن للأداة أن توضح أنه لو كانت المحطة (أ) أقل ازدحاماً بقليل، لكان العميل قد اختار ترك الدراجة هناك بدلاً من ذلك. يحاكي هذا النهج الطريقة التي يفكر بها البشر طبيعياً حول السبب والنتيجة، مما يجعل منطق الآلة أكثر وضوحاً وبداهة. وبينما استُخدمت أساليب مماثلة في مجالات أخرى من الذكاء الاصطناعي، فإن تطبيقها على التعلم التعزيزي في الأنظمة التكيفية الواقعية كان صعباً لأن الأدوات الموجودة كانت غالباً مقتصرة على أمثلة بسيطة وتجريبية.

لقد بنى الفريق مكتبة EARL لسد هذه الفجوة، من خلال إنشاء إطار عمل مرن يعمل مع بيئات معقدة وواقعية. وقد اختبروا نظامهم على محاكاة لشبكة "سيتي بايكس" (CitiBikes) في مدينة نيويورك، وهي مثال كلاسيكي لنظام ذاتي التكيف حيث يجب إعادة تموضع الدراجات باستمرار لتلبية الطلب. في المحاكاة الخاصة بهم، تعلم العميل نقل الدراجات بين خمس محطات مختلفة لمنع النقص والفيض. وبمجرد تدريب العميل، استخدم الباحثون EARL لاستجواب قراراته. فقد اختاروا لحظات محددة من المحاكاة وطلبوا من النظام توليد سيناريوهات بديلة. نجحت الأداة في إنتاج تفسيرات لأربعة أساليب مختلفة لإيجاد حالات "ماذا لو" هذه. اعتمدت طريقتان منها على البحث في سجل إجراءات العميل وقواعد البيئة، بينما استخدمت طريقة أخرى نموذجاً توليدياً تم تدريبه على مجموعة بيانات من الانتقالات الماضية لإنشاء حالات افتراضية جديدة.

وكشفت نتائج هذه التجربة عن مقايضة واضحة بين السرعة والواقعية. فالطريقة التي اعتمدت على نموذج توليدي مدرب مسبقاً استطاعت توليد تفسير في أقل من ميلي ثانية واحدة، لكنها أنتجت حالات منطقية في 82% فقط من الحالات، مما يعني أن بعض السيناريوهات المولدة انتهكت القيود الفيزيائية مثل سعة المحطة. في المقابل، استغرقت الطرق التي بحثت في مسار تنفيذ العميل الفعلي وقتاً أطول بكثير —تراوح بين حوالي خمسة وثلاثين ثانية وما يقرب من مائتي ثانية لكل تفسير— لكنها أنتجت دائماً سيناريوهات واقعية ومنطقية تحترم قواعد عالم مشاركة الدراجات. ووجد الباحثون أن جميع الطرق الأربع كانت ناجحة للغاية في توليد تفسير لكل قرار اختبروه، بنسبة نجاح بلغت تسعة وتسعين بالمائة. ومع ذلك، لاحظ الفريق أن الطرق القائمة على القواعد والأبطئ كانت أفضل بكثير في ضمان أن التفسيرات منطقية في العالم الحقيقي، في حين أن الطريقة الأسرع القائمة على مجموعات البيانات تطلبت تصفية دقيقة لإزالة النتائج المستحيلة.

يُظهر هذا العمل أنه من الممكن جعل الأنظمة المعقدة ذاتية التكيف أكثر شفافية دون التضحية بقدرتها على العمل. توفر مكتبة EARL طريقة موحدة لتطبيق تقنيات التفسير هذه على أنواع مختلفة من العملاء والبيئات، مما ينقل المجال بعيداً عن الاختبارات البسيطة نحو التطبيقات العملية. ويخلص الباحثون إلى أنه بينما الأدوات جاهزة للاستخدام، فلا يزال هناك عمل يتعين القيام به. يجب أن تركز التحسينات المستقبلية على جعل الطرق السريعة القائمة على مجموعات البيانات أكثر موثوقية حتى لا تولد سيناريوهات مستحيلة، وعلى إيجاد طرق لتسريع الطرق الأكثر واقعية والقائمة على القواعد. وفي نهاية المطاف، الهدف هو منح المستخدمين الثقة للوثوق بهذه الأنظمة المستقلة من خلال إظهار ليس فقط ما قررته الآلة، بل لماذا اتخذت ذلك القرار وماذا كان سيحدث لو كان العالم مختلفاً قليلاً.

أبحاث مشابهة