Crafting Desirable Climate Trajectories with RL Explored Socio-Environmental Simulations

ملخص تقني: صياغة مسارات مناخية مرغوبة باستخدام التعلم المعزز

بيان المشكلة
تعد عملية اشتقاق سياسات تغير المناخ مشكلة معقدة في اتخاذ القرار، تتضمن كيانات متضاربة، وأدلة غير مؤكدة، وفضاءات حل واسعة. وبينما تُعد نماذج التقييم المتكاملة (IAMs) الإطار المعياري لمحاكاة الديناميكيات الاجتماعية والبيئية لتوجيه السياسات (على سبيل المثال، لتقارير الهيئة الحكومية الدولية المعنية بتغير المناخ - IPCC)، فإن هذه النماذج التقليدية تعتمد على حل المعادلات التكرارية أو مسائل التحكم الأمثل. وتواجه هذه الطرق التقليدية صعوبة في اتخاذ القرار تحت ظروف عدم اليقين، وغالبًا ما تفشل في تمثيل التباين، والتنافس، وديناميكيات التواصل بين الأمم أو أصحاب المصلحة بشكل كافٍ. علاوة على ذلك، فإن نماذج الوكلاء القائمة على الوكيل (ABMs) الحالية تتطلب غالبًا سياسات سلوكية محددة مسبقًا بدلاً من تعلمها، مما يحد من قدرتها على الصمود في سيناريوهات مناخية شديدة التغير. وبالرغم من أن التعلم المعزز (RL) قد أظهر وعودًا في إعدادات نماذج التقييم المتكاملة أحادية الوكيل، إلا أن تطبيق التعلم المعزز متعدد الوكلاء (MARL) لنمذجة التفاعلات بين الأمم التي تقود تغير المناخ الناجم عن الأنشطة البشرية لا يزال غير مستكشف بشكل كافٍ. بالإضافة إلى ذلك، تثير طبيعة "الصندوق الأسود" لخوارزميات التعلم المعزز مخاوف بشأن موثوقيتها في تقديم المعلومات للسياسات الواقعية دون وجود آليات للتفسير.

المنهجية
يقوم المؤلفون بتوسيع نموذج تقييم متكامل منخفض التعقيد يُعرف بنموذج AYS (Kittel et al., 2021)، والذي يحاكي التفاعل بين الكربون الجوي ($A$)، والناتج الاقتصادي ($Y$)، ومخزون المعرفة المتجددة ($S$) عبر معادلات تفاضلية عادية (ODEs). تدرس الدراسة إعادة صياغة هذه البيئة كـ "لعبة عشوائية جزئية الملاحظة" (POSG) لاستيعاب وكلاء متعددين يتفاعلون فيما بينهم.

• توسيع البيئة: تم تكييف نموذج AYS أحادي الوكيل ليصبح نموذجًا متعدد الوكلاء حيث يوجد متغير عالمي (الكربون الجوي الزائد، $A$) مشترك، بينما يكون الناتج الاقتصادي ($Y$) والمعرفة المتجددة ($S$) خاصين بكل وكيل. ويؤثر الوكلاء على مستوى الكربون العالمي من خلال انبعاثاتهم الفردية.
• الخوارزمية: تستخدم الدراسة خوارزمية "تحسين السياسة القريبة المستقلة" (IPPO)، وهي خوارزمية تعتمد على التدريب اللامركزي والتنفيذ اللامركزي (DTDE). في هذا الإعداد، يكون الوكلاء مستقلين تمامًا، ولا يتشاركون أي معاملات، ويراقبون فقط متغيرات حالتهم المحلية بالإضافة إلى مستوى الكربون العالمي.
  تعداد ثلاث دوال مكافأة مختلفة لاختبار دوافع سلوكية متنوعة:
  1. $R_{PB}$ (التعاوني): يعظم المسافة الإقليدية عن الحدود الكوكبية (PBs) لكل من الكربون والمخرج الاقتصادي، مما يحفز مستقبلًا "أخضر".
  2. $R_{maxY}$ (الأولوية الاقتصادية): يعظم المسافة عن حدود الناتج الاقتصادي، مما يعطي الأولوية للمكاسب الاقتصادية.
  3. $R_{maxA}$ (العدائي): يعظم الكربون الجوي الزائد ($A$)، وهو ما يمثل كيانًا يعطي الأولوية للتدهور البيئي.
• القابلية للتفسير: لمعالجة نقص القابلية للتفسير في خوارزميات التعلم المعزز، يستخدم المؤلفون تحليل "الحالات الحرجة". تحدد هذه التقنية الحالات التي يكون فيها فرق الـ "لوجيت" (الفجوة بين أعلى احتمال للفعل ومتوسط الاحتمالات) مرتفعًا، مما يشير إلى مدى تأكد الوكيل من فعله. وهذا يسمح بتصور عدم اليقين في السياسة وتحديد نقاط الفشل في مسارات الوكيل.

المساهمات الرئيسية

1. إطار عمل للتقييم المتكامل متعدد الوكلاء: تقدم الورقة توسيعًا أوليًا لنماذج التقييم المتكامل أحادية الوكيل إلى إعداد تعلم معزز متعدد الوكلاء (MARL)، مما يسمح بمحاكاة التعاون والتنافس بين الأمم.
2. تحليل التنافس مقابل التعاون: تتقصى الدراسة بشكل منهجي كيف يؤثر تجانس وعدم تجانس الوكلاء، ودوال المكافأة المتضاربة، على القدرة على الوصول إلى حالة "إيجابية مناخيًا" (النقطة الثابتة الخضراء).
3. تفسير السياسة: يوفر تطبيق تصور الحالات الحرجة على التعلم المعزز متعدد الوكلاء في محاكاة المناخ وسيلة لفهم الفشل الخوارزمي وعدم اليقين في السياسة، وتحديد الحالات التي يواجه فيها الوكلاء صعوبة في اتخاذ إجراءات حاسمة.

النتائج التجريبية

• التجانس التعاوني (RQ1): عندما يتشارك الوكلاء نفس مكافأة $R_{PB}$ ويبدأون من حالات متطابقة، فإنهم يصلون باستمرار إلى النقطة الثابتة الخضراء (معدلات نجاح > 90%) بغض النظر عن عدد الوكلاء (تم الاختبار حتى 8 وكلاء). ينشأ التعاون بشكل طبيعي من إشارة المكافأة المشتركة.
• التباين التعاوني (RQ2): عندما يبدأ الوكلاء من حالات مختلفة أو يمتلكون معاملات ضرر مناخي مختلفة ($\xi_i$)، فإنهم لا يزالون يحققون معدلات نجاح عالية (> 90%) بشرط توفر وقت تدريب كافٍ. ومع ذلك، إذا كان الوكيل معزولًا عن الضرر المناخي (منخفض $\xi_i$)، فإنه يفشل في تعلم التأثير السلبي لانبعاثاته على الكربون العالمي، مما يؤدي إلى مسارات تشبه تلك الخاصة بالوكلاء الذين يعطون الأولوية للمكاسب الاقتصادية، حتى عند اتباع المكافأة التعاونية.
• التنافس (RQ3): يؤدي إدخال التنافس إلى إعاقة النجاح بشكل كبير.
  • الوكلاء ذوو الدوافع المختلطة ($R_{PB}$ مقابل $R_{maxY}$) يظهرون معدلات نجاح منخفضة مقارنة بالمجموعات التعاونية بالكامل.
  • وجود وكيل يعمل على تعظيم الكربون ($R_{maxA}$) يمنع النظام فعليًا من الوصول إلى النقطة الثابتة الخضراء، مما يطغى على الجهود التعاونية للوكلاء الآخرين.
• الحالات الحرجة: يكشف التصور أن الوكلاء التعاونيين يظهرون فروق "لوجيت" عالية (اليقين) في بداية ونهاية المسارات. في السيناريوهات التنافسية، يظهر الوكلاء فروق "لوجيت" أقل، مما يشير إلى عدم يقين أكبر في السياسة. يختار الوكيل $R_{maxA}$ باستمرار إجراء "التحول الطاقي" لتعظيم مكافأته الخاصة، بينما يفشل الوكيل $R_{PB}$ في مواجهة هذا السلوك بفعالية.

الأهمية والادعاءات
يضع المؤلفون هذا العمل كإكتشاف أولي في مجال تطبيق التعلم المعزز متعدد الوكلاء (MARL) على سياسة المناخ. تكمن الأهمية الأساسية في إثبات أنه بينما يمكن للوكلاء المتعاونين رسم مسارات موثوقة نحو مستقبليات مرغوبة، فإن إدخال التنافس — الذي يعكس الصراعات الجيوسياسية في العالم الحقيقي — يضعف بشدة القدرة على تحقيق الأهداف المناخية.

تدعي الورقة بتواضع أن هذه النتائج تسلط الضوء على ضرورة البحث المستقبلي في الخوارزميات ذات "الوعي بالخصم" المتزايد (مثل التدريب المركزي والتنفيذ اللامركزي أو تشكيل الخصم) لإدارة عدم الاستقرار والتنافس في محاكاة المناخ متعددة الوكلاء. ويؤكد المؤلفون أن القيود الحالية تشمل افتراض السيطرة على خوارزميات تعلم الوكلاء، وتحدي توسيع نطاق التعلم المعزز متعدد الوكلاء ليشمل نماذج تقييم متكامل أكثر تعقيدًا وذات أبعاد عالية. ويخلصون إلى أنه بينما تبدو هذه التكنولوجيا واعدة لاستخلاص السياسات القائمة على الأدلة، إلا أن هناك حاجة لمزيد من العمل لضمان صحة النماذج الأساسية وقابلية تفسير سلوك الوكلاء قبل اعتمادها في الواقع.