Learning to Control Coupled-Dynamics Environments with Joint Markov Decision Processes
تقدم هذه الورقة طرق التحكم الأمثل لعمليات ماركوف لاتخاذ القرار المشتركة (JMDPs) من خلال تعريف مؤثر بيلمان للأمثلية التوزيعي غير المعلمي وإثبات تقاربه نحو قانون العائد المشترك الأمثل، مما يحافظ على التبعيات عبر النتائج المضادة للواقع التي تتجاهلها عمليات ماركوف لاتخاذ القرار القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تتعلم الوكلاء كيفية اتخاذ القرارات من خلال التفاعل مع البيئة، تماماً مثل طفل يتعلم التنقل في غرفة. ولعقود من الزمن، كان الإطار الرياضي المعياري لهذا التعلم هو "عملية ماركوف لاتخاذ القرار". في هذا النموذج، يجرب الوكيل إجراءً معيناً، ويلاحظ النتيجة الوحيدة التي تحدث، ويستخدم تلك التجربة للتحسين. يعمل هذا النهج بشكل جيد عندما يكون الهدف ببساطة هو تعظيم متوسط المكافأة بمرور الوقت. ومع ذلك، فإن هذه الرؤية المعيارية تعامل كل إجراء محتمل كما لو كان موجوداً في كون منفصل ومعزول؛ فهي تفترض أنه إذا اختار الوكيل مساراً مختلفاً، فإن النتيجة ستكون ناتجة عن رمية نرد مستقلة تماماً. وفي كثير من مواقف العالم الحقيقي، يكون هذا الافتراض بسيطاً للغاية. فغالباً ما تكون النتائج المحتملة للخيارات المختلفة مرتبطة بواقع أساسي مشترك. فعلى سبيل المثال، قد تؤثر هبة ريح مفاجئة على مسار طائرة بدون طيار بغض النظر عن الاتجاه الذي أراد الطيار الطيران نحوه. وعندما تكون هذه النتائج مرتبطة بسب مشترك، فإن النموذج المعياري يتخلص من معلومات حاسمة حول كيفية ارتباط تلك الاحتمالات ببعضها البعض.
لقد طور باحثون في جامعة بيردو طريقة جديدة للتعامل مع هذه السيناريوهات المترابطة، متجاوزين فكرة الخيارات المعزولة إلى إطار عمل يتم فيه حساب النتوات المستقبلية لجميع الإجراءات معاً. وقد أطلقوا على طريقتهم اسم "عملية ماركوف المشتركة لاتخاذ القرار". فبدلاً من السؤال: "ماذا يحدث إذا انعطفت يساراً؟" ثم السؤال بشكل منفصل: "ماذا يحدث إذا انعطفت يميناً؟" كما لو أن العالم يعيد ضبط نفسه بين الأسئلة، تسأل طريقتهم: "إذا انعطفت يساراً وهبت الرياح من الشمال، فماذا سيحدث؟ وإذا انعطفت يميناً بينما تهب نفس الرياح من الشمال، فماذا سيحدث حينئذٍ؟". ومن خلال إبقاء هذه النتائج "الواقعية المضادة" (counterfactual outcomes) —أي ما كان سيحدث لو تم اتخاذ خيار مختلف— مرتبطة بنفس اللحظة من العشوائية، يستطيع الباحثون رؤية كيف تؤثر الإجراءات المختلفة على بعضها البعض. وهذا أمر حيوي للمهام المتعلقة بالسلامة أو تخصيص الموارد، حيث يكون فهم العلاقة بين الخيارات لا يقل أهمية عن معرفة قيمة خيار واحد.
يركز عمل الفريق على تعليم الوكيل كيفية إيجاد الاستراتيجية المثلى في هذه البيئات المعقدة والمترابطة. وقد أثبتوا أنه إذا كان هناك إجراء واحد متفوق بوضوح عند كل خطوة، فإن عملية تعلم الوكيل ستستقر في النهاية على الاستراتيجية المثالية، وسوف يتقارب الوصف الرياضي لجميع المكافآت المستقبلية المحتملة نحو الإجابة الصحيحة. كما أظهروا أنه حتى عندما يبدو إجراءان جيدان بشكل متساوٍ في المتوسط، يمكن للوكيل أيضاً تعلم العلاقات الصحيحة بينهما، بشرط أن تستقر تلك العلاقات بطريقة محددة. وهذا يسمح للنظام ليس فقط بحساب متوسط المكافأة، بل وأيضاً بكيفية تحرك مكافآت الإجراءات المختلفة معاً. على سبيل المثال، يمكنه تحديد ما إذا كانت المكافأة العالية لأحد الإجراءات تميل إلى أن تأتي مع مكافأة منخفضة لآخر، أو ما إذا كانت تميل إلى الارتفاع والانخفاض في تزامن.
ولاختبار هذه الأفكار، أجرى الباحثون عمليات محاكاة في بيئات متنوعة، من سلاسل بسيطة من الحالات إلى عوالم شبكية معقدة وحتى مهمة تحكم مستمرة تتضمن عمود توازن. في إحدى التجارب، فحصوا مشكلة اختيار المسار حيث يمكن للسائق الاختيار بين مسار آمن ومسارين خطرين. وكان المساران الخطران مرتبطان بظروف جوية مشتركة: فإذا كانت الرياح مواتية لأحدهما، فغالباً ما تكون غير مواتية للآخر. وباستخدام طريقتهم الجديدة، تعلم الوكيل تقسيم حركة المرور بين المسارين الخطرين. ولأن المخاطر كانت مرتبطة سلبياً، فقد ألغت استراتيجية التقسيم هذه فرصة الفشل الكلي، وهي نتيجة لم تستطع الطرق المعيارية، التي تتجاهل الارتباط بين المسارات، تحقيقها. وفي اختبار آخر، قاموا بتدريب شبكات عصبية لتعلم هذه العلاقات من البيانات. وقد نجحت الشبكات في استعادة الروابط الخفية بين الإجراءات، مما أثبت أن المعلومات المشتركة ليست مجرد مفهوم نظري، بل هي شيء يمكن تعلمه واستخدامه بواسطة أنظمة تعلم الآلة الحديثة.
تشير النتائج إلى أنه من خلال الحفاظ على بنية كيفية اتصال الاحتمالات المختلفة ببعضها البعض، يمكن للذكاء الاصطناعي اتخاذ قرارات أكثر قوة ودقة. لقد أظهر الباحثون أن أدواتهم الرياضية تعمل بشكل موثوق، حيث تتقارب نحو الإجابات الصحيحة في كل من السيناريوهات البسيطة والمعقدة. كما أظهروا أنه بينما قد تغفل الطرق المعيارية التفاعل الدقيق بين الخيارات، فإن نهجهم يلتقط الصورة الكاملة لكيفية استجابة العالم للإجراءات المختلفة تحت نفس الظروف. وهذا لا يحسن فقط متوسط الدرجة التي قد يحصل عليها الوكيل، بل يغير بشكل جذري كيفية فهم الوكيل لمشهد المخاطر والمكافآت، مما يسمح له بالتنقل في بيئات ترتبط فيها مصائر الخيارات المختلفة ارتباطاً وثيقاً لا ينفصم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.