Adaptive Policy Portfolios for Robust Markov Decision Processes
تقدم هذه الورقة محافظ السياسات التكيفية كبديل أقل تحفظاً لعمليات ماركوف لاتخاذ القرار القوية القياسية للبيئات ذات الديناميكيات القابلة للتعرف جزئياً، مع إثبات أن كلاً من اعتماد وتخليق مثل هذه المحافظ هي مسائل مستعصية حاسوبياً (كاملة لـ وكاملة لـ على التوالي) وتقديم طريقة بناء غير متصلة زمنياً قابلة للتخصيص وقت التشغيل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، تتعلم الآلات غالباً اتخاذ القرارات من خلال محاكاة عدد لا يحصى من الاحتمالات المستقبلية. تخيل روبوتاً يتنقل في غرفة، أو وكيل برمجيات يدير شبكة طاقة. للقيام بذلك بشكل جيد، يعتمدون على إطار رياضي يتنبأ بكيفية تغيير أفعالهم للعالم. ومع ذلك، فإن هذه التنبؤات ليست مثالية أبداً؛ فالعالم الحقيقي فوضوي، والبيانات المستخدمة لبناء هذه النماذج غالباً ما تحتوي على فجوات أو أخطاء. وعندما يتصرف الذكاء الاصطناعي بناءً على نموذج معيب، يمكنه ارتكاب أخطاء كارثية. وللتعامل مع هذا، طور الباحثون طريقة تسمى اتخاذ القرار القوي (robust decision-making). فبدلاً من المراهنة على نتيجة واحدة هي الأكثر احتمالاً، يخطط الذكاء الاصطناعي لأسوأ سيناريو ممكن ضمن نطاق من الاحتمالات. إنه يسأل نفسه: "ما هو أسوأ شيء مطلق يمكن أن يحدث إذا اتخذت هذا الإجراء، وكيف يمكنني النجاة منه؟". يضمن هذا النهج السلامة، ولكنه يأتي بثمن باهظ: يصبح الذكاء الاصطناعي حذراً بشكل مفرط. فقد يرفض التحرك أو يختار مساراً متوسطاً لمجرد تجنب فرصة ضئيلة لوقوع كارثة، حتى لو كانت تلك الكارثة مستبعدة للغاية.
تستكشف هذه الورقة حلاً وسطاً أكثر ذكاءً للذكاء الاصطناعي الذي يواجه عدم اليقين. يقترح الباحثون، الذين يعملون من جامعات في بلجيكا وهولندا، نظاماً لا يجبر الذكاء الاصطناعي على الالتزام بخطة واحدة جامدة. بدلاً من ذلك، يقترحون إعداد مجموعة صغيرة ومنسقة من الاستراتيجيات المختلفة مسبقاً. فكر في الأمر كطيار يحمل خطة طيران للسماء الصافية، وأخرى للاضطرابات الجوية الشديدة، وثالثة لعاصفة مفاجئة. الطيار لا يعرف أي طقس سيصل، لكن لديه الخطة المناسبة لكل حالة. وفي لغة الباحثين، يُسمى هذا "محفظة السياسات التكيفية" (adaptive policy portfolio). يقوم النظام بتوليف هذه الاستراتيجيات المختلفة "خارج الخط" (offline)، حيث يحسب أفضل حركة لمختلف الحقائق المحتملة. ثم، بمجرد نشر النظام، يراقب تطور البيئة. وبينما يجمع الأدلة حول ما يحدث فعلياً، ينتقل إلى الاستراتيجية التي تناسب الوضع بشكل أفضل. وهذا يسمح للذكاء الاصطناعي بأن يكون آمناً دون أن يصاب بالشلل بسبب الخوف من الحالة الأسوأ.
اختبر الفريق هذه الفكرة في تحديين متميزين. كان الأول عبارة عن محاكاة لمركز بيانات، حيث يجب على وحدة تحكم إدارة درجة الحرارة، والرطوبة، وطابور من مهام الكمبيوتر. لم تكن وحدة التحكم تعرف بالضبط مدى فعالية مراوح التبريد الخاصة بها أو مقدار الحرارة التي سيجلبها الهواء الخاري. أما التحدي الثاني فكان عبارة عن طائرة بدون طيار (درون) تطير عبر شبكة ثلاثية الأبعاد، وتصارع هبات رياح غير مؤكدة وخطر تعطل محركاتها. في كلتا الحالتين، بنى الباحثون مكتبة من الاستراتيجيات، كل منها مُحسّنة لمزيج محدد من قوة الرياح أو كفاءة التبريد. ثم استخدموا خوارزمية بسيطة وسريعة لاختيار أفضل استراتيجية من المكتبة أثناء طيران الدرون أو تشغيل مركز البيانات. كانت النتائج مذهلة؛ فباستخدام محفظة من مجرد بضع استراتيجيات، قلل النظام أخطاءه بشكل كبير مقارم استخدام خطة واحدة مفرطة الحذر. ومع مكتبة صغيرة مكونة من عشر استراتيجيات، انخفضت أخطاء الطائرة بدون طيار إلى الصفر تقريباً، وحافظ متحكم مركز البيانات على استقرار البيئة مع الحد الأدنى من هدر الطاقة.
ومع ذلك، تكشف الورقة أيضاً عن قيد كبير. فبينما تعمل الطريقة العملية بشكل جيد، أثبت الباحثون أن العثور على المجموعة "المثالية" من الاستراتيجيات مستحيل رياضياً من حيث الحل بكفاءة للمشكلات المعقدة. لقد أظهروا أن مهمة التصديق على ما إذا كانت مجموعة معينة من الاستراتيجيات جيدة بما يكفي، أو العثور على المجموعة الأفضل على الإطلاق، تنتمي إلى فئة من المشكلات الصعبة للغاية بالنسبة للحواسيب. وحتى في النسخ المبسطة من المشكلة، فإن التعقيد عالٍ جداً لدرجة أنه لا يمكن وجود خوارزمية عامة وسريعة لحلها في كل الحالات. وهذا يعني أنه بينما يمكن للباحثين بناء نظام جيد وعملي، لا يمكنهم ضمان أنه الأفضل على الإطلاق. ينبع هذا الصعوبة من أن النظام يجب أن يأخذ في الاعتبار كل طريقة ممكنة لسلوك البيئة، كما أن التفاعلات بين الاستراتيجيات المختلفة تخلق شبكة من الاحتمالات تنمو لتصبح أكبر من أن يمكن فك تشابكها بالكامل.
تخلص الدراسة إلى أن هذا النهج يقدم طريقة قوية وقابلة للتصديق للتكيف مع عدم اليقين. فهو يسد الفجوة بين الخطة الواحدة الجامدة والمهمة المستحيلة المتمثلة في التخطيط لكل مستقبل متصور في آن واحد. لقد أثبت الباحثون أنه من خلال قبول مجموعة صغيرة ومقدور عليها من الخيارات، يمكن للذكاء الاصطناعي أن يظل قوياً ضد المجهول مع الاستمرار في الأداء بشكل يقارب ما لو كان يعرف المستقبل. المقايضة هي أن النظام يجب أن يقضي وقتاً في إعداد هذه الخيارات مسبقاً، كما أن عملية الاختيار "أثناء التشغيل" (online) تستغرق بعض الوقت لتحديد الاستراتيجية الصحيحة. ومع ذلك، أظهرت التجارب أن هذه التكلفة ضئيلة مقارنة بالمكاسب في الأداء. يوفر هذا العمل مساراً واضحاً للمضي قدماً في بناء أنظمة ذكاء اصطناعي تكون آمنة وفعالة في آن واحد، مع الإقرار بأنه بينما لا يمكننا حل كل لغز رياضي بشكل مثالي، يمكننا بناء أدوات جيدة بما يكفي للتعامل مع العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.