Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives
تقدم هذه الورقة البحثية UCB-BQRL، وهو خوارزمية تعلم تعزيزي قائم على النموذج تستخدم هدفاً كمياً منخفض المخزن مؤقتاً وممهداً وإجراء برمجة ديناميكية دقيق (EVI-BQ) لتحقيق تعلم مستقر وحساس للمخاطر مع حدود ندم مثبتة ونتائج صعوبة حوسبية لتقييم الكميات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، توجد طريقة قوية تسمى التعلم التعزيزي، حيث يتعلم برنامج كمبيوتر اتخاذ القرارات من خلال تجربة الأشياء ورؤية ما يحدث. تخيل طالباً يتعلم ركوب الدراجة: يسقط، يعدل توازنه، وفي النهاية ينجح. في العالم الرقمي، تتفاعل هذه البرامج مع بيئة ما، وتتلقى مكافآت مقابل الاختيارات الجيدة، وتتعلم لتعظيم إجمالي مكافآتها بمرور الوقت. لعقود من الزمن، كان الهدف القياسي لهذه البرامج بسيطاً: الحصول على أعلى متوسط درجة ممكنة. هذا النهج يعمل بشكل جيد للعديد من المهام، من لعب ألعاب الفيديو إلى إدارة المخزون. ومع ذلك، في المجالات عالية المخاطر مثل التمويل أو الرعاية الصحية، لا يكون المتوسط كافياً. فالطبيب لا يريد مجرد علاج يعمل بشكل جيد في المتوسط؛ بل يحتاج إلى علاج يتجنب الفشل الكارثي، حتى لو كان ذلك يعني معدل نجاح متوسط أقل قليلاً. وبالمثل، قد يفضل المستثمر استراتيجية تضمن حداً أدنى آمناً من العائد على استراتيجية تقدم مكاسب هائلة ولكنها تحمل خطر الخسارة الكلية. وللتعامل مع هذه المواقف، لجأ الباحثون إلى مفهوم يسمى "المئيني" (quantile). فبدلاً من النظر إلى المتوسط، ينظر المئيني إلى نقطة محددة في توزيع النتائج، مثل أدنى عشرة بالمائة أو أعلى تسعين بالمائة، مما يسمح لصانع القرار بالتركيز على السلامة أو الجرأة حسب الحاجة.
ومع ذلك، فإن التحدي يكمن في أن تحسين هذه النقاط المحددة في التوزيع أمر صعب للغاية. فخلافاً للمتوسط، الذي يتغير بسلاسة عند تعديل البيئة، يمكن لهذه النقاط المحددة أن تقفز فجأة. إذا تعلم برنامج الكمبيوتر قواعد العالم من البيانات، وكانت تلك البيانات تحتوي على خطأ ضئيل، فإن فكرة البرنامج عما يشكل نتيجة "آمنة" يمكن أن تنقلب فجأة إلى شيء مختلف تماماً. هذا عدم الاستقرار يجعل من الصعب بناء أنظمة تعلم موثوقة للأهداف الحساسة للمخاطر. وفي دراسة جديدة، طور باحثون في جامعة فرجينيا تيك حلاً لهذه المشكلة؛ حيث ابتكروا خوارزمية تعلم جديدة تعمل على تنعيم هذه القفزات المفاجئة، مما يسمح للكمبيوتر بالتعلم بأمان وفعالية حتى عندما تكون البيانات غير مثالية.
قدم الباحثون، محمد علي بور فايزي، وهوايانغ زونغ، وسجاد خداداديان، طريقة أطلقوا عليها اسم UCB-BQRL. الفكرة الجوري هي استبدال الهدف الحاد والمتعرج لنتيجة معينة بنسخة "مخففة" (buffered). فبدلاً من استهداف نقطة واحدة دقيقة في توزيع المكافآت المحتملة، تستهدف الخوارزمية نطاقاً صغيراً تحت تلك النقطة مباشرة. إنها تقوم بتوسيط النتائج في هذا النطاق الصغير، مما يخلق هدفاً سلساً ومستقراً يسهل التعلم منه بشكل أكبر. فكر في الأمر مثل محاولة موازنة قلم رصاص على سنه مقابل موازنته على منصة صغيرة ومسطحة؛ فالمنصة أقل حساسية للاهتزازات الصغيرة. ومن خلال استخدام هذا الهدف المنعم أثناء عملية التعلم، يمكن للخوارزمية استكشاف البيئة وبناء نموذج لكيفية سير الأمور دون أن يربكها أي خطأ بسيط في بياناتها. وبمجرد اكتمال التعلم، لا تزال الخوارزمية قادرة على تقييم النتيجة النهائية مقابل الهدف الأصلي الحاد، مما يضمن أن يظل الهدف هو بالضبط ما أراده المستخدم.
لاختبار طريقتهم، طبق الفريق منهجهم على مشكلة كلاسيكية في اتخاذ القرار تُعرف ببيع الأصول. في هذا السيناريو، يتلقى البائع سلسلة من العروض لسلعة ما خلال فترة زمنية محددة. وفي كل خطوة، يجب على البائع أن يقرر ما إذا كان سيقبل العرض الحالي ويتوقف، أو يرفضه وينتظر عرضاً جديداً وعشوائياً. التحدي يكمن في إيجاد اللحظة المناسبة للتوقف لتحقيق أقصى سعر ممكن. في العالم الحقيقي، لا يعرف البائع الاحتمالات الدقيقة للعروض المستقبلية؛ بل يجب عليه تعلمها من خلال التجربة. أجرى الباحثون عمليات محاكاة حيث كان على خوارمتهم الجديدة تعلم هذه الاحتمالات أثناء محاولة تعظيم مئيني معين للسعر النهائي. وقارنوا طريقتهم بعدة تقنيات تعلم راسخة، بما في ذلك تلك المصممة لتعظيم متوسط السعر وغيرها من الاستراتيجيات التي تستكشف المجهول.
أظهرت النتائج أن الخوارزمية الجديدة تفوقت في مهمتها المحددة. فعندما كان الهدف هو تعظيم النتيجة الوسيطة، أو الحل الوسط، تعلمت الطريقة الجديدة سياسة تفوقت بشكل ملحوظ على غيرها. وعندما تحول الهدف إلى تعظيم أعلى عشرة بالمائة من النتائج، تفوقت مرة أخرى على المنافسين. ومن المثير للاهتمام أنه حتى عندما تم تدريب الخوارزمية لتكون متحفظة للغاية، بهدف تعظيم أدنى عشرة بالمائة من النتائج، لم يكن أداؤها سيئاً عند تقييمها بمعيار متوسط السعر القياسي. فقد ظلت تنافسية، مما يشير إلى أن التركيز على المخاطر لا يعني بالضرورة التضحية بالأداء العام. كما تضمنت الدراسة برهاناً رياضياً صارماً يوضح أن سرعة تعلم الخوارزمية هي الأسرع كما هو ممكن نظرياً نظراً لصعوبة المشكلة. لقد أثبتوا أن سرعة التعلم تعتمد على خاصية معينة في المشكلة: وهي مدى تغير توزيع النتائج بالقرب من النقطة المستهدفة. فإذا كان التوزيع مسطحاً جداً أو غير مستقر بالقرب من تلك النقطة، فإن التعلم يكون بطيئاً بطبيعته، وطريقتهم تأخذ هذه الصعوبة في الاعتبار بشكل صحيح.
بعيداً عن النجاح العملي، اكتشف الباحثون حقيقة مفاجئة حول رياضيات هذه المشكلات. فقد أثبتوا أن حساب القيمة الدقيقة لنقطة نتيجة معينة لاستراتيجية ثابتة هو أمر صعب للغاية من الناحية الحسابية، حتى في السيناريوهات البسيطة جداً التي تتضمن حالتين فقط وإجراءً واحداً. وهذا يعني أنه بينما توفر خوارزميتهم طريقة للتعلم بفعالية، فإن الحساب المثالي والدقيق لأفضل استراتيجية ممكنة هو أمر مستبعد أن يتم بسرعة للمشكلات المعقدة في العالم الحقيقي. هذا الاكتشاف يفصل بين القدرة الإحصائية على التعلم والقدرة الحسابية على التخطيط المثالي. لا يدعي عمل الباحثين أنهم حلوا كل مشكلة حساسة للمخاطر، لكنهم قدموا إطاراً قوياً ومستقراً للتعلم عندما تكون المخاطر عالية والبيانات مشوشة. ومن خلال تنعيم المسار، جعلوا من الممكن للذكاء الاصطناعي التنقل في التوازن الدقيق بين السلامة والمكافأة بمستوى من الموثوقية كان بعيد المنال في السابق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.