🤖 machine learning

Efficient Heteroscedastic Bayesian Optimization for Risk-Aware AutoRL

تقترح الورقة البحثية طريقة ERAHBO، وهي طريقة تحسين بايزي متباينة التباين (heteroscedastic) وفعالة، تعمل على نمذجة كل من المتوسط والتباين لنتائج التعلم المعزز لتحديد تكوينات المعلمات الفائقة التي ترفع متوسط الأداء إلى أقصى حد مع تقليل التباين من خلال إعادة أخذ العينات التكيفية.

المؤلفون الأصليون: Mingxuan Che, Tsung-Yuan Tseng, Theresa Eimer, Marius Lindauer, Alexander von Rohr

نُشر 2026-07-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mingxuan Che, Tsung-Yuan Tseng, Theresa Eimer, Marius Lindauer, Alexander von Rohr

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت المشي، أو لعب لعبة فيديو، أو قيادة سيارة. أنت تعطيه مجموعة من التعليمات تسمى "المعلمات الفائقة" (hyperparameters) — فكر فيها كأنها نظام الروبوت الغذائي أثناء التدريب، وجدول نومه، والتمارين المحددة التي يمارسها. إذا ضبطت هذه الإعدادات بدقة، سيتعلم الروبوت بسرعة ويصبح بطلاً. ولكن هنا تكمن العقبة: تدريب هذه الروبوتات يشبه محاولة خبز كعكة مثالية في مطبخ يهتز. حتى لو استخدمت نفس الوصفة تماماً (نفس المعلمات الفائقة)، فقد تخرج الكعكة هشة في مرة، وتخرج كقالب طوب في المرة التالية، لمجرد وجود ضوضاء عشوائية في البيئة أو في أجهزة الكمبيوتر.

هذه العشوائية تجعل العثور على الوصفة المثالية أمراً صعباً للغاية. فإذا تذوقت كعكة واحدة فقط وقررت أنها الأفضل، فقد تكون قد حالفك الحظ، أو قد تكون مجرد صدفة عابرة. وللتأكد، عليك خبز نفس الوصفة عدة مرات والنظر إلى متوسط النتيجة. لكن خبز الكعك مكلف؛ فهو يستغرق الكثير من الوقت والكهرباء. لذا، فإن السؤال الكبير للعلماء هو: كيف نجد أفضل وصفة دون إضاعة وقتنا في خبز مئات الكعكات السيئة؟ نحن بحاجة إلى طريقة لا تبحث فقط عن النتائج العالية، بل تتحقق أيضاً مما إذا كانت النتيجة موثوقة، وتفعل ذلك دون إهدار الموارد على الوصفات التي هي بوضوح فاشلة.

هذا هو بالضبط المشبح الذي يعالجه بحث جديد لـ "مينغشوان تشي" وفريقه. إنهم يعملون في مجال "التعلم التعزيزي" (Reinforcement Learning)، حيث تتعلم الحواسيب من خلال التجربة والخطأ، و"التحسين البايزي" (Bayesian Optimization)، وهو طريقة ذكية للبحث عن أفضل الإعدادات دون تجربة كل الاحتمالات الممكنة. لاحظ المؤلفون أن الطرق القدية والمعيارية للبحث عن هذه الإعدادات كانت إما شديدة المخاطرة (تتجاهل العشوائية) أو شديدة الهدر (تخبز نفس الكعكة مرات كثيرة جداً، حتى عندما تكون سيئة بشكل واضح).

ولحل هذه المشكلة، اخترعوا طريقة جديدة تسمى ERAHBO (التحسين البايزي غير المتجانس الفعال والمتحفظ تجاه المخاطر). يمكنك التفكير في ERAHBO كأنه رئيس طهاة ذكي للغاية وحذر قليلاً. فبدلاً من خبز كل وصفة 20 مرة بشكل أعمى ليكون في أمان، أو خبزها مرة واحدة والأمل في الحصول على أفضل نتيجة، يستخدم هذا الطاهي استراتيجية "قائمة على الثقة".

إليك كيف يعمل الطاهة:

اختبار التذوق: يختار الطاهي وصفة جديدة ويخبزها بضع مرات.
القرار: إذا بدت الكعكات القليلة الأولى سيئة للغاية، يتوقف الطاهي فوراً. فهو لا يضيع الوقت في خبز بقية الدفعة لأن الوصفة فاشلة بوضوح.
التحقق المزدوج: إذا بدت الكعكات القليلة الأولى واعدة ولكن النتائج متذبذبة قليلاً (ربما كانت إحداها رائعة، والأخرى عادية)، فإنه يخبز بضع كعكات أخرى ليتأكد.
الفائز: إذا بدت الوصفة مذهلة باستمرار، فإنه يستمر في الخبز للحصول على متوسط دقيق، ولكن فقط إذا كانت لا تزال تنافس على المركز الأول.

يظهر البحث أن نهج "التوقف مبكراً إذا كان سيئاً، والاستمرار إذا كان جيداً" هذا أسرع بكثير من الطرق القديمة. في تجاربهم، اختبروا ذلك على 19 مهمة مختلفة لتعلم الروبوتات، تتراوح من حركات التوازن البسيطة إلى بيئات ألعاب الفيديو المعقدة. وقارنوا ERAHBO بين نهجين آخرين: أحدهما يخبز كل وصفة مرتين بالضبط، والآخر يخبز كل وصفة 20 مرة بالضبط.

تشير النتائج إلى أن ERAHBO هو الأكثر كفاءة. فقد وجد وصفات أفضل بشكل أسرع من الآخرين. وفي الواقع، كان بارعاً جداً في اكتشاف الوصفات السيئة مبكراً، مما وفر كمية هائلة من وقت الحوسبة. كما أنشأ المؤلفون مجموعة بيانات ضخمة جديدة مكونة من 50 "خبزة" لكل وصفة اختبروها. هذه المجموعة من البيانات تشبه كتاب طبخ ضخم للنتائج يمكن للعلماء الآخرين استخدامه لاختبار أفكارهم الخاصة، مما يضمن أن الجميع يقارنون "التفاح بالتفاح" (أي يقارنون أشياء متشابهة).

لا يدعي البحث أنه حل كل مشاكل تدريب الروبوتات. فهم يعترفون بأن طريقتهم لا تزال تعتمد على نهج "المتوسط والتباين"، مما يعني أنها تنظر إلى متوسط النتيجة والاتساق، لكنها لا تبحث تحديداً عن حالات الفشل الكارثي النادرة التي قد تحدث مرة واحدة في المليون. ومع ذلك، بالنسبة للغالبية العظمى من الحالات، تثبت استراتيجيتهم التكيفية أنها طريقة أذكى وأسرع وأكثر موثوقية لضبط أزرار التحكم في روبوتاتنا المتعلمة. فمن خلال الاستعداد للتوقف عن إضاعة الوقت في الأفكار السيئة بسرعة، يساعدنا ERAHBO على الوصول إلى الأفكار الجيدة بشكل أسرع بكثير.

ملخص تقني: تحسين بايزي غير متجانس الكفاءة لضبط المعلمات التلقائي الواعي بالمخاطر

1. صياغة المشكلة

تعتبر نتائج التعلم التعزيزي (RL) عشوائية بطبيعتها بسبب عوامل مثل التهيئة العشوائية، استراتيجيات الاستكشاف، وعدم الحتمية في الأجهزة. وبناءً على ذلك، فإن أداء تكوين معين للمعلمات الفائقة (HP) ليس قيمة واحدة بل هو توزيع. غالبًا ما تركز طرق تحسين المعلمات الفائقة (HPO) التقليدية على تحسين العائد المتوقع (المتوسط) فقط، متجاهلة التباين عبر عمليات التدريب. هذا النهج "هش": فقد يبدو التكوين مثاليًا أثناء عملية الـ HPO، ولكنه قد يفشل في إعادة إنتاج أدائه في عمليات التشغيل اللاحقة، أو قد تؤدي التكوينات ذات التباين العالي إلى سياسات ضعيفة باحتمالية غير ضئيلة، مما يستلزم إعادة تدريب مكلفة.

تصيغ الورقة البحثية الـ HPO الواعي بالمخاطر كمسألة تعظيم هدف (المتوسط - التباين). وبالنظر إلى تكوين للمعلمات الفائقة $x$ ، فإن الهدف هو إيجاد:
$x^* \in \arg\max_{x \in \mathcal{X}} \left( \mathbb{E}[J(\pi)] - \alpha \text{Var}[J(\pi)] \right)$
حيث $J(\pi)$ هو العائد المخصوم للسياسة المتعلمة، و $\alpha \geq 0$ يتحكم في المقايضة بين الأداء والمخاطر (التباين).

تعالج الطرق الموجودة مثل تحسين بايزي غير متجانس الكفاءة والواعي بالمخاطر (RAHBO) (Makarova et al., 2021) ذلك من خلال نمذجة كل من المتوسط والتباين كعمليات غاوسية (GPs) منفصلة واستخدام دالة استحواذ واعية بالمخاطر. ومع ذلك، يعتمد RAHBO على ميزانية تكرار ثابتة ( $k$ ) لكل تكوين. وفي مجال التعلم التعزيزي المكلف حوسبيًا، حيث تكون كل عملية تدريب مكلفة، فإن تخصيص عدد موحد من التقييمات (على سبيل المثال، $k=20$ ) لجميع التكوينات — بما في ذلك تلك التي تبدو غير مثالية بوضوح — يعد أمرًا غير فعال. وعلى العكس من ذلك، فإن استخدام $k$ ثابت صغير (مثل $k=2$ ) قد لا يوفر بيانات كافية لتقدير التباين بشكل موثوق للتكوينات الواعدة.

2. المنهجية: ERAHBO

تقترح المؤلفة تحسين بايزي غير متجانس الكفاءة والواعي بالمخاطر (ERAHBO)، وهو صياغة لإعادة أخذ العينات التكيفية لـ RAHBO مصممة لتحسين كفاءة العينات في إعدادات التعلم التعزيزي عالية التكلفة.

الآلية الجوهرية: إعادة أخذ العينات التكيفية القائمة على الثقة

بدلاً من الميزانية الثابتة، يحدد ERAHBO ديناميكيًا عدد التقييمات ( $k$ ) لتكوين مختار $x_t$ ضمن نطاق $[k_{\min}, k_{\max}]$ . تستخدم الخوارزمية معيار توقف يعتمد على حدود الثقة:

الحد الأدنى للمُستقر (Incumbent Lower Bound) ( $B_t$ ): عند التكرار $t$ ، تحافظ الخوارزمية على حد أدنى محافظ على أفضل درجة (متوسط-تباين) تم رصدها حتى الآن:
$B_t := \max_{x \in \mathcal{D}_{t-1}} \text{LCB}_{MV}^t(x)$
حيث $\text{LCB}_{MV}^t(x) = \text{LCB}_f^t(x) - \alpha \cdot \text{UCB}_{var}^t(x)$ .
حلقة أخذ العينات التكيفية: بمجرد اختيار التكوين $x_t$ (عن طريق تعظيم حد الثقة العلوي $\text{UCB}_{MV}^t(x)$ )، تقوم الخوارزمية بجمع العينات بالتتابع. تستمر عملية أخذ العينات حتى يتحقق أحد الشرطين التاليين:
- يهبط التقدير المتفائل لدرجة (المتوسط-التباين) للتكوين الحالي تحت الحد الأدنى للمُستقر:
  $\text{UCB}_{MV}^t(x_t; k) \leq B_t$
- الوصول إلى الحد الأقصى المسموح به من التقييمات $k_{\max}$ .

التفسير: إذا كان حد الثقة العلوي لدرجة (المتوسط-التباين) لتكوين ما أقل من الحد الأدنى لثقة أفضل تكوين حالي، فإن الخوارزمية تشهد باحتمالية عالية أن التكوين الحالي غير مثالي. وبالتالي، يُعتبر أخذ المزيد من العينات غير ضروري، وتنتقل الخوارزمية إلى تكوين جديد. يسمح هذا لـ ERAHBO بـ "رفض" التكوينات السيئة مبكرًا (لتوفير الموارد) مع استثمار المزيد من العينات في التكوينات الواعدة ولكن غير المؤكدة لتقدير تباينها بدقة.

الضمانات النظرية

تقدم الورقة البحثية ضمانات ندم دون خطي (sublinear regret guarantees) لـ ERAHBO. وتحت الافتراضات القياسية (نعومة RKHS، وضجيج sub-Gaussian)، يتم تقييد الندم التراكمي لعدد العينات $R_T$ بشكل مشابه لـ RAHBO، بشرط أن يظل عدد التكرارات $k_t$ محصورًا بانتظام ضمن $[k_{\min}, k_{\max}]$ . والندم هو:
$R_T = \tilde{O}\left( k_{\max} \sqrt{T \gamma_T} + \alpha k_{\max} \sqrt{T \Gamma_T} \right)$
حيث $\gamma_T$ و $\Gamma_T$ هما مصطلحات كسب المعلومات لنماذج المتوسط والتباين، على التوالي. وهذا يوضح أن إعادة التكرار التكيفية لا تضعف معدل التقارب النظري.

3. المساهمات الرئيسية

الابتكار الخوارزمي (ERAHBO): اقتراح استراتيجية إعادة أخذ عينات تكيفية لـ HPO الواعي بالمخاطر تلغي الحاجة إلى الضبط اليدوي لميزانية التكرار $k$ . فهي تخصص التقييمات ديناميكيًا بناءً على عدم اليقين والوعي بالمخاطر.
التحليل النظري: إثبات أن الاستراتيجية التكيفية تحافظ على ضمانات الندم دون الخطي لإطار عمل RAHBO الأصلي.
مجموعة بيانات مرجعية: إصدار مجموعة بيانات ضخمة غير متصلة (offline) تربط تكوينات المعلمات الفائقة بعوائد السياسة بعد التدريب عبر 50 تكرارًا (بذور/seeds) لكل 512 تكوين لكل مهمة. تعالج هذه المجموعة عدم كفاية المراجع السابقة (مثل HPO-RL-Bench و ARLBench) التي كانت توفر بذورًا أقل (تصل إلى 10)، مما يجعل تقدير التباين غير المتجانس موثوقًا أمرًا صعبًا.
التحقق التجريبي: تقييم شامل عبر 19 مهمة تعلم تعزيزي تتضمن DQN و SAC و PPO في بيئات Brax و XLand-Minigrid و Classic Control.

4. النتائج التجريبية

قيم المؤلفون ERAHBO مقابل نماذج GP-UCB (المحايدة للمخاطر) ونماذج RAHBO (الواعية بالمخاطر مع $k=20$ ثابت و $k=2$ ثابت).

الأداء: تفوق ERAHBO عمومًا على كل من النماذج المحايدة للمخاطر والواعية بالمخاطر. حقق أفضل ترتيب إجمالي في 7 من أصل 19 زوجًا من (الخوارزمية-البيئة) وتفوق على نموذج واحد على الأقل من متغيرات RAHBO في 16 من أصل 19 زوجًا.
كفاءة العينات: وصل ERAHBO إلى عتبات الندم بشكل أسرع بكثير من RAHBO مع $k=20$ و GP-UCB. حقق كفاءة في العينات قابلة للمقارنة مع RAHBO مع $k=2$ (وهو فعال للميزانيات الصغيرة) ولكنه حافظ على أداء نهائي متفوق، متجنبًا مشكلة "نقص أخذ العينات" المرتبطة بـ $k$ الثابت الصغير.
التكيف: أظهر تحليل توزيعات التكرار أن ERAHBO نجح في رفض غالبية التكوينات دون استهلاك الميزانية كاملة، بينما استثمر المزيد من التكرارات في التكوينات ذات درجات (المتوسط-التباين) الأعلى.
تباين المجالات: تباين العدد المثالي الثابت لـ $k$ في RAHBO بشكل كبير عبر المجالات (على سبيل المثال، كان $k=20$ أفضل لـ Brax، بينما كان $k=2$ أفضل لـ XLand). تكيف ERAHBO تلقائيًا مع هذه الاحتياجات المتغيرة دون تدخل يدوي.
القيود الملحوظة: كان أداء ERAHBO أقل فعالية في بيئات XLand، حيث كان الأداء العام منخفضًا، مما جعل من الصعب إنشاء مُستقر قوي، وأدى إلى تكرارات مفرطة.

5. الأهمية والادعاءات

تدعي الورقة أن ERAHBO يحسن الكفاءة العملية لتحسين المعلمات الفائقة الواعي بالمخاطر في التعلم التعزيزي. فمن خلال تخصيص العينات تكيفيًا فقط حيث يهم عدم اليقين أكثر، فإنه يقلل التكلفة الحوسبية لإيجاد تكوينات موثوقة ومنخفضة التباين.

يضع المؤلفون عملهم كخطوة نحو جعل التعلم التعزيزي التلقائي (AutoRL) أكثر قوة وقابلية للتكرار. كما يشيرون صراحة إلى القيود:

الطريقة تحسن هدف (المتوسط-التباين)، وهو مفهوم محدد للمخاطر ولا يستهدف مباشرة أحداث الذيل (tail events) أو احتمالات الفشل.
ضمان الندم هو حد متحفظ للأسوأ (worst-case bound) عبر جميع جداول العينات الممكنة ضمن الحدود، وليس توصيفًا دقيقًا للقاعدة التكيفية المحددة.
تعتمد النتائج التجريبية على مجموعات بيانات غير متصلة (offline)؛ وبينما تتيح ذلك مقارنات قابلة للتكرار، إلا أنها لا تحاكي تمامًا ديناميكيات الـ HPO عبر الإنترنت (online) مع عمليات تدريب جديدة.

يتم تسليط الضوء على مجموعة البيانات المنشورة كأداة رئيسية لتسهيل المزيد من الأبحاث في العوامل التي تؤثر على المخاطر في إعدادات مختلفة للتعلم التعزيزي وتطوير طرق أكثر تكيفًا ووعيًا بالمخاطر في تحسين المعلمات الفائقة.