💻 computer science

Robust Restless Multi-Armed Bandit for Data Center Flexibility Services Through Virtual Machine Scheduling

تقترح هذه الورقة إطار عمل متينًا لـ "المتعدد الأذرع غير المستقر" (restless multi-armed bandit) يجمع بين سياسات مؤشر "ويتيل" (Whittle-index) واستراتيجية الحد الأعلى للثقة العالمية، لتمكين مراكز البيانات من تقديم خدمات مرنة لخفض الأحمال إلى شبكة الطاقة مع التعامل بفعالية مع عدم اليقين في استهلاك الموارد وقيود جودة الخدمة.

المؤلفون الأصليون: Yifu Ding, Zixi Chen, Thomas Magnanti

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yifu Ding, Zixi Chen, Thomas Magnanti

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل لعبة "الكراسي الموسيقية" ضخمة وعالية المخاطر، لا تُلعب بأشخاص، بل بآلاف المهام الحاسوبية التي تعمل داخل مراكز البيانات.

إليك قصة الورقة البحثية، مقسمة إلى مفاهيم بسيطة:

المشكلة الكبرى: الشبكة عطشى

تخيل الشبكة الكهربائية كأنها أنبوب مياه ضخم. أحياناً، يمتلئ الأنبوب أكثر من اللازم (طلب مرتفع جداً)، ويحتاج إلى تفريغ بسرعة لتجنب الانفجار. مراكز البيانات تشبه المصانع العملاقة التي تلتهم الكهرباء بشراهة. عندما تتعرض الشبكة لضغط، تطلب من هذه المصانع "إغلاق الصنبور قليلاً" لبضع دقائق.

لكن هناك عقبة: مشغل الشبكة (الشخص الذي يطلب تقليل استهلاك المياه) لا يعرف بالضبط ما يحدث داخل المصنع. لا يمكنه رؤية كل آلة أو مهمة على حدة؛ هو يرى فقط "الصورة الكبيرة" (مثل: "المصنع أ يستهلك الكثير من الطاقة الآن"). وإذا حاول مدير المصنع نقل المهام حولاً لتوفيد الطاقة، فقد يتسبب دون قصد في إبطاء مكالمة فيديو لعميل أو تأخير رفع ملف. هذا هو فقدان "جودة الخدمة" (QoS). والمصنع لا يريد إخبار مشغل الشبكة بالتفاصيل الدقيقة لكيفية نقل المهام لأن ذلك يمثل "وصفته السرية".

الحل: لعبة "آلة الحظ" الذكية

يقترح المؤلفون طريقة جديدة للعب هذه اللعبة باستخدام مفهوم يُسمى "المقامر متعدد الأذرع غير المستقر" (Restless Multi-Armed Bandit - RMAB).

التشبيه: تخيل أنك في كازينو به 10 آلات حظ (مراكز بيانات) مختلفة. لديك عملات تكفي لسحب 3 أذرع فقط (طلب تقليل الطاقة من 3 مراكز بيانات) في كل مرة.
التحول: هذه الآلات "غير مستقرة". حتى عندما لا تسحب ذراعها، فإنها تستمر في التغير. فالآلة التي كانت "ساخنة" (سهلة تقليل الطاقة فيها) قد تصبح "باردة" (صعبة تقليل الطاقة فيها) لمجرد أن المهام داخلها تغيرت.
الهدف: عليك معرفة أي 3 آلات يجب أن تسحب ذراعها الآن لتحقيق أكبر قدر من توفير الطاقة دون إتلاف الآلات (أي دون التسبب في تأخير كبير للعملاء).

التحدي: التعلم في الظلام

مشغل الشبكة لا يعرف قواعد آلات الحظ. عليه أن يتعلم القواعد أثناء اللعب.

الطريقة القديمة (Thompson-Whittle): هذا يشبه طالباً يحاول حفظ قواعد كل آلة عبر مراقبتها لفترة طويلة. هو ذكي، لكن في البداية، يكون الطالب في حالة تخمين عشوائي ويرتكب الكثير من الأخطاء.
المشكلة: إذا أخطأ الطالب في تخميناته في البداية، فسيخسر الكثير من "العملات" (المال/الطاقة) قبل أن يفهم القواعد. أيضاً، إذا كانت المعلومات التي يحصل عليها "مشوشة" (مثل إشارة راديو سيئة)، فسيصاب بالارتباك بسهولة.

الحيلة الجديدة: استراتيجية "المزيج الموثوق" (Trust-Mixed)

ابتكر المؤلفون لاعباً جديداً يسمى TM-TW (Thompson-Whittle المزيج الموثوق). فكر في هذا اللاعب كـ سائق هجين:

المرحلة الأولى: المستكشف الحذر (بداية اللعبة): عندما يبدأ السائق رحلته، فإنه لا يثق بخرائطه المعقدة (القواعد المتعلمة) بعد. بدلاً من ذلك، يعتمد على "نظام تحديد المواقع GPS" الذي ينظر إلى الصورة الكبيرة (Global UCB) وحركة المرور الفورية (Local UCB). إنه يقوم برهانات ذكية وآمنة بناءً على ما يراه الآن.
المرحلة الثانية: التحول التدريجي: مع اكتساب السائق للخبرة وتضح الصورة، يبدأ تدريجياً في التوقف عن الاعتماد على الـ GPS والبدء في الثقة بخريطته الخاصة التي تعلمها.
المرحلة الثالثة: الخبير (المرحلة النهائية): في النهاية، يعتمد السائق كلياً على خريطته المعقدة والمتعلمة (Whittle Index)، وهي الطريقة الأكثر كفاءة للعب.

لماذا هذا رائع؟ لأنه يجمع بين سلامة المبتدئ وكفاءة الخبير. فهو لا ينتظر حتى يصبح مثالياً ليبدأ في اتخاذ خطوات جيدة.

ماذا تظهر النتائج؟

اختبر المؤلفون هذا باستخدام بيانات حقيقية من سحابة Microsoft Azure (آلاف المهام الحاسوبية الحقيقية).

هزيمة المنافسين: حقق "السائق الهجين" الجديد (TM-TW) باستمرار "عملات" أكثر (توفير طاقة) من "الطالب" القديم (TW) ومن "المخمن البسيط" (ST).
التعامل مع الضجيج: عندما كانت البيانات فوضوية أو "مشوشة" (مثل اتصال سيء)، ارتبكت الطرق القديمة واتخذت قرارات سيئة. أما الطريقة الجديدة فقد ظلت هادئة واستمرت في الأداء الجيد لأنها لم تعتمد فقط على البيانات المشوشة، بل نظرت أيضاً إلى الصورة الكبيرة.
هزيمة "الصندوق الأسود": قارنوا طريقتهم باستراتيجية ذكاء اصطناعي شهيرة تسمى EXP4 (التي تختار ببساطة أفضل مؤدٍ من قائمة خبراء). طريقتهم تعلمت بشكل أسرع وانتهت بنتائج أفضل لأنها فهمت هيكل المشكلة، وليس فقط تاريخ من فاز بالأفضلية.

الخلاصة

تقدم هذه الورقة البحثية طريقة ذكية ومتكيفة لشبكات الطاقة لطلب توفير الطاقة من مراكز البيانات دون الحاجة لمعرفة وصفاتها الداخلية السرية. ومن خلال استخدام استراتيجية تعلم "مزيج موثوق"، يتعلم النظام بسرعة، ويتعامل جيداً مع البيانات المشوشة، ويوفر طاقة أكثر من الطرق السابقة، كل ذلك مع الحفاظ على خصوصية العمليات الداخلية لمراكز البيانات.

لقد شارك المؤلفون كود البرمجة الخاص بهم (المسمى RACER) حتى يتمكن الآخرون من تجربته ورؤية النتائج بأنفسهم.

ملخص تقني: نظام "المتعدد الأذرع القلق" المتين لخدمات المرونة في مراكز البيانات

بيان المشكلة
تتناول الورقة البحثية تحدي تنسيق استجابة الطلب (DR) من مراكز البيانات لموازنة العرض والطلب في الشبكة الكهربائية. وبينما توفر إعادة جدولة مهام الأجهزة الافتراضية (VM) داخل مراكز البيانات آلية لتقليل الأحمال، فإن التنفيذ في الوقت الفعلي يعوقه عاملان: (1) عدم اليقين الناتج عن تقلب استهلاك الموارد، و(2) عدم رغبة المزودين في الكشف عن إجراءات إعادة جدولة المهام التفصيلية بسبب مخاوف الخصوصية. وبناءً على ذلك، يفتقر مشغلو الشبكة إلى الوصول إلى بيانات دقيقة على مستوى المهام، حيث لا يمتلكون سوى معلومات مجمعة على مستوى الدفعات (مثل متوسط استهلاك الطاقة ومستويات المرونة). وتتم صياغة المشكلة الجوهرية كمسألة اتخاذ قرار متسلسل تحت ظروف عدم اليقين، حيث يجب على مشغل الشبكة اختيار مجموعة محدودة من مراكز البيانات لتنشيطها لتقليل الحمل دون ملاحظة تحولات حالتها الداخلية أو منطق إعادة الجدولة التفصيلي.

المنهجية
يقترح المؤلفون إطار عمل "المتعدد الأذرع القلق السياقي" (Contextual Restless Multi-Armed Bandit - RMAB) لنمذجة هذا التفاعل.

صياغة عملية ماركوف لاتخاذ القرار (MDP): يتم نمذجة كل مركز بيانات كـ "ذراع" في عملية ماركوف لاتخاذ القرار، حيث تمثل الحالة الموضع في طابور المهام الدوري، ويمثل الإجراء قراراً ثنائياً بالتنشيط (طلب تقليل الحمل) أو البقاء في حالة الخمول. والمكافأة هي المنفعة الصافية لإعادة الجدولة (توفير الطاقة ناقص عقوبات جودة الخدمة).
تحدي القابلية للفهرسة (Indexability): إن حل التحسين المشترك لـ $N$ من مراكز البيانات أمر مستعصٍ حاسوبياً بسبب النمو الأسي لفضاء الحالة المشترك ( $|S|^N$ ). ولمعالجة ذلك، يستخدم المؤلفون سياسات "مؤشر ويتل" (Whittle index)، والتي تفكك المشكلة إلى مشكلات فرعية مستقلة لكل ذراع تحت دعم حالة الخمول.
التعلم تحت ظروف عدم اليقين: نظرًا لأن دالة المكافأة ودالة الانتقال غير معلومتين، يستخدم إطار العمل "أخذ عينات تومسون" (Thompson Sampling) لتعلم الديناميكيات الكامنة.
- تومسون-ويتل (TW): تقوم الخوارزمية بأخذ عينات من التوزيعات اللاحقة لدوال المكافأة والانتقال (التي تم نمذجتها عبر توزيعات Gaussian وDirichlet-Categorical على التوالي) لحساب مؤشرات ويتل.
- تومسون-ويتل المختلط الموثوق (TM-TW): إدراكاً بأن خوارزمية TW تعاني من التقلب وبطء التعلم في المراحل المبكرة بسبب نماذج الانتقال المشوشة في فضاءات الحالات الكبيرة، قدم المؤلفون استراتيجية مختلطة. تدمج هذه الطريقة بين درجة "ويتل" المتعلمة وبين درجة "جشعة" واعية بعدم اليقين مشتقة من حدود الثقة العليا (UCB) العالمية والمحلية. يتناقص معامل الثقة ( $\tau_t$ ) خطياً بمرور الوقت، مما ينقل السياسة من مرحلة الاستكشاف الجشع (الاعتماد على المكافآت الملحوظة) إلى مرحلة استغلال "ويتل" الصرفة مع زيادة موثوقية النموذج.

المساهمات الرئيسية

إطار عمل يحافظ على الخصوصية: طور المؤلفون إطار عمل RMAB سياقي يسمح باستجابة مرنة للطلب باستخدام مجموعات بيانات حقيقية للأجهزة الافتراضية مع احترام الخصوصية؛ حيث يستخدم مشغل الشبكة فقط الميزات المجمعة على مستوى الدفعات بدلاً من البيانات التفصيلية على مستوى المهام.
سياسة تعلم محسنة: اقترح المؤلفون خوارزمية TM-TW، التي تعزز سياسة مؤشر تومسون-ويتل القياسية باستراتيجيات UCB التكميلية. يحسن هذا النهج الهجين الأداء بشكل كبير خلال مرحلة التعلم المبكرة، لا سيما في الإعدادات ذات فضاءات الحالات الكبيرة.
التحقق من المتانة: تُظهر الدراسة أن الخوارزمية المقترحة تحافظ على متانتها عبر أحجام فضاءات الحالة المتنوعة والمعلومات السياقية المشوشة، متفوقة على كل من خوارزمية Thompson-Whittle الصرفة وأطر عمل EXP4 الحديثة.

النتائج
باستاستخدام مجموعة بيانات Microsoft Azure VM، أجرى المؤلفون محاكاة واسعة النطاق مع تغيير عدد مراكز البيانات (من 3 إلى 10) وميزانيات التنشيط.

الأداء: حققت استراتيجية TM-TW باستمرار أعلى مكافآت تراكمية، متفوقة على خوارزمية TW الصرفة بنسبة تتراوح بين 0.19% و2.14% عبر التكوينات المختلفة، ومتفوقة بشكل كبير على خط الأساس السياقي (ST).
المقارنة مع EXP4: في دراسات الاستئصال، حققت TM-TW ما نسبته 95.82% من معيار Oracle Whittle النظري، بينما وصل إطار عمل EXP4 (الذي يعامل السياسات كخبراء "الصندوق الأسود") إلى 79.40% فقط. أظهرت TM-TW استقراراً فائقاً، بينما وصل EXP4 إلى مرحلة الثبات (plateau) في وقت مبكر.
تحليل الحساسية:
- حجم فضاء الحالة: مع زيادة عدد مهام الأجهزة الافتراضية (مما يؤدي لتوسيع فضاء الحالة)، حافظت TM-TW على ميزة الأداء على كل من TW وST، رغم أن وقت الحوسبة للسياسات القائمة على المؤشر زاد بشكل تربيعي.
- المتانة تجاه الضجيج: عندما تلوثت ملاحظات الحالة بضجيج Gaussian (بنسبة خطأ تصل إلى 40%)، أظهرت TM-TW أقوى مستويات المتانة. ومن الجدير بالذكر أنه عند مستويات ضجيج تتجاوز 0.15، تفوقت TM-TW حتى على سياسة Oracle Whittle (التي تعتمد على معرفة مثالية بالحالة ولكنها تعاني من عمليات بحث عن المؤشر فاسدة)، ويُعزى ذلك إلى قدرة مكون UCB الجشع على التخفيف من أثر المعلومات السياقية الفاسدة.

الأهمية والادعاءات
تدعي الورقة أن خوارزمية TM-TW المقترحة تقدم حلاً عملياً لتنسيق خدمات مرونة مراكز البيانات حيث لا تتوفر البيانات الداخلية التفصيلية. ومن خلال الجمع بين المثالية طويلة الأمد لمؤشرات ويتل والموثوقية قصيرة المدى لاستكشاف UCB، يتغلب هذا المنهج على "لعنة الأبعاد" ومشكلة "البداية الباردة" المتأصلة في نماذج RMAB القائمة على التعلم. ويشير المؤلفون إلى أنه بينما تظهر الخوارزمية أداءً تجريبياً قوياً ومتانة، فإن الأمر يتطلب مزيداً من تحليل الندم (regret analysis) النظري لفهم ضماناتها بشكل كامل، وهو ما حددوه كعمل مستقبلي. وقد تم توفير الكود الخاص بإطار العمل (RACER) كمصدر مفتوح لضمان قابلية إعادة الإنتاج.