Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization

ملخص تقني: التحسين البايزي المدرك للثبات عبر "التحسين المتوقع"

بيان المشكلة
يُعد التحسين البايزي (Bayesian Optimization - BO) إطار عمل قياسي لتحسين الدوال "الصندوق الأسود" المكلفة، حيث يعتمد عادةً على "التحسين المتوقع" (Expected Improvement - EI) كدالة استحواذ (Acquisition Function) رئيسية. ورغم نجاح EI تجريبياً، إلا أنه يفتقر جوهرياً إلى الإدراك بشروط الأمثلية من الدرجة الأولى، حيث يعتمد فقط على إمكانية تحسين قيمة الدالة. ونتيجة لذلك، في المناطق التي تكون فيها الدالة مسطحة أو قريبة من حالة الثبات، يمكن أن تتلاشى إشارة EI، مما يؤدي إلى الإفراط في استغلال الحوض المحلي (Local Basin) والفشل في توجيه الاستكشاف بفعالية. وبالرغم من أن المعلومات المتعلقة بالمتجهات المنحدرة (Gradients) غالباً ما تكون متاحة في الإعدادات العملية (مثل تدرجات السياسة في التحكم، أو حساسيات الـ Adjoint في المعادلات التفاضلية الجزئية، أو التدرجات الفائقة في تعلم الآلة) بتكلفة ضئيلة، إلا أن طرق التحسين المعززة بالتدرج الموجودة حالياً تركز بشكل أساسي على دمج التدرجات في النموذج البديل (Surrogate Model) لتحسين دقة التنبؤ. هذا النهج غالباً ما يتسبب في تعقيد حسابي عالٍ بسبب نمذجة الارتباطات المتبادلة بين قيم الدالة ومشتقاتها. وفي المقابل، لا يزال الاستفادة من معلومات التدرج مباشرة داخل دالة الاستحواذ مجالاً لم يُستكشف بشكل كافٍ.

المنهجية
يقترح المؤلفون "التحسين المتوقع عبر معايير ميل التدرج" (Expected Improvement via Gradient Norms - EI-GN)، وهي دالة استحواذ مبتكرة توسع مبدأ التحسين ليشمل مراعاة الثبات من الدرجة الأولى.

1. الهدف المساعد: بدلاً من تعديل قواعد الاستكشاف التجريبية، تقوم هذه الطريقة بتعميم تعريف "التحسن". فهي تُعرف دالة هدف مساعدة $g(x)$ تعزز دالة الهدف الأصلية $f(x)$ بعقوبة ناعمة على معيار ميل التدرج:
   $$g(x) = f(x) - \alpha \|\nabla f(x)\|_2^2$$
   حيث أن $\alpha \geq 0$ هو معامل فائق (Hyperparameter). هذا الصياغة تعامل معيار ميل التدرج كعقوبة ناعمة للانحراف عن حالة الثبات، مما يشجع عملية البحث على تفضيل المناطق التي تكون إما عالية الأداء أو قريبة من نقاط الثبات.

2. صياغة الاستحواذ: تحدد الطريقة "التحسين المتوقع" على هذا الهدف المساعد، ويُرمز له بـ $EI_g$. ومع ذلك، فإن حساب $EI_g$ مباشرة يعد أمراً مستعصياً بسبب الارتباط بين قيم الدوال ومعايير ميل التدرج. لذا، اشتق المؤلفون حداً أدنى قابلاً للتطبيق باستخدام "متباينة الجزء الموجب":
   $$EI_g(x) \geq EI_f(x) - \alpha E I_s(x)$$
   حيث $EI_f$ هو التحسين المتوقع القياسي على الهدف، و $EI_s$ هو حد من نوع التحسين المتوقع يقيس التحسن في حالة الثبات (أي تقليل معيار ميل التدرج).

3. التقريب القابل للتطبيق (EI-GN): لجعل هذه الطريقة عملية، اشتق المؤلفون تعبيراً مغلق الشكل لتقريب قابل للتطبيق لثابت الثبات، $EI_s$. ومن خلال افتراض نماذج عمليات غاوس (GP) مستقلة لهدف الدالة ولمشتقاتها الجزئية (لتجنب تعقيد $O((d+1)^3N^3)$ للنماذج المشتركة)، استخدموا تحويلاً لتبييض البيانات (Whitening Transformation) لفصل عملية القطع القائمة على المعيار. يسمح هذا بحساب التوقع عبر لحظات مقطوعة قابلة للفصل، مما يؤدي إلى دالة الاستحواذ النهائية:
   $$EI\text{-}GN(x) = EI_f(x) - \alpha E I_s(x)$$
   يوفر هذا الصياغة مسارين للتحسين: زيادة قيمة الهدف أو تقليل معيار ميل التدرج.

المساهمات الرئيسية

• دالة استحواذ مبتكرة: قدمت الورقة $EI\text{-}GN$، التي تطبق مبدأ التحسين على هدف مساعد مدرك للثبات، مما يوسع نطاق الاستحواذ القائم على التحسين ليتجاوز مجرد معايير قيمة الهدف الصرفة.
• الاشتقاق النظري: اشتق المؤلفون حداً أدنى للتحسين المتوقع على الهدف المساعد وقدموا تعبيراً مغلق الشكل وقابلاً للتطبيق ($EI\text{-}GN$) يجسد هذه المبادئ تحت فرضيات التوزيعات الغاوسية اللاحقة.
• الكفاءة الحسابية: من خلال استخدام نماذج GP مستقلة للهدف والتدرجات، تتجنب الطريقة العبء الحسابي لنمذجة المشتقات المشتركة، ومع ذلك تظل قادرة على الاستفادة من معلومات التدرج لإعادة تشكيل مشهد الاستحواذ.

النتائج التجريبية
قيمت الورقة $EI\text{-}GN$ عبر عدة سيناريوهات تجريبية:

• الاختبارات الاصطناعية: في دوال قياسية (Shekel, Hartmann, Griewank, Ackley) بأبعاد متفاوتة، تفوقت $EI\text{-}GN$ باستمرار أو تساوت مع النماذج المرجعية (EI, LogEI, UCB, CMA-ES). وقد أظهرت ميزة خاصة في الدوال ذات الهياكل المسطحة أو المتذبذبة حيث تتلاشى إشارات EI القياسية.
• عينات الـ GP: في كل من مقارنات "داخل النموذج" (المثالية) و"خارج النموذج" (عدم تطابق المعاملات الفائقة)، أظهرت $EI\text{-}GN$ مكاسب أداء قوية مقارنة بنماذج عائلة EI القياسية. وهذا يؤكد أن الإشارة القائمة على التدرج توجه عملية التحسين بفعالية حتى عندما تكون النماذج البديلة غير مثالية.
• استئصال التدرج (Gradient Ablation): أظهرت المقارنات مع الطرق التي تدمج التدرجات في النموذج البديل (Joint GPs) مقابل دالة الاستحواذ أن هذه النهج متعامدة. ودمج كليهما (dEI-GN) حقق أقوى النتائج، مما يشير إلى أن التحسينات على مستوى الاستحواذ والتحسينات على مستوى النموذج البديل تعالج جوانب متكاملة من مشكلة التحسين.
• البحث في السياسات: في مهام التعلم التعزيزي (Acrobot و CartPole)، تمت مقارنة $EI\text{-}GN$ مع طرق التدرج المحلي (REINFORCE) و EI القياسي. حققت $EI\text{-}GN$ كفاءة أعلى في استخدام العينات وتقارباً أكثر موثوقية نحو سياسات عالية المكافأة، خاصة في السيناريوهات التي قد تتعثر فيها الطرق المحلية في أحواض محلية.

الأهمية والادعاءات
تدعي الورقة أن $EI\text{-}GN$ توفر مفهوماً أغنى وأكثر إفادة للتحسين من خلال دمج التقدم نحو حالة الثبات ضمن معيار الاستحواذ. ويؤكد المؤلفون أن هذا النهج يسمح لمشهد الاستحواذ بأن يظل غنياً بالمعلومات حتى في الأنظمة التي تقدم فيها EI التقليدية إشارة ضئيلة (مثل المناطق المسطحة أو النقاط القريبة من الثبات). تُقدم الطريقة كإمتداد مبدئي لإطار عمل EI يستفيد من معلومات التدرج المتاحة دون العبء الحسابي لنمذجة النماذج المشتركة المعقدة. وتشير النتائج التجريبية إلى أن $EI\text{-}GN$ تقدم مكاسب ثابتة على الطرق المرجعية، لا سيما في المشاهد الصعبة حيث تكون معايير التحسين التقليدية القائمة على قيمة الهدف وحدها غير كافية.