Beyond Numerical Features: CNN-Driven Algorithm Selection via Contour Plots for Continuous Black-Box Optimization

ملخص تقني: اختيار الخوارزمية المعتمد على الشبكات العصبية الالتفافية (CNN) عبر مخططات الكنتور

بيان المشكلة
يتضمن التحسين الأسود المستمر (BBO) تقليل أو تعظيم الدوال الهدفية حيث لا تتوفر معلومات التدرج، والاعتماد فقط على تقييمات الدالة. وبينما تؤدي الحلول التي لا تعتمد على الاشتقاق (مثل متغيرات CMA-ES) أداءً جيدًا، فإن نظرية "لا يوجد غداء مجاني" تملي أنه لا توجد خوارزمية واحدة تتفوق عالميًا على غيرها عبر جميع حالات المسائل. وبناءً على ذلك، يهدف الاختيار الآلي للخوارزميات (AAS) إلى اختيار الحل الأكثر ملاءمة من محفظة ثابتة لمسألة معينة.

تعتمد معظم أساليب AAS الحالية في مجال BBO المستمر بشكل أساسي على تحليل المشهد الاستكشافي (ELA)، والذي يبني ناقلات سمات عددية (مثل الانحناء، والقابلية للفصل) من التقييمات المستطلعة، أو Deep-ELA، الذي يستخدم تضمينات متعلمة من نماذج المحولات (Transformers) سابقة التدريب. ويرى المؤلفون أن هذه الواصفات العددية قد تفشل في التقاط البنية المكانية الواضحة في المشاهد المرئية. وبينما تم استكشاف AAS القائم على CNN في المجالات المنفصلة باستخدام ترميزات مباشرة للحالة، فإن تطبيقه في BBO المستمر — حيث يجب بناء التمثيلات عبر الاستطلاع — لا يزال غير مستكشف بشكل كافٍ.

المنهجية
يقترح البحث نهجًا لاختيار الخوارزميات (AAS) يعتمد على التمثيل، حيث يعامل المشاهد المستطلعة كصور بدلاً من نواقل عددية.

1. تمثيل الحالة (مخططات الكنتور):

   • الهدف الفردي (SOO): يتم عرض كل حالة مسألة كخريطة كنتور رمادية ثنائية الأبعاد عن طريق تقييم الدالة الهدفية على شبكة ثابتة بحجم $300 \times 300$. بالنسبة للأبعاد $d > 2$، يتم إنشاء مقطع عرضي ثنائي الأبعاد عن طريق اختيار إحداثيين عشوائيين ليمثلا فضاءً فرعيًا مع تثبيت الإحداثيات الأخرى عند الصفر (استغلالًا لتناظر نطاق BBOB).
   • الأهداف المتعددة (MOO): بالنسبة لمسائل الأهداف الثنائية ($d=2, m=2$)، تُستخدم استراتيجية أخذ عينات للكنتور الفرعي. يتم أخذ عينات لخمس نوافذ مستطيلة محاذية للمحاور داخل النطاق لكل هدف، مما يولد مشاهد متعددة لتقليل الاعتماد على عرض عالمي واحد.
   • متغيرات المدخلات: لدراسة دقة المدخلات، يتم تغيير حجم المخططات إلى دقات (resolutions) $r \in \{64, 128, 300\}$.

2. بنى الشبكات العصبية الالتفافية (CNN):
   يقترح البحث نوعين من النماذج للتنبؤ بالأداء النسبي (وقت التشغيل المتوقع ERT لـ SOO، وHypervolume النسبي لـ MOO) لمجموعة من الخوارزميات في المحفظة:

   • النموذج المدمج (Combined Model): يتم تكدیس المشاهد الخمسة الخاصة بالحالة (أو عينات النوافذ) على طول بُعد القنوات وتغذيتها مباشرة في مشفر CNN.
   • النموذج المنفصل (Separate Model): تتم معالجة كل مشهد بشكل فردي بواسطة مشفر ذي أوزان مشتركة، ثم يتم دمج متجهات السمات الناتجة قبل تمريرها إلى رأس الانحدار (regression head).
   • بنية SOO: مشفر CNN مكون من ثلاث طبقات.
   • بنية MOO: مشفر ResNet-18 نظرًا للمتطلبات التمثيلية الأعلى.

3. آلية الاختيار:
   يتنبأ النموذج بمقياس الأداء (مثل ERT النسبي لـ SOO) لكل خوارزمية في المحفظة. ويتم اختيار الحل صاحب أفضل قيمة متوقعة (أقل ERT أو أعلى HV).

المساهمات الرئيسية

1. تمثيل الحالة القائم على الاستطلاع: قدم المؤلفون صياغة جديدة لـ AAS في مجال BBO المستمر تستخدم تمثيلات خرائط الكنتور للمشاهد المستطلعة كتمثيلات للحالة، مما يلغي الحاجة إلى سمات ELA المصممة يدويًا.
2. التقييم التجريبي: تقدم الدراسة تحليلًا شاملًا على معايير BBOB 2009 أحادية الهدف، وعلى إعداد ثنائي الأهداف متبعًا بروتوكول Deep-ELA. كما تحلل آثار تجميع المشاهد (المدمج مقابل المنفصل) ودقة المدخلات.
3. قياس الأداء المرجعي: يضع هذا العمل اختيار الكنتور في مواجهة الخطوط المرجعية القائمة على السمات (ELA مع MLP/RF ومتغيرات Deep-ELA).

النتائج التجريبية

• التحسين أحادي الهدف (SOO):
  • في معيار BBOB 2009 (96 تكوينًا)، تفوق النموذج المدمج (Combined CNN) بدقة إدخال $300 \times 300$ بشكل ملحوظ على "أفضل حل منفرد" (SBS)، حيث قلل متوسط ERT النسبي من 30.37 (في حالة SBS) إلى 5.60.
  • كان نهج CNN منافسًا لأقوى الخطوط المرجعية القائمة على السمات (ELA-MLP: 5.72؛ Deep-ELA Medium-kNN: 6.04).
  • تحسن الأداء عمومًا مع زيادة دقة المدخلات ($r=300$)، رغم أن ذلك زاد من تكاليف التدريب.
  • أظهرت الطريقة مكاسب قوية في مجموعات الدوال F1–F19، بينما ظل الأداء في المجموعة الأكثر صعوبة (F20–F24) مختلطًا مقارنة بالطرق القائمة على السمات.
• التحسين متعدد الأهداف (MOO):
  • تحت إعداد تقييم Deep-ELA، كانت مختارات CNN التنافسية مع خطوط Deep-ELA المرجعية.
  • حقق النموذج المنفصل (Separate CNN) أفضل درجات متوسط HV النسبي (0.971–0.974)، متفوقًا على متغيرات Deep-ELA (0.904).
  • كانت الطريقة فعالة بشكل خاص في حالات ZDT (محققة درجات شبه مثالية)، بينما كانت النتائج في DTLZ وMMF قوية ولكنها أقل قليلاً من أفضل إعدادات Deep-ELA.

الأهمية والادعاءات
يدعي البحث أن نماذج الرؤية البسيطة يمكنها استغلال البنية المكانية للمشاهد المستطلعة لاختيار الخوارزميات دون الاعتماد على سمات ELA المصممة يدويًا. وتشير النتائج إلى أن تصورات مخططات الكنتور تحتوي على إشارات كافية لدفع عملية AAS فعالة في مجال BBO المستمر، مما يوفر تمثيلًا مكملاً للواصفات العددية.

القيود والنطاق
يشير المؤلفون صراحةً إلى عدة قيود:

• ميزانية الاستطلاع: يتطلب النهج الحالي ميزانية استطلاع كبيرة (خمس خرائط $300 \times 300$ لكل تكوين)، مما يجعله مناسبًا للتحليل في مرحلة ما قبل التشغيل (offline) وليس للنشر المباشر (online) منخفض الميزانية.
• التمثيل عالي الأبعاد: بالنسبة لـ $d > 2$، يعد تمثيل المقطع العرضي ثنائي الأبعاد رؤية جزئية للمشهد، مما قد يساهم في ضعف الأداء في مجموعات الدوال الأكثر صعوبة.
• البروتوكولات الثابتة: يرتبط التقييم بمحافظ وبروتوكولات محددة (بما في ذلك أخذ عينات النوافذ لـ MOO)، كما أن دراسة MOO محدودة بـ $d=2, m=2$.

يُقدم هذا العمل كإثبات مفهوم يوضح جدوى التمثيلات القائمة على الصور، مع توجيه المسارات المستقبلية نحو الاستطلاع الحساس للتكلفة، وتصميمات تعدد المشاهد، والسمات المرئية-العددية الهجينة.