🤖 machine learning

BoLT: A Benchmark to Democratize Black-box Optimization Research for Expensive LLM Tasks

تقدم هذه الورقة BoLT، وهو أول معيار مرجعي يعمل على دمقرطة أبحاث التحسين الصندوقي الأسود لمهام النماذج اللغوية الكبيرة المكلفة من خلال توفير نماذج بديلة قابلة لإعادة الإنتاج ومستندة إلى بيانات حقيقية لتقييم وتحسين طرق تحسين المعلمات الفائقة، والمطالبات، والتكوينات.

المؤلفون الأصليون: Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruth Wan Theng Chew, Zhiliang Chen, Apivich Hemachandra, Bryan Kian Hsiang Low

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول خبز رغيف مثالي من خبز السوردو (العجين المخمر). لديك بعض المقابض التي يمكنك تحريكها: كمية الدقيق، كمية الماء، مدة التخمير، ودرجة حرارة الخبز. إذا خمنت عشوائيًا، فقد تهدر الكثير من العجين والوقت قبل الوصول إلى وصفة ناجحة.

في عالم الذكاء الاصطناعي (وتحديدًا النماذج اللغوية الكبيرة - LLMs)، يواجه الباحثون مشكلة مماثلة ولكن على نطاق هائل. يتعين عليهم ضبط آلاف "المقابض" (مثل سرعة التدريب، ومزيج البيانات، والأوامر النصية) لجعل الذكاء الاصطناعي يعمل بشكل جيد. ومع ذلك، فإن اختبار إعداد واحد فقط قد يكلف آلاف الدولارات من وقت الحوسبة ويستغرق أيامًا لتشغيله. ولأن هذا الأمر مكلف للغاية، فإن معظم الباحثين يلجؤون ببساطة إلى التخمين أو استخدام قواعد تجريبية بسيطة، مما يؤدي غالبًا إلى نتائج دون المستوى المطلوب.

يقدم هذا البحث BOLT، وهي أداة جديدة مصممة لمساعدة الباحثين في العثور على أفضل الإعدادات دون الحاجة فعليًا إلى إنفاق المال لإجراء الاختبارات المكلفة في كل مرة.

إليك كيف يعمل BOLT، باستخدام بعض التشبيهات من الحياة اليومية:

١. المشكلة: "اختبار تذوق باهظ الثمن"

تخيل أنك طاهٍ يحاول العثور على مزيج التوابل المثالي لحساء جديد. التحدي هو أن صنع قدر كامل من الحساء يستغرق ٢٤ ساعة ويكلف ١٠٠٠ دولار. لا يمكنك تحمل تكلفة صنع ١٠٠ قدر مختلف لترى أي منها سيكون الأفضل.

الوضع الحالي: عادة ما يخمن الباحثون التوابل أو يجربون بعض التركيبات العشوائية.
الهدف: يريدون نظامًا ذكيًا (يسمى "تحسين الصندوق الأسود" - Black-Box Optimization) يمكنه النظر إلى بضعة قدور، وفهم النمط، والتنبؤ بالمزيج المثالي بعد تجارب قليلة جد مرة.
العقبة: حتى الآن، كان اختبار هذه الأنظمة الذكية يتطلب صنع قدور الحساء الباهظة فعليًا، وهو أمر لم يكن معظم الباحثين قادرين على تحمل تكلفته.

٢. الحل: "المحاكي السحري" (المحاكيات - Emulators)

يحل BOLT هذه المشكلة من خلال توفير محاكٍ سحري.
بدلاً من صنع قدور حساء حقيقية وباهظة الثمن، يستخدم BOLT "نموذجًا بديلًا" (برنامج حاسوبي ذكي تم تدريبه على بيانات من آلاف تجارب الحساء الحقيقية التي أُجريت بالفعل).

كيف يعمل: تسأل المحاكي: "ماذا سيحدث لو استخدمت ٢٠٪ ملح إضافي؟" يعطيك المحاكي إجابة فورية بناءً على تدريبه، بتكلفة لا تذكر من الوقت أو المال.
النتيجة: يمكن للباحثين الآن اختبار استراتيجيات التحسين الذكية الخاصة بهم آلاف المرات على هذا المحاكي الرخيص لمعرفة أي منها يعمل بشكل أفضل، وذلك قبل لمس تدريب الذكاء الاصطناعي الحقيقي والمكلف.

٣. "الوصفات" الثلاث الرئيسية التي يختبرها BOLT

يختبر هذا البحث المحاكي الخاص به على ثلاثة أنواع محددة من مشاكل "الطهي" التي يواجهها باحثو الذكاء الاصطناعي:

تحسين المعلمات الفائقة (HPO): يشبه هذا ضبط درجة حرارة الفرن والمؤقت. يقوم الباحثون بضبط إعدادات عملية تدريب الذكاء الاصطناعي نفسها (مثل سرعة تعلمه).
تحسين مزيج البيانات (DMO): يشبه هذا تحديد نسبة المكونات. هل يتعلم الذكاء الاصطناعي من كتب الرياضيات، أم أدلة البرمجة، أم المحادثات العامة؟ يساعد BOLT في العثور على المزيج المثالي من البيانات لتغذية الذكاء الاصطناعي.
تحسين الأوامر النصية (PO): يشبه هذا كتابة بطاقة تعليمات مثالية للطاهي. بدلًا من تغيير المكونات، أنت تغير كيفية طلبك حل المشكلة من الذكاء الاصطناعي. يساعد BOLT في العثور على الصياغة الدقيقة التي تحقق أفضل نتيجة.

٤. ماذا وجدوا؟

استخدم الباحثون BOLT لاختبار العديد من خوارزميات "البحث الذكي" المختلفة (الطهاة الذين يحاولون العثور على أفضل وصفة).

الفائز: وجدوا أن نوعًا محددًا من البحث الذكي يسمى التحسين البايزي (Bayesian Optimization) (وهو يشبه الطاهي الذي يتذكر كل محاولة فاشلة ويستخدم تلك الذاكرة لتقديم تخمين أفضل في المرة القادمة) يتفوق باستمرار على طرق التخمين العشوائية القديمة.
التحدي: اكتشفوا أيضًا أن أدوات البحث الذكي هذه تحتاج إلى ضبط للتعامل مع الخصائص الغريبة لمشاكل الذكاء الاصطناعي، مثل التعامل مع النتائج "المزعجة/المتذبذبة" (حيث يختلف طعم الحساء قليلاً في كل مرة تصنعه) أو المساحات عالية الأبعاد (حيث يوجد عدد كبير جدًا من المكونات التي لا يمكن حصرها).

٥. لماذا هذا مهم؟

قبل BOLT، كان مجتمع الأشخاص الذين يدرسون "البحث الذكي" (تحسين الصندوق الأسود) عالقًا في اختبار أفكارهم على مسائل رياضية وهمية وسهلة لا تشبه تحديات الذكاء الاصطنا_الحقيقية.

الديمقراطية (إتاحة الوصول للجميع): يعمل BOLT كملعب عام. الآن، يمكن للباحث الذي يمتلك جهاز كمبيوتر محمول اختبار أفكاره الجديدة مقابل مشاكل الذكاء الاصطناعي الواقعية دون الحاجة إلى حاسوب فائق القدرة.
قابلية التكرار: نظرًا لأن الجميع يستخدم نفس "المحاكي السحري"، يمكنهم مقارنة نتائجهم بشكل عادل، مع العلم أنهم جميعًا يختبرون على نفس الأرضية تمامًا.

باخت-صار: BOLT هو مجموعة أدوات مفتوحة المصدر ومجانية تتيح للباحثين ممارسة وإتقان استراتيجيات "البحث الذكي" الخاصة بهم للذكاء الاصطناعي على محاكي رخيص وسريع، بحيث يمكنهم في النهاية تطبيق تلك الاستراتيجيات على نماذج الذكاء الاصطناعي الحقيقية والمكلفة للحصول على نتائج أفضل وبسرعة أكبر.

ملخص تقني: BOLT - معيار لدمقرطة أبحاث التحسين الصندوق الأسود للمهام المكلفة للنماذج اللغوية الكبيرة (LLM)

بيان المشكلة

يعد تحسين إعدادات النماذج اللغوية الكبيرة (LLM) — وتحديداً المعلمات الفائقة (hyperparameters)، ومزيج البيانات، والمطالبات (prompts) — أمراً بالغ الأهمية للأداء، ولكنه يتم التعامل معه حالياً بطرق تجريبية (heuristically) في الممارسة العملية، مما يؤدي غالباً إلى نتائج دون المستوى الأمثل. وبينما توفر طرق التحسين البايزي (Bayesian Optimization) وطرق التحسين الصندوق الأسود (Black-Box Optimization) الأخرى حلولاً مبدئية وفعالة من حيث عدد العينات للمشكلات التي تتسم بالضجيج والتكلفة العالية وغياب المشتقات، فإن تطبيقها على النماذج اللغوية الكبيرة يعوقه بشدة التكاليف الحسابية. يفتقر معظم الباحثين في مجال التحسين الصندوق الأسود (BBO) إلى الموارد اللازمة للتحقق من الطرق الجديدة على مهام حقيقية للنماذج اللغوية الكبيرة. وبناءً على ذلك، يعتمد المجال على دوال اختبار اصطناعية أو معايير تعلم آلي كلاسيكية صغيرة النطاق (مثل BBOB و HPO-B)، والتي تفشل في محاكاة التحديات المحددة لتحسين النماذج اللغوية الكبيرة الحديثة، مثل مساحات البحث ذات المتغيرات المختلطة، وقيود السيمبلكس (simplex constraints)، والتمثيلات المتجهة (embeddings) عالية الأبعاد. هذه الفجوة تعيق تطوير وتقييم طرق التحسين الصندوق الأسود المصممة خصيصاً للنماذج اللغوية الكبيرة.

المنهجية: معيار BOLT

لمعالجة هذه القيود، قدم المؤلفون BOLT (معيار تحسين مهام النماذج اللغوية الكبيرة المكلفة)، وهو أول معيار مخصص للنماذج اللغوية الكبيرة صُمم لدمقرطة الأبحاث لمجتمع التحسين الصندوق الأسود. يستبدل BOLT حلقات تدريب النماذج اللغوية الكبيرة المكلفة وغير القابلة للتكرار بـ محاكيات (emulators) خفيفة الوزن وحتمية (deterministic) تم تدريبها على أكثر من 20,000 تقييم تجريبي حقيقي للنماذج اللغوية الكبيرة.

المكونات الأساسية

عائلات المهام: يغطي BOLT ثلاث مجالات نشطة في أبحاث النماذج اللغوية الكبيرة، حيث يتم صياغة كل منها كمشكلة تحسين خالية من المشتقات:
- تحسين المعلمات الفائقة (HPO): تحسين تكوينات ضبط LoRA (الرتبة، ألفا، الوحدات المستهدفة، معدل التعلم، حجم الدفعة) لنماذج Qwen3 (بأحجام 4B و 8B) على مجموعة بيانات OpenMathInstruct-2.
- تحسين مزيج البيانات (DMO): تحسين نسبة بيانات اتباع التعليمات، والرياضيات، والبرمجة عبر مرحلتين تدريبيتين لنموذج Qwen3-4B.
- تحسين المطالبات (PO): اختيار المطالبات المثلى للاستدلال الرياضي من مجموعة مرشحة مُعدة مسبقاً تضم 5,014 مرشحاً، ويتم تقييمها باستخدام معيار MATH-500.
متغيرات وتحديات المشكلة: تتضمن كل عائلة مهام متغيرات مصممة لاختبار تحديات محددة في التحسين الصندوق الأسود:
- تعدد الدقة (Multi-fidelity): إعدادات دقة مستمرة (عدد الرموز/tokens) ومنفصلة (حجم النموذج) لاختبار التحسين المراعي للتكلفة.
  ed. تعدد الأهداف (Multi-objective): التحسين المتزامن لعدة مقاييس (مثل IFEval، MATH-500، MBPP+).
- الضجيج غير المتجانس (Heteroscedastic Noise): نمذجة الضجيج المعتمد على المدخلات لنموذج مزيج البيانات.
- الأبعاد العالية (High Dimensions): مهام تحسين المطالبات التي تتراوح من 128 إلى 768 بُعداً (باستخدام تمثيلات Matryoshka Representation Learning).
- القيود (Constraints): قيود السيمبلكس لمزيج البيانات، والمساحات ذات المتغيرات المختلطة (مستمرة، صحيحة، فئوية) للمعلمات الفائقة.
بناء المحاكي (Emulator Construction):
- HPO و DMO: تم تدريبهما باستخدام شبكات عصبية متعددة الطبقات (MLPs) مكونة من طبقتين على بيانات تجريبية حقيقية.
- PO: يستخدم بيانات جدولية من مرشحي المطالبات المُعدة مسبقاً وتمثيلاتها المتجهة (embeddings)، حيث إن الاستكمال (interpolation) في مساحة التمثيل المتجه ليس من السهل فك تشفيره إلى لغة طبيعية.
- التحقق من الصحة: يتم التحقق من صحة المحاكيات باستخدام ارتباط رتب سبيرمان ( $\rho_s$ ) بين التنبؤات ومجموعات الاختبار المحجوزة، مما يضمن دقة عالية في ترتيب المرشحين (على سبيل المثال، $\rho_s \approx 0.96$ لـ HPO).

المساهمات الرئيسية

مجموعة من مشكلات التحسين الصندوق الأسود المتمحورة حول النماذج اللغوية الكبيرة: يقدم المؤلفون ثلاث عائلات مهام قائمة على أهداف حقيقية للنماذج اللغوية الكبيرة، تغطي مساحات المتغيرات المختلطة، قيود السيمبلكس، تعدد الدقة، تعدد الأهداف، والإعدادات عالية الأبعاد.
الدمقرطة عبر المحاكيات: من خلال توفير نماذج بديلة موثقة ومجموعات بيانات جدولية، يتيح BOLT للباحثين اختبار طرق التحسين الصندوق الأسود دون الحاجة إلى بنية تحتية مكلفة للنماذج اللغوية الكبيرة، مما يضمن قابلية التكرار والوصول.
التقييم التجريبي المكثف: تقوم الورقة بمقارنة مجموعة واسعة من دوال الاستحواذ (acquisition functions) واستراتيجيات التحسين (بما في ذلك LogNEI، GIBBON، MES، PES) مقابل خطوط أساس قياسية (Random, TPE, CMA-ES, NSGA-2) عبر جميع مهام BOLT.

النتائج التجريبية

قيم المؤلفون العديد من دوال الاستحواذ واستراتيجيات التحسين على BOLT:

HPO: تفوقت طرق التحسين البايزي القائمة على العمليات الغاوسية (GP) (تحديداً LogNEI، و MF-MES، و MF-GIBBON) باستمرار على الخطوط الأساسية غير القائمة على GP (مثل TPE، و CMA-ES، و BOHB) في إعدادات الدقة المفردة ومتعددة الدقة. ومع ذلك، أظهر اختيار دوال الاستحواذ حساسية تجاه مقاييس التكلفة ومعاملات الاستكشاف (مثل $\beta$ في UCB).
DMO: هيمنت الطرق القائمة على NEI على المهام أحادية الهدف، بينما تفوقت طريقة NEHVI مع اختيار الدفعات ( $q=5$ ) بشكل كبير على الطرق التطورية (NSGA-2) في المهام متعددة الأهداف، محققة جودة مماثلة لجبهة باريتو (Pareto front) بـ 50 ضعفاً أقل من تقييمات الدالة. وأظهرت الطرق المدركة للضجيج (LogNEI+MLHGP) تحسينات طفيفة في الإعدادات غير المتجانسة.
PO: فشلت دوال الاستحواذ القياسية (LogEI، LogNEI، UCB) في التوسع في مساحات التمثيل المتجه عالية الأبعاد، حيث استقرت بالقرب من أداء البحث العشوائي. حققت طرق البحث المحلي (Local search) المهيأة للمساحات المنفصلة (dTuRBO و dBAxUS) المدمجة مع LogNEI مكاسب كبيرة، حيث وصلت إلى لوغاريتم الندم البسيط (log simple regret) يتراوح بين -10 و -15. كما أدى التقييم بالدفعات (Batch evaluation) إلى تسريع التقارب. ومن الجدير بالذكر أن تقليل المساحة الفرعية (subspace reduction) باستخدام dBAxUS كان أقل فعالية في الأبعاد المنخفضة (PO-128) حيث لم يكن التباين مركزاً في مساحة فرعية نشطة منخفضة الرتبة، مما يشير إلى أن تمثيلات النماذج اللغوية الكبيرة قد لا تستوفي دائماً افتراضات الرتبة المنخفضة لهذه الطرق.

الأهمية والادعاءات

تدعي الورقة أن BOLT خطوة حاسمة نحو تحديث أبحاث التحسين الصندوق الأسود للنماذج اللغية الكبيرة. من خلال توفير معيار قابل للتكرار وسهل الوصول، يساهم BOLT في:

التحقق من إمكانات التحسين البايزي (BO): يثبت أنه يمكن استخدام طرق BO الناضجة، وخاصة تلك القائمة على بحث الإنتروبيا والتحسين المتوقع المعتمد على الضجيج، بفعالية لمهام النماذج اللغوية الكبيرة ولكنها تتطلب تكييفاً مع التحديات الهيكلية المحددة (مثل قيود السيمبلكس، ومساحات البحث المنفصلة).
تسليط الضوء على الفجوات: يكشف عن حدود الطرق الحالية، مما يؤكد الحاجة إلى تطويرات خوارزمية جديدة في الإعدادات عالية الأبعاد والمنفصلة والمقيدة.
تمكين التقدم: يزيل العائق الحسابي الذي منع سابقاً مجتمع التحسين الصندوق الأسود من الانخراط في مشاكل تحسين خطوط أنابيب النماذج اللغوية الكبيرة، مما يعزز تطوير استراتيجيات أكثر كفاءة ومبدئية لتحسين هذه النماذج.

يظل المؤلفون متواضعين، مشيرين إلى أن المحاكيات مدربة على تكوينات محددة (مثل ميزانيات رموز أصغر، ونماذج غير "مفكرة") وقد لا تمثل أفضل أداء يمكن تحقيقه للنماذج الرائدة، ولكن تحديات التحسين نفسها (المتغيرات المختلطة، القيود، الضجيج) هي سمات جوهرية لمهام النماذج اللغوية الكبيرة وتظل ثابتة عبر مختلف التكوينات.