ملخص تقني: تخصيص الحوسبة في البحث التطوري

بيان المشكلة

حققت أنظمة البحث التطوري الموجهة بالنماذج اللغوية الكبيرة (مثل FunSearch وAlphaEvolve وCodeEvolve) نتائج رائدة في الاكتشاف الرياضي والتحسين التوليفي. ومع ذلك، فإن الأدبيات الحالية تبلغ في الغالب عن أفضل نتيجة واحدة من عدد غير محدد من عمليات التشغيل، مما يترك توزيع النتائج بين عمليات التشغيل دون توثيق. علاوة على ذلك، تتباين التكاليف الحوسبية المبلغ عنها بعدة مراتب عشرية، مما يجعل من الصعب تقييم موثوقية عملية تشغيل واحدة تحت ميزانية ثابتة.

المشكلة الجوهرية التي يتم معالجها هي تخصيص الحوسبة (compute allocation): بالنظر إلى ميزانية ثابتة من استدعاءات النماذج اللغوية الكبيرة ($C$)، كيف ينبغي توزيع هذه الميزانية بين العمق (التحسين المتسلسل لمسار واحد) والعرض (الاستكشاف المتوازي لمسارات متعددة)؟ غالبًا ما تقوم الأنظمة الحالية بتثبيت هذه المعلمات الفائقة (على سبيل المثال، حجم المجتمع وعدد الأجيال) دون فهم منهجي لكيفية تأثير هذا التخصيص على الأداء المتوقع والموثوقية.

المنهجية

1. التوصيف التجريبي لتخصيص العمق والعرض

أجرى المؤلفون دراسة تجريبية منهجية عبر ثلاث مهام تحسين هندسي (Circle Packing، وMinMaxDist، وHeilbronn Triangle) وأربعة أحجام من النماذج (من Qwen3-1.7B إلى 14B، بالإضافة إلى Llama-3.1-8B). وقد عرفوا مشكلة التخصيص بأنها تقسيم الميزانية $C$ إلى $T$ من الأجيال و$N$ من الأبناء المتوازيين ($C = T \times N$).

• غلاف اللياقة والحوسبة (Fitness–Compute Envelope): حللوا العلاقة بين اللياقة التي يمكن تحقيقها وعمليات الـ FLOPs الفعلية (مع مراعاة حجم النموذج وكفاءة الذاكرة المخبئية). ولاحظوا أنه بينما تتفوق النماذج الأكبر عند تساوي عدد الاستدعاءات، فإن ترتيب أدائها ينهار إلى حد كبير عند قياسه مقابل الـ FLopS الفعلية، بشرما كان زوج (النموذج-المهمة) "قادرًا".
• انتظام العمق والعرض: قاموا بملاءمة نموذج ثنائي الخطية معلمي لمنظر اللياقة:
  $$\log(1 - V) = \beta_0 + a \log T + b \log N + c \log T \log N$$
  حيث $V$ هي اللياقة. ويحدد معامل التفاعل $c$ هندسة التخصيص الأمثل:
  • الأمثلية عند الزوايا (Corner Optima) ($|c| \approx 0$): مثل مهمة Circle Packing، حيث توجد هضاب عريضة تعطي نتائج متشابهة للعديد من التخصيصات، وغالبًا ما تفضل العمق.
  • الحواف الداخلية (Interior Ridges) ($c < 0$): مثل مهمة MinMaxDist، حيث توجد حافة حادة تتطلب مزيجًا متوازنًا من العمق والعرض لتحقيق الأداء الأمثل.
  • بوابة القدرة (Capability Gating): هذه الانتظامات تسري فقط على النماذج التي تجاوزت عتبة القدرة الخاصة بالمهمة؛ فالنماذج الضعيفة تفشل في إظهار مقايضات هيكلية بين العمق والعرض.

2. BaSE: التطور الذاتي القائم على المندوب (Bandit-based Self-Evolving)

مدفوعين بالتباين العالي في نتائج عمليات التشغيل (حيث تنتج عمليات التشغيل المتطابقة نتائج لياقة نهائية مختلفة تمامًا بسبب العشوائية في عملية الطفرة للنموذج اللغوي الكبير)، اقترح المؤلفون نظام BaSE.

• الآلية: يعامل BaSE البحث التطوري كمسألة مندوب متعدد الأذرع (Multi-Armed Bandit - MAB). فبدلاً من الالتزام بالميزانية كاملة بمسار واحد (النهج الجشع/Greedy) أو مجموعة ثابتة من الجزر (بروتوكول الجزر/Island protocol)، يحافظ BaSE على $K$ من المسارات المتوازية.
• التخصيص التكيفي: في كل خطوة، يختار خوارزمية مندوب (مثل UCB أو EXP3.P أو Thompson Sampling) أي مسار سيتم تمديده بالاستدعاء التالي للنموذج اللغوي. يقوم هذا بتوجيه الحوسبة ديناميكيًا بعيدًا عن المسارات الراكدة نحو المسارات الواعدة.
• الاستقلالية (Orthogonality): لا يغير BaSE النموذج الأساسي، أو المطالبة (prompt)، أو منطق أخذ العينات من الآباء داخل المسار. بل يعمل حصريًا على مستوى تخصيص الموارد عبر المسارات.

النتائج الرئيسية

1. الانتظامات التجريبية

• انهيار القدرة (Capability Collapse): بالنسبة للنماذج القادرة، يتحدد غلاف الأداء بواسطة الـ FLOPs الفعلية بدلاً من حجم النموذج وحده.
• هندسة تعتمد على المهمة: تقسيم العمق والعرض الأمثل ليس عالميًا؛ بل يعتمد على "العائلة الخوارزمية" للمهمة (على سبيل المثال، ما إذا كان الحل يتطلب مكتبة معينة مثل scipy أو بناءً تحليليًا محددًا).
• العشوائية: حتى مع التخصيص الثابت، تختلف عمليات التشغيل الفردية بشكل كبير. فبعض المسارات تتقارب نحو لياقة عالية، بينما يركد البعض الآخر مبكرًا بسبب الانحباس في عائلة خوارزمية دون المستوى الأمثل.

2. أداء BaSE

• تحسن متوسط اللياقة: عبر 8 خلايا (نموذج، مهمة)، حسن BaSE متوسط أفضل لياقة بنسبة 12.3% مقارنة بأقوى بروتوكولات الجزر المرجعية (مثل OpenEvolve وCodeEvolve وShinkaEvolve) دون تغيير النموذج أو المطالبة.
• مكاسب الموثوقية: لوحظت أكبر المكاسب في الإعدادات ذات التباين العالي. على سبيل المثال، في مهمة Heilbronn Triangle باستخدام Llama-3.1-8B، فشلت الطرق غير المعتمدة على BaSE غالبًا في إنتاج حلول صالحة (اللياقة $\approx 0$)، بينما حقق BaSE (باستخدام Thompson Sampling) متوسط لياقة قدره 0.4387.
• كفاءة العينة: وصل BaSE إلى عتبات اللياقة المستهدفة بشكل أسرع بكثير (أجيال وFLOPs أقل) من المنهجيات الجشعة أو التخصيص الثابت. على سبيل المثال، في مهمة MinMaxDist، وصل UCB إلى عتبة 0.95 في 92 جيلًا، بينما تطلب المنهج الجشع الأساسي 485 جيلًا.
• الدراسة الاستقصائية (Ablation): وفرت أحجام مجمعات الأذرع المتوسطة ($K \in \{5, 10, 20\}$) أفضل مقايضة بين التنوع وعمق التحسين.

الأهمية والادعاءات

يزعم البحث أن تخصيص الحوسبة هو رافعة متميزة وحاسمة لتحسين البحث التطوري الموجه بالنماذج اللغوية الكبيرة، وهي منفصلة عن توسيع حجم النموذج أو هندسة المطالبات.

• التخصيص مقابل الهندسة: يؤكد المؤلفون أن تحسيناتهم ليست ناتجة عن مطالبات أو نماذج أفضل. في الواقع، يشيرون إلى أن بعض المراجع (مثل ShinkaEvolve) حققت درجات عالية في مهام معينة جزئيًا بسبب التلميحات الناتجة عن المطالبة (مثل اقتراح scipy.optimize)، بينما يحقق BaSE مكاسب من خلال التوجيه التكيفي للموارد فقط.
• الموثوقية: المساهمة الرئيسية هي تحويل التركيز من تقارير "أفضل حالة" إلى الأداء "المتوقع". يوفر BaSE مكسبًا في الموثوقية، مما يضمن أن الممارس أقل عرضة لإضاعة ميزانية ثابتة على مسار قد ركد بالفعل.
• التكامل: يُقدم BaSE كعنصر مكمل لآليات العمل داخل المسار الواحد (مثل أخذ عينات الآباء). يمكن طبقة BaSE فوق البروتوكولات الحالية (Greedy, Island) لتحسين الأداء، خاصة في الإعدادات غير المستقرة أو عالية التباين.

يخلص العمل إلى أنه بينما تحدد قدرة النموذج السقف لما يمكن تحقيقه، فإن التخصيص هو الذي يحكم مدى كفاءة الطريقة في الاقتراب من ذلك السقف، وأن التخصيص التكيفي عبر خوارزميات المندوب (bandits) يعد استراتيجية قوية للبحث ذي الميزانية المحدودة.