🤖 AI

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

تُعد Hyper-ES إطار عمل لاستراتيجية التطور القائم على الفضاء الجزئي، والذي يعزز قدرات الاستنتاج في النماذج اللغوية الكبيرة من خلال تحسين معاملات الدمج لكل طبقة لاتجاهات الانحدار الاشتقاقي المحسوبة مسبقاً، محققاً أداءً فائقاً بموارد أقل مقارنة بالطرق القائمة على التدرج مثل GRPO-LoRA.

المؤلفون الأصليون: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

نُشر 2026-08-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية حل مسائل رياضية معقدة. عادةً، لتعليم الروبوت، يتعين عليك إظهار آلاف الأمثلة له وتعديل دماغه بالكامل، عصبونًا تلو الآخر، باستخدام عملية تسمى "الاشتقاق المتدرج" (gradient descent). الأمر يشبه محاولة ضبط أوركسترا ضخمة من خلال الاستماع إلى كل آلة موسيقية في آن واحد وتعديل كل وتر في وقت واحد. هذا الأسلوب فعال، لكنه يتطلب حاسوبًا عملاقًا ومكلفًا ويستغرق وقتًا طويلاً.

مؤخرًا، اكتشف العلماء طريقة مختلفة لتعليم الروبوتات تسمى "استراتيجيات التطور" (Evolution Strategies - ES). بدلًا من ضبط كل عصبون بدقة، تقوم فقط بإجراء آلاف التغييرات العشوائية الصغيرة على دماغ الروبوت، وترى أي منها يجعل الروبوت أفضل في حل المسائل الرياضية، ثم تحتفظ بالفائزين. الأمر يشبه لعبة "ساخن وبارد" حيث تقوم بخلط دماغ الروبوت عشوائيًا حتى يحالفه الحظ. المشكلة هي أنه عندما يكون دماغ الروبوت ضخمًا (بمليارات الأجزاء)، فإن الخلط العشوائي من المضمون أن يفشل. إنه يشبه محاولة العثور على إبرة محددة في كومة قش عن طريق التقاط حفنات من القش عشوائيًا؛ سينتهي بك الأمر بمزيد من القش دون العثور على الإبرة. تحاول ورقة البحث هذه، HYPER-ES، إصلاح ذلك عبر منح الروبوت خريطة أفضل قبل البدء بعملية الخلط.

المشكلة: الضياع في كومة القش

لاحظ مؤلفو هذه الورقة أنه بينما تعد استراتيجيات التطور رائعة لتوفير الذاكرة وقوة الحوسبة، إلا أنها سيئة جدًا في إيجاد الاتجاه الصحيح في دماغ ضخم يحتوي على مليارات المعلمات (parameters). إذا قمت فقط برمي ضجيج عشوائي في نموذج ضخم، فستكون التغييرات فوضوية للغاية لدرجة أنها ستلغي بعضها البعض أو تدفع النموذج في الاتجاه الخاطئ. إنه يشبه محاولة توجيه سفينة سياحية ضخمة عن طريق رمي حصوات عليها من زوايا عشوائية؛ لن تتحرك السفينة كثيرًا، أو قد تنحرف بعيدًا عن المسار الذي تريده. يطلق الباحثون على هذه الحالة اسم مشكلة "المشي العشوائي" (random walk)، حيث يضيع النموذج في بحر من التغييرات غير المجدية.

الحل: اختصار "اتجاه الهبوط"

لحل هذه المشكلة، ابتكر الفريق المطور لـ HYPER-ES خدعة ذكية تتكون من خطوتين. بدلًا من ترك الروبوت يخمن الاتجاه الصحيح من الصفر، يطلب منه أولاً القيام ببضع جولات تدريبية قصيرة وغير مكلفة باستخدام الطريقة التقليدية الثقيلة.

تخيل أنك تحاول العث طريقتك المثلى للصعود إلى جبل. بدلًا من التسكع بشكل أعمى في الظلام (الخلط العشوائي)، ترسل أولاً بضعة طائرات بدون طيار صغيرة لتتسلق قليلاً وترى في أي اتجاه ينحدر المسار. لا تحتاج هذه الطائرات لتسلق الجبل بأكل، بل تحتاج فقط لمعرفة أي اتجاه هو "المنحدر للأسفل" (اتجاه مفيد). تفعل طريقة HYPER-ES الشيء نفسه تمامًا: فهي تقوم بتشغيل جلسات تدريب سريعة ومنخفضة التكلفة للعثور على عدد قليل من "اتجاهات الهبوط" — وهي أساسًا بضعة تخمينات جيدة حول كيفية دفع دماغ الروبوت ليصبح أكثر ذكاءً.

الدمج السحري: خلط أفضل التخمينات

بمجرد الحصول على هذه الاتجاهات الجيدة القليلة، يحدث السحر الحقيقي. بدلًا من ترك استراتيجية التطور تبحث في دماغ الروبوت الضخم المكون من مليارات المعلمات مرة أخرى، فإنها تبحث فقط في مساحة ضيقة ومدمجة مكونة من دمج تلك الاتجاهات الجيدة معًا.

فكر في الأمر مثل طاهٍ حدد بالفعل ثلاثة مكونات مثالية (اتجاهات الهبوط). بدلًا من البحث في متجر بقالة كامل عن مكونات جديدة، يستخدم الطاهي استراتيجية تطور لمعرفة الوصفة المثالية لخلط هذه المكونات الثلاثة معًا. يسأل الروبوت نفسه: "إذا مزجت 30% من الاتجاه (أ)، و50% من الاتجاه (ب)، و20% من الاتجاه (ج)، فهل سأحصل على محلل رياضي أفضل؟"

تستخدم الورقة خوارزمية متطورة تسمى CMA-ES للقيام بهذا الدمج. الأمر يشبه شيف ماهر يتذوق الحساء ويضبط التوابل طبقة تلو الأخرى، ولكن بدلًا من التوابل، يقوم بضبط مقدار كل "اتجاه جيد" يتم إضافته إلى دماغ الروبوت. هذا يحول البحث في مليارات الاحتمالات إلى بحث في بضع مئات من الأرقام فقط، مما يجعل العملية سريعة وفعالة للغاية.

ما وجدوه

اختبر الباحثون هذه الطريقة الجديدة على ثلاثة نماذج لغوية كبيرة مختلفة (تحديدًا Qwen2.5 و DeepSeek-R1) وتحدتهم بست مجموعات بيانات مختلفة للاستدلال الرياضي، تتراوح من الحساب البسيط إلى مسائل الرياضيات المعقدة على مستوى المسابقات.

كانت النتائج واعدة. حققت HYPER-ES أداءً أفضل باستمرار من طريقة "الخلط العشوائي" القياسية، بل وتفوقت قليلاً على طريقة التدريب التقليدية الثقيلة (المسماة GRPD-LoRA) من حيث الدقة. وتحديدًا، حققت الطريقة الجديدة دقة أعلى بنسبة 1% تقريبًا في المتوسط مع استخدام 10% أقل من عمليات تحديث الحاسوب المكلفة.

بكلمات أبسط، تمكنت HYPER-ES من تعليم الروبوتات كيف تكون أفضل في الرياضيات من خلال اتخاذ بعض الاختصارات الذكية ثم خلط تلك الاختصارات بعناية، بدلًا من محاولة حل المشكلة بالقوة الغاشمة. هذا يشير إلى أنك لست بحاجة لإلقاء المطبخ بأكمله في وجه المشكلة؛ فأحيانًا، العثور على بضعة اتجاهات جيدة وخلطها بشكل مثالي هو المفتاح لفتح مهارات التفكير لدى الروبوت. تُظهر الورقة أن هذا النهج هو وسيلة مستقرة وفعالة من حيث الذاكرة لتحسين طريقة تفكير الذكاء الاصطناعي، خاصة عندما لا تملك حاسوبًا خارقًا تحت تصرفك.

ملخص تقني: HYPER-ES

بيان المشكلة

تقدم استراتيجيات التطور (Evolution Strategies - ES) بديلاً واعداً وفعالاً من حيث الذاكرة للضبط الدقيق القائم على التدرج (gradient-based fine-tuning) للنماذج اللغوية الكبيرة (LLMs)، لا سيما في السيناريوهات محدودة الموارد حيث يكون الانتشار العكسي (backpropagation) مكلفاً للغاية. ومع ذلك، فإن تطبيق ES مباشرة على النماذج اللغوية الكبيرة ذات المليارات من المعلمات لمهام الاستدلال يعد غير فعال للغاية. تحدد الورقة فشلين هندسيين جوهريين في ES عالية الأبعاد:

فشل اكتشاف الاتجاه (Directional Discovery Failure): في الفضاءات عالية الأبعاد، تكون الاضطرابات العشوائية متعامدة تقريباً مع اتجاهات الهبوط المفيدة. ومع نمو بُعد المعلمات $d$ ، تتلاشى احتمالية محاذاة الاضطراب العشوائي مع التدرج الأمثل، مما يجعل الإشارة الاتجاهية للمجتمع (population) ضعيفة.
المسار العشوائي المتعامد (Orthogonal Random Walk): حتى لو كانت التحديثات الفردية لـ ES غير مفيدة فيما يتعلق بتقليل الخسارة، فإن التحديثات المتكررة لـ ES تتراكم في فضاء المعلمات. يتسبب هذا في انحراف النموذج بعيداً عن التهيئة المسبقة (التحرك العشوائي/random walk) دون إحراز تقدم ملموس، مما يؤدي إلى عدم استقرار التحسين.

تحقق الطرق الحالية القائمة على التدرج مثل تحسين السياسة النسبي الجماعي (Group Relative Policy Optimization - GRPO) أداءً قوياً في الاستدلال، لكنها تعاني من استهلاك عالٍ للذاكرة والوقت بسبب الانتشار العكسي. وفي المقابل، يتجنب ES المباشر الانتشار العكسي ولكنه يفشل في التقارب بفعالية في فضاء المعلمات الكامل.

المنهجية: HYPER-ES

يقترح المؤلفون HYPER-ES (Hyper-ES)، وهو إطار عمل لاستراتيجية التطور يعتمد على الفضاء الفرعي (subspace-based)، يقوم بفصل عملية اكتشاف اتجاهات التحديث عن عملية التحسين الخالية من المشتقات. بدلاً من البحث في فضاء المعلمات الكامل، يقيد HYPER-ES بحث ES في فضاء فرعي مدمج ومتوافق مع المهمة يتم بناؤه من اتجاهات الهبوط.

تعمل الطريقة في مرحلتين:

1. مرحلة البدء: إعداد اتجاهات الهبوط

يبدأ HYPER-ES ببناء مجموعة من اتجاهات الهبوط ذات الصلة بالمهمة ( $\Delta\theta$ ) باستخدام عدد قليل من التحديثات غير المكلفة القائمة على التدرج:

يتم تقسيم بيانات التدريب إلى $N$ من المجموعات الفرعية.
يتم إجراء تحديث قصير يعتمد على LoRA-based GRPO (عادةً 7 خطوات) مع أمثلة قليلة (few-shot) على كل مجموعة فرعية.
لا تهدف هذه التشغيلات القصيرة إلى إنتاج نماذج عالية الأداء قائمة بذاتها، بل تهدف إلى استخراج تغيرات LoRA ( $\Delta\theta_i$ ) بتكلفة منخفضة، والتي تحتوي على إشارات خاصة بالمهمة.
تشكل هذه التغيرات "مجموعة اتجاهات" $P = \{\Delta\theta_i\}$ ، والتي تعمل كقاعدة للبحث اللاحق.

2. بحث Hyper-ES عبر الاتجاهات

بمجرد تثبيت مجموعة الاتجاهات، يستخدم HYPER-ES استراتيجية تكيف مصفوفة التباين (Covariance Matrix Adaptation Evolution Strategy - CMA-ES) لتحسين معاملات الدمج لهذه الاتجاهات، بدلاً من أوزان النموذج نفسها.

متغير البحث: يتكون متغير التحسين $z$ $z$ من معاملات لكل طبقة تحدد كيفية دمج اتجاهات LoRA المخزنة. وتحديداً، لكل مجموعة طبقات، يتحكم $z$ $z$ في:
- لوجيتات معدل الحذف (Drop-rate logits): التي تحكم عملية التناثر (sparsification) باستخدام DARE (الحذف والإضافة العشوائية) لتقليل التداخل.
- لوجيتات وزن المزج (Mixing-weight logits): التي تحدد قوة مساهمة كل اتجاه.
عملية الدمج: يتم فك تشفير متغيرات البحث إلى نموذج مدمج باستخدام إجراء DARE–TIES (دمج TIES):
- يتم جعل الاتجاهات متناثرة بناءً على معدلات الحذف.
- يتم حل صراعات الإشارات عبر TIES (انتخاب الإشارة والدمج المنفصل).
- يتم تطبيق مقياس عالمي $\gamma$ .
التحسين: يقوم CMA-ES بتحسين معاملات الدمج $z$ لتعظيم دقة التحقق. يحول هذا عملية التحسين من البحث في ملايين أو مليارات الأوزان إلى البحث في فضاء منخفض الأبعاد بحجم $L \times 2N$ (على سبيل المثال، 960 معلمة لنموذج بحجم 0.5B).

المساهمات الرئيسية

إطار عمل HYPER-ES: إطار عمل جديد لـ ES يحول البحث في المعلمات الكاملة إلى بحث مدمج للمعاملات لكل طبقة عبر تحديثات LoRA ذات الصلة بالمهمة. إنه ينقل دور ES من اكتشاف الاتجاهات إلى اختيار ودمج اتجاهات الهبوط المحددة مسبقاً.
بناء الاتجاهات عبر الأمثلة القليلة (Few-Shot): تستخدم الطريقة تحديثات GRPO قصيرة لبناء اتجاهات هبوط معلوماتية، مما يسمح لـ ES بتجاوز الاستكشاف العشوائي عالي الأبعاد مع الاحتفاظ بطبيعتها خفيفة الذالة وقابلة للتوازي.
التحقق التجريبي: أظهر التقييم المكثف عبر ثلاثة هياكل لغوية (Qwen2.5-0.5B, Qwen2.5-1.5B, DeepSeek-R1-Distill-1.5B) وستة معايير للاستدلال الرياضي أن HYPER-ES يحسن الأداء باستمرار مقارنة بقواعد دمج النماذج، ويتفوق بشكل طفيف ومستمر على GRPO أحادي المرحلة.

النتائج

تسجل الورقة النتائج الرئيسية التالية:

الأداء: يحقق HYPER-ES مكاسب في الأداء تصل إلى 1% مقارنة بقواعد GRPO-LoRA عبر مجموعات البيانات الحسابية والاستدلال الرياضي الصعبة (مثل GSM8K, MATH-500, AMC2023)، مع مكاسب غالباً ما تكون هامشية (مثلاً 0.58% على Qwen2.5-1.5B).
الكفاءة: تتطلب الطريقة تحديثات تدرج أقل بنسبة 10% من حيث استهلاك المساحة مقارنة بـ GRPO-LoRA القياسي.
الذاكرة: من خلال تجنب الانتشار العكسي الكامل أثناء مرحلة ES واستخدام توليد الاتجاهات المتوازي عبر الأمثلة القليلة، يحافظ HYPER-ES على بصمة ذاكرة مماثلة لتشغيل GRPO واحد مع تقليل وقت التنفيذ (wall-clock time) بشكل كبير (حوالي 24% تقليل في تجربة 0.5B بسبب التوازي).
الدراسة الاستقصائية (Ablation): يؤدي إزالة مرحلة CMA-ES أو استخدام اتجاهات عشوائية بدلاً من اتجاهات مشتقة من GRPO إلى انخفاض كبير في الأداء، مما يؤكد أن المكاسب تنبع من البحث عن اتجاهات هبوط ذات معنى في فضاء منخفض الأبعاد.

الأهمية والادعاءات

تدعي الورقة أن HYPER-ES يعالج القيد الأساسي لـ ES المباشر في النماذج اللغوية الكبيرة: عدم القدرة على إيجاد اتجاهات مفيدة في الفضاءات عالية الأبعاد. من خلال الاستفادة من تشغيلات قصيرة قائمة على التدرج لتعريف "متعدد (manifold) متوافق مع المهمة"، تسمح الطة للتحسين الخالي من المشتقات بالعمل في نطاق يكون فيه أكثر فعالية.

يضع المؤلفون HYPER-ES كطريقة ضبط دقيق للموارد المحدودة تقدم مقايضة عملية: فهي تحتفظ بكفاءة الذاكرة لـ ES مع تحقيق أداء مماثل أو أفضل قليلاً من طرق التعلم المعزز القائمة على التدرج. يشير العمل إلى أن التشغيلات القصيرة القائمة على التدرج يمكن أن تخدم غرضاً مزدوجاً: ليس فقط للتدريب المباشر ولكن أيضاً لتعريف فضاءات فرعية منخفضة الأبعاد مفيدة للتحسين اللاحق الخالي من المشتقات.

تظل الورقة متواضعة فيما يتعلق بنطاقها، مشيرة إلى أنها تركز حالياً على GRPO كمزود للاتجاه، وأن العمل المستقبلي يمكن أن يستكشف طرقاً أخرى للحصول على الاتجاهات (مثل SFT أو OPD) أو الحصول الديناميكي عبر الإنترنت للاتجاهات.