🤖 AI

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

تقدم الورقة البحثية استراتيجية التطور التعاوني في الفضاء الفرعي للمعلمات (CoPES)، وهي طريقة فعالة من حيث استهلاك الذاكرة تعمل على تفكيك فضاء المعلمات لتمكين التدريب اللاحق الفعال للنماذج اللغوية الكبيرة الوكيلية في ظل قيود الموارد، محققةً 92% من مكاسب أداء خوارزمية GRPO كاملة المعلمات مع متطلبات أقل بكثير لذاكرة وحدة معالجة الرسومات.

المؤلفون الأصليون: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

نُشر 2026-08-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عالماً لا تكتفي فيه الحواسيب بالدردشة فحسب، بل تقوم بالفعل بـ "أفعال". يمكنها تصفح الويب، وتشغيل الأكواد، وحل الألغاز المعقدة عبر اتخاذ خطوات عديدة، والتحقق من عملها، والمحاولة مرة أخرى. هذا هو الأفق المثير لـ "الذكاء الاصطناعي الوكيل" (Agentic AI). ولكن هناك عقبة: تعليم هؤلاء المساعدين الرقميين كيف يصبحون أفضل هو أمر مكلف للغاية. الطريقة المعتادة لتدريبهم تشبه لعبة فيديو عالية المخاطر حيث يحاول الكمبيوتر اكتشاف الحركة المثالية من خلال حساب "التدرجات" (الميل الرياضي للنجاح) لكل جزء من أجزاء دماغه في وقت واحد. يتطلب هذا كمية هائلة من ذاكرة الكمبيوتر، مثل محاولة استيعاب مكتبة من الكتب في رأسك أثناء حل لغز ما. إذا كانت المهمة طويلة ومعقدة، فإن الذاكرة المطلوبة تنفجر، مما يجعل من المستحيل على معظم الناس تدريب هؤلاء الوكلاء دون استخدام كمبيوتر خارق.

هنا يبرز نهج مختلف يسمى "استراتيجيات التطور" (Evolution Strategies). بدلاً من حساب المنحدرات، تشبه هذه الطة لعبة "ساخن أو بارد". أنت تجري تغييرات عشوائية صغيرة على دماغ الذكاء الاصطعي، وترى ما إذا كان سيصبح أفضل، وإذا فعل ذلك، فإنك تحتفظ بالتغيير. إنها أخف وزناً على الذاكرة لأنك لا تحتاج إلى تذكر المسار الذي سلكته للوصول إلى هناك. ومع ذلك، هناك مشكلة جديدة: نظرًا لأنك تخمن عشوائياً، فأنت بحاجة إلى المحاولة مرات كثيرة جداً للحصول على نتائج جيدة، مما يستغرق وقتاً هائلاً وقوة حوسبة كبيرة. الأمر يشبه محاولة العثور على إبرة في كومة قش عن طريق فحص كل قشة واحدة تلو الأخرى؛ ستجدها في النهاية، لكن قد يستغرق الأمر منك قرناً من الزمان. السؤال الكبير للعلماء هو: هل يمكننا الحفاظ على توفير الذاكرة الذي توفره طريقة "ساخن أو بارد" مع جعلها سريعة بما يكفي لتكون مفيدة على عدد قليل من الحواسيب العادية؟

يقدم هذا البحث خدعة ذكية تسمى CoPES (استراتيجية التطور التعاوني لـ "تحت-فضاء المعلمات") لحل هذه المشكلة تحديداً. أدرك الباحثون أن محاولة تغيير دماغ الذكاء الاصطناعي بأكمله دفعة واحدة هي عملية غير فعالة. لذا، قاموا بتفكيك الدماغ إلى قطع أصغر يمكن إدارتها. تخيل أنك تحاول ضبط أوركسترا ضخمة لتجعل صوتها مثالياً. بدلاً من مطالبة كل موسيقي في الأوركسترا بتغيير آلتهم بشكل عشوائي في نفس الوقت (مما يخلق فوضى)، تطلب من قسم الكمان تجربة إعداد جديد، ثم قسم النحاس، ثم قسم الإيقاع، بينما يظل الآخرون ثابتين. من خلال اختبار هذه المجموعات الصغيرة واحدة تلو الأخرى، مع الحفاظ على عزف الأوركسترا بأكملها معاً، يمكنك معرفة ما الذي ينجح بشكل أسرع بكثير.

في البحث، اختبر المؤلفون هذه الطريقة على نموذج ذكاء اصطناعي محدد (Qwen3.5-4B) تم تدريبه لحل المسائل الرياضية. وقارنوا طريقة "ضبط الأوركسترا" الجديدة هذه بطريقة "ساخن أو بارد" القياسية وطريقة "التدرج" ثقيلة الذاكرة. ووجدوا أن CoPES كانت نقطة تحول في البيئات محدودة الموارد. فبينما احتاجت الطريقة العشوائية القياسية إلى حوالي 480.60 ساعة من وحدة معالجة الرسومات (GPU-hours) للوصول إلى مستوى جيد من الأداء، حققت CoPES نتائج مماثلة تقريباً في 68.65 ساعة فقط. والأكثر إثارة للإعجاب، أنه تحت حد زمني صارم حيث لم تتمكن الطريقة ثقيلة الذاكرة من التدريب إلا لـ 16 خطوة، استعادت Co-PES ما نسبته 92% من مكاسب الأداء التي حققتها الطريقة الثقيلة، بينما حققت الطريقة العشوائية القياسية 67% فقط.

كما أظهرت الدراسة أن Co-PES أكثر عملية بالنسبة للأجهزة اليومية. فبينما تطلبت الطريقة ثقيلة الذاكرة إعداداً ضخماً من 8 وحدات معالجة رسومات عالية الأداء لمجرد البدء في التدريب على المهام الطويلة، استطاعت Co-PES العمل بنجاح على وحدة معالجة رسومات واحدة قياسية بسعة 24 جيجابايت. وهذا يعني أنه بدلاً من الحاجة إلى مركز بيانات، يمكن الآن لباحث يمتلك حاسوباً قوياً واحداً تدريب وكلاء ذكاء اصطناعي متقدمين. كما اختبر المؤلفون هذه الطريقة في مهام الإجابة على الأسئلة، وليس الرياضيات فقط، ووجدوا أنها تعمل بشكل جيد هناك أيضاً، متفوقة باستمرار على النهج العشوائي القياسي.

يشير البحث إلى أنه من خلال تقسيم المشكلة إلى مجموعات فرعية تعاونية ودمج النتائج بعناية، يمكننا الحصول على أفضل ما في العالمين: التكلفة المنخفضة للذاكرة التي توفرها الأساليب التطورية، والسرعة العالية للأساليب القائمة على التدرج. لا يدعي البحث أنه حل سحري يحل كل شيء فوراً، ولكنه يوضح مقايضة أفضل بكثير بين الذاكرة والوقت. وتشير النتائج إلى أنه مع هذه الاستراتيجية الجديدة، يصبح تدريب وكلاء الذكاء الاصطناعي الأقوياء ممكناً لعدد أكبر من الناس، محولاً مهمة كانت تتطلب في السابق حاسوباً خارقاً إلى شيء يمكن تحقيقه على محطة عمل واحدة.

ملخص تقني: التطور التعاوني المشترك لتدريب النماذج اللغوية الكبيرة الوكيلية مقيدة الموارد

بيان المشكلة

تولد الوكلاء (Agents) القائمة على النماذج اللغوية الكبيرة (LLMs) التي تستخدم الأدوات مسارات طويلة ومتعددة الخطوات لحل المهام المعقدة. وبينما يعد التدريب اللاحق (Post-training) باستخدام مكافآت قابلة للتحقق (مثل التعلم التعزيزي) طريقة قابلة للتوسع لتحسين سلوك الوكيل، إلا أنها تواجه عقبة حرجة في البيئات مقيدة الموارد.

تتطلب الطرق القائمة على التدرج (Gradient-based methods)، مثل تحسين السياسة النسبي للمجموعات (GRPO)، عملية الانتشار العكسي (Backpropagation) عبر هذه المسارات الطويلة. وهذا يستلزم تخزين أوزان النموذج، والتدرجات، وحالات المُحسن (Optimizer states)، والأهم من ذلك، التنشيطات الوسيطة (Intermediate activations). ومع زيادة طول السياق، يصبح استهلاك ذاكرة التنشيط باهظاً، مما يتطلب غالباً مجموعات من وحدات معالجة الرسومات (GPUs) عالية الأداء غير متاحة للعديد من الباحثين. وفي المقابل، توفر استراتيجيات التطور (Evolution Strategies - ES) بديلاً موفراً للذاكرة عبر تجنب الانتشار العكسي تماماً، حيث تتطلب فقط التوليد الأمامي وتقييم المكافأة. ومع ذلك، فإن استراتيجية ES القياسية مكلفة حاسوبياً، إذ تتطلب عادةً ساعات عمل على وحدة معالجة الرسومات أكثر بكثير من الطرق القائمة على التدرج لتحقيق أداء مماثل. وبالتالي، في الإعدادات مقيدة الموارد ذات عدد محدود من وحدات معالجة الرسومات، تترجم هذه المتطلبات الحاسوبية العالية إلى أوقات زمنية فعلية (Wall-clock time) طويلة غير عملية للتدريب.

يكمن التحدي الجوهري الذي يتم معالجته في كيفية تحسين كفاءة التحسين لاستراتيجيات التطور (ES) دون التضحية بمزاياها في توفير الذاكرة، وتحديداً للتدريب اللاحق للنماذج اللغوية الكبيرة كاملة المعلمات (Full-parameter).

المنهجية: استراتيجية التطور التعاوني لمجال معلمات فرعي (CoPES)

لمعالجة عقبة الكفاءة، يقترح المؤلفون استراتيجية التطور التعاوني لمجال المعلمات الفرعي (Cooperative Parameter-subspace Evolution Strategy - CoPES)، وهي طريقة تطور تعاوني تم تكييفها لاستراتيجية ES كاملة المعلمات.

الآلية الجوهرية

تقوم CoPES بتفكيك فضاء المعلمات الكامل عالي الأبعاد ( $\mathbb{R}^d$ ) إلى $K$ من المجالات الفرعية ذات الأبعاد المنخفضة والمنفصلة متبادلاً. وبدلاً من إحداث اضطرابات في فضاء المعلمات الكامل في آن واحد لكل عملية تقييم، تقوم CoPES بعمليات بحث تعاونية داخل هذه المجالات الفرعية:

التقسيم العشوائي: في كل خطوة تدريب، يتم تقسيم مؤشرات المعلمات عشوائياً إلى $K$ من المجالات الفرعية متساوية الحجم ( $S_1, \dots, S_K$ ).
البحث التعاوني في المجال الفرعي: يتم توزيع إجمالي ميزانية الاضطراب $N$ عبر المجالات الفرعية ( $N_k = N/K$ ). لكل مجال فرعي $k$ ، يتم إنشاء $N_k$ من النماذج المضطربة عن طريق إضافة الضجيج فقط إلى المعلمات في $S_k$ ، بينما تظل جميع المعلمات الأخرى ثابتة عند قيمها الحالية. يوفر هذا سياقاً كاملاً مشتركاً للنموذج لتقييم تأثير التغييرات في مجال فرعي محدد.
توسيع الاضطراب المدرك للأبعاد: لضمان مطابقة حجم اضطرابات المجال الفرعي للقدر المتوقع من مربع المعيار للاضطراب في الفضاء الكامل، يتم ضبط مقياس الاضطراب $\sigma_k$ : $\sigma_k = \sqrt{K}\sigma$ .
توحيد المكافأة المشترك: على عكس استراتيجية ES القياسية التي توحد المكافآت ضمن مجتمع واحد، تقوم CoPES بتجميع المكافآت من جميع النماذج الـ $N$ المضطربة عبر جميع المجالات الفرعية $K$ . وتقوم بحساب المتوسط العالمي ( $\mu_c$ ) والانحراف المعياري ( $s_c$ ) لتوحيد جميع المكافآت ( $\hat{r}_{k,i}$ ). يوفر هذا إحصائيات تطبيع مستقرة ومقياس مكافأة مشترك لدمج تحديثات المجالات الفرعية.
التحديث المتزامن: يتم تقدير اتجاهات المجالات الفرعية وتركيبها في تحديث كامل المعلمات: $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$ ، حيث $g_k$ هو اتجاه التدرج المقدر للمجال الفرعي $k$ .

تفاصيل التنفيذ

للحفاظ على كفاءة الذاكرة، تستخدم CoPES ما يلي:

إعادة تشغيل البذور (Seed Replay): يتم إعادة توليد الاضطرابات من بذور عشوائية بدلاً من تخزين متجهات الاضطراب الكاملة.
النسخ الاحتياطي للأوزان (Weight Backup): يتم نسخ أوزان ما قبل الاضطراب احتياطياً في ذاكرة الوصول العشوائي للمعالج (CPU) لضمان بدء كل عملية تقييم من نفس حالة النموذج تماماً، وتجنب أخطاء البقايا الناتجة عن الحوسبة بنقطة عائمة.
المعالجة بالدفعات (Chunked Processing): تتم معالجة المعلمات في دفعات لإدارة استخدام الذاكرة.

المساهمات الرئيسية

خوارزمية مبتكرة: تُقدم CoPES كأول طريقة تطور تعاوني مصممة خصيصاً للتدريب اللاحق للنماذج اللغوية الكبيرة الوكيلية كاملة المعلمات. وهي تجمع بين تفكيك فضاء المعلمات وتوحيد المكافأة المشترك.
المفاضلة بين الكفاءة والذاكرة: تحسن الطريقة كفاءة التحسين بميزانية ثابتة مع الحفاظ على طبيعة ES كاملة المعلمات الموفرة للذاكرة. فهي تتجنب عبء الانتشار العكسي للطرق القائمة على التدرج، والوقت الزمني الفعلي الطويل لاستراتيجية ES القياسية.
التحقق التجريبي: تثبت التجارب المكثفة على مهام الرياضيات والإجابة على الأسئلة (QA) متعددة الخطوات فعالية الطريقة عبر مقاييس متعددة، بما في ذلك اختبارات جدوى الأجهزة والدراسات الاستقصائية الضابطة.

النتائج التجريبية

قيم المؤلفون CoPES باستخدام نموذج Qwen3.5-4B على خمسة معايير رياضية (AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test) وثلاثة معايير للإجابة على الأسئلة (HotpotQA, 2Wiki, MuSiQue).

الأداء مقابل التعلم التعزيزي القائم على التدرج (GRPO)

كفاءة الذاكرة: يظهر التحليل النظري أن CoPES تتطلب أقل من 1/8 من ذاكرة وحدة معالجة الرسومات التي تتطلبها طريقة GRPO كاملة المعلمات. ومن الناحية العملية، يمكن تدريب CoPES على وحدة معالجة رسومات واحدة بسعة 24 جيجابايت، بينما تتطلب GRPO كاملة المعلمات 8 وحدات معالجة رسومات بسعة 48 جيجابايت لكل منها للتعامل مع سياق بطول 128 ألف.
الأداء بميزانية ثابتة: تحت ميزانية ساعات عمل لوحدة معالجة الرسومات تعادل أفضل نقطة تحقق لـ GRPO كاملة المعلمات (16 خطوة تدريب):
- استعادت CoPES 92% من مكاسب دقة التحقق التي حققتها GRPO كاملة المعلمات.
- استعادت استراتيجية ES القياسية 67% فقط.
- تفوقت CoPES باستمرار على كل من ES القياسية وGRPO القائمة على LoRA عبر جميع مقاييس pass@k في المعايير الرياضية الخمسة.
التوسع: في معايير AIME 2024 وAIME 2025 الصعبة، تجاوزت CoES طريقة GRPO كاملة المعلمات عند قيم $k$ الأكبر (pass@k) رغم استخدام نفس ميزانية التدريب الثابتة.

الأداء مقابل استراتيجية ES القياسية

تفوقت CoPES بشكل كبير على استراتيجية ES القياسية عبر جميع المقاييس التي تم تقييمها.
الدراسات الاستقصائية الضابطة (Ablation Studies):
- عدد المجالات الفرعية ( $K$ ): تحسن الأداء مع زيادة $K$ من 1 إلى 4، لكنه انخفض بشكل حاد عند $K=8$ بسبب عدم كفاية المجتمع لكل مجال فرعي ( $N_k=5$ ).
- التوحيد المشترك: أدى استخدام توحيد المكافأة المشترك عبر جميع المجالات الفرعية إلى تحقيق درجات pass@1 أعلى مقارنة بالتوحيد المستقل داخل كل مجال فرعي.
- مقياس الاضطراب: لم يكن تحسن الأداء ناتجاً فقط عن مقياس الاضطراب الأكبر لكل إحداثي ( $\sigma_k = \sqrt{K}\sigma$ )؛ إذ أدت استراتيجية ES القياسية مع نفس المقياس المرتفع إلى أداء أسوأ.

الإجابة على الأسئلة متعددة الخطوات (Multi-Hop QA)

في مهام الإجابة على الأسئلة، تفوقت CoPES على استراتيجية ES القياسية في جميع مجموعات مقاييس المعايير وظلت منافسة لـ GRPO كاملة المعلمات، مما يثبت قابلية تطبيق الطريقة لما هو أبعد من الاستدلال الرياضي.

الأهمية والادعاءات

يزعم البحث أن CoPES تقدم حلاً عملياً للتدريب اللاحق للنماذج اللغوية الكبيرة الوكيلية تحت قيود الموارد. فمن خلال تفكيك فضاء البحث وتوحيد المكافآت بشكل مشترك، تحقق CoPES توازناً متفوقاً بين متطلبات الذاكرة ووقت التدريب. وهي تتيح استخدام استراتيجيات التطور كاملة المعلمات على أجهزة ذات قدرات محدودة أو استهلاكية (مثل وحدات معالجة رسومات واحدة بسعة 24 جيجابايت) حيث تكون الطرق القائمة على التدرج كاملة المعلمات غير ممكنة بسبب حدود الذاكرة، وحيث تكون استراتيجية ES القياسية بطيئة جداً بسبب التكاليف الحسابية. ويؤكد المؤلفون أن نهجهم يحتفظ بميزة "التوليد الأمامي فقط" لـ ES مع التخفيف من عيبها الحاسوبي الرئيسي.