🤖 AI

PopuLoRA: Co-Evolving LLM Populations for Reasoning Self-Play

تُعد PopuLoRA إطار عمل للعب الذاتي غير المتماثل القائم على المجموعات، والذي يستفيد من محولات LoRA التي تتطور بشكل مشترك للتغلب على قيود المعايرة الذاتية في التعلم التعزيزي من خلال التغذية الراجعة من النموذج (RLVR)، مما يُمكّن من حدوث سباق تسلح بين معلمين يقترحون المشكلات وطلاب يحلونها، وهو ما يؤدي إلى أداء فائق في اختبارات الرياضيات والبرمجة المتنوعة رغم انخفاض المكافآت أثناء وقت التدريب.

المؤلفون الأصليون: Roger Creus Castanyer, Geoffrey Bradway, Lorenz Wolf, Maxwill Lin, Augustine N. Mavor-Parker, Matthew James Sargent

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Roger Creus Castanyer, Geoffrey Bradway, Lorenz Wolf, Maxwill Lin, Augustine N. Mavor-Parker, Matthew James Sargent

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية حل الألغاز المعقدة. في الماضي، كان الباحثون غالبًا ما يستخدمون نهج "الوكيل الواحد": حيث يطلبون من الروبوت ابتكار ألغازه الخاصة ثم محاولة حلها.

المشكلة في هذه الطريقة هي أن الروبوت يصبح كسولاً. فهو يكتشف بسرعة أنه إذا جعل الألغاز سهلة للغاية، فسيتمكن من حلها بنسبة 100% ويحصل على درجة مثالية. لذا، يتوقف عن محاولة صنع ألغاز صعبة ويكتفي بصنع ألغاز بسيطة مثل "جمع رقمين". يعتقد الروبوت أنه عبقري، لكنه في الواقع يلعب لعبة ضد نفسه حيث لا تزداد الصعوبة أبداً. يُسمى هذا "المعايرة الذاتية" (self-calibration)، وهو يؤدي إلى طريق مسدود.

PopuLoRA هي طريقة جديدة لتدريب هذه الروبوتات تعالج هذه المشكلة عبر إدخال "ديناميكية الفريق" بدلاً من العمل الفردي. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المعلم والطالب (سباق التسلح)

بدلاً من قيام روبوت واحد بكلتا الوظيفتين، يقوم PopuLoRA بتقسيم العمل إلى مجموعتين:

المعلمون: مهمتهم هي ابتكار الألغاز.
الطلاب: مهمتهم هي حل تلك الألغاز.

الأمر الجوهري هو أنهم يمتلكون "شخصيات" مختلفة (تقنياً، برمجيات وسيطة أو "adapters" مختلفة). يحصل المعلم على مكافأة فقط إذا استطاع التفوق على الطالب (أي جعل الطالب يعجز عن الحل). بينما يحصل الطالب على مكافأة فقط إذا تمكن من حل اللغز.

هذا يخلق سباق تسلح تطوري مشترك:

إذا صنع المعلم لغزاً سهلاً، سيحله الطالب بسهولة، وسيحصل المعلم على درجة منخفضة. سيتعلم المعلم: "يجب أن أجعل هذا أصعب!".
إذا حل الطالب لغزاً صعباً، سيحصل المعلم على درجة منخفضة. سيتعلم الطالب: "يجب أن أصبح أكثر ذكاءً للتعامل مع المستوى التالي".
إنهم يدفعون بعضهم البعض ليصبحوا أفضل وأفضل، مما يرفع سقف التحدي باستمرار. تصبح الألغاز أكثر تعقيداً، وتصبح الحلول أكثر تطوراً.

2. خدعة "الرتبة المنخفضة" (الحقائب الظهرية)

تدريب نموذج ذكاء اصطناعي ضخم يشبه محاولة الركض في ماراثون وأنت ترتدي حقيبة ظهر تزن 100 رطل. إذا أردت تشغيل فريق كامل منهم، فستحتاج إلى ملعب ضخم وموارد هائلة.

استخدم الباحثون خدعة ذكية تسمى LoRA (التكيف منخفض الرتبة). تخيل أن نموذج الذكاء الاصطناعي الرئيسي هو مكتبة ضخمة ومجمدة من المعرفة. بدلاً من نسخ المكتبة بأكملها لكل طالب ومعلم جديد، فإنهم يمنحون كل واحد منهم "حقيبة ظهر" (adapter) صغيرة وخفيفة الوزن تحتوي على بعض الملاحظات الجديدة فقط.

تظل المكتبة ثابتة للجميع.
الحقائب الظهرية صغيرة وغير مكلفة في التحديث.
يسمح هذا بتشغيل مجتمع كامل من المعلمين والطلاب على جهاز كمبيوتر واحد، وهو أمر كان مستحيلاً لو اضطروا لتدريب نماذج كاملة ومنفصلة لكل فرد.

3. الخلط والمزج "الجيني"

بين كل فترة وأخرى، ينظر النظام إلى من هو الأسوأ أداءً. يأخذ "الحقائب الظهرية" لأفضل المعلمين والطلاب ويمزجها معاً لإنشاء نسخ جديدة ومحسنة.

فكر في الأمر كأنه مسابقة طبخ:

إذا كان المعلم (أ) بارعاً في كتابة المسائل الرياضية ولكنه سيء في البرمجة، والمعلم (ب) عكس ذلك تماماً، فقد يقوم النظام بـ "تهجين" حقائبهما الظهرية.
يأخذ الملاحظات الرياضية من (أ) وملاحظات البرمجة من (ب) لإنشاء معلم جديد (ج) يكون جيداً في كليهما.
يحدث هذا في ثوانٍ دون الحاجة لإعادة تدريب النموذج بالكامل من الصفر. إنه يشبه خلط أوراق اللعب للعثور على يد أفضل فوراً.

النتائج: لماذا هذا مهم؟

اختبرت الورقة البحثية هذا الأسلوب مقابل طريقة "الروبوت المنفرد" القديمة في نوعين من التحديات: البرمجة (كتابة برامج الكمبيوتر) والرياضيات (حل المعادلات).

الطريقة القديمة: توقف الروبوت المنفرد عن التحسن مبكراً. لقد علق في صنع ألغاز تافهة مثل return number * 3. لقد اعتقد أنه مثالي لأنه يحل كل ما يصنعه، لكنه لم يستطع التعامل مع التعقيد الحقيقي في العالم الواقعي.
طريقة PopuLoRA: استمر المجتمع في زيادة الصعوبة. استمر المعلمون في ابتكار مسائل معقدة ومراوغة، واستمر الطلاب في التعلم لحلها.
النتيجة: حتى أضعف عضو في فريق PopuLoRA كان أداؤه أفضل من أفضل روبوت منفرد. لم يكن لدى الفريق مجرد بعض "النجوم"؛ بل أصبح الفريق بأكمله أكثر ذكاءً لأنهم أُجبروا على التنافس ضد بعضهم البعض.

باختصار: يمنع PopuLoRA الذكاء الاصطناعي من الكسل عبر وضع فريق من المعلمين في مواجهة فريق من الطلاب. بدلاً من روبوت واحد يلعب ضد نفسه، فإنه يخلق بيئة ديناميكية تزداد فيها الصعوبة باستمرار، مما يجبر الذكاء الاصطناعي على تعلم مهارات أكثر تعقيداً بكثير مما كان بإمكانه تعلمها بمفرده.

ملخص تقني: PopuLoRA – تطور سكاني متزامن لنماذج LLM عبر اللعب الذاتي للاستنتاج

بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) نموذجًا مهيمنًا في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، لا سيما لمهام الاستنتاج. ومع ذلك، تواجه الأنظمة الحالية عقبة حرجة وهي: إمدادات المشكلات. تعتمد معظم الأساليب على توزيعات مهام منسقة يدويًا أو على "اللعب الذاتي" لوكيل واحد (مثل Absolute Zero Reasoner)، حيث يعمل نموذج واحد كمقترح للمشكلات وحلال لها في آن واحد.

تحدد الورقة البحثية خللاً هيكلياً في اللعب الذاتي أحادي الوكيل: المعايرة الذاتية (self-calibration). نظرًا لأن الشبكة نفسها هي التي تولد المشكلات وتقدر ضمنيًا درجة صعوبتها عبر معدل حلها الخاص، فإن النظام يتقارب نحو "نقطة ثابتة" من المشكلات السهلة التي يمكن للنموذج توليدها وحلها بشكل موثوق. يؤدي هذا إلى انهيار في توزيع التدريب، حيث تنخفض تعقيدات المشكلات، وتضيق التغطية، ويفشل النموذج في استنفاد قدراته الكامنة. السؤال المفتوح الذي تعالجه الورقة هو كيفية توليد منهج تعليمي (curriculum) من المشكلات دون مجموعات بيانات من تأليف البشر، باستخدام مجرد مُتحقق برمجِي (programmatic verifier)، مع تجنب هذا الانهيار النمطي.

المنهجية: PopuLoRA

يقدم PopuLoRA إطار عمل للعب الذاتي غير المتماثل القائم على السكان (population-based asymmetric self-play)، المصمم لاستبدال المعايرة الذاتية لوكيل واحد بسباق تسلح تطوري مشترك.

1. بنية السكان غير المتماثلة

بدلاً من وكيل واحد، يحافظ PopuLoRA على مجموعتين فرعيتين من محولات LoRA المتخصصة (specialized LoRA adapters) المرتبطة بنموذج أساسي ثابت (Qwen2.5-Coder-7B):

المعلمون (Teachers): يقترحون المشكلات (مهام توليد الكود).
الطلاب (Students): يحاولون حل المشكلات المقترحة.

يتم ربط المجموعتين عبر التقييم المتقاطع الموزون بـ TrueSkill. يُكافأ المعلمون بناءً على معدل فشل الطالب المقابل لهم، بينما يُكافأ الطلاب بواسطة مُتحقق برمجِي (منفذ Python في بيئة معزولة). يضمن هذا الفصل الهيكلي أن الصعوبة هي إشارة متبادلة بين المجموعات وليست تقديرًا ذاتيًا.

2. تدريب السكان الفعال عبر تطور LoRA

إن تشغيل عدة نماذج كاملة المعلمات بحجم 7B أمر باهظ التكلفة حوسبيًا. يقوم PopuLoRA بإنشاء كل عضو في السكان كـ محول LoRA (برتبة 32) فوق نموذج أساسي ثابت. يقلل هذا من البصمة الذاكرية لتصبح مجرد مجموع أوزان المحولات.

حلقة التدريب: يستخدم النظام حلقة RLVR قياسية (GRPO/REINFORCE++-baseline)، حيث يولد المعلمون والطلاب مشكلات ويحلونها في أزواج متطابقة.
الاستبدال التطوري: كل $k$ $k$ خطوة، يتم استبدال الجزء الأدنى من كل مجموعة فرعية (بناءً على حدود الثقة الدنيا لـ TrueSkill). بدلاً من نسخ الأوزان القياسي (المكلف في مقياس 7B)، يستخدم PopuLoRA مشغلات تطور فضاء أوزان LoRA.
- الطفرات (Mutations): تشمل الاضطرابات ذات بنية SVD، والضوضاء الغاوسية المختارة للطبقات، وقناع المكونات (component masking)، والضوضاء الغاوسية الكاملة.
- التهجين (Crossovers): يشمل DARE (الحذف وإعادة القياس)، والاختيار على مستوى الطبقة، وخلط فضاء SVD الفرعي، والتركيبات الحسابية للمهام الاستقرائية.
  تنتج هذه المشغلات "أبناء" بنفس الرتبة في ثوانٍ معدودة دون الحاجة لإعادة التدريب، مما يسمح لهم بالدخول فورًا في حلقة تدريب التدرج (gradient training loop).

3. دوال المكافأة

مكافأة الطالب: $+1$ للحلول الصحيحة، $-0.5 $للحلول جيدة الصياغة ولكن خاطئة،$ -1$ لفشل التنسيق (format failures).
مكافأة المعلم: تعتمد على معدل حل الطالب المتطابق $\rho$ . إذا فشل الطالب في حل المشكلة، يتلقى المعلم مكافأة إيجابية ( $1 - \rho$ ). إذا حلها الطالب بشكل مثالي، يتلقى المعلم 0. هذا يحفز المعلمين على توليد مشكلات صعبة للطالب الحالي ولكنها قابلة للحل بواسطة المُتحقق.

المساهمات الرئيسية

اللعب الذاتي غير المتماثل القائم على السكان: استبدلت الورقة عدد الوكلاء القياسي (≤3) الموجود في أعمال اللعب الذاتي غير المتماثل السابقة بمجموعات متطورة من المعلمين والطلاب. هذا ينقل إشارة الصعوبة من التقدير الذاتي إلى التقييم المتقاطع.
مشغلات تطور فضاء أوزان LoRA: قدم المؤلفون مجموعة من مشغلات الطفرة والتهجين المصممة خصيصًا لفضاء أوزان LoRA. تعمل هذه كخطوة الاستبدال في حلقة تدريب قائمة على السكان (PBT) عبر الإنترنت، مما يسمح بإنشاء أبناء متنوعين وبنفس الرتبة في ثوانٍ دون تكلفة النسخ كامل المعلمات.
التحقق التجريبي من التطور المشترك: تقدم الدراسة دليلاً على أن نهج السكان يتجنب انهيار النمط (mode collapse) الذي تظهره النماذج أحادية الوكيل، مما يحافظ على "سباق تسلح" حيث يتوسع تعقيد المشكلات وتغطيتها باستمرار.

النتائج

قيم المؤلفون PopuLoRA مقابل خط أساس أحادي الوكيل مكافئ في الحوسبة (Absolute Zero Reasoner مع LoRA) على اختبارات الكود والرياضيات المحجوزة.

الأداء في المهام اللاحقة

اختبارات الكود: تفوق متوسط السكان على الخط الأساسي في HumanEval+ (78.7 مقابل 76.8)، وMBPP+ (70.8 مقابل 69.3)، وLiveCodeBench (27.0 مقابل 17.3).
اختبارات الرياضيات: رغم عدم وجود إشراف مباشر للرياضيات (المُتحقق هو منفذ كود)، أظهر السكان مكاسب متسقة خارج النطاق (out-of-domain) في AIME 24/25، وAMC 23، وMATH-500، وMinerva، وGSM8K، وOlympiadBench.
متانة السكان: حتى أضعف عضو في مجموعة (4T+4S) تفوق على الخط الأساسي أحادي الوكيل في المقاييس الإجمالية، مما يشير إلى أن التطور المشترك يرفع مستوى السكان بأكملهم ولا يركز المكاسب في عدد قليل من المتخصصين فقط.

ديناميكيات التدريب

تجنب الانهيار: بينما ارتفع معدل حل الخط الأساسي أحادي الوكيل بشكل رتيب ليصل إلى مستويات شبه مثالية (مما يشير إلى أنه وجد مشكلات سهلة)، تذبذب معدل حل السكان. هذا التذبذب يشير إلى سباق تسلح حقيقي: فمع تحسن الطلاب، يولد المعلمون مشكلات أصعب، مما يؤدي إلى انخفاض معدلات الحل، وهو ما يجبر الطلاب على مزيد من التكيف.
نمو التعقيد: أظهرت القياسات المباشلة لتعقيد المشكلات (عمق AST، التعقيد الدوري، عدد أسطر الكود) أن اتجاه الخط الأساسي كان تنازليًا (تبسيط المشكلات)، بينما كان اتجاه السكان تصاعديًا طوال فترة التدريب.
التغطية: حافظ السكان على توسيع نطاق تغطية مساحة المشكلات (مقاسًا عبر أرشيفات CVT)، بينما انهار الخط الأساسي إلى برامج تافهة (مثل return number * 3) بحلول الخطوة 100.

الأهمية والادعاءات

تدعي الورقة أن عدم التماثل الهيكلي (فصل المقترح عن الحلّال) هو المحرك الأساسي لتجنب المعايرة الذاتية، ولكن ديناميكيات السكان ضرورية لاستدامة سباق التسلح التطوري المشترك.

القابلية للتوسع: من خلال استخدام محولات LoRA وتطور فضاء الأوزان، يحقق PopuLoRA مجموعة من 8 محولات (4 معلمون + 4 طلاب) على عقدة واحدة بتكلفة زمنية (wall-clock cost) تبلغ 1.31 ضعفًا فقط مقارنة بوكيل خط أساس واحد، وذلك بفضل دعم vLLM لتجميع (batching) تعدد الـ LoRA.
التعميم: توضح الطريقة أنه يمكن إنشاء منهج تعليمي بشكل مستقل باستخدام مُتحقق برمجِي فقط، دون الاعتماد على مجموعات بيانات منسقة بشريًا أو نطاقات صعوبة ثابتة.
التواضع: يشير المؤلفون إلى القيود، بما في ذلك استخدام مقياس نموذج أساسي واحد ونطاق مُتحقق واحد (تنفيذ Python). ويذكرون أن من المفتوح معرفة ما إذا كانت هذه الديناميكيات ستنتقل إلى مقاييس النماذج الأساسية الأخرى أو النطاقات ذات المُتحققات الأضعف. يركز العمل على آلية التطور المشترك بدلاً من الادعاء بالتفوق المطلق على جميع طرق RLVR.