Combinatorial Synthesis: Scaling Code RLVR via Atomic Decomposition and Recombination
تقدم هذه الورقة البحثية "التفكيك وإعادة التركيب الذري" (ADR)، وهو إطار عمل مبتكر يتغلب على ندرة مهام الكود البرمجي القابلة للتحقق والصعبة لتعزيز التعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR)، وذلك من خلال تفكيك وإعادة تركيب العناصر الذرية بشكل منهجي لتوليد بيانات تدريب عالية الجودة ومتنوعة تعزز بشكل كبير قدرات النماذج اللغوية الكبيرة في البرمجة عبر مجالات مختلفة.
المؤلفون الأصليون:Jiasheng Zheng, Boxi Cao, Boxi Yu, Yuzhong Zhang, Jialun Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun
تخيل أنك تحاول تعليم روبوت كيفية كتابة كود برمجي. أفضل طريقة للقيام بذلك هي إعطاء الروبوت كومة ضخمة من الألغاز البرمجية، وتركه يحاول حلها، ثم إخباره فوراً: "نعم، لقد نجح ذلك!" أو "لا، لقد فشل ذلك". تسمى هذه الطريقة التعلم المعزز بالمكافآت القابلة للتحقق (RLVR).
ومع ذلك، هناك مشكلة رئيسية، وهي صعوبة العثور على عدد كافٍ من الألغاز الجيدة:
إذا كانت الألغاز سهلة للغاية، فلن يتعلم الروبوت أي شيء جديد.
إذا كانت صعبة للغاية أو معطلة، فسيصاب بالارتباك.
معظم الطرق الحالية لصنع ألغاز جديدة تشبه آلة التصوير الضوئي (Photocopier)؛ فهي تأخذ لغزاً موجوداً بالفعل، وتغير بعض الكلمات أو تستبدل رقماً، وتسمي ذلك "جديداً". لكن الروبوت يدرك بسرعة أن هذه مجرد حيل قديمة، فيتوقف عن التعلم.
يقدم البحث إطار عمل جديداً يسمى ADR (التفكيك وإعادة التركيب الذري) لحل هذه المشكلة. وإليك كيف يعمل، مشروحاً عبر تشبيهات بسيطة:
1. الطريقة القديمة: "آلة التصوير الضوئي"
تخيل أن لديك وصفة لكعكة الشوكولاتة. الطريقة القديمة (التوسع الاستدلالي) ستأخذ تلك الوصفة وتغير فقط كلمة "شوكولاتة" إلى "فراولة" أو "كعكة" إلى "فطيرة". يبدو الأمر مختلفاً، لكن منطق الخبز هو نفسه تماماً. الروبوت يتعلم التعرف على النمط، لكنه لا يتعلم كيف يخبز فعلياً.
2. طريقة ADR: "سيد الليغو"
تعامل ADR المشكلات البرمجية مثل صندوق من قطع الليغو. بدلاً من نسخ قلعة كاملة، تقوم بتفكيك القلعة إلى أصغر قطع فردية ("التفكيك الذري").
الخطوة 1: التفكيك (Decomposition) يأخذ النظام بضعة مشكلات برمجية حقيقية ويفككها إلى "عناصرها الذرية" الأساسية.
التشبيه: بدلاً من النظر إلى سيارة كاملة، فإنه يحدد المحرك، والعجلات، وعجلة القيادة، والمكابح كأجزاء منفصلة ومتميزة.
يستخدم النظام فحصاً ذكياً يعتمد على "نظرية المعلومات" للتأكد من امتلاكه المزيج الصحيح من القطع. إذا كان لديه الكثير من القطع الحمراء ولا يوجد لديه أي قطع زرقاء، فإنه يعدل المجموعة.
الخطوة 2: بناء شيء جديد (Recombination) الآن، بدلاً من النسخ، يقوم النظام بجلب محرك عشوائي، ومجموعة مختلفة من العجلات، وآلية توجيه فريدة لبناء مركبة جديدة تماماً.
التشبيه: قد يجمع بين محرك قارب وهيكل سيارة لإنشاء مركبة هوائية (Hovercraft). هذا "مزيج جديد حقاً"، ولأن الأجزاء سليمة منطقياً، فإن المركبة الجديدة تعمل بالفعل.
الخطوة 3: اختبار الإجهاد (Validation) قبل إعطاء اللغز للروبوت، تقوم ADR ببناء "مختبر اختبار". فهي تكتب حلاً ثم تحاول كسر هذا الحل.
التشبيه: تخيل وجود مفتش سلامة يحاول صدم المركبة الهوائية الجديدة. إذا تحطمت المركبة لأن المفتش وجد نقطة ضعف، تقوم ADR بإصلاح التصميم وتجعل الاختبار أصعب. تستمر في ذلك حتى تصبح المركبة "مضادة للرصاص". هذا يضمن أن اللغز قابل للحل ولكنه يتسم بالتحدي.
الخطوة 4: فخ "الاقتراب من الخطأ" تقوم ADR أيضاً بإنشاء حلول "خادعة" تبدو صحيحة ولكنها خاطئة في الواقع (مثل مركبة هوائية تبدو رائعة ولكن ليس لها محرك). ثم تقوم بتحديث مختبر الاختبار ليتمكن خصيصاً من كشف هذه الخدع. هذا يعلم الروبوت أن يكون دقيقاً للغاية.
لماذا يهم هذا؟
اختبر البحث منهج "سيد الليغو" هذا مقابل طرق "آلة التصوير الضوئي" القديمة.
ألغاز أفضل: كانت الألغاز الجديدة أكثر أصالة، وأكثر صعوبة، وتغطي مجموعة أوسع من المواضيع (مثل الخوارزميات، استخدام الأدوات، وعلوم البيانات).
روبوتات أذكى: عندما استخدموا هذه الألغاز الجديدة لتدريب نماذج ذكاء اصطناٍ مختلفة، تحسنت الروبوتات بشكل ملحوه أكثر بكثير مما حدث عند استخدام الطرق القديمة.
النتيجة: في اختبار برمجي قياسي، لم تحقق الطرق القديمة سوى تحسن طفيف في درجة الروبوت. أما طريقة ADR فقد رفعت النتيجة بنسبة تقارب 5% (وهي قفزة هائلة في هذا المجال)، مما يثبت أن الروبوت تعلم بالفعل مهارات استنتاج أعمق، وليس مجرد حفظ الأنماط.
الخلاصة
يزعم البحث أنه من خلال تفكيك المشكلات البرمجية إلى أصغر أجزائها المنطقية وخلطها بطرق جديدة ومنضبطة، يمكننا توليد إمداد لا ينتهي من الألغاز عالية الجودة والمثيرة للتحدي. وهذا يسمح للذكاء الاصطناهي بتعلم كيفية البرمجة بشكل أسرع وأكثر فعالية من ذي قبل، دون الحاجة إلى كتابة البشر لكل لغز يدوياً.
ملخص تقني: التركيب التوافقي عبر التفكيك الذري وإعادة التجميع (ADR)
بيان المشكلة
أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) حجر الزاوية لتعزيز قدرات البرمجة لدى النماذج اللغوية الكبيرة (LLMs). ومع ذلك، فإن قابلية التوسع في RLVR تعاني من اختناق شديد بسبب ندرة المهام البرمجية القابلة للتحقق والتي تتسم بالتحدي الكافي لاستهداف "حافة كفاءة" النموذج. تعتمد طرق توليد البيانات الموجودة بشكل أساسي على التوسيع الهيورستي (الاستدلالي) للبذور (مثل التلقين داخل السياق أو التلقين المتكرر) من مجموعات البيانات الواقعية. وبينما تزيد هذه الطرق من التنوع اللغوي، إلا أنها تفشل في توسيع التنوع المنطقي وصعوبة المهام لأنها تحافظ على الهياكل التركيبية الأصلية لبيانات البذور. ونتيجة لذلك، غالبًا ما تؤدي هذه البيانات إلى تشبع مبكر للمكافأة أثناء تدريب RL وتفشل في إنتاج تحسينات حقيقية في قدرات الاستدلال.
المنهجية: التفكيك الذري وإعادة التجميع (ADR)
يقترح المؤلفون إطار عمل التفكيك الذري وإعادة التجميع (ADR)، وهو إطار مصمم لتوليد مهام برمجية جديدة وتحديات حقيقية من خلال تقاطع العناصر الأولية المتعامدة بدلاً من مجرد الاستقراء من الأمثلة الموجودة. يعمل الإطار من خلال عملية مغلقة الحلقة تتكون من خمس مراحل:
استخراج العناصر (التفكيك الذري):
يحدد النظام مخططات عناصر خاصة بالمهمة (على سبيل المثال، للمهام الخوارزمية: فكرة الخوارزمية الأساسية، خلفية القصة، تنوع الاستراتيجية، مستوى الصعوبة).
يستخدم تحسين مخطط العناصر الموجه بالمعلومات (ESO) لتنقيح هذه المخططات بشكل تكراري. باستخدام إشارات نظرية المعلومات (الاعتلاج والمعلومات المتبادلة الشرطية)، يقوم النظام تلقائيًا بتقسيم العناقيد شديدة التركز، ودمج العناقيد المتفرقة، وتصفية العناصر بناءً على مساهمتها المعلوماتية الهامشية في تعقيد المهمة.
إعادة التجميع المحكوم:
لتجنب التركيبات غير القابلة للحل أو المتناقضة، يقوم النظام بتثبيت التوليد حول "عنصر أساسي" تم اختياره لامتلاكه محتوى معلوماتي عالٍ وارتباط ضئيل.
يقوم نموذج لغوي كبير (LLM) بتوليد تركيبات عناصر جديدة من خلال الرجوع إلى مجموعة صغيرة من تركيبات الأمثلة، مما يضمن التماسك الدلالي مع استكشاف الفضاء التوافقي للعناصر الذرية.
توليد المشكلات القائم على القوالب:
يتم تحويل تركيبات العناصر الجديدة إلى مشكلات برمجية محددة جيدًا باستخدام قوالب معدة مسبقًا. تتجنب هذه الخطوة الغموض الشائع في التوليد الحر من خلال تحديد حقول مثل الأوصاف، وتنسيقات الإدخال/الإخراج (I/O)، والقيود بدقة.
التحقق القائم على التنفيذ:
يتم التحقق من المشكلات المولدة عن طريق إنشاء حلول مرجعية ومولدات لحالات الاختبار.
يقوم النظام بتنفيذ حالات الاختبار المولدة في بيئة معزولة (sandbox)، مع الاحتفاظ فقط بالمشكلات التي ينجح فيها الحل المرجعي في اجتياز جميع الاختبارات (Valid(Q) = 1).
صقل فضاء الحلول العدائية (ASSR):
لتعزيز تغطية الاختبار والمتانة، يقوم النظام بتوليد حلول "شبه ناجحة" (أكواد معيبة تتجاهل الحالات الحدية أو تضع افتراضات خاطئة).
يحسب النظام "معدل شبه النجاح" (نسبة الحلول المعيبة التي تجتاز الاختبارات الحالية عن طريق الخطأ).
يتم تحسين مولد حالات الاختبار بشكل تكراري لزيادة معدل فشل هذه الحلول "شبه الناجحة"، مما يضمن أن مجموعة الاختبار النهائية تمييزية وتغطي الحالات الحدية.
المساهمات الرئيسية
إطار عمل ADR: نموذج جديد ينقل التركيز من التوسيع الهيورستي للبذور إلى التفكيك الذري وإعادة التجميع التركيبي، مما يسمح بتوليد التقاطعات الهيكلية التي لا يمكن الوصول إليها عبر مجرد الاستقراء.
تصنيف التقييم متعدد الأبعاد: يضع المؤلفون إطار تقييم شامل للبيانات الاصطناعية، يدمج مقاييس الأصالة (الجدة بالنسبة لمجموعات البيانات المرجعية)، والصعوبة (بناءً على أداء النموذج المرجعي)، والتنوع (انتظام توزيع البيانات)، وجودة الاختبار (تنوع وتغطية الحدود).
التحقق التجريبي: تُظهر التجارب المكثفة أن البيانات المولدة عبر ADR تتفوق بشكل كبير على الخطوط المرجعية الموجودة (مثل KodCode وEducational Instruct) عبر أبعاد متعددة ومهام RLVR هابطة.
النتائج التجريبية
قيم المؤلفون إطار ADR عبر مجالات البرمجة الخوارزمية، واستخدام الأدوات، وعلوم البيانات باستخدام نماذج أساسية تشمل Qwen2.5-Coder-7B وLlama-3.1-8B وQwen3-8B.
جودة البيانات: حقق ADR درجات متفوقة في جميع مقاييس التقييم. والجدير بالذكر أنه حقق درجة أصالة بلغت 28.91، متفوقًا بشكل كبير على أقوى خط مرجعي، وهو Educational Instruct (6.04). ومن حيث الصعوبة، سجل ADR 71.89 مقارنة بـ 20.14 لـ Educational Instruct.
أداء RLVR:
في اختبار LCB-v5، رفع ADR أداء Qwen2.5-Coder-7B إلى 25.37% في Pass@1، متجاوزًا أفضل خط مرجعي (KodCode) بنسبة 22.75%، والخط المرجعي للبيانات الواقعية (TACO) بنسبة 22.60%.
والأهم من ذلك، أظهر ADR القدرة على توسيع حدود الاستدلال للنموذج. فبينما أظهرت الخطوط المرجعية مكاسب طفيفة في Pass@8 (على سبيل المثال، +0.60% لـ TACO)، حقق ADR تحسنًا بنسبة +4.79%، مما يشير إلى نجاحه في استهداف حدود قدرة النموذج.
أظهر الإطار قدرة قوية على التعميم، محققًا تحسينات متسقة عبر بنيات النماذج الأساسية المختلفة ومجالات المهام (بما في ذلك استخدام الأدوات وعلوم البيانات).
ديناميكيات التدريب: كشف تحليل منحنيات التدريب أن ADR يحافظ على معايير ثابتة لمتجه تدرج العامل (actor gradient norms) ونمو أعلى في تباعد KL مقارنة بالخطوط المرجعية. يشير هذا إلى أن ADR يوفر تدفقًا مستمرًا من الإشارات المعلوماتية التي تمنع التقارب المبكر وتدعم تطور السياسة المستمر.
الأهمية والادعاءات
يزعم البحث أن ADR يعالج عيبًا جوهريًا في أبحاث RLVR الحالية: عدم قدرة طرق التوسيع الهيورستية على توليد مهام تتسم بالجدة والتحدي الكافي في آن واحد. ومن خلال تفكيك المهام إلى عناصر ذرية وإعادة تجميعها، يتجاوز ADR الحدود التوزيعية لبيانات البذور.
يؤكد المؤلفون أن عملهم يوفر نموذجًا قابلاً للتوسع لتوليد بيانات برمجية عالية الجودة، متجاوزًا الاعتماد على المجموعات المحدودة من البيانات الواقعية أو المنسقة. ويخلصون إلى أن ADR يمكّن تدريب الجيل القادم من نماذج البرمجة اللغوية الكبيرة عبر توليد مهام تدفع حدود أداء النموذج، مما يؤدي فعليًا إلى توسيع "حد القدرة" بدلاً من مجرد زيادة كثافة أخذ العينات. ويُقدم الإطار كعملية مؤتمتة بالكامل وقابلة للتكيف مع مهام برمجية متنوعة بأقل قدر من بيانات البذور.