🤖 AI

CoRe-Code: Collaborative Reinforcement Learning for Code Generation

يُعد CoRe-Code إطار عمل للتعلم التعزيزي التعاوني يوظف وكلاء "مخطط" (Planner) و"مبرمج" (Coder) متخصصين في الأدوار، معززين بخوارزمية تحسين السياسة النسبية للمجموعة (GRPO)، للتغلب على قيود فك الترميز ذاتي الانحدار وتحسين دقة وكفاءة توليد الكود عبر المهام المعقدة.

المؤلفون الأصليون: Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Xiaoyu Xia, Sumon Biswas

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhihao Dou, Qinjian Zhao, Zhongwei Wan, Xiaoyu Xia, Sumon Biswas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء قطعة أثاث معقدة، مثل رف كتب، ولكن ليس لديك مخطط هندسي. أنت فقط تبدأ بدق المسامير ولصق الخشب معاً، آملًا أن يبدو الشكل صحيحاً أثناء العمل. هكذا تعمل معظم مولدات الأكواد البرمجية الحالية بالذكاء الاصط الاصطناعي. إنها تكتب الكود كلمة بكلمة (أو "رمزاً تلو الآخر")، مما يؤدي غالباً إلى بنية تبدو جيدة للوهلة الأولى، لكنها تنهار عندما تحاول استخدامها. قد تكون متماسكة محلياً (الكلمات منطقية) ولكنها مكسورة عالمياً (الرف لن يحمل الكتب).

تقدم الورقة البحثية CoRe-Code، وهي طريقة جديدة لتعليم الذكاء الاصطناعي كيفية كتابة الكود من خلال العمل كـ طاقم بناء يتكون من دورين متميزين: المخطط والمبرمج.

المشكلة: نهج "المطرقة أولاً"

نماذج الذكاء الاصطناعي الحالية تشبه المتدربين المتحمسين الذين يمسكون بالمطرقة فوراً. قد يبنون رجلاً قوية للطاولة، لكنهم يدركون لاحقاً أنهم نسوا صنع سطح الطاولة. أو قد يبنون طاولة تعمل، لكن الأمر يستغرق 100 عام لتجميعها لأنهم لم يخططوا للخطوات بكفاءة.

الحل: المهندس والمعماري والبنّاء

يقسم CoRe-Code العمل إلى وكيلين متخصصين:

المخطط (المهندس المعماري): قبل كتابة أي كود، يقوم هذا الوكيل برسم مخطط تفصيلي. هو لا يكتب الكود نفسه؛ بل يكتب وصفة خطوة بخطوة تسمى "التفكير الخوارزمي" (Algorithmic Thought). هذه الوصفة تفكك المشكلة إلى أجزاء واضحة:
- المدخلات/المخرجات: بماذا نبدأ، وماذا نحتاج أن نصل إليه في النهاية؟
- الخطوات الخطية: المسار المستقيم من البداية إلى النهاية.
- الشروط: "إذا حدث هذا، افعل ذاك".
- الحلقات التكرارية: "كرر هذا الإجراء حتى ننتهي".
المبرمج (البنّاء): يأخذ هذا الوكيل مخطط المهندس المعماري ويقوم فعلياً ببناء الأثاث (كتابة الكود). مهمته الوحيدة هي اتباع الخطة بأمانة وكفاءة.

السر الخفي: التعلم من خلال الممارسة (التعلم التعزيزي)

السحر الحقيقي في CoRe-Code ليس مجرد وجود وكيلين؛ بل في كيفية تعلمهما العمل معاً.

تخيل معسكراً تدريبياً حيث يتدرب المهندس المعماري والبنّاء معاً.

يرسم المهندس المعماري خطة.
يحاول البنّاء بناءها.
الاختبار: يضعون المنتج النهائي في "مختبر اختبار" (تشغيل الكود مقابل مشكلات واقعية).
التغذية الراجعة:
- إذا كان الكود يعمل بشكل مثالي وسريع، يحصل كلاهما على درجة عالية.
- إذا فشل الكود، يبحث النظام عن السبب. هل أخطأ البنّاء في تنفيذ التعليمات؟ أم أن المهندس المعماري قدم مخططاً سيئاً؟

تستخدم الورقة طريقة تدريب خاصة تسمى GRPO (تحسين السياسة النسبي للمجموعات). فكر في هذا كمدرب يقارن بين فرق مختلفة من أزواج (المهندس المعماري/البنّاء). إذا أدت خطة الفريق (أ) إلى طاولة متينة وأدت خطة الفريق (ب) إلى طاولة مهتزة، يخبر المدرب الفريق (أ): "عمل رائع، استمروا على هذا النهج"، ويقول للفريق (ب): "المخطط كان هو المشكلة؛ حاولوا نهجاً مختلفاً".

الأهم من ذلك، أن المهندس المعماري يتعلم بشكل غير مباشر. هو لا يحصل على درجة مقابل الرسم نفسه؛ بل يحصل على درجة بناءً على مدى قدرة البنّاء على تنفيذ ذلك الرسم. هذا يجبر المهندس المعماري على كتابة خطط مفيدة فعلياً، وليست مجرد خطط تبدو جميلة.

ما وجدوه

اختبر الباحثون فريق "المخطط-البنّاء" هذا في عدة تحديات برمجية صعبة (مثل فرز قوائم الأرقام أو حل ألغاز رياضية معقدة).

دقة أفضل: حل فريق CoRe-Code مشكلات أكثر بشكل صحيح مقارنة بطرق الذكاء الاصطناعي الأخرى، بما في ذلك تلك التي تستخدم "سلسلة الأفكار" (التحدث مع النفس) أو أنظمة الوكلاء المتعددة الأخرى.
الكفاءة: الكود الذي كتبوه لم يكن صحيحاً فحسب، بل كان أسرع ويستهلك ذاكرة حاسوبية أقل.
المرونة: أظهر الفريق أن أسلوب تعلم "المخطط-البنّاء" هذا ليس مقتصرًا على نوع واحد من المهام. لقد طبقوه بنجاح على فرق ذكاء اصطناعي أخرى تتضمن "وكلاء الاسترجاع" (الذين يجدون المعلومات) و"وكلاء التصحيح" (الذين يصلحون الأخطاء)، مما يثبت أن هذه الطريقة هي أداة متعددة الاستخدامات لأي طاقم بناء ذكاء اصطناعي.

باختالاختصار

CoRe-Code يشبه ترقية الذكاء الاصطناعي من عامل منفرد يخمن الخطوات، إلى طاقم بناء محترف يتكون من مهندس معماري وبنّاء مخصصين يتدربان معاً. من خلال مكافأتهم بناءً على النتيجة النهائية الناجحة، يتعلمون التواصل بشكل أفضل، والتخطيط بذكاء أكبر، وبناء كود يعمل بالفعل.

ملخص تقني: CoRe-Code

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات قوية في توليد الأكواد، لكنها غالبًا ما تعتمد على فك التشفير التلقائي (autoregressive decoding) دون تخطيط عالمي. هذه الآلية للتوليد المتسلسل على مستوى الرمز (token-level) تنتج غالبًا مخرجات متماسكة محليًا ولكنها غير مثالية عالميًا، مما يؤدي إلى الفشل في حالات الاختبار أو عدم كفاءة التعقيد الخوارزمي. وبينما تحاول النهج الحديثة مثل "سلسلة الأفكار" (Chain-of-Thought - CoT) والأنظمة متعددة الوكلاء (Multi-Agent Systems - MAS) إدخال التخطيط، إلا أنها غالبًا ما تعاني من تخصص أدوار محدود وتنسيق ضعيف. إن أطر الأنظمة متعددة الوكلاء الحالية، حيث تقدم الوكلاء المساعدون (مثل المخططين أو المسترجعين) التوجيه إلى "المبرمج" المركزي، غالبًا ما تحقق مكاسب طفيفة فقط أو حتى "مكاسب تعاون" سلبية، مما يشير إلى أن الوكلاء المساعدين يفشلون في دعم المبرمج بفعالية.

المنهجية

يقترح المؤلفون CoRe-Code (التعزيز التعاوني للأكواد)، وهو إطار عمل مصمم لتعزيز التنسيق بين الوكلاء وتخصص الأدوار من خلال نهج تعزيز تعلم تعاوني مدرك للتعاون. يعمل الإطار تحت نموذج المخطط–المبرمج (Planner–Coder paradigm) ويستخدم تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO) مع مكافآات قابلة للتحقق.

1. الفكر الخوارزمي

لهيكلة عملية التخطيط، يقدم الإطار الفكر الخوارزمي (Algorithmic Thought)، وهو تمثيل مهيكل لمخرجات وكيل المخطط. مستلهمًا من أعمال سابقة، يفكك هذا التمثيل الاستدلال إلى أربعة مكونات أساسية:

تعريف المدخلات والمخرجات: يوضح الأهداف الوظيفية.
التسلسل الخطي: يحدد الخطوات الحسابية المتتالية.
المنطق الشرطي: يحدد قرارات التفرع.
التكرار: يصف الحسابات المتكررة.
يتماشى هذا الهيكل مع دلالات البرمجة، مما يوفر توجيهًا أوضح للمبرمج.

2. إطار عمل GRPO التعاوني

يستخدم CoRe-Code عملية تعلم تعزيزي مكونة من مرحلتين لتحسين وكيل المخطط والمبرمج بشكل مشترك، باستخدام نتائج تنفيذ الكود النهائية كمكافآت قابلة للتحقق بدلاً من المكافآت الوكيلية غير القابلة للتحقق.

التعلم التعزيزي لتخصص المخطط:
- يقوم المخطط بتوليد $N$ من الأفكار الخوارزمية المتميزة.
- يقوم المبرمج (المجمد خلال هذه المرحلة) بترجمة هذه الأفكال إلى كود.
- المكافآت: يتم تقييم جودة الفكرة بناءً على الدقة (معدل اجتياز حالات الاختبار) والتعقيد الزمني للكود الناتج. يستخدم نظام وزن يعتمد على الدالة السينية (sigmoid) لتعيين مكافآت أعلى للأفكار التي تؤدي إلى كود يجتاز المزيد من الاختبارات وله تعقيد أقل.
- يتم تحديث المخطط لتعظيم هذه المكافآت، بحيث يتعلم توليد خطط تدعم عملية تركيب الكود لاحقًا بشكل أفضل.
التعلم التعزيزي لتخصص المبرمج:
- يقوم المخطط المتخصص بتوليد فكر خوارزمي عالي الجودة.
  تعداد المبرمج عدة مقاطع برمجية بناءً على هذا الفكر.
- المكافآت: يتم مكافأة المبرمج على الدقة (اجتياز حالات الاختبار) وكفاءة المساحة. يتم تعيين مكافأة كفاءة المساحة إذا اجتاز الكود جميع الاختبارات، مما يشجع على التنفيذات التي تقترب من استهلاك ذاكرة مستهدف ( $O_{target}$ ) مشتق من أفضل مقطع برمجي أداءً.
- يتم تحديث المبرمج ليتوافق بشكل أفضل وينفذ تعليمات المخطط بأمانة.

3. مكسب التعاون (CG)

يعرف البحث مكسب التعاون (Collaboration Gain - CG) كمقياس لتحديد المساهمة الفعالة للوكلاء المساعدين في أداء المبرمج. يهدف CoRe-Code إلى تعظيم هذا المكسب من خلال ضمان أن مخرجات المخطط تحسن مباشرة معدل نجاح المبرمج.

المساهمات الرئيسية

إطار عمل CoRe-Code: إطار عمل تعلم تعزيزي جديد مدرك للتعاون يحسن الوكلاء المتخصصين في الأدوار (المخطط والمبرمج) باستخدام التغذية الراجعة القابلة للتحقق من التنفيذ.
الفكر الخوارزمي: تمثيل تخطيطي مهيكل يفكك الاستدلال الخوارزمي إلى تعريفات المدخلات والمخرجات، والتسلسل الخطي، والمنطق الشرطي، والتكرار، مما يحسن قابلية التفسير والتنفيذ للخطط.
GRPO التعاوني: امتداد لـ GRPO يقوم بتحسين المخطط والمبرمج بشكل مشترك. يستخدم تنفيذ الكود (الدقة والتعقيد) كمكافآت قابلة للتحقق لتدريب المخطط، مما يحل تحدي تحسين الخطط الوسيطة التي يصعب التحقق منها بمعزل عن بعضها.
القدرة على التعميم: إثبات أن الإطار يمتد إلى ما وراء نموذج المخطط–المبرمج لتحسين الوكلاء الآخرين في الأنظمة متعددة الوكلاء، مثل وكلاء الاسترجاع والتصحيح ضمن إطار عمل MapCoder.

النتائج التجريبية

قيم المؤلفون CoRe-Code على أربعة معايسات (LiveBench, MBPP, CodeContests, CodeForces) باستخدام ثلاثة نماذج أساسية (Qwen2.5-7B-Coder-Instruct, Qwen2.5-14B-Coder-Instruct, و Qwen3-4B).

الأداء: تفوق CoRe-Code باستمرار على النماذج المرجعية القائمة على التعلم التعزيزي (GRPO, Focused-DPO, CURE, CodeRL+) والأنظمة متعددة الوكلاء (SCoT, Reflexion, MapCoder) عبر جميع المقاييس، بما في ذلك Pass@1 و Pass@5 ومتوسط معدل الاجتياز (APR).
الكفاءة: حقق الإطار كفاءة أعلى من حيث وقت التنفيذ واستخدام الذاكرة مقارنة بالنماذج المرجعية.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من مكوني RL للمخطط أو RL للمبرمج إلى تدهور الأداء، مما يؤكد أن التحسين المشترك يوفر فوائد متكاملة.
التوسع: عند تطبيقه على MapCoder، أدى تعزيز وكلاء الاسترجاع أو التصحيح بشكل مستقل باستخدام CoRe-Code إلى تحسين الأداء مقارنة بنموذج MapCoder الأصلي، خاصة في مهام البرمجة التنافسية المعقدة.
ديناميكيات التدريب: أظهر التحليل اتجاهًا تصاعديًا ثابتًا في مكسب التعاون (CG) أثناء التدريب، مما يشير إلى تحسن التنسيق بين الوكلاء.

الأهمية والادعاءات

يزعم البحث أن CoRe-Code يمثل أحد أول أطر العمل متعددة الوكلاء القائمة على التعلم التعزيزي الموجه بالتحقق. تكمن أهميته في:

معالجة "فجوة التنسيق" في الأنظمة متعددة الوكلاء حيث يفشل الوكلاء المساعدون غالبًا في تقديم دعم جوهري للمبرمج.
إثبات أن استخدام نتائج التنفيذ القابلة للتحقق (بدلاً من المكافآت الوكيلية) يسمح بالتدريب الفعال لوكلاء التخطيط.
إظهار أن التعاون المتخصص في الأدوار، عند تحسينه عبر التعلم التعزيزي، يؤدي إلى توليد أكواد أكثر دقة وكفاءة وقابلية للصيانة عبر مستويات صعوبة متفاوتة.
تسليط الضوء على المرونة، حيث لا يقتصر النهج على نموذج المخطط–المبرمج بل يمكن تكييفه لتحسين وكلاء متنوعين في سير عمل الأنظمة متعددة الوكلاء الأوسع.

يشير المؤلفون إلى وجود قيود، بما في ذلك الاعتماد على نماذج مفتوحة المصدر محددة وتنسيق تفاعل ثابت، مما يقترح أن العمل المستقبلي يمكن أن يستكشف أساليب تواصل أكثر تنوعًا بين الوكلاء وعائلات نماذج مختلفة.