🤖 AI

MURPHY: Feedback-Aware GRPO with Retrospective Credit Assignment for Multi-Turn Code Generation

تقدم الورقة البحثية MURPHY، وهو امتداد متعدد الخطوات لـ Group Relative Policy Optimization (GRPO)، والذي يستخدم أشجار التدفق (rollout trees) المشروطة بالتغذية الراجعة وتخصيص الائتمان الاسترجاعي لتحسين توليد الكود ذاتي التصحيح بشكل كبير من خلال نشر المكافآت من عمليات التحسين الناجحة إلى المحاولات المعلوماتية السابقة.

المؤلفون الأصليون: Chanakya Ekbote, Vijay Lingam, Sujay Sanghavi, Jun Huan, Behrooz Omidvar-Tehrani, Anoop Deoras, Stefano Soatto

نُشر 2026-05-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chanakya Ekbote, Vijay Lingam, Sujay Sanghavi, Jun Huan, Behrooz Omidvar-Tehrani, Anoop Deoras, Stefano Soatto

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية حل لغز معقد، مثل كتابة برنامج كمبيوتر.

الطريقة القديمة (خطأ "المحاولة الواحدة")
تقليديًا، كنت تطلب من الروبوت حل اللغز. إذا أخطأ، قد تكتفي بقول "حاول مجددًا"، وتتركه يخمن حلاً جديدًا تمامًا من الصفر. أو في إعدادات أكثر تقدمًا، قد يرى الروبوت خطأه ويحاول إصلاحه أثناء الاختبار، لكن الروبوت نفسه لن يتعلم فعليًا كيف يصحح أخطاءه بشكل أفضل في المستقبل. كان الأمر يشبه طالبًا يؤدي اختبارًا، ووضع المعلم علامة "X" حمراء على سؤال، ثم نسي الطالب الدرس فورًا قبل الاختبار التالي.

المشكلة في طرق "التعلم" الحالية
تسمح الطرق الأحدث للروبوت بالمحاولة، والفشل، ورؤية رسالة الخطأ، ثم المحاولة مرة أخرى. هذا يعمل، لكن "المعلم" (خوارزمية التدريب) يتسم ببعض الخرق.

السيناريو: يحاول الروبوت حلاً، يفشل، وتخبره رسالة الخطأ بالضبط لماذا فشل (على سبيل المثال: "لقد نسيت التعامل مع الأرقام السالبة"). يستخدم الروبوت ذلك الخيط لإصلاح الكود وينجح.
المعلم الخرق: طريقة التدريب القديمة تقول: "عمل رائع على النجاح النهائي!" لكنها تعطي صفرًا من التقدير للمحاولة الأولى الفاشلة. إنها لا تدرك أن الفشل الأول كان مفيدًا لأن الخطأ قدم الخيط المحدد اللازم لحل المشكلة. إنها تعامل الفشل كأنه ضياع تام للوقت.

إليك MURPHY: المعلم "المحقق الذكي"
يقدم البحث MURPHY، وهي طريقة جديدة لتدريب هذه الروبوتات. فكر في MURPHY كمحقق ينظر إلى القصة بأكملها، وليس فقط إلى النهاية.

بناء "شجرة المحاولات": بدلاً من مجرد محاولة واحدة، يسمح MURPHY للروبوت بالتفرع.
- الفرع (أ): يحاول الروبوت حلاً، يفشل.
- التحول: يأخذ MURPHY هذا الفشل، ورسالة الخطأ، والسؤال الأصلي، ويطلب من الروبوت المحاولة مجددًا خصيصًا لإصلاح هذا الخطأ.
- الفرع (ب): يستخدم الروبوت خيط الخطأ لإصلاح الكود وينجح.
إعادة لف الشريط (الائتمان الاسترجاعي): هذا هو الجزء السحري. بمجرد نجاح الروبوت في الفرع (ب)، يعود MURPHY للوراء في الزمن. ويقول: "انتظر لحظة! الفرع (ب) نجح فقط لأن الفرع (أ) منحنا ذلك الخيط المحدد للخطأ. لذا، يستحق الفرع (أ) التقدير أيضًا!"
- إنه يشبه محققًا يدرك أن خطأ المشتبه به الأولي (ترك بصمة إصبع) كان في الواقع الدليل الرئيسي الذي أدى إلى القبض عليه. لم تكن بصمة الإصبع حركة "سيئة"؛ بل كانت خطوة ضرورية للوصول إلى الحل.
طريقتان لإعطاء الائتمان:
- MARS (المتفائل): إذا نجحت أي من محاولات المتابعة للروبوت، فإن MARS يمنح ائتمانًا كاملاً للفشل السابق الذي بدأ السلسلة. الأمر يشبه قول: "إذا وجدت الكنز في النهاية، فإن الخريطة التي رسمتها عندما كنت تائهًا كانت قيمة".
- MERS (الواقعي): تعطي هذه الطريقة الائتمان بناءً على متوسط النجاح لجميع محاولات المتابعة. إنها أكثر حذرًا، حيث توزع الائتمان بشكل متوازن.
قطع الأغصان الميتة (التقليم): أحيانًا، يحاول الروبوت الكثير من المتغيرات بحيث تصبح "الشجرة" كبيرة جدًا وبطيئة في المعالجة. يمتلك MURPHY أداة "بستاني" ذكية. ينظر إلى الأغصان ويقطع تلك التي تفعل جميعها الشيء نفسه (لا تتعلم أي شيء جديد). إنه يحتفظ بالأغصان التي تظهر أكبر قدر من التنوع وإمكانات التعلم، مما يوفر الوقت وقوة الحوسبة.

النتائج
اختبر المؤلفون هذا على ثلاثة تحديات برمجية مختلفة باستخدام نوعين من "أدمغة" الروبوت (نماذج).

النتيجة: جعل MURPHY الروبوتات أفضل بكثير في إصلاح الكود الخاص بها.
نقطة التميز: كان التحسن أكبر في المشكلات الصعبة. في المشكلات السهلة، كان الروبوت جيدًا بالفعل. ولكن في المشكلات الصعبة حيث كان على الروبوت أن يفشل، ويتعلم من الخطأ، ثم يحاول مجددًا، ساعد MURPHY الروبوتات على النجاح بنسبة تزيد بنحو 6% عن الطرق السابقة.

باختصار
يعلم MURPHY الذكاء الاصطناعي أن الفشل هو بيانات. إنه يتوقف عن معاملة المحاولة الفاشلة كناتج "سيء" ويبدأ في معاملتها كـ "خطوة ضرورية" إذا وفر ذلك الفشل المعلومات اللازمة للنجاح في النهاية. إنه يعيد صياغة طريقة عمل الذكاء الاصطناعي ليقدر عملية التصحيح الذاتي، وليس فقط الإجابة النهائية.

ملخص تقني: MURPHY – تحسين GRPO المدرك للتغذية الراجعة مع تخصيص الائتمان الاسترجاعي

بيان المشكلة

أصبح التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) نهجًا قياسيًا للتدريب اللاحق للنماذج اللغوية الكبيرة (LLMs) في مهام الاستنتاج، حيث برز تحسين المجموعات النسبي (GRPO) كطريقة رائدة. ومع ذلك، فإن GRPO القياسي ومتغيراته هي بطبيعتها أحادية الدور: فهي تعمل على التحسين بناءً على المكافآت النهائية لأزواج (المطالبة-الاستجابة) المعزولة. هذه البنية غير مناسبة للإعدادات الوكيلية (agentic settings)، لا سيما في توليد الكود البرمجي، حيث يجب على النماذج تحسين الحلول بشكل تكراري استجابةً للتغذية الراجعة من البيئة (مثل أخطاء التنفيذ، أو تتبع المكدس، أو حالات الاختبار الفاشلة).

تعتمد الطرق متعددة الأدوار الحالية غالبًا على آليات مساعدة معقدة، مثل المدققين المتعلمين (µCODE)، أو نقاد PPO (RLEF)، أو سياسات التحقق المنفصلة (REVEAL). ويمثل GRPO-MT خط أساس طبيعي، حيث يوسع GRPO إلى تعدد الأدوار عبر معاملة التفاعلات المشروطة بالتغذية الراجعة كمسارات. ومع ذلك، يعاني GRPO-MT من تخصيص ائتمان فج (coarse credit assignment): فهو يخصص نفس المكافأة النهائية لجميع الرموز (tokens) في المسار، بغض النظر عما إذا كانت المحاولات الفاشلة الوسيطة قد قدمت تغذية راجعة معلوماتية مكنت من عملية تحسين ناجحة لاحقًا. في توليد الكود، لا تكون المحاولة الفاشلة سلبية بشكل موحد؛ فقد تكشف عن حالة حافة (edge case) محددة أو خطأ وقت التشغيل يكون حاسمًا للحل النهائي. وتفشل الطرق الحالية في التمييز بين "الإخفاقات المعلوماتية" و"الإخفاقات غير المعلوماتية" عندما تتشارك في نفس النتيجة النهائية.

المنهجية: MURPHY

قدم المؤلفون MURPHY (التحديث متعدد الأدوار مع تحسين السياسة الاسترجاعي)، وهو امتداد بسيط لـ GRPO مصمم لجعل وصفة التدريب اللاحق القياسية مدركة للتغذية الراجعة دون إدخال نقاد متعلمين أو مدققين مساعدين.

1. أشجار الانتشار المشروطة بالتغذية الراجعة

يبني MURPHY هيكل شجرة لكل مطالبة مدخلة بدلاً من مسار خطي:

الدور الأول: يقوم النموذج بأخذ عينات من مجموعة من البرامج المرشحة.
التنفيذ والتغذية الراجعة: يتم تنفيذ كل مرشح مقابل مجموعة اختبار، مما ينتج عنه مكافأة عددية (مثل معدل النجاح) وتغذية راجعة نوعية (مثل رسائل الخطأ).
التوسع:
- المرشحات التي تم حلها: تنتهي وتصبح عقدًا ورقية (leaf nodes).
- المرشحات الفاشلة: يتم توسيعها. يتم تشكيل مطالبة جديدة عن طريق دمج المهمة الأصلية، والمخرج الفاشل، وتغذية المنفذ الراجعة. يُستدعى النموذج مرة أخرى على هذه المطالبة المشروطة بالتغذية الراجعة لتوليد مجموعة جديدة من التحسينات.
تتكرر هذه العملية لعدد ثابت من الأدوار، مما ينشئ شجرة تمثل فيها الحواف خطوات التحسين المشروطة بتغذية راجعة محددة.

2. تخصيص الائتمان الاسترجاعي

الابتكار الأساسي هو تخصيص الائتمان الاسترجاعي. بعد اكتمال شجرة الانتشار، يتم نشر المكافآت عكسيًا من الأوراق إلى الجذر. وهذا يسمح للتحسينات الناجحة اللاحقة بـ "ائتمان" المحاولات الفاشلة السابقة التي أنتجت تغذية راجعة مفيدة. يقترح البحث استراتيجيتين للنشر:

الحد الأقصى للمكافأة (MARS): دعم متفائل. بالنسبة للعقدة $v$ ، تكون المكافأة المعدلة $\tilde{r}(v)$ هي الحد الأقصى للمكافأة المباشرة $r(v)$ والحد الأقصى للمكافأة المعدلة لأبنائها:
$\tilde{r}(v) = \max\left(r(v), \max_{u \in C(v)} \tilde{r}(u)\right)$
هذا يمنح الائتمان لمحاولة فاشلة إذا كان أي من أحفادها قد حل المهمة في النهاية.
متوسط المكافأة (MERS): دعم قائم على التوقع. يقوم بنشر متوسط مستقبلي مخصوم للمكافآت:
$\tilde{r}(v) = r(v) + \gamma \cdot \frac{\text{mean}_{u \in C(v)} \tilde{r}(u)}{Z(v)}$
حيث $\gamma$ هو عامل الخصم و $Z(v)$ هو حد التقييس (normalization term).

3. تحديث GRPO المحلي

بمجرد تعديل المكافآت، يطبق MURPHY هدف GRPO القياسي محليًا على كل مجموعة استجابة داخل الشجرة. بدلاً من استخدام المكافآت المباشرة، يستخدم المكافآت المعدلة ائتمانيًا ( $\tilde{r}$ ) لحساب المزايا (advantages). هذا يحافظ على بنية خط الأساس النسبية للمجموعة الخاصة بـ GRPO مع دمج الائتمان الزمني من هيكل الشجرة.

4. استراتيجيات التقليم

لمعالجة التكلفة الحسابية لتوسيع الأشجار (والتي يمكن أن تنمو بشكل أسي)، يقدم MURPHY آليات تقليم ما بعد الانتشار التي تحتفظ بالمسارات المعلوماتية قبل نشر المكافأة:

التقليم داخل المجموعة (INTRAP): يحتفظ بعدد ثابت من المسارات داخل كل مجموعة استجابة، وبالتحديد اختيار تلك التي تساهم أكثر في تباين المكافأة (للحفاظ على إشارات تعلم متنوعة).
التقليم بين المجموعات (INTERP): يحتفظ بمجموعات تحسين كاملة بناءً على تباين المكافأة داخل المجموعة. هذا يخصص ميزانية التحسين للسياقات التي تقدم تحسينات مرشحة أكثر تنوعًا وإخبارية.

المساهمات الرئيسية

خوارزمية MURPHY: امتداد GRPO متعدد الأدوار يدرب نماذج لغات الكود على استخدام التغذية الراجعة للتنفيذ من خلال تخصيص ائتمان زمني مهيكل، مما يلغي الحاجة إلى مدققين متعلمين أو نقاد.
استراتيجيات نشر المكافأة: تقديم استراتيجيات MARS (المتفائلة) و MERS (القائمة على التوقع) لتخصيص الائتمان من التحسينات الناجحة عائدًا إلى الإخفاقات المعلوماتية السابقة.
آليات التقليم: تصميم استراتيجيات INTP و INTERP التي تجعل التحسين متعدد الأدوار قابلاً للتطبيق حسابيًا عبر تصفية المسارات غير المعلوماتية مع الحفاظ على إشارة التعلم.
التحقق التجريبي: تقييم شامل عبر ثلاثة معايير (HumanEval، MBPP، LiveCodeBench-v6) وعائلتين من النماذج (Qwen، OLMo)، مما يظهر مكاسب كبيرة مقارنة بالطرق السابقة متعددة الأدوار.

النتائج التجريبية

قيم المؤلفون MURPHY على HumanEval و MBPP و LiveCodeBench-v6 باستخدام نماذج Qwen3 (1.7B، 4B) و OLMo-2-7B.

مكاسب الأداء: حقق MURPHY ما يصل إلى 6% مكاسب مطلقة في pass@1 فوق أقوى طرق التغذية الراجعة للتنفيذ متعددة الأدوار السابقة (بما في ذلك GRPO-MT، و µCODE، و REVEAL).
تدرج الصعوبة: كانت المكاسب أكثر وضوحًا في المجموعات الفرعية المتوسطة والصعبة. على سبيل المثال، في LiveCodeBench-v6 (المجموعة المتوسطة)، أظهر MURPHY زيادة قدرها +4.38% عند Iter-5، وفي المجموعة الصعبة، أظهر زيادة قدرها +4.20%. يشير هذا إلى أن الطريقة فعالة بشكل خاص حيث يكون التصحيح الذاتي التكراري أمرًا بالغ الأهمية.
المقارنة مع خطوط الأساس:
- في OLMo-2-7B، تفوق MURPH على أقوى خط أساس بمقدار +6.20 pp في HumanEval و +6.07 pp في MBPP في إعداد Iter-3.
- في Qwen3-4B (LiveCodeBench-v6)، تفوق MURPHY على REVEAL (وهي طريقة ذات معالج ذاتي مشترك التدريب) عبر جميع مجموعات الصعوبة، رغم بنية REVEAL الأكثر تعقيدًا.
دراسات الاستئصال (Ablation Studies):
- MARS مقابل MERS: تفوق MARS عمومًا على MERS، خاصة في إعدادات المكافأة المتفرقة، من خلال نشر النتيجة الأقوى بدلاً من تخفيف الإشارة عبر المتوسط.
- التقليم: قدمت استراتيجية التقليم INTERP أفضل مقايضة بين التكلفة والجودة، حيث قللت وقت التحسين بنسبة 74.1% (مما أدى إلى تقليل زمن التدريب لكل خطوة بنسبة 21.4%) مع الحفاظ على الأداء ضمن 0.8% من النموذج غير المقلم. أما INTRAP، فبينما حسنت أداء الدور الواحد، تسببت في تراجع في أداء تعدد الأدوار.

الأهمية والادعاءات

يزعم البحث أن MURPHY يثبت أن وصفة التدريب اللاحق لـ GRPO القياسية يمكن جعلها مدركة للتغذية الراجعة من خلال تغيير هيكلي في تخصيص الائتمان وحده.

الحد الأدنى من البنية: على عكس الأعمال السابقة التي تتطلب وظائف قيمة مساعدة، أو مدققين متعلمين، أو سياسات تحقق صريحة، فإن MURPHY هو "امتداد يحافظ على البنية ويقلل من التعقيد". فهو يعتمد فقط على التغذية الراجعة للتنفيذ المتأصلة في مهمة توليد الكود.
عدم تطابق تخصيص الائتمان: يعالج العمل عدم تطابق جوهري في توليد الكود الوكيل: الفشل في التمييز بين الأخطاء غير المعلوماتية والإخفاقات المعلوماتية. من خلال نشر المكافآت عكسيًا، يعلم MURPH النموذج أن "الخطأ والخطأ مرة أخرى" (كما ورد في اقتباس لـ Piet Hein) هو أمر قيم إذا وفرت الأخطاء الإشارة اللازمة للتصحيح.
القابلية للتوسع: تجعل استراتيجيات التقليم المقترحة التدريب متعدد الأدوار ممكنًا حسابيًا، مما يقلل من عبء التحسين دون التضحية بجودة إشارة التعلم.

يخلص المؤلفون إلى أنه بينما تزيد عمليات الانتشار متعددة الأدوار من تكاليف التدريب مقارنة بـ GRPO أحادي الدور، فإن المكاسب في قدرات التصحيح الذاتي، خاصة في المشكلات الصعبة، تبرر النهج. وقد أشاروا إلى القيود المتعلقة بزيادة تكلفة التدريب والاعتماد على تغذية راجعة نظيفة للتنفيذ، مما يوحي بأن العمل المستقبلي يمكن أن يستكشف إشارات تغذية راجعة أكثر ضجيجًا وميزانيات أدوار تكيفية.