🤖 machine learning

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

تقدم هذه الورقة DuST، وهو إطار عمل للتدريب الذاتي يستفيد من أخذ العينات في وقت الاختبار لإنشاء "فضاء حكم مزدوج" حيث تتعلم النماذج ترتيب البرامج المرشحة عبر التعلم المعزز في السياسة (on-policy reinforcement learning)، مما يحسن قدرتها على الحكم على صحة الكود وتوليد حلول عالية الجودة دون مكافآت مباشرة للتوليد الصحيح.

المؤلفون الأصليون: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

نُشر 2026-05-13

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية كتابة كود برمجي. تقليديًا، تعلمه بقولك: "إليك مشكلة. اكتب حلاً. قم بتشغيله. إذا نجح، فهذا رائع! إذا تعطل، حاول مجددًا". هذا يشبه إعطاء الروبوت درجة "نجاح" أو "رسوب" واحدة لكل محاولة. سيتعلم الروبوت، لكنه لن يعرف لماذا فشل مقارنة بأشياء أخرى كان بإمكانه كتابتها، بل سيعرف فقط أنه قد فشل.

تقدم هذه الورقة البحثية طريقة تعليم جديدة تسمى DuST (التدريب الذاتي المزدوج). وهي تغير قواعد اللعبة باستخدام مفهوم "التوليد الأولي" (Primal Generation) مقابل "الحكم المزدوج" (Dual Judgment).

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: اختبار "النجاح/الرسوب"

التوليد الأولي:
تخيل الروبوت كطالب يؤدي اختبارًا.

العملية: يكتب الطالب إجابة واحدة. ثم يقوم المعلم بفحصها.
التغذية الراجعة: يعطي المعلم علامة "X" حمراء أو علامة "صح" خضراء.
المشكلة: إذا حصل الطالب على "X"، فهو يعرف أنه مخطئ، لكنه لا يعرف مدى قربه من الصواب، أو لماذا كانت إجابته المحددة أسوأ من إجابة أخرى محتملة كان بإمكانه التفكير فيها. هو فقط يعرف "لا تفعل هذا".

2. الفكرة الجديدة: لجنة "اختبار التذوق"

توسيع وقت الاختبار (الإعداد):
قبل طريقة هذه الورقة، حاول الباحثون المساعدة من خلال جعل الروبوت يكتب الكثير من الإجابات (مثل 4 أو 5) في وقت واحد ثم اختيار الأفضل منها. هذا يشبه "اختبار التذوق".

العيب: في الطريقة القديمة، بمجرد أن يختار الروبوت الإجابة الأفضل، يتم رمي الإجابات الأربع الأخرى في القمامة. لا يتعلم الروبوت شيئًا من حقيقة أن الإجابة رقم 2 كانت "قريبة من الصواب" بينما الإجابة رقم 4 كانت "خاطئة تمامًا". هذه البيانات القيمة للمقارنة تضيع سدى.

3. حل DuST: التعلم من "المشاركين الذين لم يفوزوا"

فضاء الحكم المزدوج:
يجادل المؤلفون بأن الروبوت يجب أن يتعلم من المقارنة بين إجاباته الخاصة، وليس فقط من الفائز النهائي.

التشبيه: تخيل مسابقة للطبخ.
- الطريقة القديمة: يتذوق الحَكم طبقًا واحدًا ويقول: "محترق. فشل". لا يتعلم الطباخ شيئًا عن ما يجعل الطبق جيدًا.
- طريقة DuST: يصنع الطباخ 4 نسخ مختلفة من نفس الطبق. يتذوق الحَكم الأربعة جميعها.
  - الطبق (أ): مثالي.
  - الطبق (ب): مالح قليلاً.
  - الطبق (ج): غير ناضج تمامًا.
  - الطبق (د): محترق.
- الدرس: بدلًا من إخبار الطباخ "الطبق (أ) جيد"، يقول المعلم: "الطبق (أ) هو الفائز لأنه متوازن. الطبق (ب) فشل بسبب الملح. الطبق (ج) فشل بسبب الحرارة". يتعلم الطباخ الفروقات بين النجاح والفشل.

4. كيف يعمل DuST (الوصفة)

تصف الورقة حلقة محددة يمر بها الروبوت:

التوليد (Generate): يكتب الروبوت مجموعة من الحلول البرمجية (دفعة "اختبار التذوق").
الحكم (Judge): يقوم الروبوت بتشغيلها جميعًا في بيئة معزولة وآمنة (Sandbox) ليرى أي منها يعمل بالفعل (نجاح/رسوب).
التجميع (Group): ينظر الروبوت إلى الدفعة. إذا فشلت كلها أو نجحت كلها، فإنه يتخلص من تلك الدفعة. هو يحتفظ فقط بالدفعات التي نجح بعضها وفشل بعضها. هذه هي "المجموعة المختلطة".
الترتيب (Rank) (التدريب): يُطلب من الروبوت ترتيب هذه المجموعات المختلطة من "الأفضل" إلى "الأسوأ".
- نقطة حاسمة: لا يتم مكافأة الروبوت أبدًا على كتابة الكود نفسه. هو يُكافأ فقط على تحديد أي كود هو الأفضل.
- يحصل على نقاط لقوله: "هذا الكود الذي يعمل أفضل من هذا الكود المعطل".
النقل السحري (The Magic Transfer): على الرغم من أن الروبوت تم تدريبه فقط ليكون حَكمًا، إلا أنه من المثير للدهشة أنه يصبح أفضل في كونِه كاتبًا. من خلال تعلم تمييز الفروق الدقيقة بين الحل الصحيح والحل المعطل، يبدأ الروبوت في "فهم" ما يجعل الكود يعمل. إنه يستوعب هذه القواعد ويبدأ في كتابة كود أفضل من تلقاء نفسه.

5. النتائج: لماذا يهم الأمر؟

اختبرت الورقة هذه الطريقة على عدة نماذج ذكاء اصطنا- مختلفة (من الصغيرة جدًا إلى الكبيرة جدًا) باستخدام اختبار برمجي قياسي يسمى LiveCodeBench.

حكام أفضل: أصبحت النماذج أفضل بكثير في اكتشاف الكود الصحيح (تحسن في درجة "الترتيب").
كتّاب أفضل: من المثير للدهشة أن النماذج أصبحت أيضًا أفضل في كتابة الكود من الصفر، رغم أنه لم يتم توجيهها مباشرة بـ "اكتب برنامجًا صحيحًا".
معجزة "المرة الواحدة": قبل هذا التدريب، قد يحتاج النموذج لكتابة 4 إجابات واختيار الأفضل منها للحصول على درجة عالية. بعد تدريب DuST، استطاع النموذج كتابة إجابة واحدة فقط والحصول على نفس الدرجة العالية. لقد تعلم توليد الإجابة "الأفضل" فورًا، بدلاً من الحاجة للتخمين والتجربة.

6. السر الكامن: التعلم المعزز (RL) مقابل مجرد النسخ

أجرى المؤلفون تجربة أخيرة لمعرفة لماذا نجح هذا.

الضبط الدقيق الخاضع للإشراف (SFT): حاولوا فقط تعليم الروبوت نسخ الترتيبات الصحيحة (مثل طالب يحفظ نموذج الإجابة). جعل هذا الروبوت حَكمًا أفضل، ولكنه لم يجعله كاتباً أفضل.
التعلم المعزز (RL): استخدموا طريقة تسمى GRPO، حيث يتعلم الروبوت من خلال المحاولة، والفشل، وتعديل سلوكه بناءً على المكافآت. كان هذا هو المفتاح. "التعلم النشط" للترتيب سمح للروبوت بتغيير طريقة تفكيره، مما حسن قدرته على الكتابة.

الملخص

DuST هي طريقة يتعلم من خلالها الذكاء الاصطنا الاصطناعي البرمجة عبر أن يصبح ناقدًا بارعًا لعمله الخاص. من خلال تدريب الذكاء الاصطناعي على التمييز بين محاولاته "الجيدة" و"السيئة"، فإنه يتعلم القواعد الخفية للصحة. هذه المعرفة تتسرب بعد ذلك إلى قدرته على الكتابة، مما يجعله مبرمجًا أفضل دون أن يُقال له صراحةً كيف يكتب برنامجًا مثاليًا. إنها تحول البيانات "المهدورة" للمحاولات الفاشلة إلى معلم قوي.

ملخص تقني: التوليد الأولي، والحكم الثنائي: التدريب الذاتي من توسع وقت الاختبار

بيان المشكلة

تُدرب نماذج توليد الكود عادةً في الفضاء الأولي (primal space)، حيث ينتج النموذج حلاً مرشحاً ويتلقى تغذية راجعة ثنائية متفرقة (نجاح/فشل) عبر التنفيذ. وبينما يعمل توسيع وقت الاختبار (test-time scaling) (أخذ عينات متعددة واختيار الأفضل عبر "حَكَم") على تحسين دقة الاستدلال، فإن المعلومات المقارنة التي يتم الكشف عنها خلال هذه العملية — وتحديداً الاختلافات الهيكلية بين المحاولات الناجحة والفاشلة — يتم التخلص منها بعد الاستدلال. تستخدم الأنظمة الحالية القائمة على "التوليد ثم الحكم" هذه البنية المقارنة فقط لترتيب النتائج في وقت الاستدلال، مما يفشل في تحديث المولد نفسه. ونتيجة لذلك، قد يستمر النموذج في تخصيص احتمالية عالية للأكواد التي تبدو منطقية ولكنها غير صحيحة في عمليات التوليد المستقبلية.

تجادل الورقة البحثية بأن البنية المقارنة لتوسيع وقت الاختبار تُعرف فضاء الحكم الثنائي (dual judgment space). يوفر هذا الفضاء إشارة تدريب أكثر كثافة من الفضاء الأولي: فبدلاً من مجرد بتات (bits) متفرقة للنجاح أو الفشل، فإنه يوفر هياكل صحة نسبية عبر المحاولات المحتملة، مما يكشف عما يميز النجاح عن الفشل.

المنهجية: DuST (التدريب الذاتي الثنائي)

قدم المؤلفون إطار عمل DuST للتدريب الذاتي من فضاء الحكم الثنائي هذا. الفرضية الأساسية هي أن النموذج المدرب على التمييز بين الكود الصحيح وغير الصحيح في الفضاء الثنائي يكتسب سمات حساسة للصحة تفيد التوليد الأولي، حتى بدون مكافآت مباشرة لتوليد كود صحيح.

1. بناء البيانات

أخذ العينات (Sampling): لكل مشكلة برمجية $x$ ، يأخذ النموذج الأساسي مجموعة كبيرة من الأكواد المرشحة ( $M$ من المرشحين).
التنفيذ والوسم (Execution & Labeling): يتم تنفيذ المرشحين في بيئة معزولة (sandbox) للحصول على تسميات صحة ثنائية ($1 $للنجاح،$ 0$ للفشل).
التجميع (Grouping): يتم تقسيم المرشحين إلى مجموعات بحجم $K$ . يتم الاحتفاظ فقط بـ المجموعات مختلطة الجودة (التي تحتوي على مرشح صحيح واحد على الأقل ومرشح غير صحيح واحد على الأقل). أما المجموعات التي تحتوي على جميع المرشحين كصحيحين أو جميعهم كغير صحيحين، فيتم استبعادها لافتقارها إلى تباين الترتيب.
مجموعة البيانات: تتكون مجموعة البيانات الناتجة من مشكلات مقترنة بمجموعات من المرشحين المولدة ذاتياً وتسميات قائمة على التنفيذ.

2. هدف التدريب

يتم تدريب النموذج على ترتيب المرشحين داخل المجموعة بناءً على صحة التنفيذ.

دالة المكافأة: هي دالة تمييزية بحتة. تقيس عدد المرات التي يتم فيها ترتيب المرشحين الصحيحين في التنفيذ فوق المرشحين غير الصحيحين.
- تحسب $R_{exec}$ نسبة أزواج (صحيح/غير صحيح) $(i, j)$ حيث يكون الترتيب المتوقع لـ $i$ أفضل من $j$ .
- تتلقى الاستجابات المشوهة عقوبة تنسيق سلبية.
التحسين (Optimization): يستخدم إطار العمل تحسين السياسة النسبي للمجموعة (GRPO).
- يتم الإبقاء على عينات الكود المرشحة ثابتة (خارج السياسة فيما يتعلق بالتوليد - off-policy).
- يقوم النموذج بأخذ عينات من استجابات الحكم (مسارات التفكير والترتيب) في إطار السياسة (on-policy).
- يتم تحديث السياسة لتعظيم مكافأة الترتيب، مع تنظيمها مقابل سياسة مرجعية مجمدة.

3. التمييز الرئيسي

على عكس التعلم المعزز (RL) القياسي لتوليد الكود، فإن DuST لا يكافئ أبداً بشكل مباشر توليد البرامج الصحيحة. تأتي الإشراف بالكامل من الحكم على تباينات الصحة بين محاولات النموذج الخاصة. المعلمات المحدثة هي نفسها المستخدمة لتوليد الكود لاحقاً.

المساهمات الرئيسية

إطار فضاء الحكم الثنائي: تقترح الورقة النظر في توسيع وقت الاختبار ليس فقط كاستراتيجية استدلال، بل كمصدر لإشارات تدريب كثيفة ومتباينة في فضاء ثنائي.
التدريب الذاتي التمييزي: يثبت DuST أن تدريب النموذج على ترتيب المرشحين حسب صحة التنفيذ (مهمة تمييزية) يحسن قدراته التوليدية (مهمة توليدية) دون مكافآت توليد مباشرة.
عزل الآلية: من خلال دراسات الاستئصال (ablation studies) التي تقارن بين الضبط الدقيق الخاضع للإشراف (SFT) وGRPO، تحدد الورقة أن التعلم المعزز داخل السياسة (on-policy RL) هو الآلية الحاسمة لنقل تعلم الفضاء الثنائي إلى التوليد الأولي. يحسن SFT عملية الحكم ولكنه يفشل في تحسين التوليد، بينما يحسن GRPO كليهما.
كثافة المكافأة: تسلط الورقة الضوء على أن إشارة التباين الكثيفة للترتيب (التي تكشف عن $O(N^2)$ من المقارنات الزوجية) هي أكثر فعالية للنقل من المكافآت الأولية المتفرقة أو مكافآت الاختيار.

النتائج التجريبية

تم تقييم الطريقة على LiveCodeBench (الإصدارين v5 وv6) عبر خمسة نماذج تغطي عائلتين (Qwen, GPT-oss) وثلاثة مستويات (من 4B إلى 30B).

دقة توسيع وقت الاختبار: يحسن DuST باستمرار دقة "أفضل من 4" (Best-of-4). بالنسبة لنموذج Qwen3-30B-Thinking على LiveCodeBench v6، تحسنت الدقة بنسبة +4.1% (من 68.7% إلى 72.6%).
جودة الحكم: تحسنت قدرة النموذج المدرب على الترتيب بشكل كبير، حيث زاد NDCG بمقدار +6.2 لنموذج Qwen3-30B-Thinking.
التوليد الأولي (Pass@1): بشكل لافت، تحسنت جودة التوليد أحادي العينة دون مكافآت مباشرة. بالنسبة لـ Qwen3-30B-Thinking، ارتفع pass@1 بنسبة +3.1% (من 65.4% إلى 68.5%).
التعميم: لوحظ التحسن عبر جميع أحجام النماذج (4B–30B) والعائلات، مما يشير إلى أن النهج مستقل عن البنية المعمارية.
المقارنة مع SFT: عندما تم تدريبه على نفس بيانات الترتيب، حسن SFT عملية الحكم (NDCG) ولكنه لم يغير التوليد (pass@1). فقط GRPO حسن كليهما، مما يؤكد أن حلقة التغذية الراجعة داخل السياسة ضرورية للنقل.
حساسية المكافأة: تفوقت مكافآت الترتيب (Pairwise Accuracy/NDCG) على مكافآت الاختيار (top-1 فقط) في النقل إلى التوليد، ويرجع ذلك على الأرجح إلى أن الترتيب يكشف عن البنية التباينية الكاملة للكود الصحيح مقابل غير الصحيح.

الأهمية والادعاءات

تدعي الورقة أن الفضاء الأولي (التوليد) والفضاء الثنائي (الحكم) لتوليد الكود مرتبطان ببعضهما البعض بشكل أوثق مما تفترضه عمليات التدريب القياسية.

نقل الفهم: يجادل المؤلفون بأنه من خلال تعلم التمييز بين سبب فشل أو نجاح حل ما بالنسبة لمحاولات أخرى محتملة، يستوعب النموذج سمات الصحة القابلة للتنفيذ (مثل الثوابت الخوارزمية، وحالات الحواف). هذه السمات تعمل لاحقاً على نقل كتلة الاحتمالية للمولد نحو المسارات الصحيحة.
الكفاءة: يطابق التوليد الأحادي للنموذج المدرب أداء "أفضل من 4" للنموذج الأساسي، مما يعني فعلياً "دمج" فوائد توسيع وقت الاختبار داخل أوزان النموذج.
قصور النماذج الحالية: تشير الورقة إلى أن التخلص من المعلومات المقارنة بعد الاستدلال هو فرصة ضائعة. إن البنية التباينية التي تظهر في وقت الاختبار هي إشارة تدريب غنية ولم تُستغل بعد.

تخلص الورقة إلى أن التعلم المعزز داخل السياسة في فضاء الحكم الثنائي هو آلية قابلة للتطبيق وفعالة لتحسين توليد الكود، مما يوفر مساراً جديداً للتحسين الذاتي لا يعتمد على التفضيلات البشرية الخارجية أو مكافآت التوليد المباشرة.