ملخص تقني: ما وراء Pass@k: التعلم المعزز القائم على التحقق (RLVR) الواعي بالترادف لتوليد الكود عبر عينات متعددة

بيان المشكلة

تُقيّم نماذج اللغات الكبيرة (LLMs) لتوليد الكود عادةً في إعدادات أخذ العينات المتكررة باستخدام مقياس Pass@k، الذي يقيس احتمالية اجتياز برنامج واحد على الأقل من أصل $k$ من البرامج التي تم سحبها للاختبارات الموحدة. وبينما نجحت أساليب التعلم المعزز القائم على التحقق (RLVR) مؤخرًا في تحسين الصحة التنفيذية من خلال التحسين بناءً على التغذية الراجعة للاختبار، إلا أن سلوك هذه النماذج فيما يتعلق بـ الترادف على مستوى التنفيذ لا يزال غير مفهوم بشكل جيد.

المشكلة الجوهرية التي يتناولها البحث هي أن أهداف RL القياسية (التي تحسن الصحة المنفردة) وأهداف RL الواعية بـ Pass@k (التي تحسن نجاح المجموعة) قد تؤدي إلى سلوكيات توليد مختلفة نوعيًا. وتحديدًا، ليس من الواضح ما إذا كانت مكاسب الأداء تحت ميزانية أخذ عينات محدودة تنبع من اكتشاف أنماط تنفيذ متنوعة ومتميزة، أم من تركيز عمليات التوليد حول مجموعة ضيقة من الحلول شبه المتطابقة. إن المقاييس الحالية مثل Pass@k لا تميز بين هذين السيناريوهين، مما قد يخفي نقصًا في التنوع قد يحد من الأداء عند ميزانيات أخذ عينات أكبر ($k$).

المنهجية

1. تشخيص الترادف: JPlag

لقياس ترادف التنفيذ، يستخدم المؤلفون JPlag، وهو نظام لكشف الانتحال مصمم للكود. وخلافًا لمقاييس التداخل اللفظي (مثل n-grams) التي تتأثر بالتعديلات السطحية (مثل تغيير أسماء المتغيرات أو التنسيق)، يستخدم JPlag تقسيمًا لغويًا (tokenization) ومطابقة واعية باللغة للكشف عن التشابه الهيكلي.

• المقياس: يُعرف البحث تنوع JPlag (JDiv) بأنه $1 - \text{متوسط التشابه الزوجي}$. يشير ارتفاع JDiv إلى انخفاض الترادف.
• الفائدة: يعمل JPlag كأداة تشخيصية لتحليل كيفية استخدام أهداف RL المختلفة لميزانية أخذ العينات وكأساس لإشارة تدريب جديدة.

2. أهداف RLVR المرجعية

تقارن الدراسة ثلاثة توجهات قائمة:

• Base-RLVR (الصحة فقط): يخصص مكافآت تراكمية لكل عينة صحيحة ضمن المجموعة. يتم تخصيص الائتمان بشكل مستقل للعمليات الناجحة.
• Pass@k-RLVR: يستخدم مكافأة على مستوى المجموعة حيث يعتمد النجاح على ما إذا كان واحد على الأقل من العينات في المجموعة صحيحًا. يتم تخصيص الائتمان عبر ميزة "ترك واحد واستبعاد البقية" (leave-one-out advantage)، حيث يكافئ العينات التي تغير حالة نجاح المجموعة.
• PKPO (تحسين سياسة Pass@k): يوسع مبادئ Pass@k لتشمل مجموعات أكبر من $k$ عبر متوسط ميزات "ترك واحد واستبعاد البقية" لجميع المجموعات الفرعية ذات الحجم $k$.

3. الطريقة المقترحة: JPlag-RLVR

يقترح المؤلفون هدفًا لـ RLVR الواعي بالترادف يقوم بتعزيز مكافآت الصحة التنفيذية بموجب إشارة مباشرة لمناهضة الترادف.

• دالة المكافأة: $R(x, Y^{(n)}) = R_{\text{corr}}(x, Y^{(n)}) + \lambda_{\text{div}} R_{\text{div}}(x, Y^{(n)})$.
  • $R_{\text{corr}}$ هي مكافأة الصحة القياسية.
  • $R_{\text{div}}$ هي مكافأة مناهضة للترادف (scalar) مشتقة من تشابه JPlag (تحديدًا، مقلوب متوسط التشابه الزوجي).
• تخصيص الائتمان: لضمان اعتماد إشارة التدريب على المساهمة الهامشية للعينة في تنوع المجموعة، يستخدم المؤلفون بناء ميزة "ترك واحد واستبعاد البقية" لمكون التنوع. تحصل العينة على ميزة إيجابية إذا أدى تضمينها إلى تقليل ترادف المجموعة، وميزة سلبية إذا كانت تكرر عمليات توليد موجودة بالفعل.
• التنفيذ: تم تطبيق الطريقة على ثلاثة نماذج (Qwen3-4B, Qwen3-8B, Olmo3-7B) وثلاثة معايير مرجعية (MBPP, Code-Contest, TACO-Cobalt).

النتائج الرئيسية

1. تحليل الأهداف القائمة

• RLVR (الصحة فقط): بينما يحسن هذا النهج Pass@1، فإنه يؤدي بشكل منهجي إلى زيادة الترادف. تُظهر ديناميكيات التدريب أنه مع تحسن Pass@1، ينخفض تنوع JPlag، مما يشير إلى أن النموذج يركز على مجموعة ضيقة من التنفيذات شبه المتطابقة.
• الأهداف الواعية بـ Pass@k: تحافظ هذه الطرق (Pass@k-RLVR, PKPO) ضمنيًا على ترادف أقل وتنوع JPlag أعلى مقارنة بالنماذج المرجعية التي تركز على الصحة فقط. وهي تميل إلى تحسين الأداء بشكل أكثر أهمية عند الميزانيات الأكبر (Pass@10, Pass@100) من خلال تغطية مجموعة أوسع من أنماط التنفيذ.

2. أداء JPlag-RLVR

• مكاسب الميزانية المحدودة: يساهم منع عمليات التوليد شبه المتطابقة مباشرةً عبر JPlag-RLVR بشكل موثوق في تحسين الأداء التنفيذي للميزانيات المحدودة. عبر مختلف النماذج والمعايير، غالبًا ما يضاهي أو يتفوق على الأهداف المتخصصة الواعية بـ Pass@k.
  • مثال: في اختبار MBPP مع نموذج Qwen3-8B، حسن JPlag-RLVR قيمة Pass@1 من 79.1 إلى 90.0 وPass@10 من 88.0 إلى 98.5، بينما زاد في الوقت نفسه من تنوع JPlag من 0.305 إلى 0.927.
• تحسين المقايضة: تحقق الطريقة مقايضة متفوقة، حيث تنقل النماذج "للأعلى واليمين" في مساحة (الأداء-الترادف) (Pass@k أعلى، JDiv أعلى) مقارنة بالنماذج المرجعية.
• المتانة: تستمر التحسينات عبر بذور عشوائية مختلفة ولا تُعزى إلى مهام شاذة قليلة. التوزيع يتم عبر جميع المطالبات (prompts).

3. دراسات الاستئصال (Ablation Studies)

• ليس مجرد إنتروبيا: زيادة درجة حرارة أخذ العينات (temperature) يحسن Pass@100 ولكنه يضعف Pass@1 ويحقق مكاسب أقل من التدريب الصريح لمناهضة الترادف.
• ليس مجرد إطناب: المكاسب ليست ناتجة عن عمليات إكمال أطول أو تنوعات نصية سطحية؛ حيث تظل أطوال الكود التنفيذي قابلة للمقارنة عبر الطرق المختلفة.
• الصحة أمر جوهري: التدريب باستخدام مكافآت التنوع فقط (بدون الصحة) يزيد من JDiv ولكنه يتسبب في انهيار الأداء التنفيذي. يجب اقترن إشارة مناهضة الترادف بمكافأة المحقق (verifier).
• خصوصية الإشارة: بينما توفر مكافآت التنوع اللفظي البسيطة (1-gram) بعض التحسن، فإن المكافآت القائمة على JPlag تعطي أفضل النتائج، مما يشير إلى أن التشابه الواعي بهيكل الكود هو إشارة أكثر فعالية لتقليل التنفيذات المتكررة من التباين السطحي.

الأهمية والادعاءات

يدعي البحث تحديد ترادف التنفيذ كتشخيص حرج وهدف تحسين عملي لتوليد الكود عبر أخذ العينات المتكرر.

1. القيمة التشخيصية: تثبت الدراسة أن النماذج التي تحسن نتائج تنفيذية متشابهة يمكن أن تظهر هياكل ترادف مختلفة تمامًا. يميل RLVR المعتمد على الصحة فقط إلى تركيز عمليات التوليد، بينما تشجع أهداف الواعية بـ Pass@k التنوع بشكل طبيعي.
2. هدف التحسين: يوضح المؤلفون أن معاقبة عمليات التوليد شبه المتطابقة صراحةً عبر تشابه JPlag هي تدخل بسيط وفعال للغاية. فهي تحسن أداء الميزانية المحدودة دون الحاجة إلى مخططات معقدة لتخصيص الائتمان أو الاعتماد على التباينات السطحية في المخرجات.
3. الآثار العملية: لا ينبغي فهم توليد الكود ذي الميزانية المحدودة من خلال الصحة الهامشية فحسب. إن كيفية تخصيص النموذج لميزانية أخذ العينات عبر أنماط تنفيذ متميزة هو عامل رئيسي لتعظيم أداء Pass@k.

يظل المؤلفون متواضعين بشأن القيود، مشيرين إلى أن JPlag هو مقياس تقريبي للتشابه الهيكلي وليس أداة لمعادلة الدلالة (semantic equivalence)، وأن تجاربهم تقتصر على نماذج محددة مفتوحة الأوزان ومعايير برمجة تنافسية قصيرة المدى. هم لا يدعون أن الطريقة تحل جميع مشكلات التنوع في توليد الكود، بل يسلطون الضوء على فعاليتها في سياق محدد من RL القائم على التحقق.