💬 NLP

Enhanced LLM Reasoning by Optimizing Reward Functions with Search-Driven Reinforcement Learning

تقترح هذه الورقة إطار عمل للتعلم المعزز القائم على البحث يعمل على تحسين مواصفات دالة المكافأة بشكل تكراري من خلال التوليد الآلي، والتحقق، والفحص القائم على خوارزمية (GRPO)، مما يثبت أن حلقة التغذية الراجعة المصنفة تعزز أداء الاستدلال الرياضي على مجموعة بيانات (GSM8K) بشكل كبير مقارنة بمجموعات المكافآت الثابتة أو العشوائية.

المؤلفون الأصليون: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arash Ahmadi (Mike), Sarah Sharif (Mike), Yaser (Mike), Banad

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً (نموذج لغوي كبير) بارع في الكلام ولكنه أحياناً يعاني مع الرياضيات. تريد تعليمه حل المسائل الرياضية بشكل أفضل. عادةً، ستوظف معلماً ليصحح له واجباته المنزلية. ولكن في هذه الورقة البحثية، طرح المؤلفون سؤالاً مختلفاً: "ماذا لو لم نكن نعرف بالضبط كيفية تصحيح الواجبات المنزلية بشكل مثالي؟ ماذا لو تركنا للذكاء الاصطناعي مهمة مساعدتنا في ابتكار أفضل قواعد التصحيح؟"

إليك قصة كيف فعلوا ذلك، مشروحة ببساطة.

1. المشكلة: لغز "نموذج التصحيح"

في عالم الذكاء الاصطناعي، لتعليم نموذج ما كيف يفكر بشكل أفضل، تستخدم نظاماً يسمى "التعلم التعزيزي" (Reinforcement Learning). فكر في الأمر كتدريب كلب:

الكلب: هو نموذج الذكاء الاصطناعي.
المكافأة: هي "الجائزة" (درجة إيجابية).
الحركة: هي حل مسألة رياضية بشكل صحيح.

المشكلة تكمن في أن تصميم "المكافأة" أمر صعب. إذا قلت للذكاء الاصطناعي: "أحسنت صنعاً إذا حصلت على الإجابة الصحيحة"، فقد يغش عن طريق التخمين أو نسخ الأنماط دون تفكير حقيقي. وإذا حاولت مكافأته على الخطوات التي يتخذها، فسيتعين عليك كتابة قواعد معقدة، ومن السهل الوقوع في الخطأ عند كتابة تلك القواعد.

2. الحل: "مصنع قواعد التصحيح"

قام المؤلفون ببناء نظام يعامل قواعد التصحيح نفسها كشيء يجب تحسينه. هم لم يكتبوا القواعد يدوياً؛ بل أنشأوا مصنعاً يعمل فيه ذكاء اصطناعي (نموذج متطور يسمى Kimi K2) كـ "مبتكر للقواعد".

إليك كيف يعمل المصنع، خطوة بخطوة:

الجولة الأولى: يُعطى "مبتكر القواعد" 20 مسألة رياضية ويُطلب منه كتابة 10 طرق جديدة لتصحيحها. يقوم بكتابة هذه القواعد ككود برمجي بسيط (مثل الوصفة).
فحص السلامة: قبل استخدام هذه القواعد، تمر عبر "ماسح أمني" للتأكد من أنها ليست خطيرة أو معطلة.
تجربة القيادة: يأخذ الباحثون "طالباً رياضياً صغيراً" (نموذج ذكاء اصطناعي بـ 3 مليارات معلمة) ويتركونه يتدرب على حل المسائل باستخدام إحدى هذه القواعد الجديدة لفترة قصيرة (500 خطوة).
بطاقة الدرجات: يراقبون مدى جودة أداء الطالب في اختبار ما. إذا ساعدت القاعدة الجديدة الطالب على الحصول على درجات أفضل، تحصل القاعدة على تصنيف عالٍ. وإذا تسببت القاعدة في إرباك الطالب، تحصل على تصنيف منخفض.
حلقة التغذية الراجعة: يتم تلخيص القواعد الأفضل أداءً وتغذيتها مرة أخرى إلى "مبتكر القواعد". يُقال للذكاء الاصطناعي: "مهلاً، القواعد التي عدّت عدد خطوات التفكير نجحت جيداً. القواعد التي نظرت فقط إلى الإجابة النهائية لم تعمل بشكل جيد. حاول ابتكار قواعد جديدة بناءً على ذلك".

لقد كرروا هذه الدورة 5 مرات، مما أنتج 50 قاعدة مرشحة مختلفة.

3. النتائج: العثين على "القواعد الذهبية"

بعد 5 جولات، وجدوا بعض الفائزين.

أفضل قاعدة منفردة: كانت هناك قاعدة واحدة، تسمى thinking_steps_count (عد خطوات التفكير)، وكانت هي البطلة. كانت تمنح نقاطاً إضافية إذا كتب الذكاء الاصطناعي عملية تفكيره في ثلاث أسطر متميزة على الأقل. لم تكن تتحقق مما إذا كانت الإجابة صحيحة أم لا (النظام الأساسي كان يفعل ذلك)؛ بل كانت فقط تشجع الذكاء الاصطناعي على إظهار خطوات عمله.
قوة العمل الجماعي (المجموعات): أدركوا أن قاعدة واحدة ليست كافية. لذا، أخذوا أفضل 5 قواعد ودمجوهم في "فريق تصحيح خارق".
- النتيجة: ساعد هذا الفريق من القواعد الذكاء الاصطناعي على القفز من نسبة نجاح 60% (باستخدام القواعد الأساسية فقط) إلى نسبة نجاح 79.5%.
- "اختبار السحر": لإثبات أن الأمر لم يكن مجرد حظ أو بسبب العدد الكبير من القواعد، جربوا "فريقاً عشوائياً" مكوناً من 5 قواعد تم اختيارها من المجموعة. فشل ذلك الفريق العشوائي، حيث أخفق الذكاء الاصطناعي في حل كل شيء تقريباً. وهذا أثبت أن حلقة التغذية الراجعة (تعلم أي القواعد نجحت وتغذيتها مجدداً للمبتكر) كانت هي "الخلطة السرية"، وليس مجرد امتلاك المزيد من القواعد.

4. هل غش الذكاء الاصطناعي؟ (تدقيق "اختراق المكافأة")

هناك خوف شائع وهو أنه إذا قلت للذكاء الاصطناعي "أعطني المزيد من أسطر التفكير"، فسيقوم فقط بحشو الصفحة بكلمات لا معنى لها للحصول على النقاط.

التدقيق: فحص المؤلفون إجابات الذكاء الاصطناعي. ووجدوا أنه عندما كانت الإجابة صحيحة، كان يكتب بالفعل أسطرًا أكثر ويستخدم رموزًا رياضية أكثر مما كان عليه الحال عندما تكون الإجابة خاطئة.
الاستنتاج: لم يكن الذكاء الاصطناعي يغش عبر حشو المساحات الفارغة؛ بل كان يفكر بجدية أكبر لأن القواعد شجعته على ذلك.

5. لماذا هذا مهم؟

سهولة الوصول: لا تحتاج إلى كمبيوتر خارق. لقد أجروا هذه التجربة بأكملها على بطاقة رسوميات واحدة عالية الأداء (من النوع الذي يستخدمه اللاعبون) في حوالي 40 ساعة.
الأتمتة: بدلاً من أن يقضي خبير بشري أسابيع في تخمين شكل نموذج التصحيح المثالي، يقوم هذا النظام بأتمتة اكتشاف تلك القواعد.
الشفافية: القواعد ليست "صندوقاً أسود"؛ بل هي أكواد "بايثون" بسيطة يمكن للبشر قراءتها وفهمها وتعديلها.

باختصار: تُظهر الورقة البحثية أنه إذا تركت للذكاء الاصطناعي مهمة المساعدة في تصميم نظام التصحيح لذكاء اصطناعي آخر، واستمررت في تحسين تلك القواعد بناءً على مدى أداء الطالب، يمكنك تعليم الطالب التفكير بشكل أفضل بكثير مما لو كنت قد أعطيته مجرد مجموعة ثابتة من القواعد التي كتبها البشر.

ملخص تقني: تعزيز استدلال النماذج اللغوية الكبيرة (LLM) عبر تحسين دالات المكافأة باستخدام التعلم المعزز القائم على البحث

بيان المشكلة

يعد الاستدلال الرياضي معياراً حرجاً للنماذج اللغوية الكبيرة (LLMs)، حيث يتطلب ليس فقط توليد نصوص سلسة، بل أيضاً اتساقاً في الخطوات المتوسطة، وقدرة على حمل الكميات، وإجابات نهائية دقيقة. وبينما برز التعلم المعزز (RL) كآلية قياسية لمرحلة ما بعد التدريب لمواءمة النماذج اللغوية الكبيرة مع السلوكيات المرغوبة، إلا أن فاعليته حساسة للغاية لتصميم دالة المكافأة. تعتمد النهج الحالية غالباً على تحديد مكافآت يدوي من قبل الخبراء، وهو أمر عرضة للخطأ، ويتطلب تجربة وخطأ كبيرة، وقد يؤدي دون قصد إلى "اختراق المكافأة" (reward hacking) أو سلوكيات هشة. علاوة على ذلك، تتعامل الأدبيات الحالية إلى حد كبير مع دالة المكافأة كبنية تحتية ثابتة (مثل القواعد المصممة يدوياً أو نماذج المكافأة المدربة) بدلاً من اعتبارها كائناً قابلاً للتحسين بحد ذاته. تعالج هذه الورقة التساؤل حول ما إذا كان يمكن البحث عن مواصفات المكافأة المستخدمة أثناء مرحلة ما بعد التدريب بالتعلم المعزز وتحسينها بشكل منهجي، لا سيما في الإعداد الذي يظل فيه النموذج الأساسي ثابتاً وتكون دالة المكافأة هي متغير التصميم الرئيسي.

المنهجية

يقترح المؤلفون إطار عمل قائماً على البحث يعامل مواصفات دالة المكافأة كمسألة تحسين تكرارية. يعمل خط العمل هذا عبر خمس جولات، حيث يتم توليد وتقييم دوال مكافأة مرشحة باستخدام نموذج أساسي ثابت ونموذج لغوي أمامي (Frontier LLM) كـ "مولد".

المكونات الأساسية

النموذج الأساسي وإعداد التدريب:
- النموذج: Llama-3.2-3B-Instruct من Meta، تم ضبطه بدقة باستخدام التكيف منخفض الرتبة (LoRA) برتبة (rank) تبلغ 32.
- الخوارزمية: تحسين السياسة النسبي للمجموعات (GRPO)، والذي يستبدل شبكة الناقد المنفصلة في خوارزمية PPO بالتطبيع النسبي للمخرات المأخوذة من العينات، مما يقلل من استهلاك الذاكرة ويحسن الاستدلال الرياضي.
- مجموعة البيانات: GSM8K (7,473 مثالاً للتدريب، 1,319 مثالاً للاختبار).
- تنسيق المخرجات: مخرجات مهيكلة باستخدام وسوم <thinking> و <solution> للفصل بين عملية الاستدلال والإجابة النهائية.
المكافآت الأساسية الثابتة:
تتضمن كل عملية تدريب ثلاث مكافآت أساسية محمية لا يمكن تجاوزها من قبل المرشحين المولدين:
- match_format_exactly: يكافئ التطابق الدقيق لوسوم <thinking> و <solution>.
- match_format_approximately: يوفر إشارات متدرجة لوجود أو غياب الوسوم.
- check_answer: يقيم الإجابة الرقمية المستخرجة مقابل الحقيقة الأرضية (ground truth) باستخدام تسجيل نقاط متعدد المستويات (تطابق تام، تطبيع، وفحوصات النسبة).
حلقة التوليد القائمة على البحث:
- المولد: نموذج لغوي أمامي (Kimi K2) يولد 10 دوال مكافأة مرشحة لكل جولة (إجمالي 50 دالة عبر 5 جولات).
- التلقين (Prompting): يتلقى المولد 20 مثالاً عشوائياً من GSM8K، ومواصفات توقيع (signature specification)، وملخصاً مرتباً لأداء الجولات السابقة لتوجيه عملية التوليد وتجنب التكرار الدلالي.
- التحقق: تخضع المرشحات لعملية تحقق في بيئة معزولة (sandbox) مكونة من أربع مراحل (فحص استيراد AST، تنفيذ مقيد، مساحة اسم محظورة، واستدعاء استقصائي) لضمان السلامة والقابلية للتنفيذ.
- الفحص: يتم تدريب المرشحات الصالحة لمدة 500 خطوة من خطوات GRPO على مجموعة تدريب GSM8K جنباً إلى جنب مع المكافآت الثلاث الأساسية.
- الترتيب: يتم تقييم النماذج على مجموعة اختبار GSM8K باستخدام مقياس F1 (المتوسط التوافقي للدقة والاستدعاء) كمعيار أساسي للترتيب. يتم تغذية الملخص المرتب في جولة التوليد التالية.
بناء المجموعة (Ensemble Construction):
بعد عملية البحث، يتم دمج المكافآت الأفضل أداءً في مجموعات (ensembles). تم اختبار سبعة تكوينات، تختلف في الحجم (من 3 إلى 10 مكافآت مكتشفة) وفي استراتيجية الاختيار (الأعلى ترتيباً مقابل التنوع عبر الجولات). مكافأة المجموعة هي المجموع العنصري للمكافآت الثلاث الأساسية والمكافآت المكتشفة المختارة.

المساهمات الرئيسية

صياغة البحث عن المكافأة: تصيغ الورقة مواصفات المكافأة للاستدلال في النماذج اللغوية الكبيرة كحلقة تكرارية (توليد–تحقق–تدريب–ترتيب) فوق كود Python قابل للتنفيذ، مع معاملة المكافأة نفسها ككائن بحث.
تكامل GRPO: يطبق إطار العمل حلقة البحث هذه تحديداً تحت مظلة GRPO، وهو محسن سياسة فعال حسابياً ومرتبط بالاستدلال، مما يثبت أن اكتشاف المكافأة أمر ممكن ضمن قيود الضبط الدقيق منخفض الرتبة.
تحليل المجموعات (Ensemble Analysis): تدرس الدراسة ما إذا كان دمج مكافآت متعددة مكتشفة يعطي إشارات أقوى من المكافآت الفردية، حيث وجدت أن مجموعات تضم 5 مكافآت أو أكثر تتفوق بشكل كبير على المكافآت الفردية أو التكوينات التي تقتصر على الأساسيات فقط.
الدقة التجريبية: تقدم الورقة تحليلاً شاملاً يتضمن فترات الثقة لـ bootstrap، واختبارات McNemar الزوجية مع تصحيح Bonferroni، وعمليات تدقيق محددة لاختراق المكافأة (مثل حشو الأسطر) والامتثال للتنسيق.

النتائج

مسار البحث: على مدار خمس جولات، ارتفع متوسط درجة F1 للمكافآت المولدة من 0.596 (الجولة 1) إلى 0.632 (الجولة 5). حققت أفضل مكافأة فردية (thinking_steps_count) درجة F1 بلغت 0.787.
أداء المجموعات (Ensemble Performance): حقق أفضل تكوين للمجموعة (ens_diverse_rounds، الذي يجمع 3 مكافآت أساسية + 5 مكافآت متنوعة مكتشفة) درجة F1 بلغت 0.795 ودقة بلغت 0.660 (بفاصل ثقة 95% [0.635, 0.686]).
الدلالة الإحصائية: أظهرت اختبارات McNemar الزوجية مع تصحيح Bonferroni ( $\alpha \approx 0.0024$ ) أن جميع المجموعات التي تضم 5 مكافآت مكتشفة أو أكثر كانت غير متمايزة إحصائياً عن بعضها البعض، لكنها كانت أفضل بشكل ملحوظ من خط الأساس المقتصر على الأساسيات فقط (F1 = 0.609) ومن المجموعات الأصغر.
تجارب الضبط (Control Experiments):
- الخط المرجعي العشوائي: انهار نموذج المجموعة المكون من 5 مكافآت مسحوبة عشوائياً إلى F1 قدره 0.047، مما يثبت أن المكسب مدفوع بحلقة التغذية الراجعة المرتبة، وليس مجرد الإشارة الجمعية لوجود المزيد من المكافآت.
- متانة البذرة (Seed Robustness): أدى إعادة تدريب أفضل مجموعة باستخدام ثلاث بذور مختلفة إلى تحقيق درجات F1 بلغت $0.785 \pm 0.013$ ، مما يؤكد أن الترتة النوعية للنتائج قوية تجاه تباين التدريب.
تدقيق اختراق المكافأة: أظهر تحليل المكافأة الهيكلية العليا (thinking_steps_count) أن الاستجابات الصحيحة احتوت طبيعياً على عدد أكبر من أسطر الاستدلال وكثافة حسابية أعلى من الاستجابات غير الصحيحة، مما يشير إلى أن النموذج لم يستغل المكافأة عبر حشو الأسطر الفارغة.
المقارنة مع الخطوط المرجعية: تفوق نموذج Llama-3.2-3B المدرب بـ GRPO على خمسة نماذج جاهزة في نطاق 2B–4B بارامتر (بما في ذلك متغيرات Qwen و Phi) من حيث الدقة الصارمة وF1.

الأهمية والادعاءات

تدعي الورقة أن مواصفات المكافأة في مرحلة ما بعد التدريب بالتعلم المعزز يمكن معاملتها ككائن يمكن البحث عنه بشكل موثوق، مما يؤتمت عملية تعتمد عادةً على الحدس البشري.

سهولة الوصول: يعمل خط العمل بأكمله على وحدة معالجة رسومات واحدة من فئة المستهلكين (NVIDIA RTX 5090) في حوالي 40 ساعة، مما يجعل الاكتشاف الآلي للمكافآت متاحاً للميزانيات الأكاديمية والصناعية الصغيرة.
القابلية للتدقيق: على عكس نماذج المكافأة "الصندوق الأسود"، فإن المكافآت المكتشفة هي أكواد Python قابلة للقراءة يمكن للممارسين تدقيقها وتعديلها ودمجها.
القدرة على التعميم: بينما تم التقييم على GSM8K، يفترض المؤلفون أن "الوصفة" تنتقل إلى مجالات استدلال أخرى (مثل توليد الكود، وحل المشكلات العلمية) وتوفر بديلاً عملياً لتدريب نماذج المكافآت المكلفة.
التواضع: يصرح المؤلفون صراحةً بأن المساهمة هي منهجية وليست ادعاءً بتحقيق حالة جديدة من نوعها (SOTA) على GSM8K نفسها. الدليل الأساسي داخلي لخط العمل: التحسين التكراري للمكافآت، وانهيار الضوابط العشوائية، ومتانة ترتيب المجموعات عبر البذور المختلفة. لا تدعي الورقة أن المكافآت المكتشفة مثالية عالمياً، بل إن عملية البحث تحدد بفعالية الإشارات الهيكلية عالية الأداء لنموذج أساسي ثابت.