🤖 machine learning

Transformation-Augmented GRPO for Enhancing Exploration in Reasoning of Large Language Models

تقترح هذه الورقة البحثية طريقة "التعزيز بالتحويل لـ GRPO" (TA-GRPO)، وهي وسيلة تخفف من تلاشي التدرج وانهيار التنوع في استنتاج النماذج اللغوية الكبيرة عبر توليد إعادة صياغات للأسئلة مكافئة للمسائل الأصلية لإنشاء مكافآت مختلطة ومسارات استنتاج متنوعة، مما يؤدي إلى تحسين الأداء بشكل كبير في الاختبارات المرجعية الرياضية والعلمية المعقدة.

المؤلفون الأصليون: Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Khiem Le, Phuc Nguyen, Youssef Mroueh, Chi-Heng Lin, Shangqian Gao, Ting Hua, Nitesh V. Chawla

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم طالب عبقري لكنه عنيد قليلاً (الذكاء الاصطناعي) كيفية حل المسائل الرياضية المعقدة. أنت تريد أن يصبح أفضل، لذا تستخدم طريقة تسمى GRPO. فكر في GRPO كمدرب يطلب من الطالب محاولة حل نفس المسألة 8 مرات متتالية. ثم ينظر المدرب إلى الإجابات: إذا كانت بعضها صحيحاً وبعضها خاطئاً، يتعلم الطالب أي الاستراتيجيات نجحت وأيها لم تنجح.

ومع ذلك، تحدد الورقة البحثية مشكلتين رئيسيتين في نهج الـ "8 مرات في المرة الواحدة" هذا:

فخ "سهل للغاية أو صعب للغاية" (تلاشي التدرج):
تخيل أن المسألة سهلة للغاية لدرجة أن الطالب حصل على 8 إجابات صحيحة جميعها. يقول المدرب: "عمل رائع!" للجميع. ولكن لأن الجميع حصلوا على نفس النتيجة، لا يتعلم الطالب كيف يتحسن؛ هو فقط يعرف أنه كان محقاً. وعلى العكس، إذا كانت المسألة مستحيلة، فسيحصل على 8 إجابات خاطئة جميعها. مرة أخرى، لا يتم تعلم درس محدد لأن النتيجة كانت موحدة. يصطدم الطالب بجدار حيث يتوقف عن التعلم لأن التغذية الراجعة أصبحت مسطحة للغاية.
تأثير "غرفة الصدى" (انهيار التنوع):
حتى عندما تكون المسائل مناسبة تماماً، قد يعلق الطالب في نمط معين. يحاول 8 مرات، لكنه يستخدم جميعها نفس المنطق أو "الحيلة" ذاتها. إنه لا يستكشف طرقاً جديدة لحل المسألة؛ بل يكرر نفس النمط مراراً وتكراراً. لا يمكن للمدرب تعليمه كيف يكون مبدعاً لأن الطالب لا يحاول تجربة أي شيء جديد.

الحل: TA-GRPO (طريقة "المترجم")

يقترح المؤلفون حلاً بسيطاً وذكياً يسمى TA-GRPO (التعزيز المتزايد عبر التحويل).

بدلاً من مجرد طلب حل نفس المسألة 8 مرات، يعمل النظام كـ مترجم مبدع. يأخذ المسألة الرياضية الأصلية ويعيد كتابتها بعدة طرق مختلفة (لنفترض 3 نسخ جديدة) دون تغيير الرياضيات الفعلية أو الإجابة.

السؤال الأصلي: "إذا قطعت سيارة 60 ميلاً في ساعة واحدة، فكم ميلاً تقطع في ساعتين؟"
إعادة الكتابة 1: "مركبة تغطي 6لاً في 60 دقيقة. ما هي المسافة التي تغطيها في 120 دقيقة؟"
إعادة الكتابة 2: "السرعة هي 60 ميلاً في الساعة. احسب المسافة لرحلة مدتها ساعتان."

الآن، يتعين على الطالب حل 4 نسخ من المسألة (الأصلية + 3 إعادة كتابة)، وبالنسبة لكل نسخة، يحاول 8 مرات. هذا يعني إجمالي 32 محاولة.

لماذا ينجح هذا (السحر)

كسر جدار "الكل أو لا شيء":
حتى لو كان السؤال الأصلي سهلاً للغاية بالنسبة للطالب، فقد تكون إحدى النسخ المعاد كتابتها أصعب قليلاً أو مربكة بما يكفي ليحصل على بعض الإجابات الخاطئة. أو إذا كان الأصل صعباً جداً، فقد تجعل إعادة الكتابة المسألة قابلة للحل بصعوبة. من خلال دمج جميع المحاولات الـ 32 معاً، يرى المدرب الآن مزيجاً من الإجابات الصحيحة والخاطئة. هذا يوفر "الإشارة" اللازمة ليتعلم الطالب، حتى عندما يكون السؤال الأصلي سهلاً للغاية أو صعباً للغاية.
فرض منظور جديد:
بسبب اختلاف الصياغة، لا يمكن للطالب مجرد نسخ ولصق "حيلته" القديمة. يجب عليه التفكير في المسألة من زاوية جديدة. هذا يجبره على استكشاف مسارات تفكير مختلفة. بدلاً من غرفة الصدى، تحصل على جلسة عصف ذهني حيث يجرب الطالب الصيغ القياسية، والاختصارات، وتدفقات منطقية مختلفة.

النتائج

اختبر الباحثون هذا على أربعة نماذج ذكاء اصطناعي مختلفة (تتراوح من الصغيرة إلى المتوسطة الحجم) باستخدام مسابقات رياضية صعبة (مثل AMC و AIME).

نتائج أفضل: النماذج التي استخدمت TA-GRPO حلت مسائل أكثر بشكل ملحوظ مقارنة بالنماذج التي استخدمت الطريقة القياسية.
الاستكشاف: لم تكن النماذج محظوظة فحسب؛ بل استكشفت بالفعل طرق تفكير أكثر تنوعاً.
كفاءة البيانات: إليكم المفاجأة: نماذج TA-GRPO، التي تم تدريبها على كمية معيارية من البيانات، قدمت أداءً يضاهي النماذج الأخرى التي تم تدريبها على 2.5 ضعف كمية البيانات. إنه يشبه الحصول على تأثير "المتعلم الخارق" دون الحاجة لشراء مكتبة أكبر من الكتب الدراسية.

باخت-صار

تجادل الورقة البحثية بأنه لجعل الذكاء الاصطناعي أفضل في التفكير، لا ينبغي لنا فقط إلقاء المزيد من البيانات عليه. بدلاً من ذلك، يجب علينا خلخلة الأسئلة. من خلال إعادة كتابة المسائل بطرق مختلفة وخلط النتائج، نمنع الذكاء الاصطناعي من العلوق في حلقات "سهل للغاية" أو "صعب للغاية" ونرغمه على استكشاف مجموعة أوسع من الحلول. إنه تعديل بسيط يجعل عملية التعلم أغنى وأكثر فعالية.

ملخص تقني: تحسين سياسة المجموعات النسبي المعزز بالتحويل (TA-GRPO)

بيان المشكلة

برزت طريقة تحسين سياسة المجموعات النسبي (GRPO) كطريقة مهيمنة للتعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR) في النماذج اللغوية الكبيرة (LLMs)، لا سيما في مهام الاستدلال. ومع ذلك، يحدد البحث عائقين هيكليين حرجين في نموذج GRPO القياسي يعيقان الاستكشاف الفعال:

تلاشي التدرج (Gradient Vanishing): يحدث هذا عندما تكون الأسئلة التدريبية إما سهلة للغاية أو صعبة للغاية بالنسبة لقدرة النموذج الحالية. في هذه الحالات، تتلقى جميع الاستجابات الـ $G$ المأخوذة عينات مكافآ-ت متطابقة (إما كلها صحيحة أو كلها خاطئة). وبناءً عليه، يصبح الانحراف المعياري للمكافآت صفراً، مما يؤدي إلى انعدام المزايا (advantages) وعدم وجود إشارة تدرج لتحديث النموذج. الحلول الحالية مثل العينات الديناميكية (DAPO) تخفف من حدة ذلك عن طريق استبعاد مثل هذه الأسئلة، لكن هذا يؤدي إلى فقدان كبير في البيانات.
انهيار التنوع (Diversity Collapse): حتى عندما تتباين المكافآت، يميل النموذج إلى حصر استجاباته الـ $G$ في نمط استدلال واحد. تفشل عملية تنظيم الإنتروبيا (entropy regularization) الكلاسيكية في منع ذلك بسبب فضاء الإجراءات الشاسع للنماذج اللغوية الكبيرة. ومع تركيز السياسة على مجموعة ضيقة من أنماط الاستدلال، ترث الاستجابات المأخوذة عينات هذا التركيز، مما يتسبب في انكماش دعم السياسة (policy support) بشكل رتيب بدلاً من استكشاف استراتيجيات متنوعة.

المنهجية: TA-GRPO

يقترح المؤلفون تحسين سياسة المجموعات النسبي المعزز بالتحويل (TA-GRPO)، وهي طريقة تعالج كلاً من تلاشي التدرج وانهيار التنوع من خلال إعادة صياغة الأسئلة. وتتمثل الرؤية الجوهرية في أن الاضطرابات اللغوية (التغييرات في الصياغة، أو التنسيق، أو ترتيب المعلومات) يمكن أن تغير الصعوبة المدركة للمشكلة وتحفز استراتيجيات حل متميزة مع الحفاظ على دلالات المشكلة الأساسية.

تقوم عملية TA-GRPO بتعديل عملية GRPO القياسية كما يلي:

تحويل السؤال: لكل سؤال تدريبي أصلي $q_0$ ، يقوم النظام تلقائياً بتوليد $N$ من إعادة الصياغات المتكافئة للمشكلة (الجيران)، يُرمز لها بـ $\{q_n\}_{n=1}^N$ ، باستخدام نموذج لغوي كبير (GPT-4-Turbo).
مجموعة الاستجابات الموسعة: بدلاً من أخذ عينات لـ $G$ من الاستجابات فقط لـ $q_0$ ، يقوم النموذج بأخذ عينات لـ $G$ من الاستجابات للسؤال الأصلي و $G$ من الاستجابات لكل من الجيران الـ $N$ . وهذا يشكل مجموعة موسعة من $(N+1) \times G$ من الاستجابات.
حساب المزايا المشترك: يتم حساب المزايا عبر التطبيع النسبي للمجموعة المشتركة عبر كامل المجموعة الموسعة المكونة من $(N+1) \times G$ $(N + 1) \times G$ من الاستجابات، بدلاً من التطبيع بشكل منفصل لكل إعادة صياغة.
- التخفيف من تلاشي التدرج: من غير المرجح إحصائياً أن تتلقى جميع الاستجابات الـ $(N+1) \times G$ عبر مختلف الصياغات مكافآ-ت متطابقة في وقت واحد، حتى لو كانت الأسئلة الأصلية وحدها ستؤدي إلى مكافآ-ت موحدة. وهذا يضمن انحرافاً معيارياً غير صفري وإشارة تدرج صالحة.
- التخفيف من انهيار التنوع: تستثير إعادة الصياغات المختلفة أنماط استدلال متميزة داخل نفس المجموعة، مما يمنع النموذج من الانهيار في استراتيجية واحدة.
نسب الأهمية المرتكزة: لضمان تعلم النموذج كيفية الإجابة على السؤال الأصلي، يتم ضبط جميع نسب الأهمية (importance ratios) بناءً على $q_0$ ، بغض النظر عن أي إعادة صياغة أنتجت استجابة معينة. هذا يعامل إعادة الصياغات كـ توزيع عينات بديل لـ $q_0$ ، وهو أمر مبرر بافتراض أن إعادة الصياغات المتكافئة للمشكلة تحافظ على توزيع مسار الاستدلال.

تعمل دالة الهدف على تعظيم خسارة البديل المقطوع (clipped surrogate loss) عبر هذه المجموعة الموسعة، باستخدام المزايا المشتركة ونسب الأهمية المشروطة بالسؤال الأصلي.

المساهمات الرئيسية

تحديد القضايا المغفلة: يسلط البحث الضوء على أن تلاشي التدرج وانهيار التنوع هما مشكلتان تم تجاهلهما إلى حد كبير في التطورات الحالية لـ GRPO، والتي غالباً ما تعالجهما بشكل مجزأ (مثل استبعاد البيانات أو الاعتماد على تنظيم إنتروبيا غير فعال).
خوارزمية TA-GRPO: امتداد بسيط وفعال يقوم بتجميع الاستجابات عبر السؤال وإعادة صياغاته المجاورة. تقوم الخوارزمية بحساب المزايا النسبية للمجموعة بشكل مشترك وتثبيت نسب الأهمية على السؤال الأصلي، مما يعالج كلا نمطي الفشل في آن واحد دون الحاجة لتصفية البيانات التدريبية.
كفاءة البيانات: يوفر TA-GRPO بديلاً اقتصادياً لجمع المزيد من البيانات التدريبية عالية الجودة، مما يمكّن النماذج من تحقيق أداء مماثل للنماذج الأساسية التي تتدرب على مجموعات بيانات أكبر بكثير.

النتائج التجريبية

تم تقييم الطريقة على أربعة نماذج لغوية كبيرة (Qwen3-1.7B, Qwen3-4B, Llama-3.2-1B, Llama-3.2-3B) باستخدام مجموعة بيانات MATH للتدريب وستة معايير للاختبار (AMC, OlympiadBench, AIME24, AIME25, Minerva, GPQA-Diamond).

تشخيص إشارة التدريب: أكدت التجارب أن إعادة الصياغة توسع توزيع المكافآ-ت (مما يقلل معدل المكافآ-ت الموحدة بنسبة ~14–18% مقارنة بالنموذج الأساسي) وتزيد من تنوع مسارات الاستدلال (مقاساً بمسافات التضمين - embedding distances) طوال فترة التدريب.
مكاسب الأداء: حقق TA-GRPO تحسناً مستمراً في pass@k عبر جميع النماذج والمعايير.
- في المعايير ذات المستوى التنافسي، وصل متوسط التحسن في pass@32 مقارنة بـ GRPO القياسي إلى 5.09 نقطة لـ Qwen3-1.7B و 5.01 نقطة لـ Qwen3-4B.
- لوحظت تحسينات أيضاً في المعايير الخارجة عن نطاق التوزيع (Minerva, GPQA-Diamond).
دراسات الاستئصال (Ablation Studies):
- أخذ العينات مقابل الطريقة: عند مقارنته بالنماذج الأساسية التي طابقت إجمالي عدد الاستجابات المأخوذة عينات (32 استجابة لكل سؤال) ولكن لم تستخدم إعادة الصياغة، حافظ TA-GRPO على هامش أداء واضح. وهذا يؤكد أن المكاسب ناتجة عن تنوع المحتوى المأخوذ عينات ومن التطبيع المشترك، وليس مجرد زيادة حجم العينات.
- توسع البيانات: حقق TA-GRPO، الذي تدرب على مجموعة بيانات MATH القياسية، درجات pass@32 قابلة للمقارنة مع النماذج التي تدربت على 2.5 ضعف كمية البيانات (باستخدام مجموعة بيانات OpenR1-MATH-220k).

الأهمية والادعاءات

يدعي البحث أن TA-GRPO يقدم حلاً قوياً لعقبات الاستكشاف في RLVR للنماذج اللغوية الكبيرة. ومن خلال الاستفادة من تعزيز توزيع المدخلات (إعادة الصياغة) بدلاً من تعديل دالة الخسارة أو استبعاد البيانات، تنجح الطريقة بفعالية في استعادة إشارات التدريب في الأنظمة الصعبة وتحافظ على تنوع الاستدلال.

يضع المؤلفون TA-GRPO كـ "رافعة" جديدة لتدريب ما بعد التدريب (RL post-training)، تعمل جنباً إلى جنب مع محوري الخسارة والمكافأة. ويؤكدون أن هذا النهج يسمح للنماذج بالتعلم من مجموعة أغنى من محاولات الحل، مما يحقق جودة استكشاف هي الأفضل في فئتها (state-of-the-art) مع تكلفة أقل بكثير في جمع البيانات. ويخلص البحث إلى أن الجمع بين تعزيز توزيع المدخلات والتقدم الخوارزمي الحالي في محوري الخسرة والمكافأة يمثل اتجاهاً طبيعياً للأعمال المستقبلية.