💬 NLP

GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy

تقدم هذه الورقة البحثية GTPO وGRPO-S، وهما خوارزميتان جديدتان للتعلم التعزيزي تعملان على تعزيز استدلال النماذج اللغوية الكبيرة من خلال تنفيذ تشكيل مكافأة ديناميكي قائم على الإنتروبيا لتحقيق تخصيص دقيق للمسؤولية (credit assignment) على مستوى الرمز (token-level) ومستوى التسلسل (sequence-level)، مما يتغلب على القيود ذات الحبيبات الخشنة التي تعاني منها الأساليب الحالية مثل GRPO وDAPO.

المؤلفون الأصليون: Hongze Tan, Zihan Wang, Jianfei Pan, Jinghao Lin, Hao Wang, Yifan Wu, Tao Chen, Zhihang Zheng, Zhihao Tang, Haihua Yang

نُشر 2026-02-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongze Tan, Zihan Wang, Jianfei Pan, Jinghao Lin, Hao Wang, Yifan Wu, Tao Chen, Zhihang Zheng, Zhihao Tang, Haihua Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "GTPO و GRPO-S: تشكيل المكافأة على مستوى الرمز (Token) والتسلسل باستخدام إنتروبيا السياسة" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: درجة "الكل أو لا شيء"

تخيل أنك تُعلّم طالباً (الذكاء الاصطناعي) كيفية حل مسألة رياضية طويلة ومعقدة للغاية. يكتب الطالب حلاً يتكون من 50 خطوة.

الخطوات من 1 إلى 49 كانت عبقرية، منطقية، وصحيحة.
الخطوة 50 (الإجابة النهائية) كانت خاطئة بسبب خطأ حسابي بسيط.

في الأساليب السائدة حالياً (مثل GRPO)، ينظر المعلم إلى النتيجة النهائية، ويرى أنها خاطئة، فيعطي المقال المكون من 50 خطوة درجة رسوب كاملة (صفر نقطة).

النتيجة: يعتقد الطالب: "أوه، يبدو أن الخطوات من 1 إلى 49 كانت بلا فائدة أيضاً". فينسى الأجزاء الجيدة وقد يحاول نهجاً مختلفاً وعشوائياً تماماً في المرة القادﻤة.
الخلل: يُسمى هذا "تخصيص الائتمان خشن الحبيبات" (Coarse-grained credit assignment). فهو يعامل سلسلة التفكير بأكملها ككتلة واحدة، متجاهلاً أن معظمها كان مثالياً بالفعل.

الحل: بوصلة "الإنتروبيا"

يقترح مؤلفو هذه الورقة طريقة جديدة لتقييم الطالب. لقد قدموا مفهوماً يسمى "إنتروبيا السياسة" (Policy Entropy).

فكر في الإنتروبيا كمقياس لـ "التفكير بعمق" أو "عدم اليقين".

الإنتروبيا المنخفضة: يكون الطالب واثقاً جداً من نفسه. هو فقط يكتب ما يعرفه بالفعل (مثل: "1 + 1 = 2").
الإنتروبيا العالية: الطالب يتوقف قليلاً، ويفكر في خيارات متعددة، ويصارع اتخاذ قرار صعب. إنه يستكشف مسارات مختلفة.

تجادل الورقة بأن الإنتروبيا العالية جيدة عندما تكون على صواب (فهذا يعني أنك استكشفت المسار الصحيح بعناية)، ولكن الإنتروبيا العالية سيئة عندما تكون على خطأ (فهذا يعني أنك كنت تخمن بثقة في الاتجاه الخاطئ).

الخوارزميتان الجديدتان

قدمت الورقة نوعين جديدين من "المعلمين" (الخوارزميات) اللذين يستخدمان بوصلة الإنتروبيا هذه لتقديم تغذية راجعة أفضل.

1. GTPO (تحسين سياسة الرموز الجماعية)

التشبيه: المعلم "المُحدد" (The Highlighter Teacher)
بدلاً من تقييم المقال بأكło، يقوم GTPO بتقييم كل كلمة (رمز/Token) بشكل فردي.

إذا كان المقال صحيحاً: يقوم المعلم بتحديد الكلمات التي تردد فيها الطالب أو استكشف فيها خيارات مختلفة (إنتروبيا عالية) ويعطيها نقاط مكافأة إضافية. هذا يخبر الطالب: "عمل جيد، لقد فكرت بعمق في هذه الخطوة تحديداً!"
إذا كان المقال غير صحيح: يبحث المعلم عن الكلمات التي كان فيها الطالب واثقاً جداً من نفسه ولكنه مخطئ (إنتروبيا منخفضة). ويعطي هذه الكلمات عقوبة شديدة. هذا يخبر الطالب: "لقد كنت واثقاً جداً من نفسك هنا، وكنت مخطئاً. لا تكن واثقاً بهذا الشكل في المرة القادمة".

لماذا يساعد هذا: إنه يحافظ على الأجزاء الجيدة من عملية الاستنتاج ويعاقب لحظات الثقة المفرطة المحددة التي أدت إلى الفشل.

2. GRPO-S (GRPO على مستوى التسلسل)

التشبيه: معلم "الشهادة المدرسية"
أحياناً، يكون تقييم كل كلمة على حدة بطيئاً جداً أو مرهقاً من الناحية الحسابية. GRPO-S هو نسخة أخف وزناً.

بدلاً من النظر إلى الكلمات الفردية، ينظر إلى متوسط "جهد التفكير" للمقال بأكمله.
إذا كان المقال صحيحاً: يتحقق مما إذا كان: "هل فكر الطالب بعمق واستكشف؟" إذا كان الأمر كذلك، يحصل المقال بأكمله على دفعة للأعلى.
إذا كان المقال غير صحيح: يتحقق مما إذا كان: "هل كان الطالب مخطئاً بثقة؟" إذا كان الأمر كذلك، يحصل المقال بأكمله على عقوبة أكبر.

لماذا يساعد هذا: إنه أسرع ولكنه لا يزال أذكى من طريقة "الكل أو لا شيء" القديمة. وهو مفيد بشكل خاص في الحفاظ على استقرار الطالب أثناء مهام الاستنتاج الطويلة جداً.

النتائج: ماذا حدث؟

اختبر المؤلفون هؤلاء المعلمين الجدد في اختبارات رياضية صعبة (مثل AIME و MATH).

الطريقة القديمة (GRPO/DAPO): غالباً ما كان الطالب يتعثر. فإما أن يستسلم بسرعة كبيرة أو "يعلق" في حلقة مفرغة من الإجابات الواثقة ولكن الخاطئة (انهيار السياسة - Policy Collapse).
الطريقة الجديدة (GTPO/GRPO-S):
- الاستكشاف: استمر الطلاب في تجربة مسارات مختلفة لفترة أطول لأنهم كوفئوا على "التفكير بعمق" (الإنتروبيا العالية) عندما كانوا على صواب.
- الدقة: تعلموا التوقف عن كونهم مخطئين بثقة.
- الأداء: حققوا درجات أعلى بكثير في المسائل الرياضية الصعبة، وحلوا سلاسل استنتاج أكثر تعقيداً مما سبق.

ملخص في جملة واحدة

تعلم هذه الورقة نماذج الذكاء الاصطناعي ألا تعامل سلسلة التفكير الطويلة كدرجة واحدة "نجاح أو رسوب"، بل تعطيها بدلاً من ذلك شهادة تفصيلية تكافئها على التفكير بعمق عندما تكون على صواب وعلى التواضع عندما تكون على خطأ، مما يؤدي إلى استنتاج أكثر ذكاءً بكثير.

ملخص تقني: GTPO و GRPO-S

1. بيان المشكلة

تعاني خوارزميات التعلم المعزز (RL) الحالية للنماذج اللغوية الكبيرة (LLMs)، ولا سيما تحسين السياسة النسبية للمجموعات (GRPO) ومتغيراتها مثل DAPO، من ضعف في تخصيص الائتمان (credit assignment) خشن الحبيبات. في هذه الأطر، يتم تعيين مكافأة موحدة (مثل +1 للإجابة النهائية الصحيحة، أو 0 أو -1 للإجابة غير الصحيحة) لكل رمز (token) داخل التسلسل المولد. يخلق هذا النموذج قيودين حرجين:

معاقبة الاستدلال الصحيح: التسلسل الذي يحتوي على عشرات الخطوات المنطقية الصحيحة يتلقى صفر مكافأة إذا كانت الإجابة النهائية غير صحيحة، مما يؤدي فعليًا إلى إهدار خطوات الاستدلال القيمة المتوسطة.
مكافأة المسارات المعيبة: على العكس من ذلك، فإن التسلسل الذي يصل إلى إجابة صحيحة من خلال خطوات متوسطة قائمة على التخمين أو معيبة يحصل على الائتمان الكامل، مما يعزز أنماط الاستدلال الخاطئة.
تحيز الطول: تصمم نماذج GRPO القياسية بشكل ضمني تفضيل التسلسلات الأطول للإجابات الصحيحة بسبب تجميع المزايا الموحدة، وهو أمر غير مثالي إحصائيًا.

بينما استخدمت الأعمال الحديثة إنتروبيا السياسة (policy entropy) كقيد تنظيم أو كقناع ثنائي لتصفية الرموز، إلا أنها فشلت في إعادة تشكيل إشارة المكافأة بنشاط للتمييز بين الاستكشاف عالي القيمة في الحلول الصحيحة والخطأ الواثق في الحلول غير الصحيحة.

2. المنهجية

يقترح المؤلفون الوزن الديناميكي للإنتروبيا (Dynamic Entropy Weighting)، وهو إطار عمل يعيد توظيف إنتروبيا السياسة كمرساة داخلية لتخصيص الائتمان دقيق الحبيبات. الفرضية الأساسية هي أن الإنتروبيا العالية للسياسة ضمن تسلسل استدلالي ترتبط بنقاط القرار المحورية (الجهد المعرفي). يعيد الإطار توزيع المكافآت بناءً على هذه الإنتروبيا، من خلال العمل عبر خوارزميتين متكاملتين:

أ. تحسين سياسة الرموز للمجموعة (GTPO)

يعمل GTPO على مستوى الرمز (token level)، حيث يخصص مكافأة فريدة موزونة بالإنتروبيا لكل رمز.

التسلسلات الناجحة ( $O^+$ ): الرموز ذات الإنتروبيا العالية (التي تشير إلى استكشاف قيم أو عدم يقين) تتلقى مكافأة إضافية. يتم تشكيل المكافأة كالتالي:
$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$
حيث $H_{i,t}$ هي إنتروبيا التوليد للرمز، و $d_t$ هو عدد التسلسلات الناجحة النشطة عند الخطوة $t$ . هذا يعزز الخطوات غير المؤكدة ولكن الصحيحة.
التسلسلات غير الناجحة ( $O^-$ ): الرموز ذات الإنتروبيا المنخفضة (التي تشير إلى ثقة عالية) تتلقى عقوبات أشد. يتم تشكيل المكافأة باستخدام مقلوب الإنتروبيا:
$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$
هذا يعاقب الأخطاء الواثقة، مما يشجع النموذج على الخروج من أنماط الاستدلال الخاطئة.
حساب الميزة (Advantage Calculation): يتم حساب دوال ميزة منفصلة للمجموعات الموجبة والسالبة، وتتم معايرتها عبر جميع الرموز في الدفعة (batch) لضمان اتساق القياس.

ب. GRPO على مستوى التسلسل (GRPO-S)

GRPO-S هو متغير خفيف الوزن يعمل على مستوى التسلسل (sequence-level)، مصمم لتحقيق الاستقرار في مهام سلسلة التفكير (CoT) الطويلة.

بدلاً من مكافآت مستوى الرمز، يقوم بتعديل المكافأة العالمية لتسلسل كامل بناءً على متوسط الإنتروبيا الخاص به ( $\hat{H}_k$ ).
التسلسلات الناجحة ذات الاستكشاف الأعلى تتلقى مكافآت، بينما التسلسلات الخاطئة ذات الثقة العالية (إنتروبيا متوسطة منخفضة) تتلقى عقوبات.
يقدم هذا النهج مقايضة بين دقة المستوى المجهري لـ GTPO واستقرار المستوى الكلي لـ GRPO-S.

الضمانات النظرية

تقدم الورقة تحليلًا نظريًا يثبت:

حفظ كتلة المكافأة: تحت قيود محددة للمعلمات الفائقة ( $\alpha_1 + \alpha_2 = 1$ )، يتساوى مجموع المكافآات الإيجابية المشكلة مع مجموع المكافآت الثنائية الأصلية، مما يضمن بقاء إشارة التعلم الإجمالية غير منحازة بالنسبة للحقيقة الأرضية (ground truth).
الاتساق التقاربي: مع تقدم التدريب وتضاؤل تباين الإنتروبيا بين التسلسلات الناجحة، يتلاشى انحياز التدرج الناتج عن وزن الإنتروبيا، مما يضمن التقارب نحو نفس الحل الأمثل العالمي لـ GRPO/DAPO القياسي.
تقليل التباين: المعايرة المستخدمة في مستوى الرمز في GTPO تتفوق إحصائيًا على المتوسط ذو المرحلتين في GRPO القياسي، مما يقلل من تباين التدرج.

3. المساهمات الرئيسية

تحديد القيود خشنة الحبيبات: تعالج الورقة بشكل جوهري إطار عمل GRPO من خلال معالجة عدم قدرته على تخصيص الائتمان لخطوات استدلال محددة.
خوارزمية GTPO: تقدم أول تخصيص حقيقي دقيق للحبيبات للائتمال لكل رمز ضمن إطار عمل GRPO الفعال باستخدام الوزن الديناميكي للإنتروبيا.
خوارزمية GRPO-S: تقترح متغيرًا على مستوى التسلسل يلتقط القيمة الاستكشافية للتسلسلات بأكملها، مما يوفر استقرارًا فائقًا للاستدلال طويل سلسلة التفكير (CoT).
التحليل النظري: تقدم براهين لعدم الانحياز والتقارب لدوال الهدف المقترحة.
التحقق التجريبي: تثبت مكاسب أداء كبيرة في اختبارات الاستدلال الرياضي الصعبة.

4. النتائج التجريبية

أُجريت التجارب على نماذج Qwen2.5-7B و Qwen2.5-32B عبر اختبارات AIME 2024 و AIME 2025 و MATH 500.

الأداء: حقق كل من GTPO و GRPO-S نتائج جديدة هي الأفضل في فئتها (SOTA)، متفوقين باستمرار على GRPO و DAPO و خط الأساس المتقدم "DAPO w/ Forking Tokens".
- في AIME 2024 (Qwen2.5-7B)، حقق GTPO نسبة Pass@32 بلغت 64.89%، وهي تحسن هائل عن نسبة 35.51% لـ DAPO.
- في AIME 2025، حقق GRPO-S نسبة Pass@32 بلغت 23.33% (7B) و 34.33% (32B)، متفوقًا على جميع خطوط الأساس.
الاستكشاف مقابل الاستقرار: على عكس DAPO، الذي غالبًا ما يصل إلى مرحلة الركود بسبب الانهيار المبكر للسياسة (انهيار الإنتروبيا)، أظهر GTPO و GRPO-S ظاهرة "ارتداد الإنتروبيا" (entropy rebound). حافظت النماذج على مستويات أعلى من الاستكشاف، مما أدى إلى سلاسل استدلال أطول وأكثر تنوعًا وسقوف مكافأة نهائية أعلى.
كفاءة العينات: تقاربت الطرق في حوالي 210 خطوة تدريب، مما يشير إلى أن مكاسب الأداء لم تكن بسبب طول التدريب ولكن بسبب إشارات التعلم الأكثر كفاءة.

5. الأهمية والادعاءات

تدعي الورقة أن تسخير وتوجيه عدم يقين النموذج هو أفق واعد لتطوير أنظمة ذكاء اصطناعي موثوقة. من خلال معاملة إنتروبيا السياسة ليس مجرد حد تنظيم، بل كإشارة ديناميكية لـ تشكيل المكافأة النشط، تمكن الطرق المقترحة من:

تخصيص دقيق للائتمان: التمييز بين الاستكشاف القيم في المسارات الصحيحة والخطأ الواثق في المسارات غير الصحيحة دون الحاجة إلى شبكة قيمة صريحة.
الاستدلال القوي: نقل النماذج اللغوية الكبيرة من مجرد محاكاة الأنماط إلى الاستدلال القابل للتحقق خطوة بخوة.
القابلية للتوسع: توفير مقايضة مبدئية بين الدقة الحبيبية (GTPO) واستقرار التسلسل (GRPO-S) والتي تتوسع بفعالية عبر أحجام النماذج المختلفة وصعوبات المهام.

يخلص المؤلفون إلى أن إطار عملهم يحل مقايضة الاستقرار والاستكشاف المتأصلة في طرق RLHF الحالية، مما يسمح للنماذج باستكشاف مساحات الاستدلال المعقدة بشكل أكثر فعالية مع تجنب عثرات الاستدلال الخاطئ المفرط في الثقة.