🤖 machine learning

Klear-Reasoner: Advancing Reasoning Capability via Gradient-Preserving Clipping Policy Optimization

يُعد Klear-Reasoner نموذج استدلال عالي الأداء يحقق نتائج رائدة في الرياضيات والبرمجة من خلال استخدام سير عمل يعتمد على الضبط الدقيق الفائق لتدفق الأفكس (Chain-of-Thought) الطويل وعالي الجودة، وطريقة مبتكرة للتحسين عبر سياسة تقليم الحفاظ على التدرج (GPPO) التي تخفف من قيود آليات التقليم القياسية لتعزيز الاستكشاف والتعلم من العينات السلبية.

المؤلفون الأصليون: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhenpeng Su, Leiyu Pan, Xue Bai, Dening Liu, Guanting Dong, Jiaming Huang, Minxuan Lv, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري ولكنه ساذج قليلاً (النموذج الذكاء الاصطناعي) كيفية حل أصعب المسائل الرياضية في العالم وكتابة أكواد برمجية معقدة. الهدف هو تحويل هذا الطالب إلى "جراند ماستر" (أستاذ كبير) يمكنه التفكير بعمق، وارتكاب الأخطاء، والتعلم منها، وفي النهاهية الوصول إلى الحل المثالي في كل مرة.

هذه الورقة البحثية، "Klear-Reasoner"، هي بمثابة تقرير الدرجات وخطة الدرس لكيفية تحقيق فريق "Kuaishou" لهذا الهدف. لم يكتفوا فقط بضخ المزيد من البيانات في الطالب؛ بل غيروا طريقة تعلم الطالب.

إليك تفصيل "خلطتهم السرية"، مشروحة بتشبيهات بسيطة:

1. المشكلة: "الفصل الدراسي الصاخب"

عادةً، عند تدريب الذكاء الاصطناعي، يقوم الناس بصب أكوام ضخمة من البيانات في النظام، آملين أن تفوق جودة الأشياء الجيدة تلك السيئة. أدرك المؤلفون أن هذا يشبه محاولة تعليم طالب في فصل دراسي حيث نصف الطلاب يصرخون بهراء.

الرؤية: وجدوا أن الجودة تتفوق على الكمية. فبدلاً من 1,000 كتاب مدرسي مختلف، استخدموا بضعة كتب مثالية فقط.
التحول في التعامل مع الأخطاء: اكتشفوا أيضاً شيئاً غير متوقع. بالنسبة للمسائل السهلة، تريد فقط من الطالب رؤية الإجابات الصحيحة. ولكن بالنسبة للمسائل الصعبة، فإن عرض الإجابات الخاطئة (الأخطاء) على الطالب يساعد فعلياً! الأمر يشبه إظهار مباراة شطرنج خسر فيها اللاعب، ليرى بالضبط لماذا كانت تلك النقلة سيئة. الإجابات "الخاطئة" تعلم الطالب ما الذي لا يجب فعله، وهو أمر بالغ الأهمية لاستكشاف حلول جديدة.

2. طريقة التدريب: "سلسلة التفكير الطويلة" (الغوص العميق)

قبل أن يتمكن الذكاء الاصطناعي من تعلم التفكير المنطقي، كان عليهم تعليمه كيف "يفكر بصوت عالٍ".

التشبيه: تخيل أنك تسأل عبقري رياضيات: "ما هو 2+2؟" قد يقول ببساطة "4". ولكن إذا طلبت منه حل مسألة فيزياء معقدة، فإنه يحتاج إلى كتابة كل خطوة: "أولاً، أحتاج إلى إيجاد القوة، ثم الكتلة..."
الاستراتيجية: قام الفريق بتدريب الذواك الاصطناعي على توليد هذه "سلاسل التفكير" الطويلة والخطوة بخطوة باستخدام نموذج معلم فائق الذكاء (DeepSeek-R1). لم يكتفوا بتصفية الإجابات المثالية فحسب؛ بل تركوا الذكاء الاصطناعي يتعلم من عمليات التفكير الفوضوية والصعبة أيضاً، بشرط أن يكون المعلم من الطراز الرفيع.

3. الابتكار الكبير: GPPO (الـ "دفعة اللطيفة" مقابل الـ "توقف حاد")

هذا هو الجزء الأكثر تقنية، ولكن إليك النسخة البسيطة منه.
عندما يتعلم الذكاء الاصطناعي، فإنه يجرب إجابات مختلفة. إذا كانت الإجابة جيدة، فإنه يحصل على "تصفيق" (مكافأة إيجابية). وإذا كانت سيئة، فإنه يحصل على "إبهام للأسفل" (مكافأة سلبية).

الطريقة القديمة (القص/Clipping): في التدريب القياسي، إذا أصبح الذكاء الاصطناعي متحمساً جداً لفكرة جديدة (رمز عالي الإنتروبيا) أو أصبح خائفاً جداً من الخطأ، فإن النظام يضع "حد سرعة" عليه. إنه حرفياً يقطع إشارة التعلم.
- المشكلة: هذا يشبه معلماً يضرب يد الطالب بعيداً في اللحظة التي يوشك فيها على اكتشاف طريقة عبقرية جديدة لحل مشكلة ما. هذا يمنع الذكاء الاصطناعي من الاستكشاف. كما أنه يجعل الذكاء الاصطناعي يتجاهل الأمثلة السيئة بسرعة كبيرة، مما يبطئ عملية التعلم.
الطريقة الجديدة (GPPO - القص الحافظ للتدرج): ابتكر فريق Klear قاعدة جديدة تسمى GPPO.
- التشبيه: بدلاً من ضرب يد الطالب بعيداً، يقول المعلم: "حسناً، هذه الفكرة مخاطرة، لكن دعنا ننظر إليها بعناية. لن ندعك تخرج عن السيطرة، لكننا لن نتجاهلك أيضاً".
- كيف يعمل: حتى عندما تكون ثقة الذكاء الاصطناعي عالية جداً أو منخفضة جداً، يحافظ GPPO على تدفق "إشارة التعلم"، لكنه يقوم بتقليصها بلطف. إنه يحافظ على المعلومات التي يحاول الذكاء الاصطناعي تعلمها، ولكن دون التحديثات "الانفجارية" الخطيرة التي تؤدي إلى انهيار التدريب.
- النتيجة: يصبح الذكاء الاصطناي أكثر جرأة في استكشاف حلول جديدة (لأنه ليس خائفاً من القص) ويتعلم بشكل أسرع من أخطائه (لأنه لا يتجاهل "الإبهام للأسفل").

4. نظام المكافأة: "المكافآت الناعمة" للبرمجة

عند تعليم البرمجة، كانت الطريقة القديمة ثنائية: "هل اجتاز الكود جميع الاختبارات؟ نعم = جيد، لا = سيء".

المشكلة: إذا كتب الطالب كوداً اجتاز 15 اختباراً من أصل 16، فإن النظام القديم يقول "فشل". هذا أمر محبط وغير مفيد.
الحل: قدموا المكافآت الناعمة (Soft Rewards). إذا اجتاز الكود 15/16 من الاختبارات، يحصل الذكاء الاصطناعي على درجة 0.94. إنها "تصفيق جزئي". هذا يخبر الذكاء الاصطناعي: "أنت قريب جداً، فقط قم بتعديل هذا الشيء الواحد". هذا يحول الطريق المسدود إلى حجر زاوية للتقدم.

5. النتائج: ظهور الـ "جراند ماستر"

من خلال الجمع بين هذه التقنيات — البيانات عالية الجودة، التعلم من الأخطاء الصعبة، "الدفعة اللطيفة" لـ GPPO، والدرجات الجزئية للبرمجة — أصبح نموذج Klear-Reasoner وحشاً كاسراً.

سجل 90.5% في مسابقة AIME 2024 للرياضيات (متفوقاً على الجميع تقريباً).
سجل 83.2% في نسخة عام 2025.
سحق معايير البرمجة مثل LiveCodeBench.

الملخص

فكر في فريق Klear-Reasoner كمدربي فريق أولمبي.

توقفوا عن استخدام تمارين التدريب العشوائية وانتقلوا إلى تدريب نخبوي ومركز (بيانات عالية الجودة).
سمحوا لرياضييهم بدراسة إخفاقاتهم في الأيام الصعبة (عينات صعبة غير مصفاة).
استبدلوا "علامة التوقف" للأفكار الجديدة بـ مطبّ سرعة يبقي الرياضي متحركاً وآمناً في آن واحد (GPPO).
منحوا درجات جزئية للأداء القريب من المثالية للحفاظ على الروح المعنوية عالية (المكافآت الناعمة).

النتيجة؟ نموذج لا يكتفي بحفظ الإجابات، بل يستخدم المنطق فعلياً لاختراق أصعب المسائل في العالم.

ملخص تقني: Klear-Reasoner

1. بيان المشكلة

على الرغم من نجاح التعلم المعزز واسع النطاق (RL) في نماذج الاستدلال (مثل OpenAI O1 وDeepSeek-R1)، إلا أن إعادة إنتاج نماذج استدلال عالية الأداء تظل أمراً صعباً بسبب عدم الإفصاح الكامل عن تفاصيل التدريب. غالباً ما تتخلف نماذج المعلمات (7-8 مليار) الحالية عن النسخ المقطرة (distilled) من النماذج الأكبر في مهام الاستدلال الرياضي والبرمجي.

تشمل الاختناقات التقنية الرئيسية التي تم تحديدها في النهج الحالي ما يلي:

عدم كفاءة البيانات: عدم اليقين بشأن التوازن الأمثل بين جودة البيانات وتنوعها، وتأثير عينات الاستدلال غير الصحيحة (الضجيج) على التدريب.
قيود القص (Clipping) في التعلم المعزز: تعمل آليات القص القياسية في تحسين السياسة القريبة (PPO) وتحسين السياسة النسبية للمجموعة (GRPO) على كبح إشارات الاستكشاف الحرجة (الرموز عالية الإنتروبيا) وتتجاهل المسارات دون المثالية (العينات السلبية) عن طريق التخلص من تدرجاتها (gradients). يؤدي هذا إلى الإنهاء المبكر للاستكشاف وتأخر التقارب عند العينات السلبية.

2. المنهجية

يستخدم إطار عمل Klear-Reasoner سير عمل مرحلة ما بعد التدريب المكون من مرحلتين: الضبط الدقيق للإشراف على سلسلة التفكير الطويلة (long CoT SFT) يليه التعلم المعزز (RL).

2.1 الضبط الدقيق للإشراف على سلسلة التفكير الطويلة (SFT)

استراتيجية البيانات: يتبنى المؤلفون نهج "الجودة فوق التنوع". بدلاً من تجميع مجموعات بيانات ضخمة ومتنوعة، قاموا بتنقية مجموعة مدمجة من مصادر البيانات عالية الجودة (مثل OpenThoughts وNuminaMath وOpenCodeReasoning).
تصفية الصحة: خلافاً للاعتقاد بأن البيانات الصحيحة فقط هي التي يجب استخدامها، وجدت الدراسة أنه بالنسبة لـ العينات الصعبة، فإن تضمين مسارات استدلال غير صحيحة (بيانات مختلطة) لا يضر بالأداء بل قد يساعد في الاستكشاف. وبناءً على ذلك، فقد احتفظوا بجميع الاستجابات من العينات الصعبة دون تصفية صارمة للدقة.
النموذج المعلم: يتم توليد الاستجابات باستخدام DeepSeek-R1-0528، والذي تم تحديده كأفضل نموذج معلم لعملية التقطير (distillation).

2.2 تحسين السياسة مع الحفاظ على التدرج (GPPO)

لمعالجة قيود القص التقليدي، يقترح المؤلفون GPPO، وهو خوارزمية تعلم معزز مبتكرة تحافظ على معلومات التدرج من جميع الرموز (tokens)، حتى تلك التي تقع خارج حدود القص.

الآلية: على عكس القص التقليدي الذي يضبط التدرجات لتكون صفراً للرموز الخارجة عن النطاق، يقوم GPPO بفصل التمرير الأمامي (القص) عن التمرير الخلفي (حساب التدرج).
- بالنسبة للرموز ذات نسب الأهمية العالية ( $r_t > 1+\epsilon$ )، يتم الحفاظ على التدرجات ولكن مع تقييدها بقيمة محدودة (مثلاً $1+\epsilon_h$ ) بدلاً من التخلص منها.
- بالنسبة للرموز ذات نسب الأهمية المنخفضة ( $r_t < 1-\epsilon$ )، يتم الحفاظ على التدرجات بشكل مماثل وتقييدها.
الفوائد:
- تعزيز الاستكشاف: يحتفظ بالتدرجات من الرموز عالية الإنتروبيا، مما يسمح للنموذج باستكشاف نقاط القرار الحرجة دون كبح مبكر.
- تسريع التقارب: يُمكّن النموذج من التعلم من المسارات دون المثالية فوراً، بدلاً من الانتظار حتى تقع ضمن نافذة القص.
- الاستقرار: أثبتت التدرجات رياضياً أنها محدودة ولطيفة، مما يمنع عدم استقرار التدريب.
دالة الخسارة: يجمع الهدف النهائي بين خسارة GPPO وخسارة SFT على مستوى الرمز للأمثلة الإيجابية ( $L = L_{GPPO} + \alpha L_{SFT}$ ) ليعمل كمنظم ويمنع "اختطاف المكافأة" (reward hacking).

2.3 تصميم المكافأة وتصفية البيانات

المكافآت الناعمة للكود: بدلاً من مكافآت النجاح/الفشل الثنائية، يستخدم النظام آلية المكافأة الناعمة بناءً على معدل اجتياز حالات الاختبار (على سبيل المثال، اجتياز 4 حالات من أصل 16 يمنح مكافأة قدرها 0.25). هذا يخفف من ندرة المكافأة ويوفر إشارات تعلم كثيفة.
تصفية البيانات:
- الكود: يتم تصفية المطالبات (prompts) ذات معدلات النجاح المقدرة المنخفضة (pass@16 < 0.5) لإزالة حالات الاختبار الضوضائية التي قد تعاقب الكود الصحيح.
- الرياضيات: يتم تصفية مجموعات الميزة الصفرية (حيث تكون جميع الاستجابات في دفعة واحدة إما كلها صحيحة أو كلها خاطئة) لمنع تخفيف إشارات التحسين.

3. المساهمات الرئيسية

خوارزمية GPPO: طريقة جديدة لتحسين السياسة تحتفظ بإشارات التدرج من الرموز المقتصة، مما يوازن بين استقرار التدريب وتعزيز الاستكشاف والتعلم الأسرع من العينات السلبية.
رؤى تنقية البيانات: أدلة تجريبية تظهر أنه بالنسبة لمهام الاستدلال الصعبة، فإن مجموعة صغيرة من البيانات عالية الجودة تتفوق على مجموعات البيانات الكبيرة والمتنوعة، وأن العينات غير الصحيحة في المهام الصعبة يمكن أن تكون مفيدة للاستكشاف.
خط تدفق تدريبي شامل: سير عمل معلن بالكامل يدمج long CoT SFT مع GPPO، والمكافآت الناعمة، وتصفية البيانات الصارمة، محققاً نتائج رائدة عالمياً (state-of-the-art) لنموذج بـ 8 مليارات معلمة.
آلية المكافأة الناعمة: إثبات أن المكافآت النسبية بناءً على معدلات اجتياز حالات الاختبار تحسن بشكل كبير أداء الاستدلال البرمجي مقارنة بالمكافآت الثنائية.

4. النتائج التجريبية

تم تقييم Klear-Reasoner-8B على عدة معايسات، حيث تفوق على أو طابق نماذج أكبر وأكثر تعقيداً.

المعايسات الرئيسية (متوسط @64 للرياضيات، متوسط @8 للكود):

AIME 2024: 90.5% (مقابل 86.0% لنموذج DeepSeek-R1-0528-Distill-8B)
AIME 2025: 83.2% (مقابل 76.3% لنموذج DeepSeek-R1-0528-Distill-8B)
LiveCodeBench V5: 66.0%
LiveCodeBench V6: 58.1%

المقارنات:

يتفوق النموذج بشكل كبير على نماذج الاستدلال مفتوحة المصدر الأخرى من فئة 7-8 مليار معلمة (مثل OpenReasoning-Nemotron-7B وAceReason-Nemotron-1.1-7B).
يحقق أداءً يضاهي النماذج التي تستخدم ميزانيات استدلال 64K/96K بينما تم تدريبه على نافذة سياق 32K.
تؤكد دراسات الاستئصال (Ablation studies) أن GPPO يتفوق على GRPO القياسي مع Clip-Higher وطريقة CISPO المتزامنة من حيث الاستقرار والدقة النهائية.

5. الأهمية

يوفر تقرير Klear-Reasoner مخططاً حرجاً للمجتمع حول كيفية بناء نماذج استدلال عالية الأداء دون الاعتماد على أعداد هائلة من المعلمات أو أسرار تدريب غير معلنة.

ديمقراطية الاستدلال: يثبت أن نموذجاً بـ 8 مليارات معلمة يمكنه منافسة نماذج أكبر بكثير من خلال استراتيجيات تدريب محسنة وليس فقط من خلال الحجم.
الابتكار الخوارزمي: يقدم GPPO حلاً مبدئياً لـ "مشكلة القص" في التعلم المعزز، مما يشير إلى أن التخلص من معلومات التدرج هو أمر غير مثالي. من المرجح أن تؤثر هذه الرؤية على أبحاث RLHF/RLAIF المستقبلية.
فلسفة البيانات: تتحدى النتائج عقيدة "المزيد من البيانات يعني الأفضل"، وتدعو إلى أنماط استدلال متسقة وعالية الجودة والدمج الاستراتيجي للبيانات الصعبة والضوضائية لتعزيز الاستكشاف القوي.

باختصار، يضع Klear-Reasoner معياراً جديداً لنماذج الاستدلال الفعالة من خلال الجمع بين تنقية البيانات الصارمة وخوارزمية تحسين مبتكرة تحافظ على التدرج.