💬 NLP

Efficient Reinforcement Finetuning via Adaptive Curriculum Learning

تقدم هذه الورقة AdaRFT، وهي طريقة تعلم منهجي تكيفي تعزز بشكل كبير كفاءة ودقة الضبط الدقيق بالتعزيز للنماذج اللغوية الكبيرة من خلال تعديل صعوبة المشكلات ديناميكيًا بناءً على إشارات المكافأة، مما يقلل وقت التدريب بمقدار يصل إلى ضعفين مع تحسين أداء الاستدلال الرياضي.

المؤلفون الأصليون: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

نُشر 2026-02-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Taiwei Shi, Yiyang Wu, Linxin Song, Tianyi Zhou, Jieyu Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت حل مسائل رياضية معقدة. لديك مكتبة ضخمة من المسائل، تتراوح من "ما هو 2+2؟" إلى "أثبت هذه النظرية التي استغرقت من عبقري بشري 50 عاماً لحلها".

في الماضي، عندما حاول الباحثون تدريب هذه الروبوتات (نماذج اللغات الكبيرة) باستخدام الضبط الدقيق بالتعزيز (RFT)، ارتكبوا خطأً شائعاً: لقد ألقوا بالروبوت في العمق مباشرة. قدموا له مزيجاً من المسائل السهلة جداً (مملة وغير مفيدة) والصعبة جداً (مستحيلة ومحبطة). كان الروبوت يضيع وقته في حل المسائل السهلة التي يعرفها بالفعل، ويتعثر في المسائل الصعبة التي لا يستطيع فك شفرتها، مما يجعل عملية التدريب بأكملها بطيئة ومكلفة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى ADARFT (الضبط الدقيق بالتعزيز ذو المنهج التكيفي). فكر في ADARFT كـ مدرس شخصي ذكي وتكيفي يراقب أداء الروبوت في الوقت الفعلي ويعدل الواجبات المنزلية وفقاً لذلك.

إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. منطقة "غولديلوكس" (المنطقة المثالية)

الفكرة الجوهرية هي أن التعلم يحدث بشكل أفضل عندما تكون المهمة مناسبة تماماً—ليست سهلة للغاية، ولا صعبة للغاية.

سهلة جداً: إذا كان الروبوت يحل المسألة بنسبة 100% من الوقت، فهو لا يتعلم شيئاً جديداً. الأمر يشبه طالباً يكرر جدول الضرب الذي يعرفه منذ سنوات.
صعبة جداً: إذا كان الروبوت يخطئ بنسبة 100% من الوقت، فهو مجرد يخمن عشوائياً. الأمر يشبه سؤال طفل في الصف الأول عن مسألة فيزياء بمستوى الدكتوراه.
مناسبة تماماً: المنطقة المثالية هي عندما يحل الروبوت المسألة بنسبة 50% من الوقت تقريباً. هذه هي منطقة "المعاناة المثمرة" حيث ينمو العقل (أو النموذج) فعلياً.

2. كيف يعمل ADARFT كمدرس خصوصي

بدلاً من اتباع جدول زمني صارم ومكتوب مسبقاً (مثل "الأسبوع 1: سهل، الأسبوع 2: متوسط")، فإن ADARFT هو نظام ديناميكي.

حلقة التغذية الراجعة: بعد كل مجموعة من مسائل التدريب، يتحقق المدرس من درجة الروبوت.
التعديل:
- إذا كان الروبوت يسحق المسائل (يسجل درجات أعلى بكثير من 50%)، يقول المدرس: "عمل رائع! إليك بعض المسائل الأصعب قليلاً".
- إذا كان الروبوت يفشل فشلاً ذريعاً (يسجل درجات أقل بكثير من 50%)، يقول المدرس: "دعنا نتراجع قليلاً. إليك بعض المسائل الأسهل لبناء ثقتك بنفسك".
- إذا كان الروبوت يحوم حول علامة الـ 50% تلك، يحافظ المدرس على مستوى الصعوبة ثابتاً.

3. "درجة الصعوبة"

للقيام بذلك، يحتاج النظام إلى معرفة مدى صعوبة كل مسألة. لم يطلب المؤلفون من البشر تقييم كل مسألة (لأن ذلك سيستغرق وقتاً طويلاً)، بل استخدموا "حكماً" (نموذج ذكاء اصطناعي آخر) لإعطاء كل مسألة رياضية درجة صعوبة من 0 إلى 100 قبل بدء التدريب.

تشبيه: تخيل أن كل كتاب في المكتبة يحتوي على ملصق "مستوى القراءة" على كعبه. لا يحتاج ADARFT لقراءة الكتب ليعرف مستواها؛ بل ينظر فقط إلى الملصق ويختار الكتب التي تناسب قدرة القراءة الحالية للطالب.

4. لماذا يعد هذا أمراً هاماً

تدعي الورقة البحثية أن نهج "المدرس" البسيط هذا يجعل التدريب أسرع بمرتين وينتج عنه روبوتات أكثر ذكاءً.

الكفاءة: من خلال تجنب المسائل "السهلة جداً" و"الصعبة جداً"، يتوقف الروبوت عن إضاعة الوقت. الأمر يشبه عداءً يركض فقط بالسرعة التي تبني العضلات، بدلاً من الجري ببطء شديد أو الركض بأقصى سرعة حتى ينهار.
الدقة: لأن الروبوت يتم تحديه باستمرار بالمستوى المثالي، فإنه يتعلم بشكل أفضل وينتهي به الأمر بدقة أعلى في المسابقات الرياضية الصعبة.
لا مجهود شاق: الجزء الأفضل هو أن ADARFT لا يتطلب تغيير "دماغ" الروبوت أو قواعد اللعبة. إنه ترقية "جاهزة للتشغيل" (Plug-and-play) توضع فوق طرق التدريب الحالية.

ملخص

باختصار، ADARFT هو أسلوب يتوقف عن معاملة جميع بيانات التدريب ككومة مسطحة من الصخور. بدلاً من ذلك، يقوم بتنظيم الصخور حسب حجمها ويقدمها للمتعلم واحدة تلو الأخرى، مما يضمن أن المتعلم يرفع دائماً وزناً ثقيلاً بما يكفي لبناء القوة، ولكنه خفيف بما يكفي ليتمكن من رفعه فعلياً. وهذا يجعل عملية التدريب أسرع، وأرخص، وأكثر فعالية.

ملخص تقني: الضبط الدقيق بالتعزيز الفعال عبر تعلم المناهج التكيفي

بيان المشكلة

برز الضبط الدقيق بالتعزيز (RFT) كتقنية حاسمة لمواءمة النماذج اللغوية الكبيرة (LLMs) مع أهداف خاصة بالمهام، لا سيما في مجالات مثل الاستدلال الرياضي حيث يكون التصحيح محددًا بدقة. ومع ذلك، تعاني أساليب RFT القياسية (مثل PPO وGRPO) من عدم كفاءة كبيرة في العينات والحوسبة؛ فهي غالبًا ما تتطلب تدريبًا مكثفًا يتضمن عمليات توليد متكررة للنتائج (rollouts) وتحديثات للسياسة، مما يجعلها مكلفة وصعبة التوسع.

تواجه المحاولات الحالية لتحسين الكفاءة مقايضات محددة:

التبسيطات الخوارزمية (مثل RAFT وReMax) قد تزيد من التباين أو تحد من الاستقرار.
الاستراتيجيات المتمحورة حول البيانات (مثل LIMO وLIMR) غالبًا ما تعتمد على تنسيق يدوي أو تسجيل درجات ثابت، وهو ما قد يكون هشًا، أو ثقيلًا حوسبيًا، أو خاصًا بنموذج معين.
أساليب تعلم المناهج (CL) في الأعمال السابقة تستخدم عادةً مراحل ثابتة ومحددة يدويًا أو مخططات تصفية عبر الإنترنت تتطلب عمليات توليد متكررة للنتائج لتنقية البيانات. تفتقر هذه الأساليب إلى التكيف الحقيقي مع مستوى المهارة المتطور للنموذ de أو تتسبب في أعباء حوسبية كبيرة.

وبناءً على ذلك، هناك حاجة إلى طريقة تضبط صعوبة المهام ديناميكيًا لتناسب القدرات الحالية للنموذج دون تعديل خوارزمية التعزيز الأساسية أو اشتراط تنسيق يدوي واسع النطاق للبيانات.

المنهجية: ADARFT

يقترح المؤلفون ADARFT (الضبط الدقيق بالتعزيز عبر تعلم المناهج التكيفي)، وهو إطار عمل خفيف الوزن ومستقل عن النموذج يدمج تعلم المناهج التكيفي في مسارات RFT القياسية (متوافق مع PPO وGRPO وREINFORCE++).

الآلية الجوهرية

يعمل ADARFT من خلال الحفاظ على مستوى صعوبة مستهدف ( $T$ ) وتعديله ديناميكيًا بناءً على إشارات المكافأة الأخيرة للنموذج. المنطق الجوهري هو أن التعلم يكون أكثر فعالية عندما تكون المهام ليست سهلة للغاية ولا صعبة للغاية (منطقة التطور القريب).

تتم عملية الخوارزمية كما يلي:

تقدير الصعوبة خارج الخط (Offline): يتم وسم كل مشكلة في مجموعة البيانات $D$ مسبقًا بدرجة صعوبة $d_i$ . يمكن اشتقاق هذه الدرجات من التقييمات البشرية، أو عمليات توليد النتائج القائمة على النماذج (pass@k)، أو حكام النماذج اللغوية الكبيرة (مثل GPT-4o).
أخذ عينات المنهج الديناميكي: في كل خطوة تدريب، تحسب الخوارزمية الفرق المطلق $\Delta_i = |d_i - T|$ بين الصعوبة المستهدفة وصعوبة كل مشكلة. ثم تختار دفعة (batch) مكونة من $B$ من المشكلات ذات أصغر قيمة لـ $\Delta_i$ ، مما يضمن تدريب النموذج على المهام الأقرب إلى قدراته الحالية.
تحديث السياسة: تُستخدم الدفعة المختارة لتحديث السياسة $\pi_\theta$ باستخدام خوارزمية تعزيز قياسية (مثل PPO). يتم حساب إشارة مكافأة ثنائية ( $R_i \in \{0, 1\}$ ) بناءً على صحة الاستجابة.
تحديث الصعوبة المستهدفة: يتم تحديث الصعوبة المستهدفة $T$ $T$ بناءً على متوسط المكافأة ( $R_{avg}$ $R_{a v g}$ ) للدفعة. تُعرف قاعدة التحديث كالتالي:
$T' = \text{clip}(T + \eta \cdot \tanh(\alpha \cdot (R_{avg} - \beta)), d_{min}, d_{max})$
- $\beta$ : مستوى المكافأة المستهدف (محدد بـ 0.5)، والذي يمثل معدل النجاح المنشود.
- $\eta$ : حجم الخطوة لتعديل الصعوبة.
- $\alpha$ : معامل الحساسية.
- $\text{clip}$ : يقيد $T$ ضمن نطاق الصعوبة الصحيح $[d_{min}, d_{max}]$ .

إذا كان أداء النموذج جيدًا ( $R_{avg} > \beta$ )، تزدق $T$ لتصبح المهام اللاحقة أكثر صعوبة. وإذا كان الأداء ضعيفًا ( $R_{avg} < \beta$ )، تنخفض $T$ .

التبرير النظري

يقدم المؤلفون تبريرًا نظريًا لضبط $\beta = 0.5$ . في التعزيز المنتظم بالاعتلاج (entropy-regularized RL)، يتناسب مقدار التدرج لتحديثات السياسة مع تباين المكافأة. بالنسبة للمكافآت الثنائية، يتم تعظيم التباين عندما يكون معدل النجاح 0.5. لذلك، فإن التدريب على المشكلات التي ينجح فيها النموذج نصف الوقت تقريبًا يوفر أقوى إشارة تعلم، متجنبًا تلاشي التدرجات المرتبط بالمهام السهلة للغاية أو الضجيج الناتج عن المهام الصعبة للغاية.

المساهمات الرئيسية

إطار عمل المنهج التكيفي: يقدم ADARFT منهجًا ديناميكيًا مدفوعًا بالتغذية الراجعة يضبط صعوبة المهام في الوقت الفعلي بناءً على أداء النموذج، مما يلغي الحاجة إلى جداول زمنية ثابتة أو عمليات توليد متكررة لتصفية البيانات.
خفيف الوزن وعام: تتطلب الطريقة توسيعًا طفيفًا فقط لخوارزميات RL القياسية (PPO وGRPO وغيرها) ولا تغير دالة المكافأة أو بنية النموذج. وهي متوافقة مع مختلف خوارزميات RL وأحجام النماذج.
تقدير الصعوبة خارج الخط: يعتمد النهج على درجات صعوبة ثابتة ومحسوبة مسبقًا (مشتقة من عمليات التوليد أو حكام LLM)، مما يتجنب العبء الحوسبي لإعادة حساب الصعوبة عبر الإنترنت أثناء التدريب.
تقييم شامل: تم تقييم الطريقة عبر توزيعات بيانات متنوعة (موحدة، منحازة للسهولة، منحازة للصعوبة) وأحجام نماذج مختلفة (Qwen 2.5 1.5B و7B) على اختبارات رياضية بمستوى المسابقات.

النتائج

تظهر التجارب على مجموعات البيانات الرياضية ذات مستوى المسابقات (AMC، AIME، IMO-style) أن ADARFT يحسن بشكل كبير كلاً من كفاءة التدريب والأداء النهائي للاستدلال مقارنة بـ PPO القياسي، وPPO مع البيانات المفلترة، وPPO مع جداول المناهج الثابتة.

كفاءة التدريب: يقلل ADARFT وقت التدريب بما يصل إلى ضعفين (2×). النماذج المدربة باستخدام ADARFT تتطلب خطوات أقل بكثير للوصة إلى مستويات أداء الأساليب المرجعية. على سبيل المثال، في نموذج Qwen 2.5 1.5B مع توزيع منحاز للصعوبة، تطلب PPO القياسي خطوات أكثر بنسبة 71.7% لمطابقة أداء ADARFT عند الخطوة 60.
الدقة النهائية: يحقق ADARFT باستمرار دقة نهائية أعلى. في التوزيع المنحاز للصعوبة، تحسن نموذج Qwen 2.5 1.5B من 37.41% (PPO) إلى 40.48% (ADARFT). لوحظت مكاسب مماثلة لنموذج 7B (من 44.17% إلى 46.83%).
المتانة: الطريقة فعالة بشكل خاص في أنظمة البيانات غير المتوازنة (مثل المنحازة للصعوبة)، حيث تفشل أخذ العينات الثابتة غالبًا في توفير إشارات تعلم كافية في بداية التدريب.
استقلالية الخوارزمية: تؤكد دراسات الاستئصال (Ablation studies) أن ADARFT يحسن التقارب والدقة عند استخدامه مع GRPO وREINFORCE++، وليس فقط PPO.
تقدير الصعوبة: تظهر الورقة أن تقديرات الصعوبة المستمدة من حكام LLM (مثل GPT-4o) ترتبط جيدًا بمعدلات النجاح التجريبية، مما يوفر بديلًا قابلًا للتوسع للتقدير القائم على التوليد المكلف.

الأهمية والادعاءات

تدعي الورقة أن ADARFT يوفر مسارًا عمليًا وقابلًا للتوسع لرفع كفاءة RFT في مهام الاستدلال المهيكلة. تكمن أهميته في:

إلغاء التنسيق اليدوي: على عكس الأساليب التي تتطلب مناهج مصممة يدويًا أو تصفية واسعة للبيانات، يتكيف ADARFT تلقائيًا مع ديناميكيات تعلم النموذج.
تحسين إشارة التعلم: من خلال استهداف معدل نجاح بنسبة 50%، تضمن الطريقة تدريب النموذج باستمرار على مهام "قابلة للحل ولكنها صعبة"، مما يعظم كسب المعلومات لكل تحديث.
القابلية للتوسع: النهج خفيف الوزن ومستقل عن النموذج، مما يجعله مناسبًا لخطوط تدريب واسعة النطاق حيث تكون الموارد الحوسبية مقيدة.

يشير المؤلفون إلى أن فوائد تعلم المناهج تظهر بوضوح أكبر في توزيعات التدريب غير المتوازنة ومع النماذج ذات السعة المحدودة، حيث يواجه RFT القياسي صعوبة في تعزيز القدرات. وبينما يمكن للتنسيق اليدوي نظريًا تحقيق نتائج مماثلة، فإن ADARFT يوفر حلاً موحدًا ومؤتمتًا يتعمم عبر بنيات النماذج ومستويات المهارة المختلفة دون الحاجة إلى إعادة ضبط لكل نموذج جديد.