🤖 machine learning

Accelerating RL Post-Training Rollouts via System-Integrated Speculative Decoding

تقدم هذه الورقة إطار عمل لفك التشفير التخميني متكامل مع النظام ضمن NeMo-RL، والذي يعمل كأداة تسريع غير فاقدة للمعلومات لعمليات التدفق (rollouts) في مرحلة ما بعد التدريب للتعلم التعزيزي، محققاً تحسناً في الإنتاجية بنسبة 1.8 ضعف عند مقياس 8B، ومتوقعاً تسريعاً يصل إلى 2.5 ضعف في نهاية العملية عند مقياس 235B عند دمجه مع التنفيذ غير المتزامن.

المؤلفون الأصليون: Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Ko

نُشر 2026-04-30

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hayate Iso, Tiyasa Mitra, Sudipta Mondal, Rasoul Shafipour, Venmugil Elango, Terry Kong, Yuki Huang, Seonjin Na, Izzy Putterman, Benjamin Chislett, Maor Ashkenazi, Joseph Guman, Gerald Shen, Tugrul Konuk, Ashwath Aithal, Ritika Borkar, Ran Zilberstein, Bita Rouhani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب طالب عبقري لكنه بطيء التفكير (نموذج الذكاء الاصطناعي) لحل مسائل رياضية معقدة. لتعليمه، عليك أن تطرح عليه سؤالاً، وتنتظر حتى يكتب كامل عملية تفكيره خطوة بخطوة، ثم تتحقق مما إذا كان قد أصاب.

المشكلة هي أن جزء "التحقق" سريع، لكن جزء "الكتابة" بطيء للغاية. الطالب يكتب كلمة واحدة، يتوقف ليفكر، ثم يكتب الكلمة التالية، يتوقف، وهكذا. هذه الكتابة البطيئة، كلمة بكلمة، هي العائق الأكبر أمام تدريب نماذج الذكاء الاصطناعي هذه.

تقدم هذه الورقة البحثية حيلة ذكية تسمى "التوليد الاستدلالي" (Specclusive Decoding) لتسريع عملية الكتابة هذه دون تغيير كيفية تفكير الطالب أو ما يتعلمه.

الفكرة الجوهرية: "مساعد المسودة"

فكر في نموذج الذكاء الاصطناعي كأنه رئيس طهاة ماهر، دقيق للغاية ولكنه بطيء. لتسريع العمل، تقوم بتعيين مساعد طاهٍ سريع ونشيط (نموذج المسودة).

الطريقة القديمة (التوليد الذاتي - Autoregressive): رئيس الطهاة يكتب كلمة واحدة، يتوقف، يفكر، يكتب الكلمة التالية، يتوقف، يفكر. هذا يستغرق وقتاً طويلاً جداً.
الطريقة الجديدة (التوليد الاستدلالي): يقوم مساعد الطاهي بسرعة بتخمين الكلمات الثلاث أو الأربع التالية التي قد يكتبها رئيس الطهاة. يكتب المساعد هذه الكلمات بسرعة.
التحقق: ينظر رئيس الطهاة بسرعة إلى ملاحظات المساعد.
- إذا كانت الملاحظات صحيحة، يقول رئيس الطهاة: "رائع!" ويقبل الكلمات الأربع دفعة واحدة.
- إذا كانت الملاحظات خاطئة، يقوم رئيس الطهاة بشطبها، ويكتب الكلمة الصحيحة، ثم يبدأ من جديد.

السحر: نظرًا لأن المساعد سريع، يمكن لرئيس الطهاة قبول كلمات متعددة في وقت واحد في معظم الأحيان. النتيجة النهائية هي تماماً نفس النتيجة كما لو كان رئيس الطهاة قد كتبها بمفرده، لكنها تحدث بشكل أسرع.

ما فعلته الورقة البحثية بالفعل

قام الباحثون ببناء هذا النظام ضمن إطار عمل حقيقي للتدريب يسمى NeMo-RL. لم يختبروه فقط على مهام بسيطة؛ بل اختبروه على مهام "الاستدلال" حيث يتعين على الذكاء الاصطناعي التفكير بعمق (مثل حل المسائل الرياضية).

إليك استنتاجاتهم الرئيسية، مترجمة إلى مصطلحات يومية:

إنه يعمل دون غش: بعض طرق التسريع تحاول اختصار الطرق (مثل استخدام رياضيات أقل جودة أو تخطي الخطوات)، مما قد يفسد تعلم الطالب. هذه الطريقة "غير فاقدة للجودة" (lossless). فهي تضمن أن يتعلم الذكاء الاصطناعي بنفس الطريقة تماماً كما لو كان بدون المساعد، ولكن بشكل أسرع.
دفعة السرعة:
- في نموذج متوسط الحجم (8 مليارات بارامتر)، لاحظوا تسريع عملية الكتابة بمعدل 1.5 إلى 1.8 مرة.
- ولأن الكتابة تشكل حوالي 70% من إجمالي وقت التدريب، فقد أصبحت عملية التدريب بأكملها أسرع بنحو 1.35 إلى 1.4 مرة.
"المسودة" مهمة: يجب أن يكون المساعد بارعاً في التخمين.
- إذا قمت بتدريب المساعد على نفس نوع المسائل الرياضية التي يتعلمها الطالب، فإن دفعة السرعة ستكون هائلة.
- إذا استخدمت مساعداً عاماً لا يعرف سوى الدردشة العامة، فستكون دفعة السرعة أصغر.
- لا تخمن بعيداً جداً: إذا حاول المساعد تخمين 7 كلمات في وقت واحد، فسوف يرتكب الكثير من الأخطاء، وسيقضي رئيس الطهاة وقتاً طويلاً في التصحيح. كان تخمين 3 كلمات في المرة الواحدة هو "النقطة المثالية".
المستقبل (النماذج الضخمة): استخدموا محاكياً حاسوبياً فائق الدقة للتنبؤ بما سيحدث للنماذج الضخمة (235 مليار بارامتر) وآلاف الحواسيب التي تعمل معاً.
- يتوقعون أنه بالنسبة لهذه النماذج العملاقة، يمكن لهذه التقنية أن تجعل عملية التدريب بأكملها أسرع بمقدار 2.5 مرة.

لماذا يهم هذا؟

في عالم الذكاء الاصطنا_ي، الوقت هو المال. إذا كان بإمكانك تدريب نموذج أسرع بمقدار 2.5 مرة، فيمكنك إما الحصول على نموذج أذكى في نفس الوقت، أو الحصول على نفس النموذج بجزء بسيط من التكلفة.

تثبت الورقة البحثية أنك لست بحاجة لتغيير "عقل" الذكاء الاصطناعي أو قواعد اللعبة للحصول على هذه السرعة. أنت فقط بحاجة لإضافة مساعد ذكي وسريع للمساعدة في كتابة المسودات، وترك النموذج الرئيسي يقوم بالتحقق النهائي. إنه تحديث للنظام يجعل عملية التدريب بأكملها تسير بسلاسة أكبر دون كسر أي شيء.

ملخص تقني لورقة بحثية بعنوان: "تسريع عمليات التوليد (Rollouts) في مرحلة ما بعد التدريب للتعلم التعزيزي عبر فك التشفير الاستنباطي المتكامل مع النظام"

1. بيان المشكلة

تواجه مرحلة ما بعد التدريب باستخدام التعلم التعزيزي (RL) لنماذج اللغات الكبيرة (LLMs) الرائدة عائقاً متزايداً يتمثل في التوليد التلقائي (Autoregressive Rollout Generation). في أعباء العمل الموجهة نحو الاستنتاج (مثل الرياضيات والبرمجة)، يستحوذ الوقت المستغرق في توليد المسارات (rollout generation) على الجزء الأكبر من إجمالي وقت التدريب، وغالباً ما يتجاوز الوقت المستغرق في حساب التدرجات (gradient computation).

تحاول طرق الكفاءة الحالية حل هذه المشكلة عبر تغيير ديناميكيات التدريب، مثل:

التنفيذ غير المتزامن (Asynchronous execution): يدمج عملية التوليد مع التعلم، لكنه يؤدي إلى حدوث تأخر في السياسة (policy lag).
إعادة التشغيل خارج السياسة (Off-policy replay): يعيد استخدام مسارات قديمة، لكنه يتطلب تصحيحات عبر أخذ عينات الأهمية (importance sampling).
التوليد بدقة منخفضة (Low-precision rollouts): يقلل من الحوسبة، لكنه يؤدي إلى عدم تطابق في التوزيع (distribution mismatch).

تضحي هذه الطرق بـ الفعالية (جودة إشارة التعلم) مقابل الإنتاجية (Throughput). وتحدد الورقة البحثية حاجة ماسة إلى طريقة تسرع التوليد دون تغيير توزيع العينات للسياسة المستهدفة، مما يحافظ على دقة دلالات التدريب المطلوبة لاستقرار تقارب التعلم التعزيزي.

2. المنهجية

يقترح المؤلفون دمج فك التشفير الاستنباطي (Speculative Decoding) كأداة تسريع خالية من الفقد (lossless) مباشرة في إطار عمل تدريب NeMo-RL (باستخدام خلفية vLLM).

الآلية الجوهرية

المسودة (Drafting): يقوم نموذج "مسودة" (أو رأس مسودة) باقتراح عدة رموز (tokens) ( $k$ ) بشكل متوازٍ.
التحقق (Verification): يقوم نموذج "التحقق" المستهدف (سياسة التعلم التعزيزي) بالتحقق من هذه الرموز في تمريرة أمامية واحدة (single forward pass).
أخذ عينات الرفض (Rejection Sampling): يتم قبول أو رفض الرموز بناءً على توزيع احتمالات نموذج التحقق. وهذا يضمن أن توزيع التوليد النهائي يظل مطابقاً تماماً للسياسة المستهدفة، مما يضمن عدم حدوث أي تغيير في هدف تحسين التعلم التعزيزي.

التكامل مع النظام

يتجاوز هذا التكامل مجرد تقديم خدمات الاستدلال القياسية لمعالجة قيود محددة في التعلم التعزيزي:

تزامن الأوزان (Weight Synchronization): يجب أن يظل نموذج المسودة متوافقاً مع أوزان السياسة التي تتغير بسرعة أثناء تدريب التعلم التعزيزي.
مسارات المسودة المزدوجة (Dual Drafting Paths):
- المسار العام (EAGLE-3): يستخدم نموذج مسودة خارجياً تم تدريبه على مخرجات السياسة. هذا يعمل مع أي نموذج مدرب مسبقاً.
- المسار الأصلي (Native Path): يستخدم رؤوس "التنبؤ متعدد الرموز" (MTP) المدمجة إذا كانت بنية النموذج تدعم ذلك.
فصل التدرج (Gradient Detachment): لمنع تدريب نموذج المسودة من التدخل في إشارة تدرج السياسة، يتم تخزين الحالات الخفية (hidden states) والاحتمالات اللوغاريتمية (log-probabilities) أثناء التمريرة الأمامية للسياسة وتوجيهها عبر حدود detach() إلى رأس المسودة.
التوافق مع خطوط الأنابيب (Pipeline Compatibility): يدعم النظام كلاً من خطوط أنابيب التعلم التعزيزي المتزامنة (حيث ينتظر التوليد التدريب) وغير المتزامنة (حيث يتداخل التوليد مع التدريب).

3. المساهمات الرئيسية

التكامل مع النظام: أول تنفيذ لفك التشفير الاستنباطي ضمن بنية تحتية مفتوحة المصدر للتدريب على التعلم التعزيزي (Neoma-RL) بمستوى إنتاجي يحافظ على دقة دلالات التحقق (verifier-exact).
التحليل التشغيلي: دراسة شاملة للعوامل المحددة لسرعة التسريع، بما في ذلك تهيئة المسودة، وطول المسودة، والتكيف عبر الإنترنت (online adaptation).
توقعات القابلية للتوسع: استخدام محاكي عالي الدقة لتوقع المكاسب عند المقاييس الرائدة (تصل إلى 235 مليار معلمة و2048 وحدة معالجة رسومية)، متجاوزاً قيود الإعدادات التجريبية الحالية ذات الـ 8 مليارات معلمة.

4. النتائج التجريبية

الإعداد التجريبي

النماذج: Qwen3-8B (RL-Think) و Qwen3-8B-Base (RL-Zero).
المهام: الاستنتاج الرياضي (تدريب DAPO-Math-17K، وتحقق AIME-2024).
الأجهزة: عقد 8 GB200 NVL72 (إجمالي 32 وحدة معالجة رسومية).
الأساس المرجعي (Baseline): فك التشفير التلقائي القياسي (Standard autoregressive decoding).

النتائج الرئيسية

مكاسب الإنتاجية (Throughput Gains):
- زمن انتقال التوليد (Generation Latency): قلل فك التشفير الاستنباطي زمن التوليد بمقدار 1.54× (في RL-Think) و 1.77× (في RL-Zero).
- زمن الخطوة الإجمالية (End-to-End Step Time): وصل تسريع خطوة التدريب الإجمالية إلى 1.35× و 1.41× على التوالي. وقد توقفت المكاسب عند المراحل غير المتعلقة بالتوليد (حساب الاحتمالات اللوغاريتمية والتدريب) والتي لا يمكن لفك التشفير الاستنباطي تسريعها.
- الدقة: كانت منحنيات دقة التحقق غير قابلة للتمييز بين فك التشفيد التلقائي وفك التشفيد الاستنباطي، مما يؤكد الطبيعة الخالية من الفقد للتسريع.
الرؤى التشغيلية:
- التهيئة (Initialization): تفوقت تهيئة نموذج المسودة على بيانات المجال نفسه (DAPO-Math) بشكل كبير على التهيئة العامة لمجال الدردشة (UltraChat)، مما حقق أطوال قبول أعلى وتسريع أكبر.
- طول المسودة ( $k$ ): خلافاً للحدس، حققت المسودات الأقصر ( $k=3$ ) أفضل تسريع للخطوة الإجمالية. المسودات الأطول ( $k=5, 7$ ) زادت من عبء التحقق، مما جعل العملية أبطأ أحياناً من فك التشفيد التلقائي.
- التكيف عبر الإنترنت (Online Adaptation): وفر تحديث نموذج المسودة عبر الإنترنت مكاسب طفيفة فقط عندما كانت التهيئة الأولية للمسودة ضعيفة التوافق. بالنسبة للمسودات جيدة التهيئة، كان التدريب دون الإنترنت (offline) كافياً.
- التعلم التعزيزي غير المتزامن (Asynchronous RL): في الأنماط غير المتزامنة، يظل فك التشفيد الاستنباطي مكملاً. وبينما يخفي التداخل غير المتزامن بعض تكلفة التوليد، فإن الاستنباط يقلل أكثر من زمن التوليد "المعرض" في المسار الحرج، مما يحقق تسريعاً بمقدار 1.24× في تكوينات معينة.

توقعات المحاكاة (مقياس النشر)

باستخدام محاكي لنموذج 235 مليار معلمة على 2048 وحدة معالجة رسومية:

تسريع التوليد (Rollout Speedup): يمكن أن يتجاوز 3.5× في الظروف المثالية (أطوال مسودة وقبول محددة وتأخر سياسة معتدل).
تسريع الخطوة الإجمالية: من المتوقع أن يصل إلى ~2.5× نظراً للنسبة العالية للوقت المستغرق في التوليد في النماذج ذات المقياس الرائد.
الحساسية للمقياس: تستفيد النماذج الأكبر أكثر من الاستنباط في عمليات النشر واسعة النطاق لأنها تعاني أكثر من زمن الانتقال في ذيل التوزيع (long-tail latency) وعدم الاستغلال الأمثل، وهو ما يعالجه الاستنباط.

5. الأهمية

تثبت هذه الورقة أن فك التشفيد الاستنباطي هو استراتيجية قابلة للتطبيق وخالية من الفقد لتسريع مرحلة ما بعد التدريب في التعلم التعزيزي. تكمن أهميتها الأساسية في:

الحفاظ على الدلالات: على عكس تقنيات التسريع الأخرى، فهي لا تضر بإشارة تدريب التعلم التعزيزي ولا تتطلب تصحيحات خارج السياسة.
التحسين على مستوى النظام: تسد الفجوة بين تقنيات تسريع الاستدلال والمتطلبات المعقدة لحلقات تدريب التعلم التعزيزي (تزامن الأوزان، التعامل مع التدرج).
القابلية للتوسع: تشير التوقعات بتسريع إجمالي قدره 2.5× في المقاييس الرائدة إلى أن فك التشفيد الاستنباطي قد يصبح مكوناً قياسياً في البنية التحتية المستقبلية للتعلم التعزيزي، مما يقلل بشكل كبير من الوقت والتكلفة اللازمين لتدريب النماذج القادرة على الاستنتاج.

يضع هذا العمل مسار نشر واضح: استخدام مسودات مهيأة في المجال نفسه مع أطوال مسودة معتدلة (مثل $k=3$ ) لتعظيم الإنتاجية دون التضحية باستقرار التدريب.