🤖 machine learning

Near-Policy: Accelerating On-Policy Distillation via Asynchronous Generation and Selective Packing

تقترح الورقة البحثية تقنية تقطير السياسة القريبة (NPD)، وهي إطار عمل غير متزامن يعمل على تسريع تقطير المعرفة القائم على السياسة من خلال فصل عملية التوليد عن التدريب واستخدام تصفية $\Delta$ -IFD للتخفيف من تأخيرات السياسة، مما يحقق تسريعاً بمقدار 8.1 ضعفاً وأداءً فائقاً مقارنة بالضبط الدقيق للتعلم الخاضع للإشراف (SFT) القياسي والنماذج الأكبر حجماً.

المؤلفون الأصليون: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Miao Rang, Zhenni Bi, Hang Zhou, Kai Han, Xuechun Wang, An Xiao, Xinghao Chen, Yunhe Wang, Hanting Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "Near-Policy Distillation" بلغة بسيطة ومع استعارات إبداعية.

المشكلة الكبرى: الفجوة بين "المعلم والطالب"

تخيل أنك تعلم طالباً (نموذج ذكاء اصطنا-عي صغير) كتابة المقالات من خلال جعله ينسخ معلماً بارعاً (نموذج ذكاء اصطناعي ضخم).

الطريقة القديمة (التقطير القياسي - Standard Distillation): أنت تعطي الطالب قائمة بالمقالات التي كتبها المعلم بالفعل. يقوم الطالب بحفظها. ومع ذلك، عندما يخوض الطالب امتحاناً، يجب عليه الكتابة من الصفر. وبما أنه قد حفظ فقط إجابات المعلم المثالية، فإنه يصاب بالارتباك عندما يتعين عليه توليد جمله الخاصة. الأمر يشبه طالباً يمكنه تسميع نص مكتوب، لكنه يتجمد عندما يُطلب منه الارتجال.
طريقة "السياسة المباشرة" (On-Policy) (الحل المكلف): لإصلاح ذلك، تجعل الطالب يكتب مقالاته الخاصة أولاً ثم تعرضها على المعلم للتصحيح. هذا يعمل بشكل رائع لأن الطالب يتعلم من أخطائه. ومع ذلك، فإن هذه العملية بطيئة للغاية. في كل مرة يكتب فيها الطالب جملة، يجب على المعلم أن يتوقف، ويقرأها، ويقيمها، ويقدم ملاحظاته قبل أن يُسمح للطالب بكتابة الجملة التالية. إنه يشبه مدرساً يرفض السماح للطالب بكتابة كلمة واحدة حتى يقيم الجملة السابقة.

الحل: تقطير السياسة القريبة (Near-Policy Distillation - NPD)

يقترح المؤلفون طريقة جديدة تسمى تقطير السياسة القريبة (NPD). تخيل هذا كأنه خط تجميع عالي السرعة يحتفظ بفوائد طريقة "السياسة المباشرة" دون البطء الذي يصاحبها.

إليك كيف يعمل، مقسماً إلى ثلاثة أجزاء:

1. خط التجميع غير المتزامن (فك الارتباط - Decoupling)

بدلاً من عمل المعلم والطالب في حوار بطيء واحد لواحد، يقوم NPD بفصلهما.

مهمة الطالب: يعمل نموذج الطالب بسرعة على جهاز الكمبيوتر ويولد آلاف المقالات (الاستجابات) في وقت واحد، مثل مصنع ينتج السلع. هو لا ينتظر المعلم.
مهمة المعلم: بمج once انتهى الطالب من تكديس مجموعة كبيرة من المقالات، يقوم نموذج المعلم بمراجعتها جميعاً دفعة واحدة. وبما أن المعلم لا ينتظر الطالب ليكمل الكتابة، فيمكنه معالجة هذه المقالات في "دفعات" (مثل قراءة فصل كامل من كتاب دفعة واحدة، بدلاً من صفحة بصفحة).
النتيجة: هذا أسرع بـ 8.1 مرة من الطريقة القديمة البطيئة لأن الكمبيوتر لا يقضي وقته في الانتظار بلا جدوى للحصول على التغذية الراجعة.

2. "مرشح الأمان" (آلية ∆-IFD)

هناك عقبة. بما أن الطالب يولد المقالات قبل أن يقيمها المعلم، فقد يصبح الطالب "مخموراً" بأفكاره الخاصة. قد يبدأ في كتابة كلام غير مفهوم أو أشياء خاطئة تماماً لأن "سياسته" (طريقته في التفكير) قد ابتعدت عن المعلم.

لإصلاح ذلك، تقدم الورقة مرشحاً ذكياً يسمى ∆-IFD.

الاستعارة: تخيل أن الطالب طباخ مبتدئ والمعلم هو طاهٍ حائز على نجمة ميشلان. يقوم الطالب بطبخ سلسلة من الأطباق.
- المنطقة 1 (الرداءة/التدهور): يطبخ الطالب شيئاً بسيطاً وغريباً جداً (مثل وعاء من الماء السادة) لدرجة أن المعلم يرى أنه بسيط للغاية، لكن الطالب مرتبك. يقوم المرشح باستبعاد هذا.
- المنطقة 2 (الانفصال المعرفي): يطبخ الطالب طبقاً يكون فيه واثقاً جداً من نفسه، لكن الطاهي الحاصل على نجمة ميشلان يعتبره مجرد قمامة. هذا أمر خطير لأن الطالب يكون مخطئاً بعناد. يقوم المرشح باستبعاد هذا أيضاً.
- المنطقة 3 (منطقة التعلم القريبة): يطبخ الطالب شيئاً أعلى بقليل من مستوى مهارته، ويوافق المعلم على أنه جيد ومفيد. هذه هي المنطقة الوحيدة التي يتعلم منها الطالب.

يضمن هذا المرشح أن يتعلم الطالب فقط من الأمثلة "المثالية" (Goldilocks) — ليست سهلة جداً، ولا صعبة جداً، ولا خاطئة بشكل خطير. هذا يحافظ على استقرار التدريب حتى وإن لم يكن الطالب والمعلم يتواصلان في الوقت الفعلي.

3. "التحديث المتفرق" (إعادة الضبط العرضية)

عادةً، مع خطوط التجميع السريعة هذه، يمكن لأفكار الطالب أن تبتعد كثيراً عن أسلوب المعلم بمرور الوقت.

الحل: بدلاً من إيقاف خط التجميع بالكامل للمزامنة في كل ثانية (وهو أمر بطيء)، يقوم NPD بإيقاف الخط عرضياً فقط لإعادة ضبط دماغ الطالب ليتماشى مع أسلوب المعلم الحالي.
النتيجة: وجدت الورقة أن عملية "إعادة الضبط" هذه مطلوبة مرة أو مرتين فقط خلال عملية التدريب بأكملها لإبقاء كل شيء على المسار الصحيح، مما يوفر وقتاً هائلاً.

الخاتمة الكبرى: "الطالب الخارق"

تظهر الورقة أن هذه الطريقة لا تدرب الطالب بشكل أسرع فحسب، بل تجعله أذكى أيضاً.

النتيجة: أخذوا نموذجاً صغيراً بـ 1 مليار معلمة (ذكاء اصطناعي "متناهي الصغر") ودربوه بهذه الطريقة.
المقارنة: حقق هذا النموذج الصغير نسبة 68.73% في اختبار استدلال صعب بعد التدريب باستخدام NPD وبعض التعلم المعزز الإضافي.
المفاجأة: لقد تفوق على نموذج مشهور وأكبر بكثير (Qwen3-1.7B) يمتلك 1.7 مليار معلمة، والذي حقق 63.69%.

الملخص

تقطير السياسة القريبة (Near-Policy Distillation) يشبه إنشاء مصنع عالي السرعة حيث يتعلم الطالب من ملاحظات المعلم دون الحاجة للانتظار في الطابور. إنه يستخدم مرشحاً ذكياً لاستبعاد الأمثلة السيئة وإعادة ضبط عرضية لإبقاء الطالب على المسار الصحيح. النتيجة هي ذكاء اصطناعي صغير يتعلم بشكل أسرع، وبتكلفة أقل، وينتهي به الأمر ليكون أذكى من نماذج أكبر بكثير.

ملخص تقني: تقطير السياسة القريبة (Near-Policy Distillation - NPD)

1. بيان المشكلة

تواجه عملية تقطير المعرفة (KD) القياسية للنماذج اللغوية الكبيرة (LLMs) ذات التوليد الذاتي (Autoregressive) اختلالاً توزيعياً جوهرياً: حيث يتم تدريب نماذج الطالب على تسلسلات تُغذى فيها البيانات من المعلم (Teacher-forced)، بينما تقوم هذه النماذج أثناء الاستنتاج بتوليد تسلسلات ذاتية التوليد. وبينما تعمل الأساليب القائمة على السياسة (On-Policy) (مثل GKD وDistiLLM) على تخفيف هذه المشكلة عبر التدريب على المخرجات التي يولدها الطالب (SGOs)، إلا أنها تعتمد على أطر عمل مكثفة حوسبياً تشبه التعلم التعزيزي (RL). تتطلب هذه الأطر استنتاجاً متزامناً بين المعلم والطالب، مما يمنع استخدام تعبئة التسلسلات (Sequence Packing)، ويؤدي بالتالي إلى انخفاض معدلات استغلال الرموز (Tokens) وبطء إنتاجية التدريب. وفي المقابل، يدعم الضبط الدقيق تحت الإشراف (SFT) القياسي تقنية "تعبئة التسلسلات"، لكنه يفشل في تصحيح الانزياح التوزيعي وقت الاستنتاج، مما يؤدي إلى تحيز التعرض وتراكم الأخطاء.

2. المنهجية: تقطير السياسة القريبة (NPD)

يقترح المؤلفون إطار عمل تقطير السيطة القريبة (NPD)، وهو إطار عمل غير متزامن يفصل توليد الطالب عن حلقة التدريب. تتيح هذه إعادة الصياغة للنظام تقريب فوائد مطابقة التوزيع الخاصة بالتقطير القائم على السياسة (On-policy) مع الحفاظ على الإنتاجية العالية للتقطير القائم على السياسة الخارجة (Off-policy SFT).

البنية الأساسية

تتكون سلسلة عمليات NPD من ثلاث مراحل غير متزامنة:

التوليد المدفوع بالطالب: يقوم نموذج الطالب الحالي بتوليد استجابات لمجموعة بيانات المحفزات (Prompts). يتم توليد هذه التسلسلات في دفعات عالية الإنتاجية (على سبيل المثال، باستخدام vLLM).
توسيم المعلم عبر التعبئة المتوازية (Packed Parallel Prefill): على عكس أساليب السياسة (On-policy) التي تتطلب فك تشفير تلقائي متزامن، تقوم NPD بدمج استجابات متعددة للطالب في تسلسلات ثابتة. يقوم نموذج المعلم بمعالجتها عبر خطوة تعبئة (Prefill) متوازية لتوليد القيم الاحتمالية (Logits). يتم تسجيل أعلى $k$ من القيم الاحتمالية فقط لموازنة متطلبات الذاكرة وجودة الإشراف.
التحسين المشترك: يتم تحديث نموذج الطالب باستخدام بنية SFT قياسية مع دالة خسارة مشتركة:
$L_{total} = (1 - \lambda) \cdot L_{CE} + \lambda \cdot L_{KD}$
حيث تمثل $L_{KD}$ تباعد KL لأعلى $k$ من التوقعات عالية الثقة للمعلم.

معالجة فجوة السياسة: $\Delta$ -IFD والتحديثات المتفرقة

تؤدي الطبيعة غير المتزامنة لـ NPD إلى حدوث فجوة في السياسة (Policy Lag)، حيث تنحرف استراتيجية توليد البيانات عن استراتيجية التدريب الحالية، مما قد يؤدي لإدخال الضجيج. تعالج NPD ذلك عبر آليتين:

تصفية $\Delta$ -IFD: آلية استدلالية لاختيار العينات بناءً على مقياس صعوبة اتباع التعليمات (IFD). تحسب الفارق في الصعوبة: $\Delta IFD = IFD_{Teacher} - IFD_{Student}$ $Δ I F D = I F D_{T e a c h er} - I F D_{S t u d e n t}$ .
- منطقة التدهور ( $\Delta IFD < 0$ ): العينات التي يكون فيها المعلم أكثر ثقة من الطالب (غالباً ما تكون أنماطاً تافهة أو بلا معنى) يتم استبعادها.
- منطقة الانقطاع المعرفي ( $\Delta IFD > \tau$ ): العينات التي يكون فيها الطالب واثقاً بينما المعلم غير متأكد بشدة (مما يشير إلى أخطاء جسيمة) يتم استبعادها.
- منطقة التعلم القريبة ( $0 \le \Delta IFD \le \tau$ ): يتم الاحتفاظ فقط بالعينات التي يؤكد فيها المعلم الجودة الأساسية ويكون فيها فارق الصعوبة معتدلاً. يضمن ذلك بقاء التحديثات ضمن "منطقة تعلم قريبة آمنة".
تحديثات الطالب المتفرقة: لمنع استراتيجية التوليد من الانحراف بشكل كبير، يتم تحديث نموذج الطالب بشكل دوري (مثلاً، كل 10 حقب تدريبية) بدلاً من التحديث المستمر. هذا يقلل من التكلفة الحوسبية لمزامنة السياسة مع الحفاظ على حالة "السياسة القريبة".

التآزر مع التعلم التعزيزي (RL)

تعمل NPD كبداية مثالية لعمليات التعلم التعزيزي اللاحقة (مثل GRPO). من خلال التدريب حصرياً على بيانات عالية الجودة ومفلترة، تتركز الكتلة الاحتمالية للطالب على مسار منطقي صحيح. هذا يؤدي فعلياً إلى تضييق مساحة الاستكشاف لمرحلة التعلم التعزيزي اللاحقة، مما يسمح لها بتجاوز الاستكشاف العشوائي غير الفعال والتركيز على التحسين الدقيق.

3. المساهمات الرئيسية

إطار عمل NPD: إطار عمل تقطير غير متزامن يفصل التوليد عن التدريب، ويمكّن من تعبئة التسلسلات (Sequence Packing)، ويحقق تسارعاً بمقدار 8.1 ضعف مقارنة بالنماذج المرجعية القائمة على السياسة (On-policy) مع الحفاظ على مزايا أدائها.
آليات الاستقرار: أدى دمج التحديثات المتفرقة وآلية تصفية $\Delta$ -IFD إلى الحد من فجوة السياسة وضجيج العينات بفعالية. هذا يمنع الضجيج من السيطرة على التدرجات ويؤدي تجريبياً إلى استقرار مسار التحسين، مع إبقاء تباعد KL تحت 0.10.
التهيئة للتعلم التعزيزي (RL): أثبتت الطريقة أن النماذج المدربة بواسطة NPD توفر نقطة انطلاق أفضل بكياً للتعلم التعزيزي، مما يضيق مساحة البحث ويسمح بأداء نهائي أعلى.

4. النتائج التجريبية

أُجريت التجارب باستخدام openPangu-Embedded-7B كمعلم و openPangu-Embedded-1B كطالب، مع مقارنات إضافية مع نماذج Qwen2.5-Math.

أداء التقطير: تفوقت NPD على SFT القياسي بنسبة 8.09% وعلى منهجية SeqKD القياسية بنسبة 4.83% على مجموعة بيانات صناعية واسعة النطاق (1.2 مليون عينة).
الكفاءة: مقارنة بمنهجية السياسة (On-policy) الأحدث DistiLLM-2، حققت NPD دقة متفوقة على اختبارات GSM8K و MATH-500 مع تقليل زمن التدريب بمقدار 8.1 ضعف (1.48 ساعة من قدرة المعالجة NPU مقابل 12.00 ساعة لكل حقبة).
التآزر مع RL: كتهيئة لـ GRPO، حقق نموذج NPD متوسط درجة نهائية قدرها 68.73% عبر 11 اختباراً.
المقارنة مع أحدث التقنيات: تفوق نموذج openPangu-Embedded-1B-RL النهائي (بمعامل 1 مليار بارامتر) على نموذج Qwen3-1.7B الأكبر حجماً (63.69%) بنتيجة بلغت 68.73%. كما حقق درجات رائدة في GSM8K (87.60%) و MATH-500 (84.76%).

5. الأهمية والادعاءات

يزعم العمل أن NPD توفر مساراً قابلاً للتوسع نحو الذكاء الشامل على الأجهزة الطرفية (Edge Devices) عبر مواءمة الأداء العالي مع قيود الأجهزة الطرفية. ومن خلال تضييق مساحة الاستكشاف بفعالية للتعلم التعزيزي اللاحق وتمكين "تعبئة التسلسلات" عالية الكفاءة، يثبت إطار العمل أن أساليب التدريب والمواءمة المتقدمة يمكن أن تكون أكثر فعالية من مجرد زيادة حجم النموذج. ويؤكد المؤلفون أن نهجهم يقلل من تكاليف تدريب ونشر نماذج أصغر وأكثر مواءمة، مما يجعل النماذج اللغوية الكبيرة والقوية أكثر سهولة في الوصول للاستخدام في سيناريوهات العالم الحقيقي التي تتطلب زمن استجابة منخفض وخصوصية للبيانات.

يخلص العمل إلى أنه بينما تظل NPD مقيدة بتوزيع المعلم، فإن قدرتها على تصفية الأخطاء المنهجية عبر $\Delta$ -IFD واستقرار التدريب من خلال التحديثات المتفرقة تجعلها حلاً قوياً لنقل المعرفة بكفاءة في النماذج ذات التوليد الذاتي.