ملخص تقني: أخذ العينات التكيفي للأهمية في التعلم المعزز المكمّم (AIS)

1. بيان المشكلة

يعاني التعلم المعزز (RL) للنماذج اللغوية الكبيرة (LLMs) حالياً من اختناق بسبب التكلفة الحسابية لتوليد مسارات التدريب (trajectory rollout). وللتخفيف من ذلك، تتبع الممارسات الصناعية الحديثة (مثل DeepSeek V3.2 وveRL) نهج التكميم منخفض الدقة (مثل FP8) لمحرك التوليد مع الحفاظ على دقة أعلى (BF16) للمدرب. وهذا يخلق عدم تطابق بين التوليد والتدريب: حيث تقوم سياسة التوليد المكممة ($\hat{\pi}_{\theta_{old}}$) بتوليد مسارات تختلف توزيعياً عن سياسة المتعلم كاملة الدقة ($\pi_{\theta_{old}}$) المستخدمة لحساب التدرجات.

تحدد الورقة هذا النوع من عدم التطابق كظاهرة غير مستقرة (non-stationary) وتعمل كـ "سلاح ذي حدين":

• في مرحلة التدريب المبكرة: يعمل ضجيج التكميم كحافز استكشاف عشوائي (stochastic exploration bonus)، مما يعرض التدرج لمسارات قد لا يقوم المدرب بأخذ عينات منها لولا ذلك.
• في مرحلة التدريب المتأخرة: مع صقل السياسة، يصبح نفس الضجيج مصدراً لعدم الاستقرار بسبب الانحياز، مما يؤدي إلى انهيار التدريب في اختبارات الاستدلال (على سبيل المثال، انخفاض بنسبة 6.63% في دقة AIME25 لنموذج Qwen3-8B).

يحاول أخذ العينات من الأهمية القياسي (Standard Importance Sampling - IS) تصحيح هذا الانحياز ولكنه غالباً ما يفشل بسبب التباين العالي جداً في التسلسلات الطويلة. ومن ناحية أخرى، يعمل أخذ العينات من الأهمية المقتطع (Truncated Importance Sampling - TIS) على استقرار التدريب ولكنه يستخدم قوة تصحيح ثابتة لا يمكنها التكيف مع الطبيعة المتطورة لعدم التطابق، مما يؤدي إما إلى تصحيح مفرط (قمع الاستكشاف المفيد) أو تصحيح ناقص (السماح بعدم الاستقرار).

2. المنهجية: أخذ العينات التكيفي للأهمية (AIS)

تقترح الورقة أخذ العينات التكيفي للأهمية (AIS)، وهو إطار عمل يضبط ديناميكياً قوة تصحيح أخذ عينات الأهمية لكل دفعة (per-batch). بدلاً من استخدام عتبة ثابتة، يحسب AIS معامل خلط واحداً، $\alpha(x) \in [0, 1]$، يقوم بعملية استيفاء (interpolation) بين التدرج غير المصحح وتدرج الأهمية الموزون بالكامل.

2.1 معامل الخلط

جوهر AIS هو آلية بوابية عاملة (factorized gating mechanism) تجمع بين ثلاثة تشخيصات فورية مستمدة من الإحصائيات التي يتم حسابها بالفعل أثناء تحديث السياسة:

1. موثوقية الوزن ($\alpha_{ess}$): يقيس نسبة حجم العينة الفعال (ESS) لأوزان الأهمية المقتطعة. إذا كان توزيع الأوزان مركزاً (ESS منخفض)، يُعتبر التصحيح غير موثوق ويتم تقليل وزنه.
   $$\alpha_{ess} = (1 + CV^2(\bar{w}))^{-1/2}$$
2. شدة التباعد ($\alpha_{mis}$): يقيس متوسط الفرق المطلق في لوغاريتم الاحتمالية بين سياسة التوليد وسياسة التدريب. لا يتم تفعيل التصحيح إلا عندما يتجاوز هذا التباعد عتبة التشبع $\delta$.
   $$\alpha_{mis} = \min\left(1, \frac{\bar{d}}{\delta}\right)$$
3. تضخم التباين ($\alpha_{var}$): يراقب ما إذا كانت أوزان الأهمية الكبيرة تتزامن مع قيم ميزة (advantage) كبيرة الحجم، مما قد يؤدي إلى تضخم تباين التدرج بما يتجاوز الحدود المقبولة. إذا تجاوزت نسبة تضخم التباين $\Delta\sigma$ حداً معيناً $\gamma$، يتم تطبيق عقوبة.
   $$\alpha_{var} = \max\left(0, \frac{\Delta\sigma - \gamma}{\gamma}\right)$$

يتم حساب معامل الخلط النهائي كالتالي:
$$\alpha = \text{clip}(\alpha_{ess} - \beta \cdot \alpha_{var}, 0, 1) \cdot \alpha_{mis}$$

2.2 التكامل مع GRPO

يتم دمج AIS في تحسين السياسة النسبي للمجموعات (Group Relative Policy Optimization - GRPO). تقدم الطريقة وزن تصحيح $\tilde{w}_i$ يعدل حد الميزة في هدف GRPO:
$$\tilde{w}_i = 1 + \alpha \cdot (\min(\rho_{rt}, C) - 1)$$
حيث $\rho_{rt}$ هو نسبة التوليد إلى التدريب، و $C$ هو عتبة الاقتطاع. يضمن هذا الصياغة أنه عندما يكون عدم التطابق ضئيلاً ($\alpha \to 0$)، يتقلص الهدف تماماً إلى نموذج GRPO التقليدي، مما يحافظ على التوافق مع الإصدارات السابقة.

3. المساهمات الرئيسية

• توصيف عدم الاستقرار (Non-Stationarity): تثبت الورقة أن عدم التطابق بين التوليد والتدريب ليس ضاراً بشكل موحد؛ فهو يوفر حافز استكشاف في بداية التدريب ولكنه يصبح مصدراً للانحياز في مراحله المتأخرة. وهذا يتحدى النظرة التي تعتبر عدم تطابق التكميم مجرد خصم دائماً.
• إطار التصحيح التكيفي: يعد AIS أول طريقة تضبط ديناميكياً قوة تصحيح أخذ عينات الأهمية بناءً على تشخيصات فورية (الموثوقية، التباعد، والتباين)، بدلاً من استخدام عتبة ثابتة.
• تطبيق نماذج الانتشار (Diffusion Models): تقدم هذه الدراسة أول دراسة للتوليد منخفض الدقة للتعلم المعزز في نماذج LLM القائمة على الانتشار (تحديداً LLaDA-8B-Instruct)، مما يثبت أن مشكلة عدم التطاق وحل AIS يتجاوزان البنى التكرارية (autoregressive).
• الموازنة بين الكفاءة والدقة: تحقق الطريقة توازناً حيث تستعيد دقة تدريب BF16 كامل الدقة مع الاحتفاظ بمزايا سرعة الإنتاجية (throughput) وذاكرة التخزين لنماذج FP8.

4. النتائج التجريبية

قيم المؤلفون AIS على نماذج Qwen3-8B و Qwen3.5-9B (تكرارية) و LLaDA-8B-Instruct (انتشار) عبر اختبارات الاستدلال الرياضي (GSM8K, MATH500, AIME25, AMC, Olympiad) واختبارات التخطيط (Sudoku, Countdown).

• استعادة الدقة:
  • النماذج التكرارية: في نموذج Qwen3-8B، أدى توليد FP8 الساذج إلى خفض دقة AIME25 من 36.70% (BF16) إلى 26.81%. استعاد AIS هذه الدقة لتصل إلى 43.33%، متجاوزاً خط الأساس BF16. كما لوحظت تحسينات مماثلة في Qwen3.5-9B، حيث طابق AIS أو تجاوز BF16 في 11 من أصل 12 زوجاً من الاختبارات.
  • نماذج الانتشار: في نموذج LLaDA-8B، تسبب توليد FP8 في تدهور كبير (على سبيل المثال، -19.00% في Countdown عند 512 توكن). استعاد AIS الأداء ليتساوى مع أو يتجاوز مستويات BF16 عبر مختلف أطوال التسلسلات وأنظمة الضبط الدقيق (Full FT و LoRA).
• القدرات العامة: حافظ AIS على الأداء في الاختبارات العامة (MMLU, PIQA, ARC, إلخ)، مما يشير إلى عدم وجود فرط تخصيص (overfitting) لإشارة مكافأة التعلم المعزز.
• مكاسب الكفاءة:
  • تسريع السرعة: وفر توليد FP8 تسريعاً يتراوح بين 1.5× إلى 2.76× في وقت التوليد النهائي، اعتماداً على حجم الدفعة وبنية النموذج (لوحظت مكاسب أعلى في نماذج الانتشار بسبب استخدام Tensor Cores).
  • الذاكرة: قلل توليد FP8 من بصمة ذاكرة نموذج التوليد إلى النصف (على سبيل المثال، ~7.95 جيجابايت مقابل ~15.9 جيجابايت لـ LLaDA-8B)، مما سمح بأحجام دفعات أكبر كانت ستؤدي سابقاً إلى خطأ نفاذ الذاكرة (OOM) تحت نظام BF16.

5. الأهمية والادعاءات

تزعم الورقة أن AIS هي أول دراسة للتوليد منخفض الدقة للتعلم المعزز في نماذج LLM القائمة على الانتشار. تكمن أهميتها الأساسية في حل مشكلة "عدم التطابق بين التوليد والتدريب" دون التضحية بمزايا الكفاءة التي يوفرها التكميم.

يؤكد المؤلفون أن:

1. الإدارة بدلاً من الإزالة: يجب إدارة عدم التطابق، وليس استئصاله. نجح AIS في كبح الانحياز المزعج في مراحل التدريب المتأخرة مع الحفاظ على فوائد الاستكشاف التي يوفرها ضجيج التكميم في المراحل المبكرة.
2. القابلية للتوسع: طريقة AIS فعالة حاسوبياً، حيث تضيف عبئاً ضئيلاً لأن التشخيصات هي عمليات اختزال قياسية (scalar reductions) فوق الإحصائيات الموجودة بالفعل.
3. المتانة: يتوسع AIS عبر عائلات النماذج المختلفة (التكرارية مقابل الانتشار) ونماذج التدريب المختلفة (Full FT مقابل LoRA).

تخلص الورقة إلى أن AIS يتيح تدريباً معززاً عالي الإنتاجية ومنخفض الدقة يطابق أو يتفوق على خطوط الأساس كاملة الدقة، مما يجعله حلاً قابلاً للتطبيق لتوسيع نطاق التعلم المعزز في البيئات ذات الموارد المحدودة.