ملخص تقني: GAC – الخلط التكيفي المدرك للضجيج لتدريب ما بعد التدريب الهجين (SFT-RL)

1. بيان المشكلة

تخضع النماذج اللغوية الكبيرة (LLMs) عادةً لمرحلة تدريب ما بعد التدريب باستخدام نموذج هجين يجمع بين الضبط الدقيق الخاضع للإشراف (SFT) والتعلم التعزيزي (RL). يعمل الـ SFT على تثبيت مخرجات النموذج باستخدام نماذج خبيرة، بينما يعمل الـ RL على تحسين سلوك البحث عن المكافأة عبر عمليات التدفق (rollouts) داخل السياسة. ومع ذلك، لا يمكن فصل هذين الهدفين تماماً دون حدوث تدهور متبادل (Niu et al., 2026).

تعتمد الطرق الهجينة الحالية غالباً على جداول خلط ثابتة أو قواعد استدلالية لموازنة تدرجات (gradients) الـ SFT والـ RL. وتفشل هذه النهج الثابتة في التكيف عندما يتطور ضجيج الإشارات النسبية أثناء التدريب. وتحديداً، لا تستطيع هذه الطرق مراعاة:

• انحراف السياسة المتطور: التغيرات في توزيع النموذج بمرور الوقت.
• ضجيج المكافأة: التباين في تقديرات الميزة (advantage estimates) في الـ RL.
• عدم توافق التدرجات: الصراعات بين أهداف الـ SFT والـ RL.

يمكن أن يؤدي هذا النقص في القدرة على التكيف إلى انهيار الإنتروبيا (entropy collapse)، أو الإفراط في التقليد في المراحل المتأخرة، أو اختطاف المكافأة (reward hacking). وبينما قدمت أعمال حديثة (مثل CHORD وSRFT وHPT) أوزانًا ديناميكية أو اقترانًا مدركًا للنزاع، لم يقم أي منها بنمذجة تباين ضجيج التدرج وعدم توافق SFT–RL في آن واحد لاستخلاص وزن الخلط الأمثل.

2. المنهجية: GAC (المتحكم التكيفي الموجه)

يعيد الأسلوب المقترح، GAC، صياغة مشكلة الخلط كمسألة تحكم مدركة للضجيج. ويتكون من مُقدّر ذي صيغة مغلقة (closed-form estimator) ومتحكم موجه عملي.

2.1 الأساس النظري: $\mu^*$ ذات الصيغة المغلقة

المساهمة الجوهرية هي اشتقاق وزن الخلط الأمثل $\mu^*$ عن طريق تقليل متوسط مربع الخطأ (MSE) بين التدرج المختلط وتدرج مستهدف.

• الافتراضات: لنفترض أن $\hat{g}_s$ و $\hat{g}_r$ هما مُقدِّرَا التدرج لـ SFT وRL، والمكونان من تدرجات خالية من الضجيج ($g^*_s, g^*_r$) وضجيج بمتوسط صفري ($\varepsilon_s, \varepsilon_r$) مع تباينات $\sigma^2_s$ و$\sigma^2_r$.
• الهدف: تقليل $E(\mu) = E[\|\mu\hat{g}_s + (1-\mu)\hat{g}_r - g^*\|^2]$، حيث $g^*$ هو تدرج مستهدف محدد بنسبة موازنة مرغوبة $\alpha_{tgt}$.
• النتيجة: تحت افتراضات الاستقلالية، يكون المُقلل الفريد هو:
  $$\mu^* = \frac{\alpha_{tgt} \Delta g^2 + \sigma^2_r}{\Delta g^2 + \sigma^2_s + \sigma^2_r}$$
  حيث $\Delta g^2 = \|g^*_s - g^*_r\|^2$ يمثل عدم توافق التدرج.
• التفسير: تجسد هذه الصيغة مقايضة بين الانحياز والتباين (bias–variance trade-off). فعندما يكون عدم التوافق ($\Delta g^2$) منخفضاً، يقترب الوزن من الوزن العكسي للتباين. وعندما يكون عدم التوافق عالياً، يعود الوزن إلى التفضيل المحدد من قبل المستخدم $\alpha_{tgt}$.

2.2 التنفيذ العملي: إشارات الوكيل والتقدير عبر الإنترنت

بما أن إحصائيات التدرج الحقيقية مكلفة حسابياً للحساب عند كل خطوة، يستخدم GAC إشارات وكيل (proxy signals) يمكن تقديرها عبر الإنترنت من ت tensors التدريب الموجودة:

1. عدم يقين RL ($\sigma^2_r$): يُقدر عبر تشتت الميزة على مستوى التسلسل.
2. عدم يقين SFT ($\sigma^2_s$): يُقدر عبر تباين السلب اللوغاريتمي (NLL) الموحد بالطول والمقصوص (trimmed).
3. وكيل عدم التوافق ($\Delta \tilde{g}^2$): يُقدر عبر تباين فروق المعاملات المعيرة بـ z بين تدرجات RL وSFT.

وقد تم التحقق من أن هذه الوكلاء تمتلك ارتباطات بيرسون عالية ($r \approx 0.76\text{--}0.84$) مع إحصائيات التدرج الحقيقية.

2.3 إرشادات التصميم المدفوعة بالاستقرار

لمنع التحولات المفاجئة وضمان استقرار التدريب، تتم معالجة المُقدّر الخام $\mu^*$ من خلال متحكم تكيفي موجه يتضمن ثلاث خطوات محمية:

1. تنعيم EMA: $\mu_{ada} = \beta \mu_{t-1} + (1-\beta)\mu^*$ لتخميد الضجيج عالي التردد.
2. مزج أولوية الجدول الزمني: $\mu_{blend} = (1-\lambda)\mu_{prior} + \lambda \mu_{ada}$، حيث $\mu_{prior}$ هو جدول زمني (warmup/cosine)، مما يضمن عدم انحراف المتحكم بعيداً عن خط الأساس المعقول.
3. تحديثات مقيدة: يتم قص التغير في الخطوة $\delta_t$ إلى حد أقصى $\bar{c}$ (مثلاً 0.01) لمنع القفزات المزعزعة للاستقرار.

بالإضافة إلى ذلك، يتم تعديل نسبة الهدف $\alpha_{tgt}$ ديناميكياً إلى $\alpha_{ctrl}$ باستخدام قاعدة هسترة (hysteresis rule) محكومة بـ KL لمنع انحراف السياسة.

3. المساهمات الرئيسية

1. متحكم خلط مدرك للضجيج (C1): حل ذو صيغة مغلقة لوزن الخلط الأمثل مشتق من تقليل MSE، يوازن بين تباين ضجيج التدرج وعدم توافق الأهداف. يتم تنفيذه عبر وكلاء معايين بـ z ومغلف في متحكم يضمن الاستقرار مع عبء حسابي أقل من 1%.
2. تكامل إعادة الوزن على مستوى الرمز (C2): يتبنى النظام دالة إعادة الوزن على مستوى الرمز $\phi(p) = p(1-p)$ من CHORD (Zhang et al., 2025). وقد أثبت المؤلفون أن هذا المكون يتسم بالاستقلالية عن المتحكم العالمي، مما يوفر زيادة إضافية قدرها 0.4–1.4 نقطة مئوية.
3. تقييم منهجي (C3): تقييم شامل عبر اختبارات الرياضيات، البرمجة، العلوم، والمنطق بمقاييس 1.5B و7B و14B بارامتر.

4. النتائج التجريبية

أُجريت التجارب على نموذج Qwen2.5-7B-Instruct (وتم توسيعها إلى 1.5B/14B) باستخدام OpenR1-Math-220k وغيرها من الاختبارات (MBPP, HumanEval, GPQA, SciBench, BBH).

• مكاسب الأداء:
  • الرياضيات (AMC): يحقق GAC + Token-$\phi$ نسبة 67.2%، متفوقاً على أفضل خط أساس هجين (HPT, 63.4%) بمقدار +3.8pp وعلى المتحكم المدرك للضجيج وحده (GAC بدون $\phi$) بمقدار +3.0pp مقارنة بالمتحكمات القائمة على القواعد.
  • البرمجة: يحقق GAC نسبة 78.8% على MBPP (بزيادة +3.4pp عن CHORD) و83.5% على HumanEval.
  • العلوم/المنطق: يحسن GAC من GPQA بمقدار +3.9pp ومن المجموعات الفرعية المنطقية لـ BBH بمقدار +3.1pp مقارنة بـ HPT.
• تحسينات الاستقرار:
  • انحراف KL: قلل مساحة انحراف KL بنسبة 28% مقارنة بالخلط الثابت.
  • التحولات الكبيرة: قلل من أحداث $|\Delta \mu|$ الكبيرة بنسبة >70%.
  • ديناميكيات التدريب: يحافظ GAC على دقة تدفق (rollout accuracy) أعلى، وأطوال استجابة معتدلة (لتجنب طفرات اختطاف المكافأة)، واستقرار إنتروبيا أسرع مقارنة بالجداول الزمنية الثابتة.
• القابلية للتوسع: تتوسع المكاسب مع حجم النموذج، حيث تظهر +2.2pp عند 1.5B، و+3.8pp عند 7B، و+3.3pp عند 14B.
• الكفاءة: تضيف الطريقة 3 مقاييس EMA فقط وتتسبب في أقل من 1% من عبء وقت التشغيل دون زيادة ملموسة في الذاكرة.

5. الأهمية والادعاءات

يزعم البحث أن GAC ينجح في إعادة صياغة خلط SFT–RL كـ مسألة تحكم مدركة للضجيج بدلاً من كونها مهمة جدولة استدلالية.

• المحرك الرئيسي: يؤكد تحليل العزو السببي أن المُقدّر المدرك للضجيج (إشارة تقليل MSE) هو المساهم الرئيسي في مكاسب الأداء (+3.7pp)، بينما توفر عملية تنعيم EMA وأولويات الجدول الزمني الاستقرار اللازم ولكن بمكاسب تدريجية أصغر.
• المتانة: يتميز المتحكم بالمتانة تجاه الجداول الأولية الضعيفة أو غير المحددة بدقة؛ فحتى مع وجود أولويات ثابتة "سيئة"، يقوم GAC بتصحيح وزن الخلط بفعالية.
• القيود: يشير المؤلفون إلى أن تحليل الاستقرار يعتمد على افتراضات مثالية (خسائر L-smooth، وتحديثات محدودة بـ KL) ويقدم إرشادات تصميم بدلاً من ضمانات تقارب صارمة. تم التحقق من الطريقة حالياً على مهام ذات مكافآت قابلة للتحقق؛ ويظل التوسع نحو المحاذاة مفتوحة النهايات مع نماذج مكافأة متعلمة عملاً مستقبلياً.

باختصار، يوفر GAC آلية قائمة على أسس نظرية ومنخفضة التكلفة لموازنة SFT وRL ديناميكياً بناءً على تقديرات عدم اليقين في الوقت الفعلي، متفوقاً بشكل كبير على الجداول الثابتة والمتحكمات الاستدلالية عبر مهام الاستدلال المتنوعة.