ملخص تقني: F-TIS – تسخير النماذج المتنوعة في التعاون عبر GRPO

بيان المشكلة

برزت عملية تحسين السياسة النسبية للمجموعات (GRPO) كطريقة مهيمنة لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة (LLMs)، لا سيما لتعزيز قدرات الاستدلال. وعلى عكس تحسين السياسة القريبة (PPO)، تلغي GRPO الحاجة إلى نموذج قيمة منفصل من خلال حساب المزايا (advantages) بالنسبة لمجموعة من الإكمالات المولدة لاستجابة واحدة (prompt). ومع ذلك، فإن الطبيعة ذاتية التراجع (auto-regressive) لتوليد النماذج اللغوية الكبيرة تخلق عنق زجاجة حاسوبي كبير خلال مرحلة الاستدلال.

لمعالجة ذلك، استكشفت الأعمال السابقة توزيع خطوة التوليد عبر عقد متعددة. وتفترض معظم الأساليب الموزعة الحالية وجود نماذج متجانسة (بنى ومعلمات متطابقة) للحفاظ على ظروف "السياسة داخل النطاق" (on-policy). وهذا الافتراض غير عملي في سيناريوهات التدريب اللامركزي حيث يمتلك المشاركون موارد وتفضيلات متباينة. وفي مثل هذه البيئات، تظهر ثلاثة أنواع من عدم التجانس:

1. حجم النموذج: قد تشغل العقد نماذج ذات أعداد بارامترات متفاوتة للغاية (مثل 1 مليار مقابل 3 مليارات).
2. خبرة النموذج: قد تمتلك العقد نماذج ذات أحجام متشابهة ولكن بتخصصات مختلفة (مثل نموذج عام مقابل نموذج متخصص في البرمجة).
3. المعلمات القابلة للتدريب: قد تستخدم العقد استراتيجيات مختلفة للضبط الدقيق (مثل الضبط الدقيق الكامل مقابل الضبط الدقيق الفعال للمعلمات مثل LoRA).

عندما تتعاون النماذج غير المتجانسة دون تعديل، تصبح بيانات التدريب خارج نطاق السياسة (off-policy) بشكل كبير. ويؤدي التباين بين السياسة المولدة ($\pi_{gen}$) وسياسة التحديث ($\pi_{\theta}$) إلى ضوضاء مدمرة، مما يؤدي إلى انهيار السياسة أو تدهور الأداء بشكل كبير مقارنة بالتدريب المنعزل.

المنهجية: أخذ العينات المقطعة المفلترة (F-TIS)

يقترح المؤلفون إطار عمل F-TIS، وهو إطار موحد مصمم لتمكين تدريب GRPO التعاوني المستقر عبر النماذج غير المتجانسة مع تقليل عبء الاتصال. تجمع المنهجية بين آليتين رئيسيتين: أخذ العينات المقطعة (TIS) وتصفية العينات (Sample Filtering).

1. أخذ العينات المقطعة (TIS)

تفترض GRPO القياسية بيانات داخل نطاق السياسة (on-policy). وللتعامل مع عينات خارج نطاق السياسة، قام المؤلفون بتكييف دالة الخسارة باستخدام أخذ العينات بالوزن (importance sampling). وقد قارنوا بين ثلاثة نهج:

• NoIS (بدون أخذ عينات بالوزن): يعامل جميع العينات كأنها داخل نطاق السياسة (خط الأساس للفشل).
• VIS (أخذ العينات بالوزن التقليدي): يطبق نسبة الأهمية $\frac{\pi_{\theta}}{\pi_{gen}}$ على كل رمز (token).
• TIS (أخذ العينات المقطعة بالوزن): يقطع نسبة الأهمية عند قيمة ثابتة $C$ (على سبيل المثال، $C=2$) لمنع الأوزان المتطرفة من زعزعة استقرار التدريب. ويتم نقل النسبة خارج عملية الجمع الداخلي للرموز.

صيغة خسارة TIS هي:
$$\mathcal{L}_{GRPO} = \frac{1}{G} \sum_{i=1}^{G} \frac{1}{|a_i|} \sum_{t=1}^{|a_i|} \min \left( \frac{\pi_{\theta}(a_{i,t}|p \circ a_{i,<t})}{\pi_{gen}(a_{i,t}|p \circ a_{i,<t})}, C \right) \cdot \min \left( R_{i,\theta} \hat{A}_i, \text{clip}(R_{i,\theta} \hat{A}_i, 1-\epsilon, 1+\epsilon) \right)$$
حيث $R_{i,\theta}$ هو النسبة المنفصلة و $\hat{A}_i$ هي ميزة المجموعة.

2. تصفية العينات (Sample Filtering)

لاحظ المؤلفون أن العينات الخارجة عن نطاق السياسة ذات المزايا السالبة ($\hat{A}_i < 0$) يمكن أن تضخم الرموز غير المحتملة، مما يؤدي إلى إكمالات غير مفهومة. لذا قدموا آلية تصفية تعتمد على:

• الميزة (Advantage): يتم استبعاد العينات التي يكون فيها $\hat{A}_i < 0$ من خطوة التحديث.
• تباعد KL: يتم أيضاً تصفية العينات التي يتجاوز فيها تباعد KL بين السياسة الحالية والسياسة المولدة عتبة $g$ ($D_{KL}(\pi_{\theta} \parallel \pi_{gen}) > g$).

لا تزال العينات المفلترة تُستخدم لحساب ميزة المجموعة (للحفاظ على التصنيف النسبي للمجموعة) ولكن يتم استبعادها من تحديث التدرج (gradient update).

3. إطار عمل F-TIS

يدمج F-TIS بين TIS والتصفية. يتم ضبط حد الميزة $\hat{A}_{t,i}$ في دالة الخسارة ليصبح 0 إذا تمت تصفية العينة (أي إذا كان $\hat{A}_i \leq 0$ أو $D_{KL} > g$).

• كفاءة الاتصال: يتطلب إطار العمل حداً أدنى من الاتصال، حيث ينقل فقط الرموز والاحتمالات اللوغاريتمية (حوالي 8 بايت لكل رمز)، مما يجعله مناسباً للشبكات اللامركزية.

المساهمات الرئيسية

1. تحديد تحديات عدم التجانس: يثبت البحث تجريبياً أن GRPO القياسية تفشل في البيئات اللامركزية غير المتجانسة (NoIS)، مما يؤدي إلى تدهور الأداء مقارنة بالتدريب المنعزل.
2. خوارزمية F-TIS: نموذج تدريب مبتكر ينجح في الاستفادة من عينات خارج نطاق السياسة من نماذج متنوعة (أحجام مختلفة، خبرات مختلفة، وإعدادات PEFT مختلفة) دون انهيار السياسة.
3. كفاءة الاتصال: يحافظ النهج على عبء اتصال منخفض، حيث يتطلب فقط الاحتمالات اللوغاريتمية والرموز، على عكس الطرق التي تتطلب مزامنة كاملة للنموذج أو تبادلات ثقيلة لنموذج القيمة.
4. دراسات الاستئصال (Ablation Studies): حلل المؤلفون بشكل منهجي تأثير عتبة التصفية $g$ وقارنوا F-TIS بـ F-VIS (أخذ العينات بالوزن التقليدي المفلتر)، مما أظهر تفوق التقطيع في مراحل التدريب المتأخرة.

النتائج التجريبية

قيم المؤلفون F-TIS على مجموعة بيانات GSM8k للتدريب ومجموعة بيانات MATH-500 لاختبار التوزيع خارج النطاق (OOD)، باستخدام نماذج Qwen2.5 (نسخ 1.5B و 3B، الأساسية والمتخصصة في البرمجة).

• التقارب: يحقق F-TIS تقارب النموذج النهائي بشكل مطابق للتدريب داخل نطاق السياسة (المتجانس) تماماً في جميع الإعدادات غير المتجانسة.
• التعميم (OOD): في عدة إعدادات، تفوق F-TIS على التدريب المنعزل داخل نطاق السياسة في مهام التوزيع خارج النطاق (OOD). ومن أبرخص النتائج:
  • اقتران نموذج 3B Coder مع نموذج أساسي (Base) أدى لتحسين أداء MATH-500 بنسبة 5.2%.
  • اقتران نموذج 3B Coder مع نموذج Coder أصغر أدى لتحسين بنسبة 12%.
  • تحسن نموذج 3B PEFT بنسبة 7% عند التدريب التعاوني.
• عتبة التصفية ($g$): كشفت دراسات الاستئصال أن قيم $g$ الأصغر تفيد النماذج الأصغر (1.5B) في البداية عن طريق إزالة الضوضاء العشوائية، بينما تستفيد النماذج الأكبر (3B) من قيم $g$ الأعلى (مثل 50) في مراحل لاحقة من التدريب، مما يسمح باستكشاف أكبر للمساحة.
• التعاون الرأسي مقابل الأفقي: وجد البحث أن التعاون الرأسي (حيث تولد عقدة واحدة المجموعة الكاملة لـ prompt معين) يتفوق على التعاون الأفقي (حيث تولد العقد مجموعات فرعية). يؤدي التعالُم الأفقي إلى إدخال انحياز في حساب الميزة بالنسبة لمتوسط السرب، مما يقلل الأداء.

الأهمية والادعاءات

يضع البحث F-TIS كخطوة تأسيسية نحو التعلم التعزيزي اللامركزي التعاوني للنماذج اللغوية الكبيرة. ويدعي المؤلفون أن عملهم يعد من بين الأولى التي نجحت في درسة وتمكين التعلم التعزيزي التعاوني عبر النماذج غير المتجانسة.

تشمل الادعاءات الرئيسية ما يلي:

• القابلية للتنفيذ: من الممكن تدريب نماذج متنوعة معاً في تشغيل واحد لـ GRPO دون انهيار الأداء المرتبط عادةً بالبيانات خارج نطاق السياسة.
• الكفاءة: الطريقة فعالة من حيث الاتصال، مما يجعلها قابلة للتطبيق في الأنظمة اللامركزية ذات قيود الشبكة المتفاوتة.
• تعزيز الاستدلال: بعيداً عن مطابقة أداء داخل نطاق السياسة، يمكن أن يعمل الاستخدام التعاوني للعينات خارج نطاق السياسة كمنظم (regularizer) أو معزز للاستكشاف، مما يؤدي إلى تعميم أفضل في المهام خارج نطاق التوزيع (بتحسن يصل إلى 12%) مقارنة بتدريب النماذج في عزلة.
• الواقعية: يستوعب إطار العمل القيود الواقعية حيث يمتلك المستخدمون قدرات عتادية مختلفة (أحجام النماذج) واحتياجات متخصصة (نماذج خبيرة أو PEFT)، مما يسمح لهم بالمساهمة في هدف تعلم مشترك دون الحاجة إلى بنية تحتية متطابقة.