ملخص تقني: تحسين الميزة التكيفي مع التباين الديناميكي (DVAO)

بيان المشكلة

أصبح التعلم المعزز (RL) هو النموذج القياسي لمواءمة النماذج اللغوية الكبيرة (LLMs) مع النوايا البشرية، لا سيما من خلال تحسين المجموعة النسبي (GRPO)، الذي يلغي الحاجة إلى نموذج قيمة منفصل. ومع ذلك، يتطلب النشر في العالم الحقيقي تحسين أهداف متعددة، غالباً ما تكون متضاربة، في آن واحد (على سبيل المثال: الدقة مقابل طول المخرجات، أو صحة استخدام الأدوات مقابل الالتزام بالتنسيق).

تعتمد الممارسات القياسية الحالية للتعامل مع إعدادات المكافأة المتعددة في GRPO على التسكير (Scalarization)، وتحديداً من خلال طريقتين:

1. دمج المكافأة (RC): الجمع الخطي للمكافآت الخام قبل حساب الميزة (Advantage). يوضح البحث أن هذا النهج غالباً ما يولد ميزات ذات قيم مربعة ضخمة للغاية، مما يؤدي إلى تدرجات سياسة مضطربة وعدم استقرار في التدريب.
2. دمج الميزة (AC): تطبيع المكافآت بشكل مستقل لحساب ميزات فردية، ثم دمجها بأوزان ثابتة. وبينما يخفف هذا النهج من انفجار المقدار، فإنه يعتمد على معاملات فائقة (Hyperparameters) ثابتة ويعامل الأهداف كمهام معزولة. هذا "الفصل الساذج" يفشل في التقاط الارتباطات التآزرية أو التضادية بين الأهداف خلال عملية سحب (Rollout) واحدة، مما يؤدي غالباً إلى مقايضات دون المستوى الأمثل.

المنهجية: DVAO

يقترح المؤلفون تحسين الميزة التكيفي مع التباين الديناميكي (DVAO) لمعالجة قيود انفجار المقدار وعزل الأهداف. يعد DVAO مخطط أوزان ديناميكي بالكامل وقائم على البيانات، يقوم بتعديل أوزان الدمج بناءً على التباين التجريبي للمكافأة لكل هدف ضمن مجموعة السحب.

الآلية الجوهرية

بدلاً من استخدام أوزان ثابتة $w_k$، يحسب DVAO أوزاناً دينمايكية $\tilde{w}_k$ لكل هدف $k$ ضمن مجموعة سحب بحجم $G$:
$$\tilde{w}_k = \frac{w_k \sigma_k^i}{\sum_l w_l \sigma_l^i}$$
حيث تمثل $\sigma_k^i$ الانحراف المعياري للمكافأة رقم $k$ عبر عمليات السحب الـ $G$ لاستعلام معين $x_i$.

يتم حساب ميزة DVAO النهائية كالتالي:
$$A_{DVAO}^{(i,j)} = \sum_k \tilde{w}_k A_k^{(i,j)} = \frac{\sum_k w_k \sigma_k^i A_k^{(i,j)}}{\sum_l w_l \sigma_l^i}$$

هذه الآلية ترفع وزن الأهداف ذات التباين العالي (مما يشير إلى إشارة تعلم أقوى وأكثر معلوماتية) وتخفض وزن الأهداف ذات التباين المنخفض (التي قد تمثل ضوضاء أو إشارات مشبعة).

الخصائص النظرية

يقدم البحث براهين رياضية تثبت خاصيتين حرجتين لـ DVAO:

1. مقدار ميزة محدود: يضمن DVAO أن مقدار الميزة المدمجة محدود تماماً وأصغر من أو يساوي نقطة بنقطة الميزة الناتجة عن دمج المكافأة (الخاصية 2). وهذا يمنع عدم استقرار التدريب المرتبط بانفجار المقدار.
2. تنظيم عابر للأهداف ذاتية التكيف: على عكس دمج الميزة، حيث تعتمد حساسية التدرج لهدف ما فقط على أدائه المعزول، تعتمد حساسية DVAO على حد مشترك يتضمن الأداء العالمي متعدد الأهداف ($A_{DVAO}^{(i,j)} A_k^{(i,j)}$). هذا يخلق آلية تنظيم ضمنية تعدل ديناميكياً إشارة التعلم لهدف واحد بناءً على الأداء الإجمالي للنموذج في ذلك السحب المحدد، مما يعزز المواءمة التآزرية بدلاً من التحسين الجشع لمقياس واحد.

النتائج التجريبية

قيم المؤلفون DVAO على اختبارات الاستداد الرياضي واستخدام الأدوات باستخدام نماذج Qwen3 (4B/8B) و Qwen2.5 (3B/7B).

• الاستدلال الرياضي (الدقة مقابل الطول): حقق DVAO أعلى متوسط دقة مع الحفاظ على التزام شبه مثالي بالطول (100% في Qwen3-4B، و99.99% في Qwen3-8B). في المقابل، فرضت أساليب دمج المكافأة ودمج الميزة مقايضة، حيث ضحت بالدقة من أجل الطول أو العكس. حقق GDPO التزاماً عالياً بالطول ولكنه عانى من أدنى دقة بين جميع الأساليب.
• استخدام الأدوات (الصحة مقابل التنسيق): في لوحة صدارة استدعاء الوظائف لـ Berkeley (BFCL-v4)، تفوق DVAO بشكل كبير على النماذج المرجعية في كل من الدقة والالتزام بالتنسيق في آن واحد. والجدير بالذكر أنه بينما واجه GRPO ودمج الميزة صعوبة في الالتزام بالتنسيق (غالباً ما يقترب من 0% في نماذج 7B)، حافظ DVAO على التزام عالٍ دون التضحة بالدقة.
• ديناميكيات التدريب: أظهرت تصورات منحنيات التدريب أن DVAO حقق متوسط مكافآت أعلى مع تباين (انحراف معياري) أقل بكثير مقارنة بالنماذج المرجعية. انهار الانحراف المعياري للمكافآات تحت نظام DVAO بشكل أسريد، مما يشير إلى تقارب مستقر.
• تحليل جبهة باريتو (Pareto Frontier): من خلال مسح المعاملات الفائقة للأوزان، أثبت المؤلفون أن DVAO يهيمن باستمرار على جبهة باريتو عبر كامل نطاق المقايضات، بينما تظهر النماذج المرجعية ذات الأوزان الثابتة أنماط فشل مثل التشبع أو عدم الاستقرار.

المساهمات الرئيسية والأهمية

يزعم البحث المساهمات التالية:

1. التحديد النظري للعيوب: يكشف العمل رسمياً عن العيوب النظرية الجوهرية في طرق التسكير الحالية لـ GRPO متعدد المكافآت: انفجار المقدار في دمج المكافأة، وعزل الأهداف في دمج الميزة.
2. خوارزمية DVAO: اقتراح مخطط أوزان ديناميكي خالٍ من المعاملات الفائقة، يتكيف مع التباين التجريبي للمكافأة.
3. الضمانات النظرية: برهان رياضي على أن DVAO يحافظ على مقادير ميزة محدودة للاستقرار، ويقدم آلية تنظيم ضمنية عابرة للأهداف.
4. التفوق التجريبي: تجارب واسعة توضح أن DVAO يحقق جبهة باريتو متفوقة متعددة الأهداف، حيث يوازن بين الأهداف المتنافسة (الدقة، الطول، التنسيق) بشكل أكثر فعالية من النماذج المرجعية الموجودة دون الحاجة إلى ضبط يدوي للأوزان.

خلص المؤلفون إلى أن DVAO يقدم حلاً قوياً للمواءمة متعددة الأهداف في النماذج اللغوية الكبيرة، مما يتيح تدريباً مستقراً وتحسيناً تآزرياً للمتطلبات المعقدة والمتضاربة المتأصلة في التطبيقات الواقعية. ويُقترح في العمل المستقبلي استكشاف التوسع إلى بيئات ذات عدد أكبر من وظائف المكافأة المتضاربة وتوسيع الآلية لتشمل نماذج مواءمة أوسع.