Reward-free Alignment for Conflicting Objectives

ملخص تقني: المحاذاة الخالية من المكافأة للأهداف المتضاربة (RACO)

1. بيان المشكلة

تهدف محاذاة النماذج اللغوية الكبيرة (LLM) عادةً إلى تلبية تفضيلات بشرية متعددة، وغالباً ما تكون متنافسة (على سبيل المثال: أن يكون النموذج مفيداً مقابل أن يكون غير ضار، أو أن يكون معلوماتياً مقابل أن يكون موجزاً). تواجه طرق المحاذاة الحالية تحديين رئيسيين عند التعامل مع هذه الأهداف المتضاربة:

• محدودية التجميع الخطي: تستخدم معظم الطرق الحالية (مثل DPO أو دوال الخسارة الموزونة) مجموعاً موزوناً للخسائر. وعندما تتضارب تدرجات الأهداف (أي عندما يؤدي التحديث الذي يحسن هدفاً واحداً إلى تدهور الآخر)، يفشل التجميع الخطي في إيجاد اتجاه يلبي كلاهما، مما يؤدي غالباً إلى "ضريبة المحاذاة" (alignment tax) حيث يتم التضحية بهدف لصالح الآخر.
• تعقيد نمذجة المكافأة: تعتمد العديد من أساليب المهام متعددة الأهداف على نماذج مكافأة صريحة لكل هدف. وهذا يضيف عبئاً حسابياً كبيياً، ويؤدي إلى أخطاء في النمذجة، ويعقد مسار التدريب.

2. المنهجية: إطار عمل RACO

يقترح المؤلفون RACO (المحاذاة الخالية من المكافأة للأهداف المتضاربة)، وهو إطار عمل يعامل المحاذاة كمسألة تحسين متعددة الأهداف باستخدام بيانات التفضيل الزوجي فقط (دون الحاجة لنماذج مكافأة صريحة).

المكونات التقنية الرئيسية:

• تكييف خوارزمية التدرج المتجنب للنزاع (CAGrad): بدلاً من مجرد الجمع الموزون البسيط للتدرجات، يستفيد RACO من مبادئ CAGrad. فهو يسعى لإيجاد اتجاه تحديث يعظم أسوأ حالة تحسن محلي عبر جميع الأهداف، مما يؤدي فعلياً إلى "حل" النزاع بين التدرجات المتعارضة.
• تقنية CAGrad-Clip (الابتكار الجوهري): حدد المؤلفون أن تطبيق نسخة vanilla من CAGrad على فضاءات بارامترات النماذج اللغوية الكبيرة عالية الأبعاد قد يؤدي إلى عدم الاستقرار. وتحديداً، يمكن لخطوة "التصحيح" في CAGrad أن تبالغ في التصحيح نحو هدف منخفض الأولوية، مما ينتهك التوازن الذي أراده المستخدم. ولحل هذه المشكلة، قدموا تقنية القص (clipping): حيث يقومون بحل أوزان التصحيح المثلى ولكنهم يقومون بقصها بحيث لا تتجاوز أوزان الأهمية ($w_i$) التي حددها المستخدم.
• الأساس الرياضي:
  • التقارب: يقدم المؤلفون ضمانات نظرية بأن الطريقة تتقارب نحو النقاط الحرجة لباريتو (النقاط التي لا يمكن تحسين أي هدف فيها دون تدهور هدف آخر) والتي تحترم الأوزان المحددة من قبل المستخدم.
  • التسريع: أثبتوا أنه في حالات الهدفين، يمكن لآلية القص أن تحسن معدل التقارب بشكل صارم مقارنة بالنسخ غير المقصوصة.

3. المساهمات الرئيسية

1. إطار عمل جديد (RACO): طريقة محاذاة متعددة الأهداف وخالية من المكافأة تستخدم مباشرة بيانات التفضيل الزوجي.
2. ابتكار خوارزمي (CAGrad-Clip): نسخة مستقرة من خوارزمية التدرج المتجنب للنزاع تمنع "المبالغة في التصحيح" في الفضاءات عالية الأبعاد.
3. ضمانات نظرية: براهين رسمية للتقارب نحو النقاط الحرجة لباريتو، وبرهان على تسريع التدريب في سيناريوهات الهدفين.
4. التحقق التجريبي: اختبارات واسعة النطاق عبر عائلات نماذج متعددة (Qwen 3، Llama 3، Gemma 3) ومهام متنوعة.

4. النتائج التجريبية

تم تقييم إطار العمل في مهمتين رئيسيتين: التلخيص متعدد الأهداف (الجودة مقابل الإيجاز/الأمانة) ومحاذاة السلامة (الفائدة مقابل عدم الضرر).

• مقايضات باريتو متفوقة: في جميع المهام، حقق RACO باستمرار جبهة باريتو (Pareto frontier) أفضل من النماذج المرجعية مثل DPO-LW (الخسارة الموزونة) وAMoPO. وهذا يعني أنه لأي مستوى معين من "الفائدة"، وفر RACO مستوى أعلى من "عدم الضرر" مقارنة بمنافسيه.
• الاستقرار والتحكم: على عكس الطرق المرجعية التي غالباً ما تؤدي إلى "انهيار" أحد الأهداف لتلبية هدف آخر (مثل أن يصبح النموذج آمناً للغاية ولكنه غير مفيد تماماً)، حافظ RACO على تحسن متوازن عبر كلا المقياسين.
• القوة عبر النماذج: كانت مكاسب الأداء ثابتة عبر بنيات وأحجام مختلفة من النماذج، بما في ذلك النماذج الموجهة بالتعليمات (instruction-tuned) والنماذج الأساسية (base models).

5. الأهمية

تكم-ن أهمية هذه الورقة لأنها تنقل محاذاة النماذج اللغوية الكبيرة من نموذج "المكافأة ذات القيمة القياسية الواحدة" نحو نموذج أكثر واقعية متعدد الأهداف. ومن خلال توفير طريقة منضبطة رياضياً وفعالة حسابياً للتعامل مع الأهداف المتضاربة دون الحاجة لنماذج مكافأة معقدة، يوفر RACO حلاً قابلاً للتوسع للمطورين الذين يحتاجون إلى ضبط النماذج لتلبية قيم بشرية محددة ودقيقة ومتنافسة. إنه يوفر أداة لـ "توجيه" النماذج على طول منحنى مقايضة مرغوب فيه بدقة واستقرار أعلى مما كان ممكناً في السابق.