ملخص تقني: محاذاة السلامة كتعلم مستمر عبر الإسقاط المتعامد للتدرج

1. بيان المشكلة: ضريبة المحاذاة وتداخل التدرجات

تحقق النماذج اللغوية الكبيرة (LLMs) قدرات عامة واسعة من خلال التدريب المسبق، ولكنها تتطلب محاذاة للسلامة (مثل الضبط الدقيق الخاضع للإشراف [SFT] أو تحسين التفضيل المباشر [DPO]) للالتزام بالقصد البشري وقيود السلامة (المساعدة، الصدق، وعدم الضرر). ومع ذلك، غالبًا ما تفرض عملية ما بعد التدريب هذه "ضريبة محاذاة"، حيث تؤدي التحسينات في السلامة إلى تراجعات ملموسة في المنفعة العامة، مثل الصدق أو الاستنتاج أو القدرة على البرمجة.

يحدد المؤلفون الآلية الأساسية لهذه الضريبة في كونها تداخلاً في التدرجات ضمن إطار التعلم المستمر غير المتجانس (CL). فخلافًا للتعلم المستمر التقليدي حيث تشترك المهام في أهداف متجانسة، تتضمن محاذاة النماذج اللغوية الكبيرة مراحل متتالية (مثل: التدريب المسبق $\to$ SFT $\to$ DPO) مع تغير في توزيعات البيانات وأهداف التحسين. في هذا السياق، غالبًا ما تحتوي التدرجات المشتقة من أهداف السلامة ($g_{safe}$) على مكونات تتداخل مع اتجاهات المعلمات الضرورية للحفاظ على القدرات العامة المسبقة. وبالتالي، فإن التحديثات الساذجة على طول $g_{safe}$ تؤدي دون قصد إلى اضطراب هذه الاتجاهات الداعمة للقدرات، مما يؤدي إلى النسيان الكارثي.

أما استراتيجيات التخفيف الموجودة، مثل إعادة عرض البيانات (خلط البيانات العامة) أو تنظيم القرب (عقوبات KL)، فهي غالبًا ما تفرض أعباءً حسابية كبيرة، أو تتطلب ضبطًا معقدًا للمعلمات الفائقة، أو تعمل فقط كقيود ناعمة تفشل في إزالة مكونات التدرج المتداخلة بشكل صريح.

2. المنهجية: الإسقاط المتعامد لتدرج محاذاة السلامة (OGPSA)

يقترح البحث OGPSA، وهو قاعدة تحديث خفيفة الوزن وقابلة للتركيب (plug-and-play) مصممة لتخفيف تداخل التدرجات من خلال فرض قيود الحفاظ على القدرات من الدرجة الأولى.

المفهوم الجوهري

يؤطر OGPSA محاذاة السلامة كمسألة تحسين مقيدة. الهدف هو الهبوط في مشهد خسارة السلامة مع ضمان أن خطوة التحديث $\Delta\theta$ لا تزيد من خسارة أهداف المرجعية للقدرات العامة من الدرجة الأولى.

الخطوات الخوارزمية

1. تقدير الفضاء الجزئي: بدلاً من الاحتفاظ بذاكرة مؤقتة كبيرة لبيانات إعادة العرض، يقوم OGPSA بتقدير فضاء جزئي مرجعي للقدرات العامة ($S_{gen}$) منخفض الرتبة. يتم بناء هذا الفضاء من التدرجات المحسوبة على مجموعة صغيرة ومتنوعة من مجموعات البيانات المرجعية ($D_{ref}$) التي تمثل القدرات الرئيسية (مثل المساعدة والصدق).

   • ليكن $\{g^{(i)}\}_{i=1}^M$ هي التدرجات من $M$ من خسائر المرجعية.
   • الفضاء الجزئي هو $S_{gen}(\theta) = \text{span}\{g^{(1)}, \dots, g^{(M)}\}$.
   • يتم بناء أساس متعامد $U$ لهذا الفضاء دوريًا (كل $K$ خطوة) باستخدام عملية غرام-شميت لتصفية التبعيات الخطية.

2. الإسقاط المتعامد: أثناء تحديث محاذاة السلامة (على سبيل المثال، SFT أو DPO)، يتم إسقاط تدرج السلامة القياسي $g_{safe}$ على المتمم المتعامد لـ $S_{gen}$.

   • يتم حساب التدرج المسقط كما يلي:
     $$\tilde{g}_{safe} = g_{safe} - U(U^\top g_{safe}) = g_{safe} - \sum_{j=1}^{M'} \langle g_{safe}, u_j \rangle u_j$$
   • تقوم هذه العملية بإزالة مكون تحديث السلامة الذي يقع ضمن الفضاء الجزئي للقدرات العامة، مما يمنع فعليًا الزيادات من الدرجة الأولى في خسائر المرجعية.

3. تحديث المعلمات: يتم تحديث معلمات النموذج باستخدام التدرج المسقط:
   $$\theta \leftarrow \theta - \eta \tilde{g}_{safe}$$

التبرير النظري

يثبت المؤلفون أنه ضمن مجموعة القيود الخطية المحلية المحددة بتدرجات المرجعية، فإن اتجاه التدرج المسقط هو اتجاه الهبوط الأكثر حدة وقابلية للتنفيذ لهدف السلامة. وهذا يضمن أن النموذج يتحرك بأسرع ما يمكن نحو أهداف السلامة دون انتهاك الحفاظ من الدرجة الأولى على القدرات المرجعية.

3. المساهمات الرئيسية

• صياغة المشكلة: يعيد البحث صياغة مرحلة ما بعد تدريب السلامة كمسألة تعلم مستمر غير متجانس الأهداف، مع تحديد تداخل التدرجات بوضوح كسبب ملموس وقابل للاختبار لضريبة المحاذاة.
• تصميم الخوارزمية: يقدم OGPSA، وهي طريقة إسقاط تدرج تعمل على المتمم المتعامد لفضاء جزئي مرجعي منخفض الرتبة. وخلافًا للطرق القائمة على إعادة العرض، فإنه يتطلب فقط حساب تدرجات مرجعية صغيرة بشكل دوري، مما يتجنب التخزين الضخم للبيانات وخلطها.
• التحقق التجريبي: تم التحقق من صحة الطريقة عبر عائلات متعددة من النماذج (Llama3.1-8B, Qwen2.5-7B) ومسارات محاذاة مختلفة (SFT, DPO، وSFT$\to$DPO متتالي)، مما أظهر تحسينات متسقة في المقايضة بين السلامة والمنفعة.

4. النتائج التجريبية

قيم المؤلفون OGPSA مقابل خطوط الأساس القياسية (التوليف الساذج/Naive Tuning) واستراتيجيات التخفيف (دمج الأوزان، LoRA، وإعادة عرض البيانات العامة) على Llama3.1-8B-Instruct وQwen2.5-7B-Instruct.

• مكاسب الأداء: حقق OGPSA باستمرار أعلى "متوسط ربح" (Avg. Gain) (وهو مقياس يجمع بين درجات السلامة والقدرة العامة) عبر جميع الإعدادات.
  • في مسار SFT$\to$DPO المتتالي، ارتفع متوسط مكسب الأداء من 19.74% إلى 32.98% في Llama3.1-8B ومن 33.98% إلى 42.74% في Qwen2.5-7B مقارنة بالنموذج المرجعي (instruct baseline).
• المقارنة مع الخطوط المتقدمة: تفوق OGPSA على خط أساس التعلم المستمر القائم على إسقاط التدرج (GPM) وإطار عمل محاذاة السلامة المتطور (STAIR) من حيث إجمالي الربح ومقاييس القدرة المحددة مع الحفاظ على درجات سلامة تنافسية.
• المتانة: أظهرت الطريقة مقاومة ضد عمليات الاختراق القائمة على التحسين (I-GCG)، مما قلل من معدل نجاح الهجوم (ASR) مقارنة بنماذج SFT وDPO القياسية.
• دراسات الاستئصال (Ablation Studies):
  • تنوع الفضاء الجزئي: استخدام فضاء جزئي متنوع (مثل دمج تدرجات المساعدة والصدق) حقق توازنًا عامًا أفضل من عمليات الإسقاط أحادية البعد.
  • كفاءة البيانات: تطلب OGPSA ما بين 100 إلى 200 عينة لكل بُعد مرجعي للتفوق على خط أساس إعادة العرض المكون من 10 آلاف عينة، مما يظهر كفاءة عالية في البيانات.
  • تكرار التحديث: كانت التحديثات الدورية للفضاء الجزئي (مثل كل 5 خطوات في DPO) حاسمة؛ حيث أدت الفضاءات الجزئية الثابتة إلى تدهور الأداء مع تقدم التدريب.
• القابلية للتوسع: كانت الطريقة فعالة عبر أحجام نماذج تتراوح من 0.5B إلى 7B بارامتر.

5. الأهمية والادعاءات

يزعم البحث أن OPSA يوفر آلية بسيطة من الدرجة الأولى لتخفيف تراجع القدرات أثناء محاذاة السلامة دون التكاليف الحسابية الثقيلة لإعادة العرض واسعة النطاق. ومن خلال إزالة المكونات المتداخلة لتدرجات السلامة بشكل صريح، تسمح الطريقة للنماذج باكتساب قيود سلامة جديدة مع الحفاظ على استقرار المعرفة العامة المسبقة.

يؤكد المؤلفون أن مساهمتهم هي توصيف محلي من الدرجة الأولى لاتجاه هبوط السلامة تحت قيود الحفاظ. هم لا يدعون وجود ضمان عالمي (global guarantee) للحفاظ على جميع مقاييس القدرة اللاحقة، ولا يدعون أن الطريقة مثالية (Pareto-optimal) خارج الإعدادات التي تم تقييمها. تُقدم الطريقة كمكون نمطي خفيف الوزن يمكن دمجه في مسارات SFT/DPO القياسية لتحسين حدود السلامة والمنفعة.

القيود المعترف بها:

• فعالية الطريقة محدودة بالتقريب المحلي من الدرجة الأولى.
• تعتمد الأداء على تنوع وتمثيل البيانات المرجعية.
• هناك عبء حسابي طفيف بسبب الحساب الدوري للتدرجات المرجعية، رغم أنه أقل بكثير من إعادة العرض الكاملة.
• لا تضمن الطراف ضمانًا ضد جميع سيناريوهات الاختراق أو سوء الاستخدام؛ بل يجب أن تكون جزءًا من مسار سلامة أوسع يشمل اختبار الاختراق (red-teaming) والمراقبة.