ملخص تقني: من ديناميكيات المعلمات إلى تسجيل المخاطر

بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) على محاذاة السلامة (على سبيل المثال، عبر RLHF أو DPO) لرفض الطلبات الضارة. ومع ذلك، تشير الدراسات الحديثة إلى أن هذه المحاذاة هشة؛ حيث يمكن لضبط النموذج بدقة (fine-tuning) باستخدام عدد قليل من العينات الحميدة أن يؤدي إلى تدهور شديد في سلامة النموذج. وخلافًا للبيانات الضارة صراحةً، والتي يمكن تصفيتها بواسطة أدوات كشف السمية، فإن العينات الحميدة التي تسبب تدهور السلامة يصعب تحديدها ومنعها. تحاول الأبحاث الحالية تفسير هذه الظاهرة من خلال مقارنة معلمات ما قبل وما بعد الضبط الدقيق، أو تحليل انزياح التضمين (embedding drift). ومع ذلك، تعاني هذه النهج من قصورين رئيسيين:

1. التحليل الساكن: تفشل في التقاط التطور الديناميكي للمعلمات أثناء عملية الضبط الدقيق.
2. العمى الاتجاهي: تركز على مقدار الاضطرابات دون النظر في الاتجاهات المحددة لتغيرات المعلمات التي تقود إلى تدهور السلامة، مما يجعل من الصعب عزل المخاطر الخاصة بالسلامة.

بناءً على ذلك، هناك نقص في وجود طريقة لتقدير مخاطر العينات التدريبية الحمبية الفردية بطريقة تشرح لماذا تؤدي إلى تدهور السلامة وتسمح بتقييم مستمر للمخاطر عبر المجموعة الكاملة من البيانات.

المنهجية

1. اكتشاف الآلية: ديناميكيات المعلمات

يتقصى المؤلفون آلية تدهور السلامة من خلال تتبع مسارات المعلمات طوال عملية الضبط الدقيق بدلاً من مجرد مقارنة النقاط النهائية.

• تعريف الاتجاه: حددوا اتجاهين مرجعيين في فضاء المعلمات:
  • اتجاه السلامة ($V_{safety}$): الإزاحة في المعلمات من النموذج الأساسي إلى حالة محاذية للسلامة (عبر DPO على مجموعة بيانات PKU-SafeRLHF).
  • اتجاه الخطر ($V_{danger}$): الإزاحة في المعلمات من النموذج الأساسي إلى حالة محاذية للضرر (عبر SFT على مجموعات بيانات غير آمنة مثل Aegis وBeaver-Tails).
• الملاحظة الديناميكية: من خلال إسقاط الانزياح التراكمي للمعلمات ($\Delta \theta_t$) على هذه الاتجاهات أثناء التدريب، لاحظ المؤلفون آلية حرجة: يؤدي الضبط الدقيق الحميد إلى انزياح تراكمي نحو اتجاهات محاذية للخطر، بينما يظل الإسقاط على اتجاه السلامة قريبًا من الصفر.
• التدهور غير الخطي: يظهر هذا الانزياح نمطًا ذا مرحلتين. في البداية، تنزاح المعلمات بسرعة في اتجاه الخطر مع فقدان متوسط للسلامة. لاحقًا، وحتى مع تباطؤ معدل الانزياح، تنهار السلامة بشكل كارثي بمجرد خروج المعلمات من "حوض السلامة" (safe basin).

2. الطريقة المقترحة: التقدير الكمي لتدني السلامة على مستوى العينة (SQSD)

بناءً على النتيجة التي مفادها أن العينات التي تساهم بشكل أكبر في الانزياح نحو اتجاهات الخطر تشكل مخاطر أعلى، يقترح المؤلفون طريقة SQSD.

• المفهوم الجوهري: تقيس SQSD مخاطر عينة تدريب واحدة $z$ عن طريق قياس فجوة الإسقاط بين التحديث الناجم عن العينة وبين اتجاهات السلامة والخطر.
• خطوات الحساب:
  1. حساب التحديث: حساب تحديث التدرج لخطوة واحدة ($\Delta W$) الناتج عن العينة $z$ على معلمات LoRA.
  2. التطبيع (Normalization): تطبيق تطبيع لكل وحدة (module-wise) على التحديث للتخفيف من انحياز طول الاستجابة (وهي مشكلة معروفة في التسجيل القائم على التدرج حيث تؤدي الاستجابات القصيرة إلى تضخم التدرجات).
  3. الإسقاط: إسقاط التحديث المطبق طبيعيًا على اتجاه الخطر ($\hat{V}_{danger}$) واتجاه السلامة ($\hat{V}_{safety}$).
  4. التجميع: حساب الدرجة كفرق بين هذين الإسقاطين:
     $$SQSD(z) = \sum_m \left( \langle \frac{\Delta W_m}{\|\Delta W_m\|}, \hat{V}_{danger, m} \rangle - \langle \frac{\Delta W_m}{\|\Delta W_m\|}, \hat{V}_{safety, m} \rangle \right)$$
     تشير الدرجة الأعلى إلى أن العينة تدفع المعلمات بقوة أكبر نحو حالة الخطر مقارنة بحالة السلامة.
• الأساس النظري: ربط المؤلفون بين SQSD وتفضيلات المخرجات باستخدام تقريب تايلور من الدرجة الأولى. وأوضحوا أن الضرب الداخلي للتحديث والاتجاه يرتبط بتغير الخسارة (وبالتالي الاحتمالية) لذلك الاتجاه. وبالتالي، فإن قيمة SQSD العالية تعني أن العينة تزيد من تفضيل النموذج للمخرجات الخطرة مقارنة بالمخرجات الآمنة.
• الحساسية للتهيئة: تقر الطريقة بأن التقدير الكمي للمخاطر يعتمد على حالة التهيئة. ولضمان الموثوقية، يتم حساب SQSD عند حالات المعلمات التي تظهر حساسية اتجاهية عالية (تم تحديدها عبر تحليل الحساسية المعزز بالانزياح).

المساهمات الرئيسية

1. الرؤية الآلية: تكشف الورقة أن تدهور السلامة في الضبط الدقيق الحميد مدفوع بـ الانزياح التراكمي للمعلمات نحو الاتجاهات المحاذية للخطر، وهي عملية ديناميكية أغفلها التحليل الساكن (قبل/بعد).
2. طريقة SQSD: طريقة مبتكرة لـ التقدير الكمي المستمر للمخاطر على مستوى العينة. وخلافًا للأعمال السابقة التي تحدد مجموعات فرعية "عالية المخاطر" (مما يؤدي إلى انهيار الحدود)، توفر SQSD درجة خطر لكل عينة عبر الطيف الكامل.
3. التحقق التجريبي: أظهرت التجارب المكثفة عبر ثلاثة نماذج (Qwen3-8B, Llama-3.1-8B-Instruct, Llama-2-7B-Chat) ومجموعتي بيانات (Dolly, Alpaca) أن SQSD تتنبأ بفعالية بتدهور السلامة.
4. القابلية للنقل: تنتقل درجات SQSD المحسوبة على تكوين واحد (بنية النموذج، مقياس المعلمات، أو طريقة الضبط الدقيق مثل LoRA) بقوة إلى تكوينات أخرى، مما يسمح بتقييم المخاطر على نماذج أصغر أو بنيات مختلفة قبل النشر.

النتائج

• الفعالية: عند تقسيم مجموعات البيانات إلى مجموعات فرعية بناءً على درجات مخاطر SQSD (S1: الأعلى خطرًا إلى S5: الأقل خطرًا)، أظهرت النماذج التي تم ضبطها بدقة على S1 معدلات نجاح هجوم (ASR) أعلى بكثير ودرجات سلامة أقل مقارنة بـ S5.
  • حققت SQSD تدهورًا رتيبًا في السلامة (تناقص ASR من S1 إلى S5) في 10 من أصل 12 حالة.
  • في المقابل، فشلت النماذج المرجعية (Reward Models, Bi-Anchor, Self-Inf-N, LARF) في الحفاظ على الرتابة في معظم الحالات.
  • أظهرت SQSD قدرة تمييزية فائقة، بمتوسط فرق في ASR ($\Delta$) قدره 49.86% بين أعلى وأدنى المجموعات الفرعية من حيث المخاطر، متفوقة بشكل كبير على أفضل نموذج مرجعي (43.76%).
• القابلية للنقل:
  • البنية: انتقلت الدرجات بفعالية بين بنيات Llama وQwen.
  • المقياس: نجحت الدرجات المحسوبة على نماذج 8B في التنبؤ بالمخاطر لنماذج 14B و32B.
  • الطريقة: ظلت الدرجات المستمدة من تدرجات LoRA فعالة عند تطبيقها على سيناريوهات الضبط الدقيق الكامل (full fine-tuning).
• دراسات الاستئصال (Ablation Studies): تسبب إزالة التطبيع لكل وحدة في تدهور حاد في الأداء بسبب انحياز طول الاستجابة. كما فشل استخدام اتجاه الخطر فقط أو اتجاه السلامة فقط في الحفاظ على الرتابة، مما يؤكد ضرية التباين بين كلا الاتجاهين.

الأهمية والادعاءات

تدعي الورقة أن SQSD توفر أداة دفاعية لمطوري النماذج. فمن خلال تحديد العينات الحميدة التي تسبب تدهور السلامة بشكل غير متناسب، يمكن للممارسين تنسيق بيانات التدريب للحفاظ على محاذاة السلامة أثناء التكيف مع المهام اللاحقة.

يؤكد المؤلفون أنه بينما يمكن نظريًا إساءة استخدام هذه التقنية لاختيار بيانات تزيد من تدهور السلامة إلى أقصى حد، إلا أن الهدف الأساسي هو دفاعي. وهم يدعون إلى دمج SQSD في خوارزميات ضبط السلامة الدقيق لإنشاء مسارات تدريب "واعية بالمخاطر" تتكيف مع المهام اللاحية دون المساس بالسلامة. تسلط هذه الدراسة الضوء على أن محاذاة السلامة ليست خاصية ثابتة بل هي حالة ديناميكية معرضة لانزياحات اتجاهية محددة، وأن التقدير الكمي لهذه الانزياحات على مستوى العينة أمر ضروري للنشر القوي للنماذج اللغوية الكبيرة.