Layer-wise Swapping for Generalizable Multilingual Safety

إليك ملخص تقني مفصل لورقة البحث بعنوان "التبديل على مستوى الطبقة لضمان سلامة متعددة اللغات وقابلة للتعميم" من إعداد هيونسو شين و وونسيوك هوانج.

1. بيان المشكلة

حققت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوظاً في الاستنتاج واتباع التعليمات، لكن محاذاة السلامة لديها غير متوازنة عبر اللغات.

• الانحياز المتمحور حول الإنجليزية: معظم مجموعات بيانات ضبط السلامة هي باللغة الإنجليزية. وبناءً على ذلك، فإن النماذج التي يتم ضبطها بدقة للغات ذات الموارد المنخفضة (مثل الكورية، البنغالية، السواحيلية، التيلوغو) غالباً ما تظهر معدلات عالية من التوليدات غير الآمنة أو الضارة مقارنة بنظيراتها الإنجليزية.
• محدودية الأساليب الحالية:
  • الضبط الدقيق الساذج (Naive Fine-tuning): تدريب النموذج فقط على بيانات تعليمات ذات موارد منخفضة غالباً ما يؤدي إلى "النسيان الكارثي" لمعرفة السلامة التي اكتسبها أثناء مرحلة ما قبل التدريب.
  • الضبط الدقيق الخاضع للإشراف المختلط (Mixed SFT): التدريب المشترك على بيانات السلامة واللغة مكلف حاسوبياً ولا يغلق فجوة السلامة باستمرار عبر اللغات المتنوعة.
  • التبديل الاستاتيكي للطبقات (Static Layer Swapping): تعتمد طرق النقل الهيكلي السابقة (مثل استبدال طبقات محددة من خبير السلامة بخبير اللغة) على اختيار يدوي واستاتيكي، وهو ما يفشل في التعميم بشكل جيد عبر اللغات ومعماريات النماذج المختلفة.

2. المنهجية: التبديل الواعي بالسلامة (Safety-Aware Layer Swapping)

يقترح المؤلفون استراتيجية خالية من التدريب (training-free) لنقل محاذاة السلامة من "خبير سلامة" إنجليزي عالي الموارد إلى "خبراء لغويين" منخفضي الموارد دون تحديثات إضافية للتدرج (gradient updates). وتستند هذه الطريقة إلى متجهات المهام (Task Vectors) وتمتد إلى التبديل على مستوى الوحدة (Module-wise Swapping).

المفاهيم الأساسية

• متجهات المهام (Task Vectors): الفرق بين المعلمات المضبوطة بدقة ($\theta_{ft}$) ومعلمات القاعدة الأصلية ($\theta_{base}$) يحدد متجه المهمة ($\tau = \theta_{ft} - \theta_{base}$). هذا المتجه يشفر التحول المعرفي المحدد (مثل السلامة أو القدرة متعددة اللغات).
• التبديل على مستوى الطبقة (Layer-wise Swapping): بدلاً من اختيار الطبقات يدوياً، تحسب الطريقة الأهمية النسبية لكل طبقة بالنسبة لمهام السلامة مقابل المهام متعددة اللغات.
• التبديل على مستوى الوحدة (Module-wise Swapping) (الابتكار الرئيسي): إدراكاً بأن الوحدات الفرعية (الاهتمام الذاتي Self-Attention و MLP/FFN) تظهر خطية أعلى من الطبقات الكاملة، تقوم الطريقة بتفكيك النموذج بشكل أكبر. فهي تحلل ما إذا كانت وحدات معينة داخل الطبقة أكثر تخصصاً في السلامة أو اللغة.

الخوارزمية

1. حساب التحديثات: حساب تحديثات المعلمات ($\Delta W$) للنموذج المضبوط للسلامة والنموذج المضبوط متعدد اللغات بالنسبة للنموذج الأساسي.
2. قياس التخصص: حساب نسبة طبيعية ($n$) تمثل حجم التحديثات لكل وحدة ($m$) في كل طبقة ($l$) لكل من مهام السلامة ($safe$) والمهام متعددة اللغات ($multi$).
   $$n_{l,m}^{safe} = \frac{\|\Delta W_{l,m}^{safe}\|^2}{\|\theta_{base}\|^2}$$
3. تحديد الهيمنة: حساب الفرق ($d_{l,m}$) بين درجة السلامة المعيارية ودرجة تعدد اللغات.
   $$d_{l,m} = p_{l,m}^{safe} - p_{l,m}^{multi}$$
4. الاختيار التكيفي والمزج:
   • الاختيار: إذا كان $|d_{l,m}| > \tau$ (عتبة)، يتم اختيار الوحدة مباشرة من الخبير الذي يهيمن (خبير السلامة إذا كان الناتج موجباً، وخبير اللغة إذا كان سالباً).
   • المزج: إذا كان $|d_{l,m}| \le \tau$، يتم مزج الوحدات باستخدام وزن استكمال ثابت $\alpha$:
     $$\theta_{hybrid} = \alpha \theta_{safe} + (1-\alpha) \theta_{multi}$$

تسمح هذه الطريقة للنموذج تلقائياً بنشر تمثيلات السلامة حيث تكون أكثر فعالية مع الحفاظ على قدرات فهم اللغة في أجزاء أخرى من الشبكة.

3. المساهمات الرئيسية

1. الصياغة المنهجية: قاموا بصياغة تبديل الطبقات كتركيب لمتجهات المهام متعددة اللغات والمهام المتعلقة بالسلامة، مما يوفر طريقة مبدئية لدمج هذه القدرات.
2. الدقة على مستوى الوحدة: وسعوا نطاق التبديل التقليدي للطبقات إلى التبديل على مستوى الوحدة (Attention مقابل MLP)، مع تقديم آلية اختيار تلقائية بناءً على درجة التخصص. وهذا يتغلب على جمود الاستبدال الاستاتيكي للطبقات.
3. كفاءة خالية من التدريب: لا تتطلب طريقتهم أي تدريب أو ضبط دقيق إضافي، مما يجعلها عالية الكفاءة لنشر النماذج الآمنة في البيئات ذات الموارد المنخفضة.
4. التحقق التجريبي: أظهرت النتائج تحسناً كبيراً في السلامة لأربع لغات ذات موارد منخفضة (الكورية، البنغالية، السواحيلية، التيلوغو) مع الحفاظ على الأداء اللغوي العام.

4. النتائج التجريبية

قيم المؤلفون طريقتهم على نماذج LLaMA 3.1 8B Instruct و Qwen3 8B عبر أربع لغات ذات موارد منخفضة.

• أداء السلامة (معيار MultiJail):
  • أظهرت الخبراء اللغويون فقط معدلات عدم أمان عالية (على سبيل المثال، ~58% للسواحيلية في LLaMA).
  • قلل التبديل على مستوى الوحدة المقترح من معدلات عدم الأمان بشكل كبير (على سبيل المثال، انخفضت إلى ~13% للسواحيلية في LLaMA)، متفوقاً على التبديل الاستاتيكي للطبقات، وTask Arithmetic، وTIES Merging، وDARE.
  • في 20 تقييماً للسلامة، فاز نهج مستوى الوحدة في 65% من الحالات ضد النماذج المرجعية.
• الفهم اللغوي العام (MMMLU, BELEBELE, MGSM):
  • حافظت الطريقة على القدرات العامة، محققة درجات تنافسية في اختبارات الاستنتاج وفهم القراءة.
  • على عكس "Mixed SFT" الذي أظهر تبايناً عالياً، وفرت طرق التبديل أداءً ثابتاً عبر اللغات.
  • تفوقت الطرق المقترحة على التبديل الاستاتيكي للطبقات في 68% من حالات الاختبارات العامة.
• تحليل التخصص:
  • كشفت التصورات (الأشكال 3 و4) أن محاذاة السلامة تميل للظهور في الطبقات الوسطى وتتوزع عبر وحدات Attention و MLP، بينما غالباً ما يتركز التكيف متعدد اللغات في الطبقات السفلى/العليا ووحدات محددة. وهذا يؤكد ضرورة الاختيار التكيفي على مستوى الوحدة بدلاً من الاستبدال الاستاتيكي للطبقات.

5. الأهمية

• سد فجوة السلامة: يعالج هذا العمل فجوة أخلاقية وعملية حرجة في نشر النماذج اللغوية الكبيرة. فهو يقدم حلاً قابلاً للتوسع لجعل النماذج متعددة اللغات ذات الموارد المنخفضة آمنة دون التكلفة الباهظة لإعادة التدريب أو جمع مجموعات بيانات سلامة ضخمة لكل لغة.
• الكفاءة: من خلال كونها خالية من التدريب، فإنها تتيح ديمقراطية محاذاة السلامة، مما يسمح للباحثين والمطورين بإنشاء نماذج متعددة اللغات آمنة باستخدام خبراء السلامة الإنجليزيين الحاليين ومجموعات بيانات التعليمات القياسية.
• رؤية في معمارية النموذج: تقدم الدراسة رؤى جديدة حول كيفية توضع قدرات السلامة واللغة داخل معماريات Transformer، مما يشير إلى أن السلامة ليست كتلة واحدة بل موزعة في مكونات وظيفية محددة (وحدات) يمكن نقلها جراحياً.

في الختام، تقدم الورقة إطاراً قوياً وآلياً وفعالاً لنقل محاذاة السلامة عبر اللغات، مما يثبت أن الدمج الهيكلي عبر متجهات المهام يمكن أن يوازن بفعالية بين السلامة والمنفعة العامة في النماذج اللغوية متعددة اللغات.