ملخص تقني: غفلتَ فخسرتَ: استعادة محاذاة السلامة التلقائية عبر ترجمة الأوزان العصبية

1. بيان المشكلة

ساهمت منظومة المصادر المفتعة في دمقرطة النماذج اللغوية الكبيرة (LLMs) من خلال توزيع وحدات التكيف منخفض الرتبة (LoRA) المتخصصة. ومع ذلك، فإن دمج هذه الملحقات (adapters) من أطراف ثالثة غالبًا ما يؤدي إلى النسيان الكارثي (catastrophic forgetting) لأساس المحاذاة الأمنية للنموذج الأصلي. إن استعادة هذه الضوابط عبر الضبط الدقيق التقليدي على بيانات السلامة يستحدث نمط فشل منافس: وهو التدهور الشديد في المعرفة المتخصصة بالمجال التي صُمم الملحق من أجلها. يُطلق على هذه المقايضة اسم ضريبة المنفعة والمحاذاة (utility–alignment tax).

تواجه استراتيجيات التخفيف الحالية قيودًا كبيرة في النشر في العالم الحقيقي:

• ندرة البيانات: يفتقر الممارسون غالبًا إلى الوصول إلى بيانات تدريب المجال الأصلية أو مجموعات البيانات الموجهة نحو السلامة بسبب القيود الملكية، أو لوائح الخصوصية، أو انتهاء صلاحية التخزين.
• الافتراضات الخطية: تعتمد التدخلات اللاحقة الحالية (مثل Safe LoRA وSaLoRA) على إسقاطات متعامدة ثابتة، بافتراض أن منفعة المجال والسلامة يشغلان فضاءات فرعية يمكن فصلها خطيًا. ويوضح المؤلفون أن هذا الافتراض يفشل في المجالات المهنية المعقدة حيث يتشابك الاستدلال المتخصص بعمق مع الضرر المحتمل مزدوج الاستخدام، مما يؤدي إما إلى ثغرات مستمرة أو فقدان كارثي للمعرفة.

2. المنهجية: ترجمة الأوزان العصبية (NeWTral)

يقترح المؤلفون إطار عمل ترجمة الأوزان العصبية (NeWTral)، وهو إطار يعمل مباشرة في فضاء المعلمات لاستعادة محاذاة السلامة دون تعديل مسار التدريب الأصلي أو الحاجة إلى الوصول إلى بيانات التدريب المستهدفة.

المفهوم الجوهري

تعامل NeWTral استعادة السلامة كـ رسم خرائط غير خطي (non-linear mapping) بين فضاءات معلمات متباعدة. فهي تتعلم تحويلًا $T$ ينقل الملحق المتخصص غير الآمن ($W_{dom}$) إلى تكوين محاذٍ للسلامة ($W_{safe}$)، بحيث يكون $T(W_{dom}) \approx W_{safe}$. والأهم من ذلك، أن هذه العملية تتم بصفر من البيانات (zero-shot) عند النشر؛ حيث يتم تدريب المترجم مسبقًا على مجموعة متنوعة من أزواج الملحقات من "غير الآمن" إلى "الآمن" ويُستخدم كأصل مستقل.

المكونات الهيكلية

1. الترجمة على مستوى الطبقة: بدلاً من معاملة الملحق ككتلة واحدة، تقوم NeWTral بتجميع معلمات LoRA حسب أشكالها الهندسية (أبعاد المصفوفات). وتستخدم مجموعة من النماذج الفرعية، كل منها مصمم للتعامل مع أبعاد مدخلات/مخرجات محددة تقابل طبقات الـ transformer المختلفة. وهذا يستفيد من التماثل الهيكلي لتحسين كفاءة البيانات.
2. تحسين المجموعة (Ensemble Optimization): يستخدم كل نموذج فرعي بنية مشفر-فك تشفير (encoder-decoder) ذات عنق زجاجة. يقوم بضغط متجهات الأوزان عالية الأبعاد إلى فضاء كامن لاستخراج الميزات الهيكلية المجردة (إشارة السلامة/الرفض) مع التخلص من ضوضاء المجال المتخصصة، ثم يعيد بناء الأوزان في حالتها المحاذية. ويستخدم الإطار التهيئة صفرية البواقي (Zero-Residual Initialization) لضمان تعلم التحولات غير الخطية الدقيقة بدلاً من تصحيح الضوضاء العشوائية.
3. توجيه خليط الخبراء (MoE Routing): لمعالجة المقايضة بين الحفاظ على المنفعة وفرض السلامة، تستخدم NeWTral استراتيجية MoE تكيفية تدمج ديناميكيًا بين خبيرين متخصصين ومدربين مسبقًا:
   • الخبير الجراحي ($T_{surg}$): مُحسَّن لضمان الدقة العالية، والحفاظ على عمق ومعرفة المجال الخام للملحق الأصلي.
   • الخبير الهجومي ($T_{aggr}$): مُحسَّن لتحقيق أقصى قدر من محاذاة السلامة، وضخ قواعد الرفض القوية والامتثال الأخلاقي.
   • شبكة التوجيه ($R_\phi$): شبكة خفيفة وقابلة للتدريب تحلل التوقيعات الإحصائية لأوزان الملحق غير الآمن (مثل المتوسط، التباين، ونورم $L_2$) وموقع الطبقة لحساب معامل البوابة $g_l \in [0, 1]$. يحدد هذا المعامل الجمع التوافقي بين الخبيرين لكل طبقة، مما يسم يسمح للنظام بالموازنة ذاتيًا بين المنفعة والسلامة بناءً على ملف المخاطر الخاص بالمجال ووظيفة الطبقة.

3. المساهمات الرئيسية

• إطار عمل NeWTral: أول إطار عمل لترجمة المعلمات غير الخطية مصمم خصيصًا لاستعادة السلامة في ملحقات LoRA المتخصصة بالمجال. يتيح للممارسين تأمين الملحقات غير الموثقة أو المملوكة لجهات أخرى بصفر من البيانات عند النشر دون الحاجة لإعادة التدريب أو الوصول إلى بيانات التدريب الأصلية.
• بنية خليط الخبراء (MoE) ذاتية التشغيل: تصميم MoE مدرك للطبقات يفصل محاذاة السلامة عن ضريبة المنفعة والمحاذاة عبر التوجيه الديناميكي بين الحفظ الجراحي والضبط الأخلاقي الهجومي.
• تحليل التمثيل الداخلي: أدلة تجريبية تثبت أن محاذاة السلامة غير متجانسة للغاية عبر عمق الشبكة. تحدد الدراسة كتل MLP كمحركات رئيسية لسلامة السلوك، بينما يجب ترك كتل الانتباه (attention blocks) دون مساس للحفاظ على الاستدلال بالمجال.
• تقييم شامل: اختبار صارم عبر أربع عائلات معمارية (Llama, Mistral, Qwen, Gemma) تصل إلى 72 مليار معلمة وثمانية مجالات متنوعة وعالية المخاطر (الطب، القانون، التمويل، الفيزياء، إلخ).

4. النتالئج

يظهر التقييم أن نسخة MoE من NeWTral تتفوق بشكل كبير على أحدث النماذج المرجعية (Safe LoRA, SaLoRA) والمترجمات أحادية الكتلة (AE, CVAE, FM, MLP).

• أداء السلامة: حققت نسخة MoE انخفاضًا جذريًا في متوسط معدل نجاح الهجوم (ASR)، حيث انخفض من حوالي 70% في الخبراء غير الآمنين إلى 13% فقط. وفي النماذج ذات السعة العالية (مثل Llama-3.1-70B, Qwen2.5-72B)، خفضت نسخة MoE معدل ASR إلى خانة الآحاد (حوالي 5-17%) عبر مختلف اختبارات الاختراق، بما في ذلك JailbreakBench.
• الاحتفاظ بالمعرفة: على عكس الإسقاطات الخطية الهجومية أو مترجمات MLP التي غالبًا ما تضعف أداء المجال، حافظت نسخة MoE على متوسط دقة معرفية استثنائي بلغ ~90%.
• الشخصية السلوكية: كشفت عمليات التدقيق النوعية والكمية أن النماذج "المعالجة" بواسطة NeWTral تحافظ على النبرة "السريرية" أو "الخبير" للملحق الأصلي، متجنبة الانجراف نحو شخصية "المساعد العام" أو "الوعظي" الشائع في الضبط الدقيق التقليدي للسلامة. توازن MoE بنجاح بين أمانة الهوية (الحفاظ على صوت الخبير) وانتقائية المحاذاة (رفض النوايا الضارة دون الرفض الشامل).
• ديناميكيات التوجيه: أكد تحليل قيم البوابة ($g$) أن الموجه يحدد بشكل صحيح كتل MLP كموقع رئيسي للتدخل في السلامة، ويقوم ديناميكيًا بتصعيد حقن السلامة الهجومي في المجالات عالية المخاطر (مثل القانون والتمويل) مع الحفاظ على نهج جراحي في المجالات النظرية (مثل الفيزياء).

5. الأهمية والادعاءات

يزعم البحث أن NeWTral يقدم حلاً قابلاً للتوسع وفعالًا من حيث الموارد لمحاذاة النماذج اللغوية الكبيرة المتخصصة في سيناريوهات الصفر من الموارد حيث تكون استراتيجيات خلط البيانات التقليدية مستحيلة رياضيًا. ومن خلال العمل بالكامل داخل فضاء المعلمات، فإنه يتجاوز الحاجة إلى إعادة التدريب كثيف الأجهزة أو الوصول إلى مجموعات البيانات الأصلية.

يؤكد المؤلفون أن عملهم يثبت إمكانية ترميز القيود السلوكية المعقدة ونقلها حصريًا ضمن فضاء المعلمات عبر خرائط غير خطية. ويُقدم نهج MoE كحل أمثل باريتو (Pareto-optimal) ينجح في التخفيف من أوجه الفشل المحددة لكل من المترجمات الموجهة للمنفعة والموجهة للسلامة، مما يسمح للممارسين باستعادة محاذاة السلامة فورًا دون التضحية بالخبرة المتخصصة التي تجعل الملحقات ذات قيمة.

يختتم البحث بذكر بعض القيود المتواضعة، مشيرًا إلى أن الطريقة لا تقضي تمامًا على المخرجات غير الآمنة حيث تتداخل المحتويات الضارة مع المحتويات الحميدة بشكل وثيق، وأن التعميم على المجالات الجديدة هيكليًا يظل توجهًا مفتوحًا. كما يُقترح في العمل المستقبلي تضمين معاملات شرطية قابلة للتوجيه للمعايرة المستمرة للمخاطر وخبراء متخصصين للتهديدات المتعامدة مثل تسريب البيانات الشخصية (PII) أو التحيز الخوارزمي.