ملخص تقني: LLM-VA

بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) المتوافقة مع معايير السلامة حاليًا من نمطي فشل متميزين: الاختراق (Jailbreak) (الإجابة على المدخلات الضارة) والرفض المفرط (Over-refusal) (رفض الاستعلامات الحميدة دون داعٍ). تحاول طرق محاذاة السلامة الفعالة الحالية، وتحديدًا توجيه المتجهات (Vector Steering)، التلاعب بالفضاء الكامن للنموذج عن طريق تعديل مقدار "متجه الإجابة" ($v_a$). ومع ذلك، يحدد المؤلفون مقايضة جوهرية في هذا النهج: تقليل مقدار $v_a$ يثبط عمليات الاختراق ولكنه يزيد من الرفض المفرط، بينما يؤدي تضخيمه إلى تأثير عكسي.

يُعزى السبب الجذري لهذه المقايضة إلى انفصال هيكلي داخل النموذج. حيث أثبت المؤلفون أن النماذج اللغوية الكبيرة تشفر قرار الإجابة ($v_a$) والحكم على سلامة المدخلات ($v_b$، أو "المتجه الحميد") كـ اتجاهات متعامدة تقريبًا (بزاوية 90 درجة تقريبًا) عبر الطبقات. ولأن هذه المتجهات متعامدة، فإن النموذج يعامل الرغبة في الإجابة وتقييم السلامة كعمليات مستقلة. وبناءً على ذلك، فإن التعديلات القائمة على المقدار تؤثر على كل من المدخلات الحميدة والسامة بالتساوي، مما يجعل من المستحيل كبح عمليات الاختراق والرفض المفرط في آن واحد دون إجراء عملية ضبط دقيق (Fine-tuning) أو تغييرات هيكلية.

المنهجية: LLM-VA

يقترح المؤلفون LLM-VA (محاذاة متجهات النماذج اللغوية الكبيرة)، وهو أسلوب يحل هذه المقايضة من خلال محاذاة $v_a$ مع $v_b$ عبر تحديثات الأوزان ذات الصيغة المغلقة (Closed-form weight updates)، مما لا يتطلب تحسينًا قائمًا على التدرج (Gradient-based optimization)، أو ضبطًا دقيقًا، أو تعديلات هيكلية. الجوهر يكمن في جعل رغبة النموذج في الإجابة تعتمد سببيًا على تقييمه للسلامة.

تتم العملية عبر ثلاث خطوات:

1. تحديد المتجهات عبر آلات ناقلات الدعم (SVMs):
   بدلاً من استخراج المتجهات من التدفق المتبقي النهائي (الذي يجمع كافة الطبقات)، يقوم LLM-V بتحديد المتجهات عند كل طبقة. حيث يتم تدريب آلات ناقلات الدعم الخطية (Linear SVMs) على مخرجات الطبقات للفصل بين:

   • المدخلات الحميدة مقابل السامة (مما ينتج عنه المتجه الحميد $v_b$).
   • العينات التي تمت الإجابة عليها مقابل العينات التي تم رفضها (مما ينتج عنه متجه الإجابة $v_a$).
     توفر المتجهات العمودية على المستويات الفائقة ذات الهامش الأقصى (Maximum-margin hyperplanes) متجهات تحكم قوية، وهي أقل حساسية للقيم المتطرفة مقارنة باتجاهات فرق المتوسط البسيطة.

2. اختيار الطبقات:
   لا تساهم جميع الطبقات بالتساوي في قرارات السلامة. تحسب الطريقة درجة لكل طبقة بناءً على:

   • التأثير (Influence): محاذاة متجهات الطبقة مع متجهات التدفق المتبقي النهائي.
   • الدقة (Accuracy): دقة تصنيف SVM للفصل بين المدخلات الحميدة/السامة والعينات المجاب عنها/المرفوضة.
     يتم اختيار أفضل $L_{select}$ من الطبقات ذات الدرجات المشتركة الأعلى لإجراء التعديل.

3. محاذاة المتجهات (تحديث الصيغة المغلقة):
   بالنسبة للطبقات المختارة، تقوم الطريقة بتعديل مصفوفة الإسقاط السفلي $W$ لمحاذاة $v_a$ مع $v_b$. الهدف هو ضمان أن يكون إسقاط أي مدخل على اتجاه الإجابة متناسبًا مع إسقاطه على اتجاه السلامة.
   يتم اشتقاق التحديث $\Delta$ تحليليًا باستخدام شبه المعكوس (Pseudoinverse) لتقليل معيار تغير الوزن:
   $$\Delta = \left( \frac{\sigma_a}{\sigma_b} W v_b - W v_a \right) v_a^T$$
   حيث $\sigma_a$ و $\sigma_b$ هما الانحرافات المعيارية للإسقاطات. تتم هذه العملية بشكل تكراري (حتى 30 مرة)، مع إعادة استخراج المتجهات من النموذج المعدل في كل خطوة لمراعاة التحولات في الطبقات اللاحقة، مع التوقف المبكر بناءً على درجات F1 للتحقق من الصحة.

المساهمات الرئيسية

• توجيه متجهات مبتكر: يُقدم LLM-VA كأول طريقة لتوجيه المتجهات تعالج في آن واحد كلاً من الاختراق والرفض المفرط عبر محاذاة متجهات الإجابة والمتجهات الحميدة، بدلاً من مجرد تعديل المقادير.
• لا يتطلب ضبطًا دقيقًا أو تغييرات هيكلية: يحقق LLM-VA محاذاة السلامة من خلال تحديثات الأوزان ذات الصيغة المغلقة، متجنبًا التكلفة الحسابية لإعادة التدريب وتعقيد إدراج طبقات الربط (Hook layers) (على عكس طرق مثل SCANS أو CAST).
• التكيف التلقائي: تتكيف الطريقة تلقائيًا مع انحياز السلامة الخاص بكل نموذج. فبالنسبة للنماذج المعرضة للاختراق، تعطي الأولوية للسلامة؛ وللنماذج شديدة التحفظ، تعطي الأولوية للقدرة على الاستخدام، دون الحاجة لضبط يدوي للمعلمات الفائقة (Hyperparameters) لنماذج محددة.
• قابلية تطبيق واسعة: تم التحقق من صحة النهج عبر 12 نموذجًا لغويًا كبيرًا من 5 عائلات نماذج مختلفة (Llama, Gemma, Mistral, Phi, Qwen) بأحجام بارامترات تتراوح من 3B إلى 14B.

النتائج التجريبية

أظهرت التجارب على 12 نموذجًا لغيًا ما يلي:

• حل المقايضة: يحقق LLM-VA متوسط درجة F1 تبلغ 0.77، وهو ما يمثل تحسنًا نسبيًا بنسبة 37.02% عن النماذج الأصلية وتحسنًا بنسبة 11.45% عن أفضل خط أساس (AlphaSteer). كما يقلل في آن واحد من معدل نجاح الهجوم (ASR) بنسبة 18.50% ومن معدل الرفض المفرط (ORR) بنسبة 22.00%.
• الحفاظ على المنفعة: يحافظ النهج على 95.92% من منفعة النموذج الأصلي في المتوسط عبر مهام معالجة اللغات الطبيعية المتنوعة (القواعد، الاستدلال، تحليل المشاعر، الرياضيات). وهذا يتفوق على خطوط الأساس مثل SCANS (الذي عانى من فقدان منفعة بنسبة ~40%) وVectorSteer.
• رؤى الدراسة الاستقصائية (Ablation Insights):
  • دقة المتجهات: تحديد المتجهات بدقة عبر SVMs أمر بالغ الأهمية؛ حيث يؤدي تعشية المتجهات بزاوية 90 درجة إلى انخفاض كبير في F1.
  • عدد التكرارات: يختلف التقارب باختلاف النموذج؛ فبعض النماذج (مثل Phi-4) حساسة للتعديل المفرط، بينما تستفيد نماذج أخرى (مثل Qwen3) من المزيد من التكرارات.
  • اختيار الطبقات: تعديل عدد كبير جدًا من الطبقات أو الطبقات المبكرة يقلل من المنفعة، مما يؤكد أن الطبقات المتأخرة أكثر أهمية لقرارات السلامة بينما تحافظ الطبقات المبكرة على القدرات العامة.

الأهمية والادعاءات

يزعم البحث أن LLM-VA يحل بشكل أساسي مقايضة الاختراق/الرفض المفرط من خلال معالجة الاستقلال الهيكلي لقرارات السلامة والإجابة في النماذج اللغوية الكبيرة. ومن خلال المحاذاة الهندسية لمتجهات القرار هذه، تضمن الطريقة أن النموذج يجيب فقط عندما يعتبر المدخل آمنًا، ويرفض عندما يعتبر المدخل سامًا، دون الحاجة إلى إعادة تدريب مكلفة.

يضع المؤلفون هذا العمل كخطوة مهمة نحو محاذاة سلامة فعالة، حيث يقدم حلاً "جاهزًا للاستخدام" (Plug-and-play) يحافظ على منفعة النموذج مع تحسين مقاييس السلامة بشكل كبير. ومع ذلك، فقد أقروا بتواضع بوجود قيود، بما في ذلك الاعتماد على افتراضات السمية الثنائية، والحاجة إلى بيانات تدريب مصنفة لـ SVMs، والتحديات المتعلقة بنماذج الاستدلال (سلسلة الأفكار - Chain-of-Thought)، وعدم القدرة الحالية على الانتقال عبر مجموعات بيانات غير مرئية دون ضبط محدد. كما أشاروا إلى أن الطبيعة الثابتة للمحاذاة قد تتطلب تحديثات دورية مع تطور مشهد التهديدات.