Over-Refusal and Representation Subspaces: A Mechanistic Analysis of Task-Conditioned Refusal in Aligned LLMs

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الإفراط في الرفض وفضاءات التمثيل: تحليل ميكانيكي للرفض المشروط بالمهمة في النماذج اللغوية الكبيرة المتوافقة" من إعداد ماسكي وآخرون.

١. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) التي تم ضبطها لضمان السلامة سلوكين متميزين للرفض:

• الرفض الضار (Harmful-Refusal): وهو السلوك الصحيح حيث يرفض النموذج الطلبات الخطيرة حقاً أو التي تنتهك السياسات.
• الإفراط في الرفض (Over-Refusal): وهو خطأ حيث يرفض النموذج تعليمات آمنة بشكل غير صحيح لأنها تحتوي على صياغات حساسة أو تشبه المدخلات الضارة (مثل تحليل مشاعر جملة عنيفة أو ترجمة صيغة كيميائية خطيرة).

تعتمد استراتيجيات التخفيف الحالية غالباً على توجيه التمثيل (Representation Steering) (وتحديداً، استئصال "متجه الرفض العالمي" المستخرج عبر طريقة "الفرق في المتوسطات" - DIM). وبينما تعد هذه الطريقة فعالة للرفض الضار، إلا أنها تفشل في حل مشكلة الإفراط في الرفض وغالباً ما تؤدي إلى تدهور أداء السلامة. وتفترض الورقة أن هذا الفشل ليس عرضياً بل هو بنيوي: فالتمثيل الهندسي للإفراط في الرفض يختلف جوهرياً عن التمثيل الهندسي للرفض الضار.

٢. المنهجية

أجرى المؤلفون دراسة في التفسير الميكانيكي على نموذج LLaMA-3.1-8B-Instruct باستخدام مجموعة بيانات مكونة من ٢٧٠ عينة عبر خمس مهام لمعالجة اللغات الطبيعية (تحليل المشاعر، الترجمة، الاسترجاء المعزز بالتوليد RAG-style QA، إعادة الصياغة، وتحليل التشفير).

التقنيات الرئيسية:

• التحليل الهندسي:
  • الفرق في المتوسطات (DIM): استخراج متجهات الرفض ($\hat{r}$) عن طريق حساب متوسط فرق التنشيط بين العينات المرفوضة والمتوافقة في تيار البقايا (residual stream).
  • تحليل المكونات الرئيسية (PCA): تصور الأبعاد والتكتل لعينات الرفض.
    المقاييس:
  • درجات السيلويت (Silhouette Scores): قياس انفصال التكتلات لتحديد ما إذا كانت أنواع الرفض تشكل مجموعات متميزة أو تقع ضمن تكتلات خاصة بالمهام.
  • تحليل التباين: حساب عدد المكونات الرئيسية ($n_{80}$) المطلوبة لتفسير ٨٠٪ من التباين لتحديد أبعاد فضاءات الرفض الفرعية.
• الاستقصاء الخطي (Linear Probing): تدريب مصنفات الانحدار اللوجستي على تنشيطات الطبقات لتحديد متى وكيف يمكن فصل أنواع الرفض (ضار مقابل مفرط) وهويات المهام خطياً.
• الترقيع السببي (Causal Patching): استبدال تنشيطات رؤوس الانتباه (attention head) من مطالبات غير رافضة إلى مطالبات رافضة بشكل منهجي لتحديد الاختناقات السببية (الرؤوس التي، عند ترقيعها، تغير قرار الرفض).
• تجارب التدخل:
  • الاستئصال العالمي (Global Ablation): إسقاط متجه الرفض الضار العالمي من تيار البقايا.
  • التوجيه المشروط بالمهمة (Task-Conditioned Steering): تطبيق متجهات توجيه محددة لهوية المهمة (باستخدام طريقة "النجوم الآمنة" - Safe-Constellations).

٣. النتائج الرئيسية

أ. التمايز الهندسي

• الرفض الضار غير مرتبط بالمهمة (Task-Agnostic):
  • اتجاهات الرفض للمدخلات الضارة تتقارب نحو متجه عالمي واحد عبر المهام المختلفة والطبقات المتوسطة.
  • يقع في فضاء فرعي منخفض الأبعاد (تباين مركز).
  • متجه DIM العالمي الواحد يتوسط هذا السلوك بفعالية.
• الإفراط في الرفض يعتمد على المهمة (Task-Dependent):
  • اتجاهات الإفراط في الرفض تتباعد عبر المهام ولا تتقارب نحو متجه واحد.
  • تقع عينات الإفراط في الرفض داخل تكتلات المهام الحميدة الخاصة بها (على سبيل المثال، رفض الترجمة يقع داخل تكتل الترجمة)، بدلاً من وجودها في "منطقة رفض" منفصلة.
  • يمتد عبر فضاء فرعي عالي الأبعاد، ويتطلب عدداً أكبر بكثير من المكونات الرئيسية لالتقاط تباينه مقارم بالرفض الضار.

ب. القابلية للفصل الميكانيكي

• تمايز الطبقات المبكرة: يكشف الاستقصاء الخطي أن النموذج يميز بين الرفض "الخاطئ" (المفرط) والرفض "الصحيح" (الضار) من الطبقة الأولى، قبل وقت طويل من ذروة الهياكل الخاصة بالمهمة في الطبقات المتوسطة.
• لا يوجد عنق زجاجة سببي واحد: أظهرت تجارب الترقيع السببي أنه لا يوجد رأس انتباه واحد يعمل كعنق زجاجة ضروري للرفض (لم تتجاوز معدلات التغيير ٥٠٪). يتم تنفيذ الرفض عبر دوائر موزعة، متعددة الطبقات، ومحددة بالمهام.

ج. فعالية التدخل

• فشل الاستئصال العالمي: تطبيق متجه استئصال عالمي لقمع الإفراط في الرفض:
  • قلل الإفراط في الرفض عرضياً فقط (بسبب التداخل الهندسي الجزئي).
  • أضر بآليات السلامة بشكل غير متناسب: فقد قمع الرفض الضار بشكل أكبر بكثير مما أصلح به الإفراط في الرفض (نسبة الكبح < ١).
• نجاح التوجيه المشروط بالمهمة: متجهات التوجيه المشروطة بهوية المهمة:
  • ألغت الإفراط في الرفض (قللت من ٥٥٪ إلى ٠٪).
  • حافظت على آليات السلامة بشكل أفضل (انخفض الرفض الضار من ٦٥٪ إلى ٣٠٪، مقارنة بـ ٢٠٪ مع الاستئصال العالمي).
  • حققت نسبة كبح > ١، مما يشير إلى استهداف دقيق.

٤. المساهمات الرئيسية

1. التوصيف الهندسي: إثبات أن الإفراط في الرفض ليس ظاهرة عالمية بل هو اضطراب يعتمد على المهمة ومدمج داخل ماني فولدات (manifolds) هوية المهمة، بينما الرفض الضار هو إشارة عالمية منخفضة الأبعاد.
2. التفسير الميكانيكي: تقديم دليل على أن فشل الاستئصال العالمي هو فشل بنيوي؛ فلا يمكن لمتجه واحد تفكيك إشارة عالية الأبعاد ومشروطة بالمهمة دون تعطيل آلية السلامة الأساسية.
3. التحقق من التوجيه المشروط بالمهمة: إثبات أن التدخلات المشروطة بالمهمة ليست مجرد تحسين بل هي ضرورة للتخفيف من الإفراط في الرفض دون المساس بالسلامة.
4. تحليل الدوائر: استبعاد وجود اختناقات الرأس الواحد، مما يؤكد أن الرفض عملية موزعة عبر رؤوس الطبقات المتأخرة والمحددة بالمهام.

٥. الأهمية

• الأثر النظري: يتحدى افتراض "الحجم الواحد يناسب الجميع" في توجيه التمثيل. فهو يثبت أن سلوكيات السلامة يمكن أن تشغل فضاءات فرعية هندسية متميزة اعتماداً على السياق (المهمة)، مما يتطلب استراتيجيات تدخل مختلفة.
• التطبيق العملي: يقدم مخططاً لنشر أكثر أماناً للنماذج اللغوية الكبيرة. بدلاً من إعادة تدريب النماذج أو تطبيق استئصال عالمي فج، يمكن للمطورين استخدام توجيه خفيف الوزن، مشروط بالمهمة أثناء الاستنتاج (يمكن تفعيله عبر استقصاءات الطبقات المبكرة) لإصلاح الإفراط في الرفض مع الحفاظ على سلامة قوية ضد التهديدات الحقيقية.
• الاتجاهات المستقبلية: يقترح أن استقصاءات الطبقات المبكرة يمكن أن تعمل كمحفزات للتدخلات الانتقائية، مما يسمح بتعديلات سلامة ديناميكية دون تعديل أوزان النموذج.

باختصار، تجادل الورقة بأن الإفراط في الرفض هو ظاهرة عالية الأبعاد وتعتمد على المهمة، مما يجعل التدخلات الهندسية العالمية غير كافية بنيوياً. ويتطلب التخفيف الفعال تدخلات هندسية مشروطة بالمهمة تحترم الماني فولد (manifold) المهمة الحميدة الجاري تنفيذها.