Please refuse to answer me! Mitigating Over-Refusal in Large Language Models via Adaptive Contrastive Decoding

إليك ملخص تقني مفصل لورقة البحث بعنوان "الحد من الإفراط في الرفض في النماذج اللغوية الكبيرة عبر فك التشفيد التبايني التكيفي" (AdaCD).

1. بيان المشكلة: الإفراط في الرفض في النماذج اللغوية الكبيرة المحاذية للسلامة

غالباً ما تظهر النماذج اللغوية الكبيرة (LLMs) التي تمت محاذاتها لضمان السلامة ظاهرة الإفراط في الرفض (أو المبالغة في السلامة). يحدث هذا عندما يرفض النموذج بشكل خاطئ الإجابة على استفسارات غير ضارة تشترك في كلمات مفتاحية سطحية مع استفسارات خبيثة (على سبيل المثال، رفض شرح كيفية "قتل" عدو في لعبة الفيديو Call of Duty لأن كلمة "قتل" مرتبطة بالعنف في العالم الحقيقي).

محدودية الحلول الحالية:

• الطرق القائمة على التدريب: تتطلب بيانات تدريب عالية الجودة ونادرة لسيناريوهات الإفراط في الرفض، وغالباً ما تفشل في تقليل نسب الرفض بشكل كبير دون المساس بالسلامة.
• طرق الاستدلال (متجهات التوجيه/Steering Vectors): تتطلب معرفة كاملة ببنية النموذج وحسابات مسبقة معقدة لمتجهات التوجيه، مما يزيد من العبء الحسابي.
• فك التشفيد التبايني الثابت (Static Contrastive Decoding): تطبق الطرق الموجودة مثل SelfCD (طرح توزيعات الرفض) أو SafeDecoding (إضافة توزيعات الرفض) استراتيجية ثابتة لجميع الاستفسارات. وهذا يخلق مقايضة: فتقليل الرفض يساعد الاستفسارات غير الضارة ولكنه يفشل في حظر الاستفسارات الخبيثة، بينما ضمان السلامة يضمن الرفض ولكنه يؤدي إلى تفاقم مشكلة الإفراط في الرفض.

2. المنهجية: فك التشفيد التبايني التكيفي (AdaCD)

يقترح المؤلفون AdaCD، وهو نهج لا يتطلب تدريباً وغير مرتبط بنموذج محدد، يقوم بتعديل احتمالات توليد الرموز (tokens) ديناميكياً بناءً على طبيعة الاستفسار.

أ. الملاحظة والرؤية الأساسية

لاحظ المؤلفون أنه حتى عندما يولد النموذج استجابة رفض، فإن الرموز غير الرافضة (مثل "Sure"، "Kill" في سياق الألعاب) تظل غالباً في قائمة المرشحين الأعلى باحتمالية غير صفرية. يفشل النموذج في اختيارها بسبب الانحياز نحو رموز الرفض الناتج عن محاذاة السلامة.

• الفرضية: سلوك الرفض يتأثر بشدة بـ "المطالبة النظامية" (system prompt). من خلال استخدام مطالبة سلامة "قصوى" (Extreme)، يمكن استخراج توزيع الرموز المحدد الذي يدفع سلوك الرفض.

ب. المكونات الأساسية

1. استخراج توزيع رموز الرفض:

   • تقارن الطريقة مخرجات النموذج تحت شرطين:
     1. المدخل القياسي: استعلام المستخدم $x$ وحده.
     2. مدخل المطالبة القصوى: استعلام المستخدم $x$ + مطالبة نظام "قصوى" (مثلاً: "يرجى رفض الإجابة عليّ!").
   • الفرق بين هذين التوزيعين الاحتماليين ($\Delta P_n$) يمثل توزيع رموز الرفض.
   • الصيغة: $\Delta P_n = \sigma(f_\pi(y_n | p^*, x) - f_\pi(y_n | x))$، حيث $p^*$ هي المطالبة القصوى.

2. تبديل وضع فك التشفيد التكيفي:
   بدلاً من دائماً إضافة أو طرح $\Delta P_n$، يقرر AdaCD ديناميكياً بناءً على مقياسين:

   • نسبة الاتفاق (Agreement Ratio - $agr$): تقيس مدى تطابق الرمز الأعلى الذي اختاره نموذج "المطالبة القصوى" مع الرمز الأعلى للنموذج القياسي.
     • الاتفاق المنخفض: يشير إلى أن النموذج على الأرج likely يفرط في رفض استفسار غير ضار (المطالبة القصوى تفرض الرفض، لكن النموذج القياسي قد لا يفعل ذلك).
     • الاتفاق العالي: يشير إلى أن النموذج يحدد بشكل صحيح استفساراً خبيثاً (كلا النموذجين يريدان الرفض).
   • قيد الثقة التكيفي (Adaptive Confidence Constraint): يتحقق مما إذا كان لدى النموذج ثقة كافية في اختياره الحالي ($\rho$) بالنسبة لثقة المطالبة القصوى ($\rho^*$).

   منطق القرار:

   • إذا كان $agr \ge \lambda$ وَ $\rho \ge \lambda \cdot \rho^*$: الاستفسار على الأرجح خبيث. أضف $\Delta P_n$ لتعزيز احتمالية رموز الرفض.
   • خلاف ذلك: الاستفسار على الأرجح غير ضار (سيناريو إفراط في الرفض). اطرح $\Delta P_n$ لتثبيط رموز الرفض والسماح باستجابات مفيدة.

3. المساهمات الرئيسية

• ملاحظة مبتكرة: تحديد أن الرموز غير الرافضة موجودة في قائمة المرشحين أثناء الإفراط في الرفض، مما يشير إلى أن النموذج يمكنه التعرف على الخيارات المفيدة ولكنه يفتقر إلى الآلية لاختيارها.
• استراتيجية المطالبة القصوى: تقديم مطالبة نظام "قصوى" محددة لفصل واستخراج توزيع رموز الرفض الصافي دون الحاجة إلى أوزان النموذج أو بيانات تدريب.
• الآلية التكيفية: تطوير استراتيجية تبديل تعالج في آن واحد الإفراط في الرفض للاستفسارات الحميدة وتحافظ على السلامة للاستفسارات الخبيثة، مما يحل المقايضة المتأصلة في فك التشفيد التبايني الثابت.
• الكفاءة: الطريقة جاهزة للاستخدام (plug-and-play)، لا تتطلب ضبطاً دقيقاً (fine-tuning)، وتضيف عبئاً حسابياً ضئيلاً (فقط بضع عمليات تمرير أمامية للرموز الأولى $k$).

4. النتائج التجريبية

تم تقييم الطريقة على Llama3-8B، وGemma2-9B، وQwen3-8B عبر خمسة اختبارات مرجعية (XSTest-Safe, ORBench, OKTest, AdvBench, JailBench).

• الحد من الإفراط في الرفض: قلل AdaCD متوسط نسبة الرفض للاستفسارات غير الضارة (الإفراط في الرفض) بنسبة 10.35% مقارنة بالنموذج الافتراضي.
• الحفاظ على السلامة: من الأهمية بمكان، أنه زاد من نسبة الرفض للاستفسارات الخبيثة بنسبة 0.13%، مما يثبت أن السلامة لم تتأثر.
• القابلية العامة للاستخدام: في مقاييس القابلية للاستخدام العامة (المساعدة، التفاعل)، تفوق AdaCD على النموذج الافتراضي والأساليب المرجعية الأخرى (SelfCD, Surgical, SSD).
• الكفاءة: زاد متوسط نسبة وقت توليد الرموز (ATGR) بنسبة 3% فقط، وهو أكثر كفاءة بكثير من الأساليب التي تتطلب متجهات محسوبة مسبقاً أو ضبطاً دقيقاً.
• دراسات الاستئصال (Ablation Studies): أدى إزالة المفتاح التكيفي (باستخدام إضافة أو طرح ثابت) إلى أداء ضعيف، مما يؤكد ضرورة آلية التبديل الديناميكي.

5. الأهمية

يمثل AdaCD خطوة كبيرة للأمام في موازنة سلامة النماذج اللغوية الكبيرة وفائدتها.

• العملية: كحل لا يتطلب تدريباً وغير مرتبط بنموذج محدد، يمكن نشره فوراً على أي نموذج لغوي كبير محاذٍ للسلامة دون إعادة تدريب أو تغييرات هيكلية.
• تحول في النموذج الفكري: ينتقل من قيود السلامة "الموحدة للجميع" نحو سلامة واعية بالسياق، مما يسمح للنماذج بالتمييز بين النوايا الخبيثة والاستخدام الحميد للمفردات الحساسة.
• القابلية للتوسع: التكلفة الحسابية المنخفضة تجعله مناسباً لتطبيقات الاستدلال في الوقت الفعلي حيث تكون زمن الاستجابة وقيود الموارد أمراً حاسماً.

في الختام، يحل AdaCD بفعالية معضلة "الإفراط في الرفض" من خلال الاستفادة من فروق التوزيع الداخلي للنموذج للتبديل ديناميكياً بين فرض السلامة والمساعدة، مما يضمن بقاء النماذج آمنة دون أن تصبح غير مفيدة.