I Can't Believe It's Not Robust: Catastrophic Collapse of Safety Classifiers under Embedding Drift

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "لا أصدق أنه ليس متيناً: الانهيار الكارثي لمصنفات السلامة تحت تأثير انزياح التضمين (Embedding Drift)".

1. بيان المشكلة

تتناول الورقة ثغرة حرجة في مسارات النشر (deployment pipelines) للنماذج اللغوية الكبيرة (LLMs). تعتمد الأنظمة الإنتاجية عادةً على مصنفات سلامة (مثل كواشف السمية) يتم تدريبها على تضمينات مجمدة (frozen embeddings) مستخرجة من نسخة محددة من النموذج ($M_t$). ويعمل القطاع الصناعي تحت افتراض ضمني بأن هذه التضمينات تظل مستقرة عبر تحديثات النموذج (على سبيل المثال، الانتقال من $M_t$ إلى $M_{t+1}$ بسبب الضبط الدقيق، أو تغييرات البنية، أو عمليات التحسين).

يتحدى المؤلفون هذا الافتراض، بافتراضهم أن حتى انزياح التضمين الطفيف — وهو اضطرابات صغيرة في الفضاء المتجهي ناتجة عن تحديثات النموذج — يمكن أن يتسبب في فشل مصنفات السلامة بشكل كارثي. والأهم من ذلك، أنهم يبحثون فيما إذا كان يمكن اكتشاف حالات الفشل هذه عبر مقاييس المراقبة القياسية مثل متوسط الثقة أو الدقة، أم أنها تؤدي إلى "فشل صامت" (silent failures) حيث يبدو النظام يعمل بفعالية ولكنه في الواقع معطل.

2. المنهجية

الإعداد التجريبي

• مجموعات البيانات: تستخدم الدراسة مجموعة بيانات Civil Comments (حوالي 1.8 مليون تعليق مصنف بشرياً)، والتي تم تحويلها إلى صيغة ثنائية عند عتبة سمية قدرها 0.5. تم إنشاء مجموعة فرعية متوازنة مكونة من 10,000 عينة (تقسيم 70/10/20 للتدريب/التحقق/الاختبار).
• النماذج: تم تقييم متغيرين من بنية Qwen:
  • الأساسي (Base): نموذج Qwen-0.6B (مدرب مسبقاً فقط).
  • المضبوط للتعليمات (Instruction-Tuned): نموذج Qwen-4B-Instruct (متوافق مع RLHF).
• استخراج التضمين: تم استخدام تجميع الرمز الأخير (last-token pooling) لبنيات فك التشفير (decoder architectures)، مما نتج عنه متجهات بأبعاد 896 أو 1024، وتم تطبيعها (normalized) لتكون على كرة الوحدة.
• المصنف: نموذج انحدار لوجستي منتظم بـ $\ell_2$ تم تدريبه على تضمينات النموذج الأساسي (النسخة 0) وتم الإبقاء عليه مجمداً أثناء الاختبار.

محاكاة الانزياح

لمحاكاة تحديثات النموذج دون إعادة تدريب المصنف، طبق المؤلفون اضطرابات إضافية محكومة على تضمينات الاختبار. تم اختبار ثلاثة آليات للانزياح:

1. الانزياح الغاوسي (Gaussian Drift): ضوضاء عشوائية $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$.
2. الانزياح الاتجاهي (Directional Drift): إزاحة نظامية على طول متجه وحدة ثابت $v$.
3. انزياح الفضاء الجزئي (Subspace Drift): دوران هندسي عبر مصفوفة دوران $R$.

تم تغيير مقدار الانزياح ($\sigma$) من 0 إلى 0.15 (من 0% إلى 15% من معيار التضمين). ركزت الدراسة تحديداً على منطقة "منحدر الفشل" (failure cliff) حيث يتدهور الأداء بسرعة.

مقاييس التقييم

• ROC-AUC: لقياس القدرة التمييزية بشكل مستقل عن العتبة.
• معدل الفشل الصامت (SFR): النسبة المئوية للتصنيفات الخاطئة التي تمت بثقة عالية ($\max p(y|x) > 0.8$).
• خطأ المعايرة المتوقع (ECE): لقياس الفجوة بين الثقة المتوقعة والدقة الفعلية.
• مقاييس القابلية للفصل (Separability Metrics): درجة سيلويت (Silhouette score) ونسبة التمييز فيشر (Fisher Discriminant Ratio) لمقارنة النماذج الأساسية مقابل النماذج المضبوطة للتعليمات.

3. المساهمات الرئيسية

1. تحديد عتبات الفشل: تحدد الدراسة "نقطة التحول" الدقيقة لانزياح التضمين. حيث أن اضطراباً بسيطاً بمقدار $\sigma = 0.02$ (حوالي $1^\circ$ من الانزياح الزاوي على كرة التضمين) يتسبب في انهيار كواشف السمية ذات الحالة المتطورة من 85% ROC-AUC إلى أداء يقارب التخمين العشوائي (50%).
2. توصيف حالات الفشل الصامت: توضح الورقة أن انهيار المصنف غالباً ما يكون غير مرئي لمراقبة المعايير القياسية. فبينما تنخفض الدقة إلى مستويات التخمين، فإن متوسط الثقة ينخفض بنسبة ~14% فقط، مما يؤدي إلى سيناريو تحدث فيه 72% من التصنيفات الخاطئة بثقة عالية.
3. اكتشاف مقايضة التوافق (Alignment Trade-off): يكشف المؤلفون أن ضبط التعليمات (Alignment) يقلل بشكل متناقض من متانة السلامة. تظهر النماذج المتوافقة (Aligned) ضعفاً في قابلية الفصل في فضاء التضمين بنسبة ~20% مقارنة بالنماذج الأساسية، مما يجعل حمايتها باستخدام المصنفات اللاحقة أكثر صعوبة.

4. النتائج الرئيسية

الانهيار الكارثي

• سلوك العتبة: تدهور الأداء ليس تدريجياً. تحت $\sigma = 0.01$، يكون التدهور ضئيلاً (انخفاض <5% في AUC). فوق $\sigma = 0.02$، يهوي الأداء إلى التخمين العشوائي (AUC $\approx$ 0.50).
• ثبات الآلية: يحدث الانهيار بغض النظر عن نوع الانزياح (غاوسي، اتجاهي، أو دوراني)، مما يشير إلى هشاشة جوهرية في المصنفات الخطية عالية الأبعاد بدلاً من الحساسية تجاه اضطراب معين.
• عدم القابلية للاسترداد: بمجرد تجاوز الانزياح للعتبة، فإن زيادة المقدار لا تؤدي إلى تدهور الأداء بشكل كبير (فهو يستقر عند مستوى التخمين العشوائي)، ولكن النظام لا يتعافى دون إعادة تدريب.

الفشل الصامت والمعايرة

• سوء معايرة الثقة: رغم أن المصنف يقوم بتخمينات عشوائية، إلا أن مخرجات softmax تظل متطرفة. عند أقصى درجات الانزياح، يقفز خطأ المعايرة المتوقع (ECE) من 1.2% إلى 22.6%.
• الأخطاء عالية الثقة: عندما يبلغ المصنف ثقة 90%، تنخفض الدقة الفعلية إلى 56% (وهي أسوأ من التخمين العشوائي). وهذا يخلق نقطة عمياء تشغيلية خطيرة حيث ستفشل أنظمة المراقبة التي تعتمد على درجات الثقة في إطلاق التنبيهات.

تأثير التوافق (Alignment)

• تقليل القابلية للفصل: أظهرت النماذج المضبوطة للتعليمات انخفاضاً بنسبة 19% في درجة سيلويت وانخفاضاً بنسبة 26% في نسبة تمييز فيشر مقارنة بالنماذج الأساسية.
• زيادة الضعف: تحت أقصى درجات الانزياح، تدهورت دقة المصنف للنماذج المضبطة للتعليمات بنسبة 41.2% في ROC-AUC مقارنة بـ 39.2% للنموذج الأساسي. كما زاد معدل الفشل الصامت للنماذج المتوافقة بنسبة 20% مقارنة بالنماذج الأساسية.

5. الأهمية والآثار المترتبة

الرؤية النظرية

تقدم الورقة تفسيراً رياضياً للفشل: في الفضاءات عالية الأبعاد (مثلاً $d=896$)، حتى الضوضاء المتماثلة (isotropic noise) الصغيرة تتراكم بشكل تدميري. تنخفض نسبة الإشارة إلى الضوضاء (SNR) إلى ما دون العتبة الحرجة البالغة ~3 عندما تكون $\sigma \approx 0.02$، مما يجعل حدود القرار غير موثوقة. علاوة على ذلك، يبدو أن توافق RLHF يعمل على "تنعيم" فضاء التضمين، مما يقلل الهامش بين الفئات السامة والآمنة لتجنب الإيجابيات الكاذبة، وهو ما يضعف المصنف بشكل غير مقصود.

التوصيات العملية

يجادل المؤلفون بأن النموذج الحالي المتمثل في تدريب مصنفات السلامة مرة واحدة وإعادة استخدامها عبر إصدارات النماذج هو أمر خطير تشغيلياً. ويقترحون ما يلي:

1. إعادة التدريب الإلزامي: يجب إعادة تدريب مصنفات السلامة مع كل تحديث للنموذج.
2. المراقبة المستمرة: المقاييس التجميعية القياسية غير كافية. يجب أن تطبق الأنظمة مراقبة مستمرة للانزياح وتستخدم مجموعات تقييم مصنفة بنفس وتيرة تحديثات النماذج.
3. التصميم المشترك (Co-Design): لا ينبغي أن تكون آليات السلامة مجرد فكرة لاحقة؛ بل يجب تصميم توافق النموذج وبنية السلامة التحتية بشكل مشترك لضمان استقرار التضمين.
4. البنيات المتينة: يجب أن يركز العمل المستقبلي على مصنفات متينة تجاه الانزياح باستخدام التعلم التلوي (meta-learning)، أو تكييف النطاق (domain adaptation)، أو تنظيم التمثيل (representation regularization).

الاعتبارات الأخلاقية

تقر الورقة بالطبيعة مزدوجة الاستخدام لهذا البحث (يمكن للمهاجمين استخدام محاكاة الانزياح للتهرب من الفلات)، لكنها تجادل بأن فوائد كشف نقاط الضعف الهيكلية تفوق المخاطر، حيث أن الجهات المتطورة من المرجح أنها تستغل بالفعل نقاط الضعف هذه. تهدف النتائج إلى دفع تطوير استراتيجيات تخفيف أكثر متانة.

الخاتمة

تتحدى هذه الورقة بشكل أساسي الافتراض القائل باستقرار التضمين في بيئة الإنتاج. إنها تثبت أن مصنفات السلامة هشة، وعرضة للفشل الصامت، وتضعف بشكل متناقض بسبب إجراءات التوافق (alignment) التي تهدف في الأصل لجعل النماذج أكثر أماناً. وتستوجب هذه النتائج التحول من بنية تحتية ثابتة للسلامة إلى بروتوكولات سلامة ديناميكية تراعي إصدارات النماذج.