SwordBench: Evaluating Orthogonality of Steering Image Representations

ملخص تقني: SWORDBENCH

بيان المشكلة

بينما أصبح توجيه تمثيلات النماذج (steering model representations) أثناء الاستدلال أداة حاسمة لسلامة الذكاء الاصطناعي وقابليته للتفسير — لا سيما لتصحيح التنبؤات دون الحاجة إلى الضبط الدقيق (fine-tuning) — فإن بروتوكولات التقييم الحالية منحازة بشدة للنماذج اللغوية. تعتمد هذه المعايير المرجعية القائمة على اللغة غالبًا على تمثيلات متعددة الرموز (multi-token) غامضة، ومقاييس "النموذج اللغوي كحكم" (LLM-as-a-judge) غير مثالية، مما يؤدي إلى إدخال الضجيج والعوامل المربكة. علاوة على ذلك، هناك نقص في الأطر الموحدة لتقييم التوجيه في نماذج الرؤية، وتحديدًا فيما يتعلق بإزالة الانحيازات (محو المفاهيم/concept erasure) وتقييم الآثار من الدرجة الثانية، مثل ما إذا كان التوجيه يؤدي دون قصد إلى تدهور الأداء في مهام أو مدخلات غير ذات صلة.

المنهجية

يقدم المؤلفون SWORDBENCH، وهو معيار مرجعي شامل مصمم لتقييم التعامد (orthogonality)، والمتانة، والأضرار الجانبية المحتملة لتوجيه تمثيلات الصور عبر عدة هياكل رؤية (CLIP, SigLIP, DINOv2) ومهام محو المفاهيم.

تصميم المعيار المرجعي

ينقل SWORDBENCH مجال التقييم من بيئة النماذج اللغوية الموزعة على الرم tokens والمشوبة بالضجيج إلى فضاء التمثيل العالمي المنضبط لنماذج المحولات الرؤيوية (vision transformers). يستخدم الإطار:

• مجموعات البيانات: أربع مجموعات بيانات واقعية لإزالة الانحياز (CelebA, ISIC, Waterbirds, Counteranimal) ومجموعتين من مجموعات التحكم الاصطناعية (ImageNet-W مع العلامات المائية، وImageNet-C مع التشويهات) لتوفير حقائق مضادة (counterfactuals) مبنية على أرضية صلبة.
• طرق استخراج CAV: مجموعة متنوعة من 16 طريقة مصنفة إلى:
  • الطرق الخطية القياسية: الفرق في المتوسطات (Difference-in-Means)، وآلات المتجهات الداعمة (SVM)، والانحدار اللوجستي (Logistic Regression)، وFastCAV، وPatCAV، وPCA، وLAT، وAurA.
  • طرق قائمة على SAE: الطرق التي تطبق عمليات تجميع إحصائية أو خوارزميات محددة (SAS, S&PTopK, SAE-AurA) على مساحات كامنة من المشفرات التلقائية المتفرقة (sparse autoencoders).
  • المجسات غير الخطية: SVM-RBF وTabPFN لوضع الحدود العليا (upper bounds).
• تدخل التوجيه (Steering Intervention): يستخدم المعيار عملية التعامد البسيطة ($\bar{h} = h - (v_c^T h)v_c$) لإزالة اتجاهات المفاهيم، مما يتجنب الحاجة إلى ضبط معاملات القياس ($\alpha$) ويضمن مقارنة عادلة.

مقاييس التقييم المبتكرة

بعيدًا عن دقة الكشف المعيارية (AUC, F1)، يقدم SWORDBENCH مقييسين حاسمين للكشف عن آثار الدرجة الثانية لعملية التعامد:

1. متانة عبر المفاهيم (Cross-Concept Robustness - CCR): يقيس استقرار أداء كشف المفهوم المستهدف بعد تعامد المدخلات ضد مفاهيم بديلة. تشير قيمة CCR العالية إلى أن متجه المفهوم مستقل وظيفيًا عن غيره.
2. الضرر الجانبي (Collateral Damage - CD): يحدد مقدار انخفاض الأداء في المهام اللاحقة للمدخلات التي تفتقر إلى المفهوم المستهدف. من الناحية المثالية، لا ينبغي للتوجيه أن يغير الأداء على العينات التي تفتقر للمفهوم؛ يشير وجود CD غير صفري إلى أن CAV متشابك مع سمات أخرى ذات صلة بالمهمة.
3. تفاوت التوجيه (Steering Disparity - SD): بالنسبة للحالات المضادة الاصطناعية، يقيس ما إذا كان إزالة مفهوم من عينة منحازة يعيد التنبؤ ليتطابق مع نظيرتها النظيفة.

النتائج الرئيسية

يقدم المؤلفون خمس نتائج رئيسية مستخلصة من تجارب واسعة النطاق:

1. الأداء الخطي مقابل غير الخطي: تحقق الطرق الخطية، وتحديدًا آلات المتجهات الداعمة (SVM) والانحدار اللوجستي (LR)، باستمرار دقة كشف المفهوم (AUC) ودرجات F1 للمهام اللاحقة تضاهي المجسات غير الخطية المعقدة (مثل TabPFN, SVM-RBF). وتؤكد الاختبارات الإحصائية عدم وجود فرق جوهري بين هذه النهج الخطية ونظيراتها غير الخطية في مجموعات البيانات الواقعية.
2. المفاضلات في المنهجية:
   • الأسالهم القائمة على التحسين (Optimization-based methods): (مثل SVM, LR) تتفوق في فك الارتباط (Maximum Similarity منخفض) والمتانة في البيانات الواقعية المعقدة (CelebA, ISIC) لكنها تخاطر بالإفراط في التخصيص (overfitting) في النظم الأبسط.
   • الأسالهم الإحصائية (Statistical methods): (مثل DiffMean, FastCAV) غالبًا ما تلتقط الاتجاهات العالمية بفعالية في مجموعات البيانات الأنظف (ImageNet-W/C) ولكنها قد تظهر تعامدًا أقل في السيناريوهات المتشابكة.
   • الأسالهم القائمة على SAE: تتطلب هذه الأسالهم عمومًا تصفية صارمة (مثل S&PTopK) لاستعادة الفائدة؛ حيث تؤدي تمثيلات SAE الخام غالبًا إلى تدهور الأداء.
3. التوجيه غير الكامل: بينما تحقق العديد من الطرق صفر ضرر جانبي، فإن الوصول إلى "توجيه مثالي" (zero Steering Disparity) أمر نادر. ومن الملاحظ أن التصوير التكنولوجي الخطي الاصطناعي (LAT) وPCA حققا تفاوت توجيه مثالي في المهام الاصطناعية (ImageNet-W/C)، بينما فشلت طرق التحسين القياسية غالبًا في تحقيق توجيه مثالي رغم ارتفاع القدرة على الفصل.
4. عدم كفاية المقاييس: مقاييس التصنيف القياسية (AUC, F1) ليست بدائل كافية للسلامة والدقة. دقة الكشف العالية لا ترتبط بالضرورة بانخفاض الضرر الجانبي أو ارتفاع متانة عبر المفاهيم. كما أن المقاييس المتجهية (مثل MS) لا تتنبأ بنتائج التوجيه، مما يستدعي بروتوكولات التقييم الجديدة.
5. كفاءة العينة: تتقارب الأسالهم الإحصائية بسرعة (غالبًا مع $N < 100$ عينة)، بينما تستمر الأسالهم القائمة على التحسين في التحسن مع أحجام عينات أكبر ($N > 500$) في مجموعات البيانات المعقدة.

الأهمية والادعاءات

يزعم البحث أن SWORDBENCH يوفر إطارًا موحدًا وضروريًا لتقييم التوجيه في نماذج الرؤية، متجاوزًا قيود المعايوهات المرتكزة على اللغة. وتتمثل مساهمته الأساسية في إثبات أن التوجيه ليس مجرد مسألة إيجاد مستوي فصل (separating hyperplane)؛ بل يتطلب التوجيه الفعال تقييم الاستقلال الوظيفي (CCR) والسلامة (CD).

يدعي المؤلفون بتواضع أن عملهم:

• يوحد المصطلحات وتقييم التوجيه وإزالة الانحياز عبر مجالات الرؤية واللغة.
• يكشف أن الخطوط الأساسية الخطية القياسية غالبًا ما تكون كافية لكشف المفاهيم، مما يتحدى ضرورة استخدام المجسات غير الخطية المعقدة لهذه المهمة تحديدًا.
• يسلط الضوء على أن التوجيه "المثالي" صعب المنال، وأن القدرة العالية على الفصل لا تضمن غياب الضرر الجانبي.
• يعمل كمعيار مرجعي حي لتثبيط التقارير الانتقائية وتشجيع تطوير أسالهم تقلل من الآثار الجانبية غير المقصودة في التطبيقات عالية الخطورة مثل التشخيص الطبي والعدالة الديموغرافية.

لا يدعي البحث حل جميع تحديات التوجيه، بل يضع معيارًا صارمًا لقياس المفاضلات المتأصلة في الطرق الحالية، مؤكدًا أن السلامة في التوجيه تتطلب مقاييس تتجاوز مجرد الدقة البسيطة.