Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

ملخص تقني: القدرة $\neq$ القابلية للتفسير: القابلية للتفسير البشري لنماذج الرؤية التأسيسية

بيان المشكلة

مع انتقال نماذج الرؤية التأسيسية (مثل CLIP وDINOv2 وSigLIP) من مجرد معايير بحثية إلى تطبيقات عالية الخطورة (دعم القرار السريري، القيادة الذاتية)، يصبح فهم تمثيلاتها الداخلية أمراً بالغ الأهمية. ومع ذلك، تفشل بروتوكولات التقييم الحالية في قياس ومقارنة القابلية للتفسير البشري للميزات عبر النماذج المختلفة بشكل موثوق. تعاني الطرق السابقة من مشكلتين رئيسيتين:

1. تعدد المعاني (Polysemanticity): تعتمد غالباً على عصبونات فردية، والتي تشفر مفاهيم متعددة (التراكب/superposition)، مما يعقد عملية عزل الميزات الفردية.
2. الآثار المنهجية (Methodological Artifacts): تسمح بروتوكولات الفيزياء النفسية السابقة (مثل مهام الاختيار القسري) للمشاركين بحل المهام عن طريق تحديد ما "ليست" عليه الميزة (عملية الاستبعاد) بدلاً من فهم ما "هي" عليه بالفعل. يؤدي هذا إلى مستويات أساسية (baselines) خاصة بكل نموذج تعتمد على الصدفة، مما يجعل درجات الدقة الخام غير قابلة للمقارنة عبر البنى المختلفة.

وبناءً على ذلك، يظل سؤال مفتوحاً حول ما إذا كانت القدرة المتفوقة للنماذج التأسيسية ترتبط بكون ميزاتها أكثر قابلية للتفسير من قبل البشر.

المنهجية

قدم المؤلفون إطار عمل لقياس القابلية للتفسير البشرية باستخدام بروتوكولين متكاملين من الفيزياء النفسية، تم تطبيقهما على ستة نماذج من المحولات الرؤيوية (Transformer) (اثنان من نماذج ViT الخاضعة للإشراف وأربعة نماذج تأسيسية: DINOv2 وDINOv3 وCLIP وSigLIP).

1. استخراج الميزات واختيارها:

• الأساس أحادي المعنى (Monosemantic Basis): بدلاً من تحليل العصبونات الخام، استخدم المؤلفون المشفرات التلقائية المتفرقة (SAEs) المدربة على تنشيطات ImageNet لاستعادة قاموس من الاتجاهات أحادية المعنى. يضمن ذلك أن كل وحدة مختبرة تقابل مفهوماً واحداً.
• تصفية الصلة (Relevance Filtering): تم اختيار الميزات بناءً على مساهمتها في مسبار خطي مدرب على ImageNet (باستخدام Gradient $\times$ Input). وتم استبعاد الميزات الكثيفة (التي تتنشط على معظم المدخلات).
• الترسيخ المعياري (Standardized Anchoring): لضمان مقارنة عادلة، تم إرساء اختيار الميزات على مجموعة مشتركة من الصور المدخلة بدلاً من أخذ العينات العشوائية، كما تمت معايرة الدرجات مقابل مستوى صدفة مشترك.

2. بروتوكولات الفيزياء النفسية:
عُرضت على المشاركين (377 مشاركاً صالحاً، 13,400 استجابة) تفسيرات بصرية لميزة ما (تصور اصطناعي، صور طبيعية عالية التنشيط، وخرائط حرارية من نوع RISE) وطُلب منهم تنفيذ أحد مهمتين:

• القابلية للتحديد المحلي (أين): ينقر المشاركون على صورة جديدة حيث يعتقدون أن الميزة تعمل فيها. يتم رسم الدرجات على مقياس مرسخ بالصدفة ($s=0.5$) بناءً على التوزيع التراكمي التجريبي للخريطة الحرارية، وذلك لضبط التباين بين التنشيطات المتفرقة والمنتشرة.
• القابلية للتسمية (ماذا): يقدم المشاركون وصفاً نصياً حراً للميزة. يتم تقييم الأوصاف عن طريق حساب متوسط تشابه جيب التمام (cosine similarity) بين تضمين النص وتضمينات صور CLIP لقصاصات الصور المتمركزة حول ذروة تنشيط الميزة.

3. التحليل:
يحلل البحث العلاقة بين درجات القابلية للتفسير و:

• أداء المهام اللاحقة (تصنيف ImageNet، التجزئة الدلالية، التجميع الإدراكي).
• الخصائص التمثيلية: المحلية (Locality) (تشتت Hoyer للتنشيطات) والمواءمة البشرية (Human Alignment) (الاستراتيجيات البصرية، الأحكام الدلالية خشنة الحبيبات مقابل دقيقة الحبيبات).

النتائج الرئيسية

1. النماذج التأسيسية أقل قابلية للتفسير:
على عكس الافتراض بأن النماذج الأكبر والأكثر قدرة هي أكثر شفافية، فإن كل نموذج تأسيسي تم اختباره أنتج ميزات كانت أقل قابلية للتفسير من نظيراتها الخاضعة للإشراف (ViT-S وViT-B). وتظل هذه الفجوة قائمة لكل من النماذج ذاتية الإشراف الرؤيوية فقط (DINOv2 وDINOv3) ونماذج الرؤية واللغة (CLIP وSigLIP).

• ملاحظة: أثار DINOv2 أعلى مستوى من ثقة المشاركين ولكنه صُنّف ضمن الأقل قابلية للتفسير، مما يسلط الضوء على أن "الشعور" بالقابلية للتفسير لا يعني بالضرورة أنها قابلة للتفسير فعلياً.

2. القابلية للتفسير متعامدة مع القدرة:
لا يوجد ارتباط معنوي بين أداء المهام اللاحقة للنموذج (التصنيف، التجزئة، التجميع) وبين درجات القابلية للتفسير البشرية (القابلية للتحديد المحلي أو التسمية). فالقدرة العالية لا تضمن قابلية تفسير عالية، ولا تستلزم بالضرورة وجود مقايضة معها؛ إذ يبدو أنهما بُعدان مستقلان لجودة التمثيل.

3. المتنبئات بالقابلية للتفسير:
هناك خاصيتان تمثيليتان تتنبآن بقوة بالقابلية للتفسير:

• المحلية (Locality): الميزات ذات التنشيطات المركزة والمحددة مكانياً (تشتت Hoyer عالٍ) هي أكثر قابلية للتفسير بشكل ملحوظ من الميزات المنتشرة. ويعد DINOv3، الذي يعزز الميزات المحلية صراحةً في هدف التدريب الخاص به، مثالاً مضاداً، حيث أظهر قابلية تفسير أعلى بين النماذج التأسيسية.
• المواءمة الدلالية خشنة الحبيبات (Coarse-Grained Semantic Alignment): الارتباط مع أحكام التشابه البشرية خشنة الحبيبات (البنية الفئوية الواسعة) يرتبط بالقابلية للتفسير. وفي المق المقابل، فإن المواءمة مع التمايز الإدراكي دقيق الحبيبات (داخل الفئة الواحدة) والمواءمة مع الاستراتيجيات البصرية البشرية (خرائط الانتباه) لا تتنبأ بالقابلية للتفسير.

الأهمية والادعاءات

تؤسس هذه الورقة البحثية على أن القدرة وحدها لا يمكنها سد فجوة القابلية للتفسير بين النماذج التأسيسية والنماذج الخاضعة للإشراف. يدعي المؤلفون ما يلي:

• القابلية للتفسير بُعد متميز وقابل للقياس: إنها ليست نتاجاً فرعياً للحجم أو الأداء في المهام اللاحقة.
• "فجوة النموذج التأسيسي" حقيقية: رغم تفوق النماذج التأسيسية على النماذج الخاضعة للإشراف في المعايير المرجعية، إلا أنها تتعلم تمثيلات أقل وضوحاً للبشر.
• الآثار التصميمية: لبناء نماذج أكثر قابلية للتفسير، يجب أن تعمل أهداف التدريب على تعزيز تنشيطات الميزات المحلية صراحةً، والمواءمة مع البنى الدلالية البشرية خشنة الحبيبات، بدلاً من الاعتماد على الحجم أو المواءمة الإدراكية دقيقة الحبيبات.

تخلص الدراسة إلى أنه بينما توفر النماذج التأسيسية تعميماً فائقاً، فإن ميزاتها الداخلية غالباً ما تكون "فائقة للبشر" بطريقة تحجب الفهم البشري، مما يستلزم خيارات تصميمية صريحة لاستعادة القابلية للتفسير في التطبيقات عالية الخطورة.