ملخص تقني: شرح تشابه الصور باستخدام ناقلات تنشيط المفاهيم المستخرجة تلقائيًا

بيان المشكلة

يعد تشابه الصور مكونًا أساسيًا للعديد من تطبيقات الرؤية الحاسوبية، بما في ذلك استرجاع الصور، والتعرف على الوجوه، وتوافق الأزياء. وبينما يتم قياس التشابه عادةً في فضاءات التضمين الكامنة للشبكات العميقة سابقة التدريب، إلا أن المبررات وراء درجات تشابه معينة تظل غامضة. تواجه طرق التفسير الحالية (xAI)، المصممة أساسًا لمهام التصنيف ذات المدخل الواحد، صعوبة في تقديم رؤى عالمية لوظائف التشابه، والتي تتطلب بطبيعتها مدخلين. تعتمد النهج الحالية غالبًا على خرائط الإسناد القائمة على التدرج (gradient-based attribution maps) أو السمات المعرفة يدويًا (مثل "الخطوط" أو "اللون") لتوليد خرائط البروز (saliency maps). وتواجه هذه الطرق عيبين رئيسيين:

1. الافتقار إلى الرؤية العالمية: غالبًا ما تفشل في توضيح ما الذي يدفع التشابه تحديدًا عبر مناطق معينة من فضاء التضمين (على سبيل المثال، النسيج مقابل الشكل).
2. الاعتماد على التعريفات اليدوية: تتطلب كثيرًا قواعد بيانات مفاهيم محددة مسبقًا أو مجموعات بيانات مصنفة عمدًا، مما يحد من قابليتها للتطبيق على مجالات أو نماذج جديدة.
3. الأمانة التوزيعية: غالبًا ما تؤدي الاضطرابات في فضاء البكسل الخام (مثل الحجب/masking) إلى دفع المدخلات بعيدًا عن "المنوال البياني" (data manifold)، مما يؤدي إلى تفسيرات غير موثوقة.

المنهجية

يقترح المؤلفون إطار عمل مستقل عن النموذج والمقياس يشرح تشابه الصور باستخدام ناقلات تنشيط المفاهيم (CAVs) المستخرجة تلقائيًا عبر المشفرات التلقائية المتناثرة (Sparse Autoencoders - SAEs). تتكون المنهجية من ثلاث خطوات رئيسية:

1. تعلم القاموس المتناثر (استخراج المفاهيم)

بإعطاء مجموعة بيانات $\mathcal{X}$ ودالة تضمين $g: \mathcal{X} \to \mathbb{R}^d$، يقوم المؤلفون بتفكيك مصفوفة التنشيط $A$ إلى مصفوفة أوزان $U$ وقاموس مفاهيم $V$. ويتم تحقيق ذلك عن طريق تقليل معيار فروبينيوس (Frobenius norm):
$$(U, V) = \arg \min_{U,V} \|A - UV^\top\|_F^2$$
تستخدم هذه العملية صيغًا مختلفة من الـ SAE (مثل Top-K و JumpReLU و Vanilla SAE) لتعلم قاموس من المفاهيم دون الحاجة لتسميات بشرية. يتم تقريب كل تنشيط كتركيبة خطية من هذه المفاهيم المتعلمة.

2. اضطراب الفضاء الكامن للتفسير الزوجي

لشرح التشابه بين صورتين باستخدام التضمينات $a_i$ و $a_j$، تقوم الطريقة باضطراب التضمينات على طول اتجاهات المفاهيم المتعلمة. يتم تحديد أهمية مفهوم معين $c_k$ من خلال قياس التغيير في دالة التشابه $f$ عند إزالة مساهمة المفهوم:
$$e_l^k(a_i, a_j) = (f(a_i, a_j) - f(a_i/c_k, a_j)) + (f(a_i, a_j) - f(a_i, a_j/c_k))$$
حيث $a_i/c_k = a_i - u_{i,k}v_k^\top$. يضمن هذا النهج المتماثل أن التفسير يأخذ في الاعتبار المساهمات من كلا المدخلين. والنتيجة هي متجه تفسير محلي يميز السمات المشتركة والمتميزة.

3. التفسير على مستوى المجموعة واسترجاع النماذج المثالية

يمتد الإطار إلى الإعدادات الجماعية من خلال حساب متوسط التفسيرات المحلية عبر مجموعة $G$:
$$e_G = \frac{1}{\binom{|G|}{2}} \sum_{i,j \in G, i<j} e_l(a_i, a_j)$$
يسمح هذا بتحليل العناقيد (clusters) في فضاء التضمين. علاوة على ذلك، قدم المؤلفون مهمة استرجاع النماذج المثالية (Exemplar Retrieval)، حيث يتم، بالنظر إلى زوج من الاستعلام والمرجع، استرجاع أزواج صور أخرى تشترك في نفس "الأسباب" الكامنة للتشابه (أي متجهات تفسير متشابهة) بدلاً من مجرد درجات مظهر عام متشابهة.

المساهمات الرئيسية

1. إطار عمل مبتكر: إطار عمل لتفسير تشابه الصور مستقل عن النموذج والمقياس يعتمد على ناقلات تنشيط المفاهيم (CAVs) المستخرجة تلقائيًا، مما يتيح التحليل الزوجي والمستوى الجماعي دون الحاجة لقواعد بيانات مفاهيم محددة مسبقًا.
2. الإسناد القائم على التشابه: طريقة لاشتقاق درجات أهمية المفاهيم مباشرة من دالة التشابه، مما يوفر كلاً من التحديد المحلي (عبر الخرائط الحرارية) وكمية تأثير المفهوم.
3. اضطرابات أمينة: أدلة تجريبية تثبت أن الاضطرابات في الفضاء الكامن أكثر أمانة لتوزيع البيانات الأساسي مقارنة باستراتيجيات الحجب في فضاء الب pixels (مثل التمويه أو الحجب العشوائي)، مما ينتج عنه عدد أقل من التضمينات خارج التوزيع (OOD).
4. رؤى قابلة للتنفيذ: تقديم استرجاع النماذج المثالية والتحليل الجماعي، مما يسمح للمستخدمين بفهم ومعالجة أحكام التشابه بناءً على مفاهيم دلالية.

النتائج التجريبية

قيم المؤلفون نهجهم على مجموعة بيانات VITON-HD (للأزياء) ومجموعة بيانات اصطناعية Multi-CIFAR-10 Collage باستخدام ستة نماذج رؤية (DINOv2, DINOv3, ResNet50, ConvNeXt, ViT, SigLIP).

• التحقق من المفاهيم: في المجموعة الاصطناعية، نجحت الطريقة في الحفاظ على تماثل دالة التشابه. حققت القواميس المدربة حوالي 90% من استعادة درجات التشابه الأصلية بعد تبديل المفاهيم، حيث أظهرت نماذج Top-K SAE أقل انحراف.
• الأمانة التوزيعية: حققت الاضطرابات الكامنة باستمرار درجات أقل في مقاييس Wasserstein (W1) و OOD مقارنة باستراتيجيات الحجب في فضاء المدخلات (مثل التمويه أو الحجب العشوائي) عبر جميع النماذج المختبرة. وهذا يؤكد أن الاضطرابات الكامنة تظل أقرب إلى المنوال البياني للبيانات.
• قابلية الاسترداد الخطي: استطاع نموذج الانحدار الخطي المدرب على متجهات التفسير التنبؤ بدرجات التشابه الأصلية بدقة عالية ($R^2 > 0.87$ لكل من مقاييس جيب التمام والمسافة الإقليدية)، متفوقًا على النماذج المرجعية مثل CSIM، والمتجهات القائمة على التمويه، والإسناد القائم على التدرج.
• الفائدة النوعية: في دراسات الحالة، نجحت الطريقة في تحديد المحركات الدلالية للتشابه (مثل "الخطوط"، "فتحة الرقبة") ومكنت من استرجاع النماذج المثالية التي استرجعت صورًا بناءً على مفاهيم مشتركة (مثل استرجاع القمصان المخططة لاستعلام قميص مخطط) بدلاً من مجرد التشابه البصري.

الأهمية والادعاءات

يزعم البحث أن نهجه يوفر فهمًا أكثر أمانة وقابلية للتفسير لتشابه الصور مقارنة بالطرق الموجودة. ومن خلال العمل في الفضاء الكامن، تتجنب الطريقة عيوب الاضطرابات في فضاء البكسل التي غالبًا ما تولد صورًا غير واقعية. ويؤكد المؤلفون أن إطار عملهم آلي، ولا يتطلب تعريفًا يدويًا للمفاهيم، وهو مرن وقابل للتطبيق على أي نموذج ومقياس تشابه مسبق التدريب.

تكمن الأهمية في القدرة على الانتقال من معرفة "أين" يركز النموذج (البروز) إلى "ما هي" الميزات الدلالية التي تدفع التشابه. يضع المؤلفون عملهم كخطوة نحو رؤى قابلة للتنفيذ، مما يسمح لمصممي النماذج بتحديد وتخفيف محركات التشابه غير المرغوب فيها (مثل خلفيات الصور) وتمكين مهام الاسترجاء المتقدمة المشروطة بأسباب دلالية محددة. ومع ذلك، يشير المؤلفون بتواضع إلى أن نهجهم يفترض إعادة بناء خطي لفضاء التضمين عبر CAVs، وهو تقريب من الدرجة الأولى، وأن استقرار SAE يظل اعتبارًا قائمًا.