Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

ملخص تقني: التضمينات المفاهيمية: فك الارتباط المتناثر لنماذج الرؤية واللغة

بيان المشكلة
تتعلم نماذج الرؤية واللغة (VLMs) مثل CLIP وBLIP وCoCa تضمينات مشتركة قوية عالية الأبعاد، ومع ذلك تظل بنيتها الدلالية الداخلية غامضة. تواجه طرق التفسير الحالية قيودًا كبيرة:

• التفسيرات المحلية: تحدد التقنيات مثل خرائط البروز (saliency maps) أو طرق العزو (attribution methods) المناطق ذات الصلة في المدخلات، لكنها تفشل في الكشف عن التنظيم العالمي لفضاء التضمين.
• محاذاة المفاهيم: تقوم طرق مثل TCAV أو الاختبار الخطي (linear probing) بمحاذاة التضمينات مع مفاهيم محددة مسبقًا، لكنها غالبًا ما تفترض أن المفاهيم ذات المعنى قابلة للفصل خطيًا بالفعل ضمن الهندسة الأصلية، مما يحد من المرونة.
• المشفرات التلقائية المتناثرة (SAEs): بينما تنجح الـ SAEs في استخراج ميزات قابلة للتفسير وأحادية المعنى عبر تعلم قواميس مفرطة السعة، إلا أنها تزيد من أبعاد التمثيل. هذا التوسع يغير هندسة فضاء التضمين الأصلي، ويؤدي إلى التكرار، وينتج تمثيلات غير دقة وغير قابلة للعكس، مما يجعل من الصعب ربط التفسيرات بصدق بالنموذج الأساسي.

يفترض المؤلفون أن التشابك الظاهري في تمثيلات نماذج الرؤية واللغة قد ينبع من عدم محاذاة الأساس (basis misalignment) وليس من نقص الأبعاد، مما يشير إلى إمكانية الكشف عن البنية الدلالية من خلال إعادة تنظيم الفضاء ضمن أبعاده الأصلية.

المنهجية: CEDAR
يقترح المؤلفون CEDAR (فك ارتباط التضمين المفاهيمي عبر التدوير التكيفي)، وهي طريقة لاحقة (post-hoc) تتعلم إعادة بارامترية قابلة للعكس لفضاء التضمين دون زيادة الأبعاد.

1. التحويل القابل للعكس: يسعى CEDAR إلى إيجاد مؤثر خطي متعامد $U$ (يتم تمثيله كـ $U = \exp(A - A^\top)$) يقوم بتحويل التضمين الأصلي $z$ إلى فضاء جديد $\tilde{z} = U(z - b)$، حيث $b$ هو متوسط التضمين. يضمن شرط التعامد أن التحويل يحافظ على هندسة ونورم (norm) الفضاء الأصلي ($\|Uz\|_2 = \|z\|_2$) وهو قابل للعكس بشكل صارم.
2. عنق زجاجة التناثر (Sparsity Bottleneck): في الفضاء المتحول، يتم تطبيق عامل top-k ($\Pi_k$) للاحتفاظ فقط بـ $k$ من الإحداثيات ذات القيم المطلقة الأكبر، مع تعيين البقية لتكون صفرًا. هذا يفرض تمثيلًا متناثرًا حيث تتركز المعلومات الدلالية في مجموعة فرعية صغيرة من الأبعاد.
3. هدف إعادة البناء: يتم تدريب النموذج لتقليل خطأ إعادة البناء بين التضمين الأصلي والنسخة المتناثرة التي يتم رسم خرائطها عائدة إلى الفضاء الأصلي:
   $$\min_U \mathbb{E}_z \left[ \| z - (U^{-1}\Pi_k(U(z - b)) + b) \|_1 \right]$$
   بما أن $U$ قابل للعكس، يمكن إعادة بناء التضمين الأصلي بصدق، مما يحافظ على البنية الهندسية الضرورية لمهام مثل المحاذاة بين النص والصورة.
4. استراتيجية التدريب: للتعامل مع الانتقال غير السلس الناتج عن عامل top-k، يستخدم المؤلفون نهج التعلم المنهجي (curriculum learning)، بدءًا من عمليات إعادة بناء كثيفة والانتقال تدريجيًا إلى نظام التناثر المستهدف. أثناء التدريب، يتم أخذ $k$ عشوائيًا لتحسين المتانة.
5. أنماط التفسير:
   • القائم على المفهوم (شبيه بـ CLIP): يتم محاذاة المحاور الفردية في الفضاء المتحول مع المفاهيم النصية باستخدام تشابه جيب التمام (cosine similarity) مقابل مشفر نصي (مثل تضمينات نص CLIP).
   • النمط الحر (التوليدي): بالنسبة للنماذج التوليدية (مثل BLIP)، يتم تمرير التضمينات المعاد بناؤها المتناثرة إلى فك التشفير النصي لتوليد أوصاف لغوية طبيعية، مما يسمح بتفسيرات على مستوى الجملة مستمدة من مجموعة صغيرة من الإحداثيات النشطة.

المساهمات الرئيسية

• فك الارتباط مع الحفاظ على الأبعاد: على عكس SAEs، يحقق CEDAR تمثيلات متناثرة وفك ارتباط دون توسيع بعد التضمين، مما يتجنب تشوه الهندسة والتكرار.
• القابلية للعكس: يضمن CEDAR إعادة بناء صادقة للتضمين الأصلي، مما يضمن بقاء التفسيرات مرتبطة مباشرة بفضاء تمثيل النموذج الأصلي.
• إطار عمل موحد: يدعم CEDAR كل من المحاذاة القائمة على المفهوم (مطابقة الخلايا العصبية للنص) والتوليد الحر (فك تشفير المتجهات المتناثرة إلى نص) ضمن إطار عمل واحد.
• التحقق من الفرضية: تقدم الدراسة دليلًا تجريبيًا على أن البنية الدلالية في نماذج الرؤية واللغة يمكن الكشف عنها من خلال تغيير مناسب للأساس، مما يتحدى ضرورة التوسعات مفرطة السعة من أجل التفسير.

النتائج
يقيم المؤلفون CEDAR مقابل متغيرات Sparse Autoencoder (MSAE, TopK, ReLU, BatchTopK) والنماذج الكثيفة الأساسية على معايير قياسية (ImageNet-1K) ومن خلال دراسات المستخدم.

• المقايضة بين إعادة البناء والتناثر: يحقق CEDAR مقايضة تنافسية بين خطأ إعادة البناء (FVU) والتناثر (عدد الميزات النشطة $K$). في الأنظمة منخفضة الأبعاد، غالبًا ما يتطلب عددًا أقل من المكونات النشطة لتحقيق دقة إعادة بناء مماثلة للطرق الأخرى.
• الحفاظ على الدلالة: تشير مقاييس مثل محاذاة أقرب جار للنواة المركزية (CKNNA) والاختبار الخطي (LP) إلى أن CEDER يحافظ على البنية الدلالية وأداء المهام اللاحقة بشكل يضاهي أقوى النماذج المرجعية (مثل BatchTopK) والنموذج الكثيف.
• دراسة المستخدم:
  • التفضيل: فضل المشاركون باستمرار تفسيرات المفاهيم من CEDAR على MSAE، ووجدوا أنها أكثر تمثيلًا لمحتوى الصورة.
    // الصلة: تم اختيار المفاهيم المقترحة من قبل CEDAR كأفكار ذات صلة من قبل المقيمين البشر بمعدل أكبر بكثير من تلك الناتجة عن MSAE.
  • جودة الوصف: عند استخدامه لتوليد التعليقات عبر فك التشفير النصي، أنتجت تمثيلات CEDAR المتناثرة أوصافًا "تصف الصورة" بمعدلات تضاهي النموذج الكثيف الكامل، وتتفوق بشكل كبير على النماذج المتناثرة التي تفتقر لفك الارتباط.
• التحليل النوعي: تظهر الأمثلة المرئية أن CEDAR يحدد مفاهيم دلالية متماسكة وعالية المستوى (مثل "كلب"، "هاسكي"، "خشبي") ويولد تعليقات دقيقة، بينما تسترجع النماذج المرجعية غالبًا ميزات ضوضائية أو منخفضة المستوى.

الأهمية والادعاءات
يزعم البحث أن CEDAR يثبت أن التشابك الظاهري في تضمينات الرؤية واللغة الحديثة هو نتيجة كبيرة لـ عدم محاذاة الأساس وليس لنقص الأبعاد. من خلال تعلم نظام إحداثيات عالمي وقابل للعكس، يكشف المنهج عن بنية تركيبية حيث تتركز العوامل الدلالية في عدد صغير من الأبعاد المحاذية للمحاور.

يضع المؤلفون CEDAR كإطار عمل مرن ومستقل عن النموذج يوحد التفسير القائم على المفهوم والتفسير الحر. ويؤكدون أن نهجهم يلغي الحاجة إلى التوسعات مفرطة السعة، مما يوفر طريقة أكثر صدقًا وكفاءة في المعلومات لفهم وتمثيل التعلم. ويشير العمل إلى أن إعادة البارامترية المناسبة يمكن أن تحل مشكلة التشابك مع الحفاظ على السلامة الهندسية للنموذج الأصلي.