Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers
تكشف هذه الورقة أن نماذج الرؤية واللغة المدربة تباينياً تحتوي على فضاء فرعي جوهري وثابت من الضجيج متعدد الوسائط المشترك يمكن تقليمه بأمان دون الإضرار بالأداء في المهام اللاحقة، مما يقدم رؤى ميكانيكية جديدة حول بنيتها التمثيلية الكامنة.
تخيل أن لديك مساعداً آلياً فائق الذكاء (مثل CLIP) تم تدريبه لفهم كل من الصور والكلمات. تسأله: "أرني صورة لكلب"، فيجد واحدة على الفور. يبدو الأمر مثالياً. لكن هذه الورقة البحثية تجادل بأن هذا الروبوت يحمل في الواقع حقيبة ظهر ثقيلة وغير مفيدة مليئة بالخردة التي لا يحتاجها للقيام بعمله.
إليك تفصيل ما وجده الباحثون، باستخدام تشبيهات بسيطة:
1. "الضجيج" في الإشارة
فكر في عقل الروبوت كجهاز استقبال راديو ضخم يحتوي على 768 قناة مختلفة تستمع إلى العالم.
القنوات الجيدة: معظم هذه القنوات مضبوطة على "الإشارة" — المعنى الفعلي للصورة أو الكلمة (مثل "كلب"، أو "كنيسة"، أو "سعيد").
القنوات السيئة: اكتشف الباحثون أن حوالي 164 من هذه القنوات تبث فقط "ضجيجاً". هذا ليس ضوضاء عشوائية؛ بل هو نوع محدد ومشترك من الضجيج يظهر في كل صورة وكل كلمة يراها الروبوت، بغض النظر عن المحتوى.
2. نمط "الشبح"
الجزء الأكثر إثارة للدهشة هو أن هذا "الضجيج" متطابق عبر المجموعات المختلفة.
التشبيه: تخيل أنك التقطت صورة لكلب من فصيلة "هسكي سيبيري" وصورة لمبنى "كنيسة". لا يوجد أي شيء مشترك بينهما. ومع ذلك، إذا نظرت إلى الجزء "الخردة" في ذاكرة الروبوت لكلتا الصورتين، ستجد أن الخردة تبدو متشابهة تماماً (تداخل بنسبة 91%).
النتيجة: يمتلك الروبوت نمط "شبح" يتم ختمه على كل ما يراه. الأمر يشبه وجود بقعة على عدسة الطابعة؛ فكل مستند تطبعه الطابعة، سواء كان وصفة طعام أو رسالة حب، سيحتوي على نفس تلك البقعة في الزاوية. لقد وجد الباحثون أن هذه البقعة ثابتة للغاية لدرجة أنه يمكنهم رسم خريطة لها بدقة.
3. تجربة "درج الخردة"
قرر الباحثون اختبار ما يحدث إذا قاموا ببساطة برمي "درج الخردة" هذا (الـ 164 بُعداً من الضجيج).
النتيجة: أخذوا الروبوت، وأزالوا تلك الـ 164 قناة، ثم طلبوا منه القيام بمهامه المعتادة (مثل تحديد الحيوانات في الصور أو مطابقة الكلمات مع الصور).
المفاجأة: لم يصبح الروبوت أسوأ حالاً. في الواقع، أصبح أفضل قليلاً في مطابقة الكلمات مع الصور. كان الأمر أشبه بإزالة حقيبة ظهر مليئة بالصخور عن عداء؛ لم يتباطأ، بل أصبح في الواقع أسرع لأنه لم يعد مثقلاً بها.
4. لماذا يحدث هذا؟
تقترح الورقة البحثية أن هذا "الضجيج" ليس خطأً في الكود، بل هو أثر جانبي لكيفية بناء الروبوت.
التشبيه: تخيل مصنعاً يصنع السيارات. صمم المهندسون خط التجميع بكفاءة عالية بحيث تكون السيارات رائعة، لكن اهتزاز الآلات تسبب عرضاً في ترك خدش صغير غير مفيد على كل باب سيارة. هذا الخدش لا يمنع السيارة من القيادة، لكنه موجود في كل سيارة منها.
وجد الباحثون أن هذا "الخدش" (الضجيج) هو جزء أساسي من البنية التحتية، وليس مجرد خطأ في مجموعة بيانات معينة.
الملخص
تدعي الورقة البحثية أن نماذج الذكاء الاصطناعي الحديثة مثل CLIP تحمل قدراً هائلاً من "الضجيج المشترك" (حوالي 164 بُعداً في بعض الإصدارات) الذي لا علاقة له بالمعنى الفعلي للصور أو النصوص.
الخبر الجيد: يمكنك استئصال هذا الضجيج دون التأثير على أداء الذكاء الاصطعي.
الصورة الكبيرة: جزء كبير من "مساحة عقل" الذكاء الاصطناعي هو في الواقع مجرد تخزين لهذا النمط المتكرر وغير المفيد، بدلاً من المعرفة المفيدة. ومن خلال تنظيفه، يصبح الذكاء الاصطناعي أكثر كفاءة ودقة.
ملخص تقني: "نموذج CLIP الخاص بك يحتوي على 164 بُعداً من الضجيج"
بيان المشكلة تُستخدم نماذج الرؤية واللغة (VLMs) المدربة تباينياً، مثل CLIP وSigLIP، على نطاق واسع كمستخرجات للميزات لمهام تتراوح من التصنيف صفري المعرفة (zero-shot classification) إلى استرجاع الوسائط المتعددة. ومع ذلك، تُظهر هذه المساحات الكامنة المشتركة شذوذاً هيكلياً، حيث تعمل كمستودعات لضجيج غير دلالي ومتعدد الوسائط. وبينما حددت الأبحاث السابقة ظواهر مثل "تأثير المخروط" (cone effect)، و"فجوة الوسائط" (modality gap)، و"الانهيار البعدي" (dimensional collapse) في النماذج أحادية الوسائط، إلا أن هناك حاجة لفهم كيفية ترميز هذه النماذج للبيانات غير ذات الصلة داخل مساحاتها الكامنة عالية الأبعاد. ويفترض المؤلفون أن جزءاً كبيراً من الهندسة الكامنة في نماذج VLMs الحديثة محكوم بضجيج مشترك على مستوى البنية التحتية (architecture-level noise) بدلاً من الدلالات المتعلقة بالمهمة.
المنهجية يستخدم المؤلفون التفكيك الطيفي لمصفوفات التغاير لتحليل هندسة المساحات الكامنة لنماذج VLM.
تقدير التغاير: يقومون بحساب مصفوفات التغاير التجريبية (Σtext و Σimg) لتمثيلات النص والصور بشكل منفصل، والمستمدة من مجموعات بيانات ضخمة (ImageNet-1K و LAION-2B). ويتم تعريف مصفوفة تغاير متوسطة مشتركة بين الوسائط (Σavg) لتحليل المساحة الكامنة المشتركة.
التفكيك الطيفي: يتم تفكيك المصفوفات لتحديد القيم الذاتية والمتجهات الذاتية. ويلاحظ المؤلفون انخفاضاً حاداً وثابتاً في القيم الذاتية عبر مختلف النماذج (متغيرات CLIP وSigLIP) بعد عتبة معينة (حوالي 10−3.6).
تحديد عتبة الضجيج: باستخدام "طريقة الكوع" (elbow method) على Σavg، يحددون عتبة قطع للفصل بين "الإشارة" (القيم الذاتية العليا) و"الضجيج" (كتلة القيم الذاتية الدنيا). وتُعرف الأبعاد التي تقع تحت هذه العتبة بأنها "فضاء الضجيج الفرعي المشترك".
محاذاة الفضاء الجزئي: للتحقق من عالمية متجهات الضجيج هذه، يحسب المؤلفون متوسط مربع جيب تمام زوايا الفضاء الجزئي (mSCSA) بين متجهات الضجيج المستخرجة عالمياً والمتجهات الذاتية منخفضة التباين لمجموعات بيانات فرعية محددة (مثل فئات ImageNet الفردية).
التقليم والتقييم: يقومون ببناء مصفوفة إسقاط لإزالة الضجيج (P=I−VVT) لإسقاط التمثيلات على المتمم المتعامد لفضاء الضجيج الفرعي. ويقيمون تأثير عملية التقليم هذه على المهام اللاحقة: تصنيف ImageNet صفري المعرفة ومحاذاة (صورة-نص) في LAION-2B.
النتائج الرئيسية
وجود ضجيج مشترك: يكشف التحليل عن وجود "فضاء ضجيج فرعي" متميز يتكون من الكتلة الدنيا من قيم التغاير الذاتية. بالنسبة لنموذج CLIP ViT-L/14، يقابل هذا 164 بُعداً (21% من المساحة البالغة 768 بُعداً).
ثبات المجموعات الفرعية: تُظهر أبعاد الضجيج المحددة ثباتاً قوياً عبر مجموعات البيانات المتميزة. سجلت درجات mSCSA بين فضاء الضجيج العالمي والفضاءات الفرعية منخفضة التباين الخاصة بالفئات نتائج عالية (غالباً >90% للنماذج الأكبر)، مما يشير إلى أن اتجاهات الضجيج هذه منتشرة في كل مكان وليست خاصة بفئة أو مجموعة بيانات معينة.
تأثير التقليم:
التصنيف: يؤدي إزالة أبعاد الضجيج إلى انخفاض طفيف لا يُذكر في دقة Top-5 لـ ImageNet صفري المعرفة (على سبيل المثال، ينخفض CLIP ViT-L/14 من 91.2% إلى 91.1%). بينما تؤدي الإزالة العشوائية لنفس عدد الأبعاد إلى أداء أسوأ بكثير، مما يؤكد أن أبعاد الضجيج لا تحمل معلومات دلالية تذكر.
المحاذاة: خلافاً للفرضية التي تقول إن التقليم قد يضر بالمحاذاة، لاحظ المؤلفون زيادة نظامية في متوسط تشابه جيب التمام لأزواج (صورة-نص) في LAION-2B بعد إزالة الضجيج. ويتحسن هذا الأداء مع زيادة حجم البعد الكامن.
الفحص النوعي: يكشف الفحص البصري للعينات ذات التنشيط العالي في فضاء الضجيج الفرعي أنها غالباً ما تتوافق مع نائبات الصور غير المتوفرة أو الآثار الناتجة عن البيانات خارج التوزيع (مثل مواضيع أفلام مارفل عند التقدير على ImageNet وحدها)، مما يدعم الطبيعة غير الدلالية لهذه الأبعاد.
الأهمية والادعاءات يزعم البحث أنه يقدم رؤى ميكانيكية جديدة حول البنية التمثيلية لنماذج VLM الحديثة. ومن خلال التفكيك الرسمي للمساحة الكامنة إلى إشارات دلالية متعددة الوسائط وفضاء ضجيج فرعي مشترك، يوضح المؤلفون ما يلي:
جزء كبير من الهندسة الكامنة في النماذج المدربة تباينياً محكوم بضجيج مشترك على مستوى البنية التحتية بدلاً من الدلالات المتعلقة بالمهمة.
تقليم أبعاد الضجيج المشتركة هذه هو أمر "غير ضار بشكل أساسي" ويمكن أن يحسن فعلياً أداء المحاذاة اللاحقة دون إضعاف قدرات التصنيف.
ظاهرة الانهيار البعدي تستمر في نماذج VLM الحديثة ولكنها تظهر كمستودع للبيانات غير ذات الصلة بدلاً من كونها انهياراً كاملاً للمساحة.
يتبنى المؤلفون موقفاً متواضعاً، حيث يقرون بأن عتبة الضجيج المثلى قد تعتمد على بنيات النماذج وتوزيعات البيانات المحددة. ويشيرون إلى أنه على الرغم من أن الانخفاض في الطيف الذاتي حاد، إلا أنه ليس فورياً كما في حالات الانتقال الطوري الملاحظة في الدراسات السابقة أحادية الوسيط، مما يشير إلى آلية معقدة لتخصيص السعة الكامنة. ويُقترح كعمل مستقبلي توسيع هذا التقييم ليشمل طيفاً أوسع من الهياكل الأساسية (backbones) وإرساء إطار نظري رسمي يربط آلية الضجيج هذه بظهور فجوة الوسائط.