t-gems: text-guided exit modules for decreasing clip image encoder

ملخص تقني: T-GEMS – وحدات الخروج الموجهة بالنص لتقليل مشفر الصور في CLIP

بيان المشكلة
تعمل النماذج متعددة الوسائط (MM) مثل CLIP على محاذاة مدخلات الصور والنصوص في فضاء كامن مشترك باستخدام التعلم التبايني. ورغم فعالية ذلك، إلا أن الاستدلال فيها ثابت (static): حيث تمر كل مدخلات عبر كامل مكدس المحولات (transformer stack) بغض النظر عن درجة تعقيدها، مما يؤدي إلى تكاليف حوسبة عالية. وقد تم استكشاف طرق الخروج المبكر (Early Exit - EE)، التي تسمح للنماذج بإيقاف الحوسبة عند طبقات وسيطة عندما تكون واثقة، في النماذج أحادية الوسائط والنماذج متعددة الوسائط القائمة على الدمج. ومع ذلك، لا يزال الخروج المبكر غير مستكشف بشكل كافٍ في نماذج المشفر المزدوج التباينية مثل CLIP. ويكمن التحدي الرئيسي في انفصال مشفرات الوسائط؛ إذ تعتمد الأساليب الديناميكية الحالية غالبًا على المعالجة المشتركة أو تقليم الرموز (token pruning)، وتفشل في استخدام معلومات مشفر النص لتوجيه عمليات الخروج في مشفر الصور. علاوة على ذلك، فإن تطوير طرق خروج مبكر ثابتة لهذه النماذج يتطلب طريقة لتقدير توزيعات المحتوى الدلالي في الطبقات الوسيطة المستمدة من الأوصاف النصية دون الاعتماد حصريًا على بيانات الصور.

المنهجية
يقترح المؤلفون وحدات الخروج الموجهة بالنص (T-GEMs)، وهو إطار عمل مصمم لإجراء خروج مبكر ثابت في مشفر الصور في نموذج ذي مشفر مزدوج باستخدام المعلومات من مشفر النص. الهدف الأساسي هو تقدير توزيع الاحتمال اللاحق لتنشيطات العصبونات الوسيطة ($\ell_{ij}$) لفئة معينة $c$، بمعلومية صورة $x$ ووصف نصي $d$.

1. تقدير التوزيع: تفترض الطريقة أن التنشيطات الوسيطة تتبع توزيعًا غاوسيًا (Gaussian distribution). والهدف هو حساب المتوسط ($\mu$) والتباين ($\sigma^2$) لكل فئة وطبقة.
2. نهجان للتقدير:
   • القائم على أخذ العينات (Sampling-based): نهج بدائي يستخدم مجموعة معايرة $S$ لحساب $\mu$ و $\sigma^2$ تجريبيًا لكل فئة. يتجنب هذا النهج تدريب معاملات جديدة ولكنه يفشل في إقامة صلة بين خرائط تنشيط النص والصورة.
   • القائم على التعلم (T-GEMs): شبكة قابلة للتعلم $\Psi_i$ (وهي T-GEM) تُقدر معاملات التوزيع مباشرة من تضمينات النص ($d_t$)، متجاوزة الحاجة إلى صور عينات أثناء الاستدلال. تم تحسين هذه الوحدة لتقليل "المعدل" (الدهشة/Surprise) لإشارة التنشيط.
3. وحدة القفز (The Jumper Module): لتحسين القدرة التمييزية، تقوم وحدة إسقاط $J^i$ (Jumper) بنقل التنشيطات الصورية الوسيطة إلى فضاء ذي أبعاد أقل $\tilde{\ell}^i$. وهذا يسهل تقدير المعدل بشكل أفضل ويسمح بدمج التشابه عبر الوسائط.
4. مقياس التصنيف (Class-Rate): بدلاً من تشابه جيب التمام القياسي، تقدم الطة مقياس "معدل الفئة" ($R^i_c$). يحسب هذا المقياس "الدهشة" الناتجة عن تنشيط ما بناءً على افتراض الفئة. الفئة المتوقعة هي تلك التي تقلل هذا المعدل (المعادلة 3)، مما يختار فعليًا الفئة التي تضغط الإشارة بأكبر كفاءة.
5. هدف التدريب: يتم تدريب الوحدات باستخدام دالة خسارة مشتركة $L = L_r + L_s$:
   • $L_r$: منظم قائم على المعدل يقلل من السلب اللوغاريتمي للاحتمال (negative log-likelihood) للتوزيع الغاوسي، مما يعزز القدرة على التمييز للمحتوى الدلالي.
   • $L_s$: خسارة التشابه عبر الوسائط (تشابه جيب التمام) بين تضمين النص والتمثيل الصوري المسقط.

المساهمات الرئيسية
يدعي البحث أربع مساهمات رئيسية:

1. تحليل التمثيلات الوسيطة: استقصاء لكيفية تباين التمثيلات الوسيطة في CLIP عبر الفئات فيما يتعلق بالتضمينات النصية، مما يكشف أن هذه الطبقات تحتوي على معلومات تمييزية مناسبة للخروج المبكر.
2. منظم معدل الفئة (Class-Rate Regularizer): تقديم إحصائية مشتقة من خرائط التنشيط ترتبط بتشابه جيب التمام ولكنها تعمل كمنظم قابل للتعلم لتحسين التمييز.
3. وحدات الخروج الموجهة بالنص (T-GEMs): تصميم وحدة تتنبأ بتنشيطات مشفر الصور الوسيطة حصريًا من تضمينات النص، مما يثبت وجود علاقة محدودة بين الوسائط.
4. إطار الخروج المبكر الثابت: تدريب وحدات خروج مبكر ثابتة تستفيد من خرائط التنشيط الوسيطة لمهام مثل تصنيف الصور، مما يمثل أول دراسة تستكشف استغلال الطبقات الوسيطة لكل من المشفرات النصية والبصرية في النماذج التباينية ذات المشفر المزدوج لغرض الخروج المبكر الثابت.

النتائج التجريبية
أُجريت التجارب على مجموعة بيانات CIFAR-10 باستخدام بنيات CLIP ViT-B-32 و ViT-L-14.

• الأداء مقابل CLIP الكامل: حقق نهج T-GEMs + Jumper دقة تنافسية مقارنة بنموذج CLIP الكامل. على سبيل المثال، في ViT-B-32، وصل النهج إلى دقة 92% عند الطبقة النهائية (RB12)، وهي دالة لخط الأساس الصفري (zero-shot baseline) البالغ 91.3%.
• تأثير التنظيم: أدى دمج المنظم القائم على المعدل ($L_r$) إلى تحسين الأداء بشكل كبير، خاصة في الطبقات المبكرة (RB3–RB5)، محققًا مكاسب تصل إلى 6% مقارنة بالطرق التي تستخدم تشابه جيب التمام فقط.
• كفاءة المعاملات (Parameters): المعاملات الإضافية التي أدخلتها T-GEMs و Jumper ضئيلة (مئات الآلاف)، وهي تمثل حوالي 4% من كتلة متبقية واحدة (residual block). يسمح هذا بضغط كبير للنموذج؛ فعلى سبيل المثال، يؤدي الخروج عند الطبقة الخامسة إلى تقليل حجم المشفر بنحو 52 مليون معامل مع الحفاظ على دقة عالية.
• معدل الفئة مقابل جيب التمام: أثبت مقياس معدل الفئة أنه وكيل موثوق لتشابه جيب التمام، وغالبًا ما يتفوق عليه عند استخدامه كمقياس للاستدلال، خاصة عند دمجه مع منظم المعدل.
• حساسية العينات: تطلب النهج القائم على أخذ العينات عددًا معقولًا من العينات (على سبيل المثال، $S \ge 100$) ليكون فعالًا، بينما استقر النهج القائم على التعلم مع بُعد إسقاط $K=128$، مما يشير إلى أن النماذج الضخمة ليست ضرورية لـ T-GEMs.

الأهمية والادعاءات
يضع هذا البحث عمله كخطوة تأسيسية نحو استدلال متعدد الوسائط أكثر كفاءة. ويدعي أنه أول دراسة تستكشف الخروج المبكر الثابت في النماذج التباينية ذات المشفر المزدوج من خلال الاستفيد من العلاقة بين الطبقات النصية والبصرية الوسيطة. ويؤكد المؤلفون أن طريقتهم تقلل من حجم مشفر الصور دون المساس بالأداء في تشابه الصورة والنص.

تكمن الأهمية في إثبات أن:

1. التنشيطات الوسيطة في طبقات المشفر المبكرة كافية للتمييز لمهام التصنيف.
2. التنظيم القائم على المعدل يمكنه استخراج تمثيلات أكثر تمييزًا من مقاييس التشابه القياسية وحدها.
3. تضمينات النص يمكن أن توجه بفعالية تقدير توزيعات التنشيط الصوري، مما يتيح استراتيجية خروج مبكر ثابت لا تتطلب اتخاذ قرار ديناميكي لكل عينة أثناء الاستدلال.

ويبقى المؤلفون متواضعين بشأن النطاق، مشيرين إلى أنه على الرغم من عدم تنفيذ استراتيجية خروج ديناميكية حاليًا (حيث تخرج كل عينة عند طبقة مختلفة)، فإن إطارهم الثابت يوفر أساسًا واعدًا لتطبيقات ديناميكية أخف وزناً وتدريب مشفر متعدد الوسائط خفيف الوزن.