Supervised Classification Heads as Semantic Prototypes: Unlocking Vision-Language Alignment via Weight Recycling

ملخص تقني: رؤوس التصنيف الخاضعة للإشراف كبروتوتايبات دلالية

بيان المشكلة
أظهرت نماذج الرؤية واللغة (VLMs) مثل CLIP قدرات ملحوظة في التصنيف صفري القدرة (zero-shot classification) والاسترجاع عبر الوسائط من خلال رسم خرائط للصور والنصوص في فضاء تمثيل مشترك. ومع ذلك، فإن تحقيق هذا التوافق يتطلب عادةً تدريباً كاملاً (end-to-end) على مجموعات بيانات ضخمة ومزدوجة من الصور والنصوص، مما يترتب عليه تكاليف باهظة من حيث البيانات والحوسبة. وبينما تحاول طرق المحاذاة اللاحقة (post-hoc alignment) الحديثة لتقليل هذه التكاليف عبر تعلم خرائط خفيفة الوزن بين مشفرات مدربة بشكل مستقل، إلا أنها لا تزال تعتمد بشكل كبير على كميات كبيرة من بيانات الصور والنصوص المزدوجة لتعمل بفعالية. يعالج هذا العمل تحدي تحقيق التوافق بين الرؤية واللغة بأقل قدر من البيانات المزدوجة أو بدونها تماماً، مستكشفاً ما إذا كان يمكن إعادة توظيف المعلومات الدلالية المتضمنة بالفعل في أوزان نماذج الرؤية الخاضعة للإشراف.

المنهجية
تتمثل الرؤية الجوهرية لهذا العمل في أن أوزان رأس التصنيف ($W$) لنماذج الرؤية المدربة مسبقاً على مجموعات بيانات خاضعة للإشراف واسعة النطاق (تحديداً ImageNet-21K) تعمل كبروتوتايبات (نماذج أولية) دلالية عالية الجودة. هذه الأوزان، التي يتم التخلص منها عادةً بعد التدريب المسبق، تُعاد تدويرها لمحاذاة مشفرات الصور والنصوص المدربة بشكل مستقل بطريقة لاحقة.

يعمل الإطار المقترح في نظامين أساسيين:

1. المحاذاة بدون أزواج صور-نصوص: يعامل المؤلفون متجهات الصفوف $w_i$ لمصفوفة أوزان التصنيف $W$ كمرتكزات دلالية. يتم إقران هذه المتجهات بالتمثيلات النصية لأسماء الفئات المقابلة لها (مثل "A tench") لتشكيل مجموعة بيانات محاذاة اصطناعية ($D_{weights}$). تُستخدم هذه المجموعة لتدريب وظائف محاذاة خفيفة الوزن (مثل MLP أو CSA أو Text-to-Concepts) لرسم خريطة من فضاء مشفر الصور إلى فضاء مشفر النص، متجاوزةً بذلك الحاجة تماماً لأزواج حقيقية من الصور والنصوص.
2. تعزيز البيانات: يوضح المؤلفون أن هذه البروتوتايبات القائمة على الأوزان متوافقة مع تمثيلات الصور والنصوص الحقيقية. يقترحون تعزيز مجموعات بيانات المحاذاة الموجودة ($D_{imgtxt}$) باستخدام أزواج الوزن-النص ($D_{weights}$) لتشكيل مجموعة بيانات مدمجة ($D_{aug}$). صُممت هذه الاستراتيجية لرفع أداء طرق المحاذاة اللاحقة، خاصة في حالات ندرة البيانات.

يتم تقديم التبرير النظري من خلال منظور الانهيار العصبي (Neural Collapse)، الذي يشير إلى أنه في حد التدريب الأقصى، تتقارب صفوف أوزان المصنف نحو مراكز ثقل فئاتها، مما يؤدي فعلياً إلى تشفير مفهوم الفئة اتجاهياً. ويؤكد التحقق التجريبي أن متجهات الأوزان هذه تتوافق مع التمثيلات النصية بشكل أفضل من متوسط تمثيلات الصور، حتى عندما لا تتحقق الشروط الصارمة للانهيار العصبي بالكامل.

المساهمات الرئيسية

• رؤوس التصنيف كبروتوتايبات دلالية: يقدم البحث تحققًا تجريبيًا وتأطيراً نظرياً لمعاملة أوزان رأس التصنيف كبروتوتايبات دلالية ذات معنى. تُظهر التجارب أن المصنفات التي تستخدم تشابه جيب التمام (cosine similarity) مع هذه الأوزان تحقق دقة تقارب الخطوط الأساسية الخطية، وأن هذه الأوزان تتوافق بقوة أكبر مع التمثيلات النصية مقارنة بمتوسط ميزات الصور.
• التوافق بين الرؤية واللغة بدون أزواج صور-نصوص: يقدم المؤلفون إطار عمل لإعادة تدوير الأوزان يتيح المحاذاة اللاحقة لمشفرات الصور والنصوص باستخدام أوزان التصنيف وأسماء الفئات فقط، محققاً قدرات صفرية القدرة دون الحاجة لأي بيانات مزدوجة من الصور والنصوص.
• التوافق وتعزيز البيانات: يثبت العمل أن تمثيلات الأوزان متوافقة للغاية مع أزواج الصور والنصوص الحقيقية. فعند دمجها مع بيانات الصور والنصوص المتاحة، تعمل كمصدر تعزيز قوي يحسن باستمرار أداء طرق المحاذاة اللاحية المتطورة.
• التحليل الهندسي والنطاق: يحلل البحث التوزيع الهندسي لهذه الأوزان، محدداً "فجوة نمطية" (modality gap) بين متجهات الأوزان وميزات الصور تشبه الفجوة بين النص والصورة. كما يقيم تأثير استخدام الأوزان من مجموعات بيانات عامة (ImageNet-21K) مقابل متخصصة (iNaturalist)، ليجد أن التنوع العام يؤدي إلى أداء أفضل في المهام اللاحقة.

النتائج
قيم المؤلفون نهجهم في مهام الاسترجاع عبر الوسائط (Flickr30K, MS-COCO) ومهام التصنيف (صفرية القدرة وقليلة القدرة عبر تسعة مجموعات بيانات متنوعة تشمل CIFAR, Food101, و Places365).

• المحاذاة صفرية القدرة: باستخدام أوزان تصنيف ImageNet-21K فقط، حققت الطريقة أداءً تنافسياً في التصنيف والاسترجاع صفري القدرة، متفوقة بشكل كبير على الاحتمال العشوائي، مما يثبت إمكانية الاستفادة من الهياكل الدلالية للتدريب المسبق الخاضع للإشراف دون بيانات مزدوجة.
• فوائد التعزيز: في حالات ندرة البيانات (على سبيل المثال، باستخدام 1K فقط من أزواج الصور والنصوص)، وفر التعزيز باستخدام تمثيلات الأوزان أكبر مكاسب الأداء. ومع زيادة كمية بيانات الصور والنصوص الحقيقية، تضاءلت الفائدة الهامشية للتعزيز، كما هو متوقع.
• التصنيف قليل القدرة (Few-Shot): تفوق النهج بشكل كبير على الخطوط الأساسية القوية مثل مصنف أقرب مركز (NCC) والجار الأقرب (KNN) في إعدادات قليلة القدرة (1، 2، و4 عينات) عبر مجموعات بيانات متعددة.
• المقارنة مع تمثيلات الصور: عند المقارنة مقابل مجموعات بيانات المحاذاة المكونة من متوسط تمثيلات الصور من نفس الحجم، حقق النهج القائم على الأوزان دقة أعلى باستمرار في كل من مهام الاسترجاع والتصنيف.

الأهمية والادعاءات
يزعم البحث تقديم منظور جديد حول ظهور الدلالات في نماذج الرؤية العميقة المدربة مسبقاً بالإشراف. ومن خلال إعادة تدوير أوزان رأس التصنيف المهملة، يقترح المؤلفون استراتيجية تقلل من حواجز البيانات والحوسبة للمحاذاة اللاحقة، مما يساهم في أهداف "الذكاء الاصطناعي الأخضر" (Green AI).

يشير العمل إلى أن القوة الدلالية للتدريب المسبق الخاضع للإشراف لا تقتصر على المهمة المحددة التي تدربت عليها، بل يمكن استخراجها وإعادة توظيفها لمنح النماذج التي تقتصر على الرؤية قدرات لغوية. ويبدي المؤلفون تواضعاً فيما يتعلق بالقيود الحالية، مشيرين إلى أنه بينما يعد النهج فعالاً، فإن الفجوة النمطية الهندسية بين الأوزان والصور لا تزال قائمة، وأن استراتيجيات تخفيف الفجوة الأكثر تطوراً هي اتجاه للعمل المستقبلي. كما يؤكدون أن هذه الطريقة لا تحل محل الحاجة إلى التدريب المسبق واسع النطاق، بل تقدم مساراً فعالاً لفتح آفاق التوافق بين الرؤية واللغة للنماذج التي تفتقر إلى موارد التدريب المسبق أو البيانات المزدوجة.