ملخص تقني: UniMoCo

تعريف المشكلة

تواجه نماذج الرؤية واللغة الحالية (VLMs) وطرق التضمين متعددة الوسائط تحديات كبيرة في السيناريوهات الواقعية حيث تتضمن الاستعلامات والأهداف تركيبات متنوعة وغالبًا ما تكون غير مكتملة من الوسائط. تهدف النهج الحالية مثل CLIP وBLIP والتمثيلات القائمة على نماذج اللغة والرؤية الكبيرة (LVLMs) الحديثة (مثل VLM2VEC) إلى تعلم تمثيلات موحدة، لكنها تعتمد عادةً على بنيات ثنائية المشفر (dual-encoder) أو دمج سطحي يفشل في محاذاة جميع تركيبات الوسائط الممكنة ضمن مساحة تضمين واحدة متماسكة أثناء التدريب.

ينبع هذا القصور بشكل كبير من عدم توازن تركيبات الوسائط في بيانات التدريب. على سبيل المثال، غالبًا ما تفضل مجموعات البيانات التدريبية أزواج (نص-صورة) حيث تكون كلتا الوسائط موجودتين، أو تكوينات محددة من (الاستعلام-الهدف) (مثل استعلام نص-صورة إلى هدف نصي). نتيجة لذلك، تظهر النماذج تحيزًا في تركيبات الوسائط، حيث تعمل بشكل جيد في الأنماط المتكررة ولكنها تعاني من تدهور في المتانة عند مواجهة وسائط نادرة أو مفقودة (مثل الاستعلامات النصية فقط أو الأهداف النصية) أثناء الاستدلال. وتكافح الطرق التقليدية لتوليد تضمينات متسقة عندما تغيب الوسيط البصري، مما يؤدي إلى عدم المحاذاة في الفضاء الكامن.

المنهجية

لمعالجة هذه القيود الجوهرية، يقترح المؤلفون UniMoCo (إكمال الوسائط الموحد)، وهو إطار عمل مبتكر مصمم لضمان اكتمال الوسائط لكل من الاستعلامات والأهداف، بغض النظر عن توفر المدخلات.

البنية الهيكلية

بُني UniMoCo على نموذج لغة رؤية ولغة كبير (LVLM) كعمود فقري (مثل Phi-3.5V أو Qwen2-VL-7B) ويدمج ثلاثة مكونات رئيسية:

1. وحدة إكمال الوسائط (Modality-Completion Module): عندما تغيب الوسيط البصري (مثل المدخلات النصية فقط)، تقوم هذه الوحدة بتخليق تضمينات بصرية مباشرة من النص. وهي تستخدم نموذج لغة (Text-to-Image) مدمج لتوليد "رموز بصرية وهمية" (pseudo visual tokens).
2. مشفر الرؤية الإضافي (Supplementary Vision Encoder): لمعالجة الفجوة التوزيعية بين التضمينات البصرية الوهمية (المولدة من النص) والتضمينات البصرية الحقيقية (من الصور)، تمت إضافة مشفر رؤية مخصص. يضمن ذلك رسم الخرائط للرموز الوهمية في نفس مساحة السمات الخاصة برموز الصور الحقيقية.
3. استراتيجية الحشو (Padding Strategy): للحفاظ على الاتساق الهيكلي، تقوم الوحدة بدمج الرموز النصية مع رموز الحشو. يضمن ذلك أن طول المدخلات لوحدة الإكمال يطابق العدد الثابت من الرموز البصرية (على سبيل المثال، 576 رمزًا) التي ينتجها مشفر الرؤية الأساسي للصور الحقيقية، مما يمنع تباين الأطوال الذي يعيق مطابقة التشابه.

استراتيجية التدريب

يستخدم UniMoCo استراتيجية تدريب متخصصة تجمع بين وظيفتي خسارة متكاملتين لتوحيد مساحة التضمين:

1. خسارة التباين ($L_1$): خسارة InfoNCE القياسية التي تجذب أزواج (الاستعلام-الهدف) المتطابقة لتقترب من بعضها البعض وتدفع الأزواج غير المتطابقة بعيدًا في مساحة التضمين.
2. الخسارة المساعدة ($L_2$): خسارة الإنتروبيا المتقاطعة (cross-entropy) المصممة لسد الفجوة بين المدخلات كاملة الوسائط والمدخلات ناقصة الوسائط. بالنسبة لمدخل يحتوي على كل من الصورة والنص، يقوم النموذج بإنشاء نسخة "وهمية" عبر إزالة الصورة وتوليد رموز بصرية وهمية. تعمل $L_2$ على تقليل الإنتروبيا المتقاطعة بين تضمين المدخل الأصلي ونظيره المكتمل الوسائط، مما يجبر النموذج على تعلم تمثيلات ثابتة الوسائط، مما يضمن أن المدخل الذي يحتوي على صورة حقيقية والمدخل نفسه مع الصورة الوهمية المصنعة ينتجان تضمينات متسقة.

الهدف الإجمالي هو $L = L_1 + \alpha L_2$، حيث توازن $\alpha$ بين القدرة التمييزية للتعلم التبايني والاتساق الذي تفرضه الخسارة المساعدة.

المساهمات الرئيسية

1. إكمال الوسائط الموحد: قدم المؤلفون بنية خفيفة الوزن تقوم بتخليق السمات البصرية المفقودة من النص، مما يضمن بقاء التمثيلات متعددة الوسائط كاملة حتى عند غياب المدخلات البصرية.
2. استراتيجية تدريب متينة: طوروا إطار عمل تدريبي يجمع بين التعلم التبايني والخسائر المساعدة لتعظيم إمكانات وحدة إكمال الوسائط، مما يضمن محاذاة متسقة عبر مختلف تركيبات الوسائط.
3. تخفيف التحيز: حدد البحث وكمّم التحيز المتأصل في النهج التقليدية الناتج عن عدم توازن بيانات التدريب. وقد ثبت أن UniMoCo يخفف هذا التحيز بفعالية، مما يقدم أداءً قويًا عبر جميع تركيبات الوسائط وليس فقط التركيبات المهيمنة.

النتائج التجريبية

قيم المؤلفون UniMoCo باستخدام MMEB (المعيار الضخم للتمثيل متعدد الوسائط)، والذي يغطي التصنيف، والاسترجاع، والإجابة على الأسئلة البصرية (VQA)، والبحث البصري عبر مجموعات البيانات داخل التوزيع (IND) وخارج التوزيع (OOD).

• الأداء: يتفوق UniMoCo على النماذج المرجعية الحالية، بما في ذلك CLIP وOpenCLIP وBLIP2 وSigLIP، ونموذج VLM2VEC القوي القائم على LVLM. حقق متغير UniMoCo القائم على Qwen2-VL-7B أفضل درجة إجمالية بلغت 63.2، مع تحسينات كبيرة في إعدادات OOD (58.4) مقارنة بـ VLM2VEC (52.0).
• متانة الوسائط: في المهام التي تتضمن وسائط مفقودة (مثل $(T, T+I)$ أو $(T+I, T)$)، يُظهر UniMoCo اتساقًا فائقًا. بينما يؤدي VLM2VEC أداءً جيدًا في تركيبات التدريب المهيمنة، إلا أن أداءه ينخفض بشكل كبير في التركيبات النادرة. يحافظ UniMoCo على أداء عالٍ عبر جميع التركيبات، مما يحيد تحيز الوسائط بفعالية.
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة آلية الحشو أو مشفر الرؤية الإضافي إلى تدهور الأداء، مما يؤكد ضرورتها للمحاذاة الهيكلية والتوزيعية.
  • أدت أحجام نماذج T2I الأكبر (مثل 7B مقابل 0.5B) باستمرار إلى تحسين جودة التضمين، مما يتماشى مع قوانين القياس (scaling laws).
  • تم تحديد وزن الخسارة المساعدة ($\alpha$) عند 0.2 كأفضل توازن، مما يحسن الأداء دون تحويل هدف التدريب الأساسي بعيدًا عن تعلم التضمين التمييزي.
• الكفاءة: بينما يتسبب التدريب في زيادة زمن الاستجابة بنسبة ~35% وارتفاع ذروة الذاكرة بنسبة 20% بسبب الخسارة المساعدة، فإن عبء الاستدلال ضئيل (8% في زمن الاستجابة، 10% في الذاكرة)، مما يجعل المقايضة مقبولة مقابل مكاسب الأداء.

الأهمية والادعاءات

يزعم البحث أن UniMoCo يمثل خطوة مهمة للأمام في جعل التضمينات متعددة الوسائط متينة تجاه عيوب البيانات في العالم الحقيقي. من خلال المعالجة المنهجية لـ تحيز تركيبات الوسائط المتأصل في توزيعات بيانات التدريب، يضمن UniMoCo عدم تدهور النماذج عند مواجهة وسائط ناقصة أو غير ممثلة.

يؤكد المؤلفون أن نهجهم لا يعتمد على نماذج الانتشار التوليدية (generative diffusion models) المعقدة لتخليق الصور، والتي يمكن أن تكون مكلفة حوسبيًا وغير متوافقة مع مهام التضمين. بدلاً من ذلك، يقترحون ابتكارًا هيكليًا ضمن إطار عمل LVLM يقوم بتخليق التضمينات مباشرة، مما يضمن التماسك الوظيفي والمحاذاة. يشير العمل إلى أن الأنظمة المستقبلية متعددة الوسائط يجب أن تأخذ اكتمال الوسائط ليس فقط كتقنية لتعزيز البيانات، بل كمتطلب هيكلي أساسي للمتانة.

يخلص البحث إلى أنه بينما يعالج UniMoCo تحيز الوسائط بفعالية، يمكن للعمل المستقبلي استكشاف دمج هذه الابتكارات الهيكلية مع مناهج أخرى مثل تعزيز بيانات التدريب أو تحسين التعلم التبايني لتعزيز تعلم التمثيل متعدد الوسائط.