Multimodal Representation Learning Conditioned on Semantic Relations

ملخص تقني: تعلم التمثيل متعدد الوسائط المشروط بالعلاقات الدلالية

بيان المشكلة
يعتمد تعلم التمثيل متعدد الوسائط الحالي، والذي تهيمن عليه النماذج التباينية مثل CLIP، عادةً على توليد تمثيل (embedding) واحد غير مرتبط بعلاقة لكل عينة. وبينما يعد هذا النهج فعالاً للمهام العامة، إلا أنه يفترض أن صلة العينة ثابتة عبر جميع السياقات. ومع ذلك، في التطبيقات الواقعية (مثل توصيات التجارة الإلكترونية أو استرجاع المعلومات)، تكون الصلة بين عينتين مرتبطة بالعلاقة بطبيعتها. فالعلاقات الدلالية المختلفة تبرز جوانب مختلفة من البيانات متعددة الوسائط؛ فعلى سبيل المثال، قد تشترك وسادة الرضاعة في وسيلة التعقيم في قلة التشابه البصري أو النصي، لكنهما مرتبطان ارتباطاً وثيقاً تحت العلاقة الدلالية لـ "اهتمامات تغذية الرضع". وتتعامل الطرق الحالية إما مع العلاقات كتحسينات ضمنية للمطالبات (prompt modifications) (مما يؤدي إلى تباينات غير منضبطة) أو تعتمد على رؤوس مهام محددة تفتقر إلى قابلية إعادة الاستخدام. هناك نقص في الأطر التي تعامل العلاقات الدلالية كـ شروط صريحة لعملية تعلم التمثيل نفسها.

المنهجية: تعلم متعدد الوسائط مشروط بالعلاقة (Rcml)
يقترح المؤلفون إطار عمل Rcml، الذي يدمج العلاقات الدلالية مباشرة في عملية تعلم التمثيل. تتكون المنهجية من ثلاثة مكونات أساسية:

1. التعلم التبايني المشروط بالعلاقة:
   على عكس التعلم التبايني القياسي الذي يربط فقط أزواج الصور والنصوص المتطابقة (الأقطار الموجبة)، يتيح Rcml الارتباط من كثير إلى كثير عبر العينات بناءً على العلاقات الدلالية. يحدد إطار العمل فقداناً تباينياً موحداً يعمل على تحسين ما يلي بشكل مشترك:

• الارتباط عبر الوسائط: ربط التمثيلات النصية والصورية تحت نفس العلاقة.
• التماسك داخل الوسيط الواحد: ضمان الاتساق بين العينات المرتبطة بنفس العلاقة ضمن وسيط واحد (نص-نص أو صورة-صورة).
  تُعرف دالة الفقد على أنها:
  $$\mathcal{L} = \frac{1}{2}(\mathcal{L}_{txt-img} + \mathcal{L}_{img-txt}) + \lambda(\mathcal{L}_{txt-txt} + \mathcal{L}_{img-img})$$
  حيث يتم تعريف الأزواج الموجبة بواسطة العلاقة الدلالية المحددة $e_{ij}$ بدلاً من الهوية العالمية.

2. بناء الأزواج المشروط بالعلاقة:
   يبني إطار العمل أزواج التدريب بناءً على نوعين من العلاقات:

• علاقات داخل العينة: ربط النص والصورة لنفس العينة.
• علاقات بين العينات: تُبنى من سلوك المستخدم (مثل سجلات الشراء المشترك أو القراءة المشتركة). يتم تجميع المستخدمين بناءً على أنماط التفاعل، والمنتجات التي يستهلكها المستخدمون بكثرة ضمن مجموعة معينة يتم ربطها. تُسند لهذه الروابط أوصاف باللغة الطبيعية (مثل "تم شراؤه بشكل مشترك من قبل مستخدمين ذوي تفضيلات [خاصة بالمجموعة]") والتي تعمل كإشارة شرطية.

3. وحدة التمثيل المشروطة بالعلاقة:
   باستخدام نموذج CLIP كخلفية، يقدم Rcml وحدة تعمل على تكييف التمثيلات لتناسب سياقات دلالية محددة. بدلاً من التجميع العالمي الثابت، يستخدم النموذج آلية انتباه موجهة بالعلاقة.

• يتم ترميز وصف العلاقة الدلالية $e_{ij}$ إلى تمثيل عالمي $h^E_{ij}$.
• يقوم هذا التمثيل بتوجيه آلية الانتباه لتجميع التمثيلات على مستوى الرموز ($H^i_x$) إلى تمثيل مشروط بالعلاقة $z^i_x(e_{ij})$.
• يكون وزن الانتباه عبارة عن توازن بين الانتباه السياقي المدرك للعلاقة (المدفوع بـ $h^E_{ij}$) والارتباط غير الموجه (الذي يحافظ على الاتساق العالمي عبر رموز خاصة مثل [CLS] أو [EOT]). ويتحكم معامل $\beta$ في هذا التوازن.

المساهمات الرئيسية

1. إطار عمل Rcml: تقديم إطار عمل لتعلم التمثيل متعدد الوسائط حيث تعمل العلاقات الدلالية كشروط صريحة، متجاوزة بذلك التمثيلات الأحادية غير المرتبطة بعلاقة نحو عائلة من التمثيلات المعتمدة على السياق.
2. التعلم التبايني من كثير إلى كثير: توسيع التعلم التبايني ليتجاوز أزواج الصور والنصوص المعزولة لنمذجة التبعيات المعقدة بين العينات تحت العلاقات الدلالية.
3. التحقق التجريبي: إثبات التحسن المستمر لـ Rcml على النماذج المرجعية القوية (CLIP, DeCLIP, UniCL, SigLIP, ImageBind) في مهام الاسترجاع والتصنيف عبر مجموعات بيانات وإعدادات متعددة (zero-shot، ضبط دقيق، وخارج النطاق).

النتائج التجريبية
قيم المؤلفون Rcml على مجموعة بيانات Amazon Product (عبر 7 مجالات: الإلكترونيات، السيارات، المكتب، الأطفال، الحيوانات الأليفة، الموسيقى، الرياضة) ومجموعة بيانات Goodreads.

• استرجاع مشروط بالعلاقة: تفوق Rcml بشكل كبير على جميع النماذج المرجعية، محققاً أفضل نتائج Hit@5 في 36 من أصل 40 مقياساً. وقد حسن إجمالي Hit@5 بنسبة تقارب 30.79% مقارنة بنموذج CLIP القياسي. ومن الجدير بالذكر أنه تعمم بشكل جيد على مجموعة بيانات Goodreads خارج النطاق.
• التنبؤ بنوع العلاقة: حقق النموذج دقة عالية في Top-3 للتنبؤ بالعلاقة الدلالية التي تربط زوجاً من المنتجات، متجاوزاً النماذج العشوائية بفارق كبير (30% في Amazon، و37.5% في Goodreads).
• التنبؤ بصحة العلاقة: في مهمة تصنيف ثنائية خاضعة للإشراف، أظهر Rcml متانة وأداءً فائقاً في التحقق من حالات علاقات محددة مقارنة بالنماذج التي تفتقر إلى آليات صريحة مدركة للعلاقة.
• الكفاءة: رغم حساب التمثيلات المشروطة بالعلاقة، ظل Rcml فعالاً (14.32 مللي ثانية/عينة) مع عدد معاملات (152.33 مليون) مماثل لـ CLIP، متفوقاً بشكل كبير على نموذج ImageBind الأكبر بكثير (1200 مليون+ معامل) والذي لا يزال أداؤه أقل في معظم المهام.
• دراسات الاستئصال (Ablation Studies): أدى حذف العلاقات بين العينات إلى أكبر انخفاض في الأداء (38.68%)، مما يؤكد ضرورة التعلم من كثير إلى كثير. كما أدى حذف النص الدلالي للعلاقات إلى انخفاض ملحوظ (11.60%)، مما يسلط الضوء على قيمة التوجيه السياقي.

الأهمية والادعاءات
يزعم البحث أن Rcml يوفر إطار عمل عاماً وقابلاً للتوسع لـ تعلم التمثيل متعدد الوسائط المدرك للعلاقات. ومن خلال معاملة العلاقات الدلالية كشروط صريحة بدلاً من إشارات مساعدة، يتعلم إطار العمل مساحات تمثيل (embeddings) أكثر هيكلية ومرونة، حيث ينظم العينات وفقاً للسياق العلاقي المحدد الذي تُقارن فيه. ويؤكد المؤلفون أن هذا النهج يلتقط الارتباطات الوظيفية والمدفوعة بالنية التي تغفلها نماذج التشابه السطحي، مما يقدم حلاً أكثر فعالية للمهام النهائية حيث تكون الصلة معتمدة على السياق. ويشير العمل إلى أن الأنظمة المستقبلية متعددة الوسائط يجب أن تتجاوز نماذج التمثيل الثابتة والأحادية نحو تمثيلات ديناميكية مشروطة بالعلاقة.