ملخص تقني: القدرة التعبيرية في التعلم التبايني متعدد الوسائط

بيان المشكلة

أصبح التعلم التبايني (Contrastive Learning)، وتحديداً بنية CLIP، تقنية أساسية لتعلم التمثيلات المشتركة عبر الوسائط المختلفة (مثل النصوص والصور). ورغم نجاحها التجريبي، إلا أن الحدود النظرية لـ قدرتها التعبيرية (Expressivity) — وتحديداً قدرتها على تقريب توزيعات الاحتمال المشتركة التعسفية لعدة وسائط — لا تزال غير مفهومة بشكل كافٍ.

غالباً ما تركز الأدبيات الحالية على حدود المعلومات المتبادلة (مثل تعظيم المعلومات المتبادلة) أو أداء المهام اللاحقة. ومع ذلك، فإن هذه التحليلات تفترض غالباً أن المعلمة (Parameterization) المختارة قادرة على تمثيل العلاقة المستهدفة. تعالج هذه الورقة فجوة تأسيسية: هل المعلمة التباينية نفسها تعبيرية بما يكفي لتقريب التوزيع المشترك بشكل عالمي، أم أنها تقتصر على تقريب توزيعات شرطية معينة فقط؟

يتبنى المؤلفون وجهة نظر تقدير الكثافة على مستوى المجتمع. بدلاً من تحليل تقدير العينات المحدودة أو ديناميكيات التحسين، يعاملون البيانات كإجراء احتمالي مشترك معروف $\mu$ ويتساءلون عما إذا كانت بنية تباينية معينة يمكنها تقريب $\mu$ بشكل جيد عبر تعلم "دالة إمالة" (Tilting Function) $\Phi$ تقوم بتعديل حاصل ضرب الهوامش $\mu_P$ لمطابقة $\mu$. مقياس القدرة التعبيرية هو الحد الأدنى (Infimum) لتباعد كولباك - ليبلر (KL divergence) $D_{KL}(\mu \parallel \mu_a)$ عبر فضاء المعلمات.

المنهجية

تؤطر الورقة التعلم التبايني كعملية تعلم دالة إمالة $\Phi$ بحيث يتم تعريف الإجراء التقريبي كـ:
$$\frac{d\mu_a}{d\mu_P}(x) = \frac{1}{Z} \exp(\Phi_a(x))$$
حيث $\Phi$ هي نسبة الكثافة اللوغاريتمية (دالة الإمالة) للتوزيع المشترك الحقيقي بالنسبة لضرب الهوامش.

يضع المؤلفون تسلسلاً هرمياً للنتائج النظرية:

1. التسلسل الهرمي للخسارة: يثبتون أن تقليل تباعد KL المشترك $D_{KL}(\mu \parallel \mu_a)$ يمثل حداً علوياً صارماً للخسائر الشرطية (سواء الشرطية الكاملة أو الشرطية الزوجية) المستخدمة في التعلم التبايني العملي. وبالتالي، إذا لم تستطع البنية تقريب التوزيع المشترك، فلن تستطيع تقليل تباعد KL المشترك إلى الصفر، حتى لو قللت الخسائر الشرطية.
2. التقريب من الدالة إلى الإجراء: يوضحون أنه إذا كانت عائلة الدوال البارامترية يمكنها تقريب دوال الإمالة المستمرة بشكل موحد (Universal Approximation in $C_0$)، فإن عائلة الإجراءات المستحثة يمكنها تقريب التوزيع المشترك الحقيقي في تباعد KL.
3. تحليل البنية: يطبق المؤلفون هذه النظريات العامة على بنيات محددة:
   • Bimodal CLIP ($m=2$): بنية البرجين (Two-tower) القياسية باستخدام التقييم بالضرب الداخلي.
   • Sum-of-Pairs CLIP ($m \ge 3$): الامتداد الشائع لعدد أكبر من الوسائط حيث يكون التقييم هو مجموع جميع الضربات الداخلية الزوجية.
   • Hadamard-CLIP (H-CLIP): تعديل مقترح يضيف متجهاً وزنيّاً قابلاً للتعلم إلى حاصل الضرب العنصري (Hadamard product) لمخرجات المشفرات.

المساهمات والنتائج الرئيسية

1. Bimodal CLIP هو مقرب شامل (Universal Approximator)

بالنسبة لوسيطين ($m=2$)، تثبت الورقة أن بنية CLIP المكونة من برجين هي بقدر تعبير أي شبكة مشتركة عامة.

• النتيجة: عائلة الدوال المعرفة بـ $\Phi_{2\text{-clip}}(x_1, x_2) = \langle \bar{g}_1(x_1), \bar{g}_2(x_2) \rangle / \tau$ كثيفة في فضاء الدوال المستمرة.
• الاستنتاج: بشرط توفر السعة الكافية ودرجة حرارة $\tau$ قابلة للتعلم، يمكن لـ bimodal CLIP تقريب أي توزيع مشترك بشكل تعسفي. وهذا يوفر تبريراً نظرياً للنجاح التجريبي لـ CLIP في مهام النص والصورة.
• تنبيه: يشير المؤلفون إلى أن هذا لا يضمن تقليل الأبعاد؛ ففي بعض الحالات، قد يساوي البعد الكامن المطلوب للتقريب المثالي أو يتجاوز بعد المجال المشترك الأصلي.

2. Sum-of-Pairs CLIP يفشل عند $m \ge 3$

توضح الورقة أن تعميم CLIP المستخدم على نطاق واسع لثلاثة وسائط أو أكثر، والذي يجمع التشابهات الزوجية ($\Phi_{m\text{-clip}} = \sum_{i<j} \langle \bar{g}_i, \bar{g}_j \rangle$)، لا يمكنه تقريب التوزيعات المشتركة التعسفية عالمياً.

• النتيجة: بينما يمكن لهذه البنية تقريب جميع الشرطيات الزوجية ($x_i | x_j$) بشكل تعسفي، إلا أنها تفشل هيكلياً في التقاط التفاعلات عالية الرتبة (مثل التفاعلات الثلاثية $x_1 x_2 x_3$). وبناءً على ذلك، لا يمكنها تقريب التوزيع المشترك الكامل أو الشرطي الكامل ($x_i | x_{-i}$).
• الأهمية: يكشف هذا عن محدودية نظرية في الممارسات متعددة الوسائط الحالية: خسارة "مجموع الأزواج" (sum-of-pairs) غير كافية لنمذجة التبعيات المعقدة بين ثلاثة وسائط أو أكثر، رغم فائدتها التجريبية.

3. Hadamard-CLIP (H-CLIP) يستعيد التقريب الشامل

لمعالجة فشل نهج "مجموع الأزواج"، يقترح المؤلفون Hadamard-CLIP.

• البنية: تضيف هذه الطريقة متجهاً واحداً قابلاً للتعلم $\omega \in \mathbb{R}^{d_{Lat}}$ إلى حاصل الضرب العنصري لجميع مخرجات المشفرات:
  $$\Phi_{Had}(x_1, \dots, x_m) = \omega^\top (\bar{g}_1(x_1) \odot \dots \ \bar{g}_m(x_m))$$
• النتيجة: يثبت المؤلفون أن H-CLIP يستعيد التقريب الشامل لأي عدد من الوسائط $m$. يمكنه تقريب التوزيع المشترك الكامل بشكل تعسفي.
• الكفاءة: من المهم أن H-CLIP يحافظ على كفاءة الاستدلال (Inference-time efficiency) لـ CLIP القياسي. بخلاف الشبكة المشتركة العامة (التي تتطلب معالجة جميع الوسائط الخام في وقت واحد)، يسمح H-CLIP بـ التمثيلات القابلة للحساب مسبقاً. يمكن حساب حاصل الضرب الهادامارد لجميع الوسائط باستثناء الوسيط المستعلم عنه مسبقاً، مما يتيح استرجاعاً سريعاً عبر ضرب نقطي واحد، تماماً مثل CLIP القياسي.

الأهمية والادعاءات

تدعي الورقة أنها تقدم فهماً نظرياً تأسيسياً للقدرة التمثيلية لبنيات التعلم التبايني، مع عزل القدرة التعبيرية عن مشكلات تقدير العينات المحدودة والتحسين.

• الفجوة النظرية: تحدد فشلاً هيكلياً معيناً في الامتداد متعدد الوسائط القياسي لـ CLIP (sum-of-pairs) الذي يمنعه من نمذجة التوزيعات المشتركة التعسفية، وهي فجوة لم يتم توصيفها سابقاً في الأدبيات.
• التعديل الأدنى: تقترح H-CLIP كتعديل بسيط وسليم نظرياً يستعيد التقريب الشامل دون التضحية بالكفاءة الحسابية (التمثيلات القابلة للحساب مسبقاً) التي تجعل التعلم التبايني قابلاً للتوسع.
• النطاق: يصرح المؤلفون صراحة بأن نتائجهم محدودة بـ حد المجتمع (Infinite data). هم لا يدعون حل مشكلات التعميم في العينات المحدودة، أو تقارب التحسين، أو ضمانات أداء المهام اللاحقة المحددة، رغم إشارتهم إلى أن هذه المسارات الطبيعية للعمل المستقبلي.

باختصار، تجادل الورقة بأنه بينما يعد bimodal CLIP كافياً نظرياً للتقريب الشامل، فإن الامتدادات متعددة الوسائط الحالية ليست كذلك، وأن تعديلاً بسيطاً مستوحى من تفكيك الموتر (H-CLIP) مطلوب لتحقيق القدرة التعبيرية الكاملة مع الحفاظ على الكفاءة العملية.