ملخص تقني: تعلم التمثيل الذاتي متعدد الرؤى عبر الرؤى غير المتجانسة

بيان المشكلة

تتناول الورقة البحثية تحدي تعلم التمثيلات الثابتة من البيانات المرئية واسعة النطاق غير المصنفة باستخدام نهج نقل تعلم غير خاضع للإشراف بالكامل. تبرز مشكلة حرجة عندما يتم توليد ميزات لنفس العينة بواسطة نماذج مدربة مسبقًا مختلفة (مثل DINOv2 وCLIP). نظرًا للاختلافات في أهداف التدريب المسبق والبنى الهيكلية، تُظهر هذه الميزات توزيعات متباينة بطبيعتها وغير متجانسة. إن طرق التعلم التبايني التقليدية، التي تفترض عادةً أن الرؤى المعززة تشترك في توزيع أساسي واحد، ليست مناسبة مباشرة لهذه الرؤى غير المتجانسة. علاوة على ذلك، غالبًا ما تواجه طرق النقل غير الخاضعة للإشراف الحالية صعوبة في التقاط واستغلال المعلومات الدلالية التكميلية المحفوظة عبر عدة نماذج مدربة مسبقًا ومتميزة بشكل فعال.

المنهجية: تعلم التمثيل الذاتي متعدد الرؤى (MSRL)

يتعلم إطار عمل MSRL المقترح تمثيلات ثابتة عن طريق تكديس نماذج خطية فردية فوق هياكل خلفية (backbones) مدربة مسبقًا ومجمدة. تتكون البنية من ثلاث وحدات أساسية:

1. وحدة تعلم النقل (Transfer Learning Module): تستخدم نماذج متعددة مدربة مسبقًا ($\phi_l$) لاستخراج الميزات من الصور الخام، مما ينتج عنه بيانات متعددة الرؤى وغير متجانسة.
2. وحدة تعلم التمثيل الذاتي للميزات (FSRL Module):
   • الإسقاط الخطي (Linear Projection): يتم تطبيق نموذج خطي قابل للتدريب ($\sigma$) على مخرجات الهياكل الخلفية المجمدة لتوليد ميزات منخفضة الأبعاد.
   • آلية تمرير المعلومات (Information-Passing Mechanism): لتجميع الميزات، تستخدم الطريقة خاصية التمثيل الذاتي حيث يتم تمثيل كل ميزة كمزيج خطي من جيرانها المجاورين مكانيًا. تُستخدم آلية الانتباه (attention mechanism) لاختيار الجوارات بشكل تكيفي وحساب المعاملات ($a_{ij}$)، مع التركيز على الميزات الأكثر ارتباطًا خطيًا ضمن الفئة نفسها. يسمح هذا للنموذج بالتقاط البنية الهندسية للميزات دون الحاجة إلى توزيعات مشتركة.
3. وحدة اتساق توزيع احتمالية التعيين (APDC Module):
   • بناء الإجماع (Consensus Building): نظرًا لصعوبة المقارنة المباشرة للميزات بسبب عدم التجانس، تقوم الطريقة بمحاذاة توزيعات احتمالية التعيين (مخرجات softmax) التي تنتجها النماذج الخطية.
   • التعيين الدلالي الكامن (Latent Semantic Assignment): يتم حساب توزيع إجماع ($\rho_\theta$) كمتوسط لاحتمالات التعيين من جميع الرؤى $L$.
   • دوال الخسارة (Loss Functions): يتم توجيه عملية التحسين عبر ثلاث خسائر تكميلية:
     • خسارة الملصق الزائف الدلالي ($L_s$): تقلل من الإنتروبيا المتقاطعة بين تعيين العنقود المتوقع (المستمد من الإجماع) وتعيين الرؤية الفردية.
     • خسارة تنوع العناقيد ($L_a$): حد تنظيم يمنع سقوط جميع العينات في عنقود واحد.
     • خسارة الاتساق عبر الرؤى ($L_c$): تقلل من التباين (الإنتروبيا المتقاطعة) بين توزيعات احتمالية التعيين للرؤى المختلفة، مما يجبرها على التقارب نحو الإجماع.

دالة الهدف الإجمالية هي $L = L_s + \alpha L_a + \beta L_c$، ويتم تحسينها عبر التدرج المعتمد على الدفعات الصغيرة (mini-batch gradient descent) ذي الزخم التكيفي مع إبقاء الهياكل الخلفية المدربة مسبقًا مجمدة.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. نموذج MSRL: تقديم طريقة لتعلم تمثيلات ثابتة من البيانات المرئية واسعة النطاق عبر رؤى غير متجانسة بطريقة نقل تعلم غير خاضعة للإشراف بالكامل.
2. آلية تمرير المعلومات: تطوير آلية تجمع معلومات الميزات بشكل تكيفي. فهي تختار الميزات الأكثر ارتباطًا خطيًا ضمن الفئة نفسها لإنتاج تمثيلات متجهية منخفضة الأبعاد، مما يعالج بفعالية البنية الهندسية للميزات غير المتجانسة.
3. مخطط اتساق توزيع احتمالية التعيين: مخطط مبتكر لتعلم التمثيل الذاتي متعدد الرؤى يستغل المعلومات التكميلية عبر الرؤى. من خلال فرض الاتساق في احتمالات التعيين بدلاً من الميزات الخام، فإنه يتعلم بفعالية تمثيلات ثابتة.
4. التحليل النظري: تقدم الورقة مبررات نظرية لآلية تمرير المعلومات (عبر محاذاة الجوار الضعيفة)، والطبيعة المحدودة لاتساق تعدد الرؤى، وخصائص التقارب للرؤى المتزايدة (مما يوضح أن إضافة الرؤى يعمل على استقرار توزيع الإجماع وتقليل الإنتروبيا).

النتائج التجريبية

أُجريت تجارب مكثفة على ثماني مجموعات بيانات مرئية مرجعية (Pets, GTSRB, DTD, Aircraft, Flowers, CIFAR-10, CIFAR-100, و ImageNet-100) باستخدام DINOv2 و CLIP ViT-L/14 كهياكل خلفية.

• الأداء: تفوق MSRL باستمرار على الأساليب الرائدة (state-of-the-art)، بما في ذلك SCMVC و CMVC و SparseMVC و HSACC و TURTLE، عبر جميع مجموعات البيانات. على سبيل المثال، في CIFAR-100 و ImageNet، حقق MSRl دقة عنقودية (ACC) بلغت 91.00% و 73.24% على التوالي، متفوقًا على أفضل الطرق الأخرى بفوارق كبيرة (على الأقل 1.9% و 3.14%).
• مقارنة التعلم الصفري (Zero-Shot): تفوق MSRL على نقل CLIP الصفري (zero-shot transfer) و LaFTer في معظم مجموعات البيانات، مما أظهر متانة حتى بدون إشراف دلالي صريح على مستوى الفئة.
• الكفاءة: أظهر MSRL أوقات تدريب أسرع مقار بـ TURTLE وتفوق بشكل كبير على SparseMVC، ويعزى ذلك إلى كفاءة تعلم النقل غير الخاضع للإشراف على الهياكل الخلفية المجمدة.
• دراسات الاستئصال (Ablation Studies):
  • أدى حذف خسارة الاتساق عبر الرؤى ($L_c$) إلى تدهور الأداء، مما أكد ضرورتها لفرض الثبات.
  • أظهر تحليل الحساسية استقرار الأداء بالنسبة للمعامل $\alpha$ ضمن النطاق من 1.0 إلى 10.0.
  • الرؤى المتزايدة: أظهرت التجارب بإضافة المزيد من النماذج المدربة مسبقًا أنه بينما تؤدي إضافة الرؤى عمومًا إلى تحسين الأداء، فإن جودة الرؤية المضافة أمر بالغ الأهمية. إذ يمكن أن يؤثر تضمين نماذج أقل جودة (مثل ViT-B/32) سلبًا على الأداء، مما يشير إلى أن ليس كل رؤية إضافية تكون مفيدة.

الأهمية والادعاءات

تزعم الورقة أن طريقة MSRL تنجح في سد الفجوة في تعلم التمثيلات الثابتة من الرؤى غير المتجانسة دون الحاجة إلى تصنيفات يدوية أو ضبط دقيق (fine-tuning) للهيكل الخلفي بأكمله. تكمن أهميتها في:

• التعامل مع عدم التجانس: على عكس طرق تعدد الرؤى التقليدية التي تفترض مساحات ميزات متجانسة، يعالج MSRL صراحةً الاختلافات التوزيعية بين النماذج المختلفة المدربة مسبقًا من خلال العمل على احتمالات التعيين.
• المعلومات التكميلية: يعمل إطار العمل بفعالية على استغلال المعرفة الدلالية التكميلية عبر الرؤى المختلفة، وهو أمر بالغ الأهمية للبيانات المرئية واسعة النطاق.
• التأسيس النظري: يوفر العمل أساسًا نظريًا لسبب عمل توزيع الإجماع كجاذب مستقر وكيفية تقليل الإنتروبيا مع إضافة المزيد من الرؤى بشكل تدريجي، مما يقدم نهجًا مبدئيًا لتمثيل الذاتي متعدد الرؤى.
• أداء رائد (State-of-the-Art): يضع الأسلوب معايير جديدة لتعلم النقل غير الخاضع للإشراف على مجموعات البيانات المرئية القياسية، متفوقًا على أساليب التجميع والتباين الحالية.