Image Hashing via Cross-View Code Alignment in the Age of Foundation Models

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Image Hashing via Cross-View Code Alignment in the Age of Foundation Models" (تشفير الصور عبر محاذاة الرموز بين الرؤى في عصر النماذج التأسيسية).

1. بيان المشكلة

أحدث صعود النماذج التأسيسية (مثل DINOv2 وCLIP) ثورة في تعلم التمثيلات، حيث وفرت تضمينات (embeddings) غنية وعالية الأبعاد لمهام مثل استرجاع الصور. ومع ذلك، تفرض هذه التضمينات تحديين رئيسيين للتطبيقات واسعة النطاق:

1. التكلفة الحسابية: البحث عن أقرب الجيران (nearest-neighbor search) في المساحات عالية الأبعاد مكلف حسابياً ويستهلك الكثير من الذاكرة.
2. عدم كفاءة طرق التشفير الحالية: تعتمد طرق التشفير التقليدية غالباً على مسارات عمل معقدة متعددة المراحل، أو أهداف متعددة الحدود، أو تصميمات متخصصة لكل من التعلم الخاضع للإشراف وغير الخاضع للإشراف. وهي تعاني تكراراً من بطء التقارب، وانهيار الرموز (حيث تنهار الرموز الثنائية إلى حلول ذات تباين منخفض)، والافتقار إلى التوحيد بين نماذج التعلم.

السؤال الجوهري الذي تعالجه الورقة هو: هل يمكن لإطار عمل واحد بسيط توحيد التشفير غير الخاضع للإشراف والخاضع للإشراف عبر الاستفادة بكفاءة من تضمينات النماذج التأسيسية؟

2. المنهجية: CroVCA و HashCoder

يقترح المؤلفون CroVCA (محاذاة الرموز عبر الرؤى)، وهو إطار عمل موحد، و HashCoder، وهو بنية شبكة خفيفة الوزن لتنفيذ هذا الإطار.

أ. المبدأ الأساسي: محاذاة الرموز عبر الرؤى (Cross-View Code Alignment)

تتعلم الطريقة رموزاً ثنائية تظل متسقة عبر "رؤى متوافقة دلالياً".

• في الإعداد غير الخاضع للإشراف: يتم توليد الرؤى عبر عمليات تعزيز البيانات (data augmentations) لنفس الصورة.
• في الإعداد الخاضع للإشراف: يتم توليد الرؤى عبر ربط صورة مع نموذج أولي (prototype) ممثل للفئة (أو متوسط الدفعة/batch mean) لنفس الفئة.
• الهدف: الهدف هو تعظيم المعلومات المتبادلة (mutual information) بين الرموز الثنائية للرؤى المقترنة. وينقسم هذا إلى مطلبين:
  1. المحاذاة (Alignment): يجب أن تمتلك الرؤى المقترنة رموزاً متشابهة (مسافة هامينج منخفضة).
  2. التنوع (Diversity): يجب أن تستخدم الرموز كامل مساحة هامينج (إنتروبيا عالية) لتجنب الانهيار.

ب. بنية HashCoder

HashCoder هو شبكة MLP خفيفة الوزن مصممة لخرائط تضمينات النماذج التأسيسية إلى رموز ثنائية.

• الهيكل: يأخذ ميزات من مشفر مجمد (frozen) أو معدل باستخدام LoRA، ويخرج لوجيتات (logits) لكل بت.
• المكون الرئيسي: يتم تطبيق طبقة تسوية الدفعات (BatchNorm) نهائية قبل تفعيل Sigmoid. وهذا يفرض ضمناً استخداماً متوازناً للبتات (لمنع البتات من أن تكون جميعها 0 أو جميعها 1).
• ديناميكيات التدريب:
  • يعمل أحد الفروع كـ معلم (Teacher) (رمز ثنائي صلب، يتم إيقاف التدرجات فيه).
  • يعمل الفرع الآخر كـ طالب (Student) (احتمالات ناعمة).
  • يتم تبديل الأدوار بشكل متماثل لتوفير إشراف منفصل دون الحاجة إلى مقدرات المرور المباشر (Straight-Through Estimators - STE).

ج. دالة الخسارة (Loss Function)

تجمع خسارة التشفير الكلية $\mathcal{L}_{hash}$ بين المحاذاة والتنوع:
$$\mathcal{L}_{hash} = \mathcal{L}_{align} + \lambda \mathcal{L}_{div}$$

1. خسارة المحاذاة ($\mathcal{L}_{align}$):

   • مشتقة من تقليل الإنتروبيا الشرطية $H(Y^{(1)} | Y^{(2)})$.
   • تُنفذ كـ خسارة التقاطع الثنائي (BCE) بين الرمز الصلب للمعلم والاحتمالات الناعمة للطالب.
   • تعمل كبديل قابل للتطبيق لتعظيم المعلومات المتبادلة.

2. خسارة التنوع ($\mathcal{L}_{div}$):

   • مشتقة من تعظيم الإنتروبيا الهامشية $H(Y)$ لمنع الانهيار.
   • تُنفذ عبر تعظيم معدل الترميز (Coding Rate Maximization) (مستوحاة من MCR - Maximum Coding Rate).
   • تقوم بتعظيم المحدد (log-determinant) لمصفوفة التغاير (covariance matrix) للوجيتات ما قبل العتبة. هذا يشجع المتجهات على الانتشار على طول اتجاهات مستقلة، مما يضمن بتات متوازنة وغير مترابطة.

3. المساهمات الرئيسية

1. إطار عمل موحد (CroVCA): دالة هدف واحدة تتعامل بسلاسة مع كل من التشفير الخاضع للإشراف وغير الخاضع للإشراف، مما يلغي الحاجة إلى تصميمات خاصة بكل نموذج.
2. HashCoder: شبكة MLP خفيفة الوزن مع طبقة BatchNorm تضمن استخداماً متوازناً للبتات دون قيود معقدة. وهي تدعم كلاً من الاستقصاء (probing) (على المشفرات المجمدة) و ضبط LoRA.
3. الكفاءة: تحقق الطريقة نتائج رائدة (SOTA) مع حد أدنى من وقت التدريب (فقط 5 دورات تدريبية/epochs) وتكلفة حسابية منخفضة.
4. القابلية للنقل (Transferability): أثبتت التجربة أن HashCoder المدرب على مجموعة بيانات كبيرة (ImageNet-1k) يمكنه الانتقال بفعالية إلى مهام لاحقة دون إعادة تدريب العمود الفقري (backbone).

4. النتائج التجريبية

تم تقييم الطريقة على معايير قياسية (COCO, ImageNet100, ImageNet-1k, CIFAR10، إلخ) مقابل الطرق الرائدة (SOTA).

• الأداء:

  • غير الخاضع للإشراف: حققت نتائج رائدة (SOTA) في COCO و ImageNet100. على سبيل المثال، في COCO، وصلت إلى درجات mAP عالية في أقل من دقيقتين من التدريب على وحدة معالجة رسوميات (GPU) واحدة.
  • الخاضع للإشراف: تفوقت على طرق التشفير الخاضعة للإشراف الرائدة (مثل OrthoHash و FPPQ) في ImageNet100 وحققت نتائج تنافسية في ImageNet-1k، رغم استخدام 5 دورات تدريبية فقط مقارنة بـ 90-100 دورة للمنافسين.
  • طول البت (Bit Length): أدت أداءً استثنائياً حتى عند 16 بت، حيث حافظت على البنية الدلالية في الحالات التي تفشل فيها الطرق الأخرى.

• دراسات الاستئصال (Ablation Studies):

  • أدى إزالة طبقة BatchNorm إلى تدهور الأداء.
  • أدت إزالة منظم معدل الترميز (Coding Rate) إلى انهيار التمثيل (representation collapse) (انخفض الأداء بشكل حاد، مثلاً: -90% mAP في ImageNet100)، مما يثبت ضرورته.

• التحليل النوعي:

  • أظهرت تصورات (t-SNE) أن رموز الـ 16 بت تحافظ على تجمعات الفئات (class clusters) بفعالية.
    cor * أظهر استرجاع أقرب الجيران أن CroVCA يسترجع صوراً متنوعة دلالياً (مثل وضعيات مختلفة لحيوان الزيبرا) بدلاً من مجرد صور متطابقة بصرياً، متفوقاً بذلك على نماذج PCA الأساسية.

• تعلم النقل (Transfer Learning):

  • انتقلت نماذج HashCoder المدربة على ImageNet-1k بنجاح إلى مجموعات بيانات أصغر (COCO, Flickr25K) مع انخفاض طفيف في الأداء، مما يؤكد قابلية تعميم الرموز المتعلمة.

5. الأهمية والأثر

• البساواة مقابل التعقيد: تتحدى الورقة التوجه نحو مسارات عمل التشفير الأكثر تعقيداً. فهي تثبت أن مبدأ محاذاة بسيط مدمج مع منظم معدل الترميز كافٍ لتحقيق أداء رائد.
• تكييف النماذج التأسيسية: توفر مساراً عالي الكفاءة لتكييف النماذج التأسيسية القوية مع البيئات محدودة الموارد (مثل أجهزة الحافة/edge devices، وقواعد البيانات واسعة النطاق) عبر ضغطها في رموز ثنائية مدمجة.
• السرعة والقابلية للتوسع: القدرة على التدريب في دقائق على وحدة معالجة رسوميات واحدة تجعل هذا النهج عملياً للغاية للاستخدام في العالم الحقيقي، مما يقلل بشكل كبير من حواجز الدخول لأنظمة استرجاع الصور عالية الأداء.
• المتانة: أثبتت الطريقة متانتها حتى عند مستويات ضغط قصوى (16 بت)، مع الحفاظ على الأمانة الدلالية التي تضيع غالباً في الطرق التقليدية.

في الختام، يقدم CroVCA تحولاً جذرياً في مجال التشفير عبر توحيد أهداف التعلم والاستفادة من الثراء الدلالي للنماذج التأسيسية من خلال آلية محاذاة بسيطة، فعالة، وذات تأثير عالٍ.