ملخص تقني: CLIP-Joint-Detect

بيان المشكلة

تعتمد كواشف الكائنات التقليدية، سواء كانت ثنائية المراحل (مثل Faster R-CNN) أو أحادية المرحلة (مثل YOLO)، بشكل كبير على التصنيف باستخدام الإنتروبيا المتقاطعة الفئوية (categorical cross-entropy). ورغم فعالية هذا النهج في مجموعات البيانات القياسية ذات المفردات المغلقة، إلا أنه عرضة لعدم توازن الفئات، والضجيج في التسميات، والتباينات الطفقة داخل الفئة الواحدة. تعيق هذه القيود الأداء في مجموعات البيانات الصعبة، لا سيما بالنسبة للكائنات الصغيرة، أو المحجوبة، أو تلك التي تتبع توزيع "الذيل الطويل" (long-tail). وعلى الرغم من أن التدريب المسبق للصور والنصوص التبايني (CLIP) قد أظهر محاذاة دلالية قوية بين الرؤية والنص، إلا أن الأبحاث السابقة في مجال الكشف ركزت بشكل أساسي على استخدام CLIP في الكشف مفتوح المفردات أو الكشف بدون تدريب مسبق (zero-shot). أما استخدام إشراف بأسلوب CLIP لتحسين أداء الكشف في "المجموعات المغلقة" (closed-set) من خلال التدريب المشترك المباشر والكامل (end-to-end)، فما زال غير مستكشف إلى حد كبير.

المنهجية: CLIP-Joint-Detect

يقترح المؤلفون إطار عمل CLIP-Joint-Detect، وهو إطار عمل مستقل عن نوع الكاشف (detector-agnostic)، يدمج الإشراف على محاذاة الرؤية والنصوص بأسلوب CLIP مباشرة في كواشف الكائنات القياسية عبر التدريب المشترك الكامل.

البنية الأساسية

يربط الأسلوب فرعًا موازيًا خفيف الوزن بميزات المنطقة (للمراحل الثنائية) أو ميزات الشبكة (للمراحل الأحادية) ($f_i$) الناتجة عن العمود الفقري (backbone) للكاشف، وذلك قبل طبقات التنبؤ النهائية مباشرة.

1. الإسقاط البصري (Visual Projection): يقوم نظام MLP مكون من طبقتين بإسقاط متجه الميزات المشترك $f_i$ إلى فضاء تضمين بصري ذي 512 بُعدًا، يليه تطبيع L2.
2. تضمينات النصوص القابلة للتعلم (Learnable Text Embeddings): بدلاً من استخدام مشفر نصوص مجمد، يحافظ الإطار على مجموعة من تضمينات النصوص القابلة للتدريب والمحددة لكل فئة ($t_c$) لكل فئة من فئات مجموعة البيانات (على سبيل المثال، 20 لفئة Pascal VOC، أو 80 لفئة MS COCO). يتم تهيئة هذه التضمينات باستخدام عبارات مثل "a photo of a {class_name}" وتمريرها عبر مشفر نصوص CLIP عام، ولكن يتم تحديثها بالكامل أثناء التدريب.
3. درجة الحرارة لكل فئة (Per-Class Temperature): يتم تخصيص معامل درجة حرارة قياسي قابل للتعلم ($\tau_c$) لكل فئة للتحكم في قياس درجات التشابه، مما يسمح بتعديل مستقل لتوزيع الـ softmax لكل فئة.

دالة الخسارة (Loss Function)

تجمع دالة الهدف للتدريب بين خسائر الكشف القياسية وخسائر محاذاة الرؤية والنصوص، ويتم تحسينها في وقت واحد:
$$L_{total} = L_{det} + \lambda_{cont} L_{cont} + \lambda_{aux} L_{aux}$$

• $L_{det}$: الخسارة الأصلية للكاشف الأساسي (انحدار صندوق الإحاطة، ووجود الكائن، والتصنيف بالإنتروبيا المتقاطعة).
• $L_{cont}$: خسارة تباينية متناظرة من نوع InfoNCE تعمل على محاذاة التضمينات البصرية مع تضمينات النصوص المقابلة لها من الحقيقة الأرضية (ground-truth). وهي تتضمن مكونات من الصورة-إلى-النص ومن النص-إلى-الصورة.
• $L_{aux}$: خسارة سيجمويد (sigmoid loss) مساعدة تُضاف لاستقرار التدريب وتسريع التقارب، حيث تعمل كمصنف ثنائي للأزواج الموجبة والسالبة.

تساهم العينات الموجبة فقط (التي تحقق IoU $\ge$ 0.5 مع الحقيقة الأرضية) في خسائر الرؤية والنصوص.

الاستدلال ودمج الدرجات (Inference and Score Fusion)

عند الاستدلال، يستخدم النظام استراتيجية دمج متأخرة. تكون درجة الثقة النهائية لكل فئة عبارة عن مزيج مرجح من احتمالات الكاشف القياسية ($p_{ce}$) واحتمالات تشابه فرع CLIP ($p_{clip}$):
$$score_c = \alpha \cdot p_{ce} + (1 - \alpha) \cdot p_{clip}$$
يستخدم المؤلفون $\alpha = 0.7$. ومن المهم ملاحظة أن فرع CLIP المساعد يتسبب في تكلفة حوسبية ضئيلة ويمكن التخلص منه تمامًا عند الاختبار، مما يحافظ على سرعة الاستدلال في الوقت الفعلي للكاشف الأصلي.

المساهمات الرئيسية

1. التدريب المشترك الكامل (End-to-End Joint Training): على عكس الطرق السابقة التي تستخدم مشفرات مجمدة أو تقطير متعدد المراحل، يقوم هذا النهج بتدريب العمود الفقري للكاشف، وآلية الاقتراح، ومكونات محاذاة الرؤية والنصوص في آن واحد.
2. الاستقلالية عن نوع الكاشف (Detector Agnosticism): تم تصميم الإطار ليعمل بسلاسة مع كل من بنيات المرحلتين (Faster R-CNN) والمرحلة الواحدة (YOLO) دون تعديل مسارات التدريب الأصلية الخاصة بها.
3. تضمينات النصوص القابلة للتعلم: إن استخدام تضمينات نصية محددة للفئات وقابلة للتدريب بالكامل، بدلاً من مخرجات مشفر نصوص CLIP الثابتة، يسمح للنموذج بتكييف التمثيلات الدلالية خصيصًا لمهمة الكشف.
4. أعباء حسابية ضئيلة: لا يضيف الرأس الموازي أقل من 0.5% من الأعباء الإضافية على المعلمات (parameters) ولا يفرض أي تأخير ملموس أثناء الاستدلال.

النتائج التجريبية

تم التحقق من صحة الطريقة على مجموعتين رئيسيتين من الاختبارات:

• Pascal VOC 2007+2012 (Faster R-CNN):

  • عند دمجه مع Faster R-CNN (ResNet-50-FPN)، حقق الأسلوب تحسنًا مطلقًا قدره +5.3 mAP@0.5 مقارنة بالنموذج الأساسي (وصولاً إلى 81.7 مقابل 74.13).
  • كانت المكاسب ملحوءة بشكل خاص في الفئات الصعبة مثل bottle، و potted plant، و chair، و person.
  • أظهرت النتائج النوعية تحسنًا في كشف الكائنات الصغيرة والمحجوبة بشدة التي فاتها النموذج الأساسي.

• MS COCO 2017 (YOLOv11):

  • عند تطبيقه على عائلة YOLOv11 بأكملها (Nano, Small, Medium, Large)، حقق الأسلوب مكاسب ثابتة عبر جميع أحجام النماذج.
  • YOLOv11-Nano: +3.7 mAP (39.5 $\to$ 43.2).
  • YOLOv11-Small: +3.6 mAP (47.0 $\to$ 50.6).
  • YOLOv11-Medium: +3.6 mAP (51.5 $\to$ 55.1).
  • YOLOv11-Large: +2.9 mAP (53.4 $\to$ 56.4).
  • أثبت النهج فعالية خاصة في النماذج خفيفة الوزن، حيث عوض نقص سعة الميزات، بينما حسن التمييز الدقيق في النماذج الأكبر.

الأهمية والادعاءات

يزعم البحث أن CLIP-Joint-Detect يؤسس نموذجًا متعدد الاستخدامات ومستقلاً عن نوع الكاشف، يجلب تحسينات جوهرية في أداء المجموعات المغلقة بأقل قدر من التغييرات الهيكلية. من خلال توحيد كواشف الكائنات الرئيسية مع الإشراف الدلالي بأسلوب CLIP عبر التحسين المشترك، يُمكّن الإطار الأعمدة الفقارية من إنتاج تمثيلات متوافقة بطبيعتها مع المعرفة الدلالية الغنية. يؤكد المؤلفون أن هذا النهج يعزز الأداء في السيناريوهات الصعبة (الاحتجاب، الفوضى، تباين الحجم) مع الحفاظ على سرعة الاستدلال في الوقت الفعلي، مما يجعله مناسبًا للغاية للتطبيقات محدودة الموارد. تشير النتائج إلى أن التدريب المشترك المباشر مع تضمينات النصوص القابلة للتعلم هو استراتيجية أكثر فعالية للكشف في المفردات المغلقة مقارنة بطرق التقطير أو إثراء الميزات السابقة.

العمل المستقبلي

حدد المؤلفون عدة امتدادات محتملة، تشمل:

• توسيع نطاق الإطار ليشمل أعمدة فقارية أكبر للرؤية والنصوص (مثل ViT-L/14).
• تطبيق وصفة التدريب المشترك على مهام التنبؤ الكثيف مثل تقسيم الصور (instance segmentation) وتقدير النقاط المفتاحية (keypoint estimation).
• توسيع النهج ليشمل كشف الكائنات ثلاثية الأبعاد (3D object detection).
• تطوير تقنيات تقطير المعرفة لنقل معرفة CLIP المتعلمة إلى رأس الكاشف الرئيسي، مما يسمح بالإزالة الكاملة للفرع المساعد بعد التدريب لتحقيق استدلال أسرع.