Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم الارتباط بين المشاهد عبر الرؤى من خلال التنبؤ بالقناع المتسق دورياً" (Learning Cross-View Object Correspondence via Cycle-Consistent Mask Prediction).

1. تعريف المشكلة

تتناول الورقة تحدي الارتباط بين الكائنات عبر الرؤى المختلفة (cross-view object correspondence)، وتحديداً إقامة محاذاة بصرية على مستوى الكائن بين وجهات النظر الذاتية (egocentric - منظور الشخص الأول، كاميرا قابلة للارتداء) ووجهات النظر الخارجية (exocentric - منظور الشخص الثالث، كاميرا خارجية) في مقاطع الفيديو.

• الصعوبة الجوهرية: تتضمن المهمة رسم خرائط لقناع الكائن (object mask) من رؤية المصدر (على سبيل المثال، رؤية الشخص الأول المهتزة والمزدحمة) إلى رؤية الهدف (على سبيل المثال، رؤية الشخص الثالث المستقرة ولكنها قد تكون بعيدة) والعكس صحيح.
• التحديات:
  • تباين المظهر: تغيرات جذرية في الإضاءة، والدقة، والانسداد (occlusion) بين الرؤى.
  • التباين المكاني: يختلف التخطيط المكاني وسياق الخلفية بشكل كبير، مما يجعل الإشارات الخلفية غير موثوقة.
  • الديناميكيات الزمنية: قد تتشوه الكائنات أو تتحرك بشكل مختلف عبر زوايا الكاميرا المختلفة.
  • ندرة البيانات: تعتمد نماذج الارتباط التقليدية غالباً على مشاهد مشتركة الرؤية أو ثابتة، مما يؤدي إلى الفشل في حالات التحول الشديد في وجهات النظر هذه. علاوة على ذلك، فإن الحصول على تسميات (annotations) للحقيقة الأرضية (ground-truth) للرؤية المستهدفة أمر صعب، مما يحد من التعلم الخاضع للإشراف.

2. المنهجية

يقترح المؤلفون إطار عمل بسيط وفعال يعتمد على التقطيع الثنائي الشرطي (Conditional Binary Segmentation) المعزز بهدف تدريب قائم على الاتساق الدوري (Cycle-Consistency) والتدريب أثناء وقت الاختبار (Test-Time Training - TTT).

أ. البنية الهيكلية (Architecture)

يستفيد النموذج من نموذج الرؤية التأسيسي DINOv3 كعمود فقري (backbone)، ويتكون من ثلاثة مكونات:

1. مستخرج ميزات المصدر (Source Feature Extractor):
   • يأخذ صورة المصدر ($I_s$) وقناع الكائن الخاص بها ($M_s$).
   • يستخرج خرائط الميزات ويحسب تمثيلاً للميزات الخاصة بالكائن بشكل مضغوط ($z_s$) عن طريق إجراء متوسط مرجح لخريطة الميزات باستخدام القناع المعياري كأوزان.
   • يتم إسقاط هذا التمثيل في رمز شرطي (Condition Token - CDT).
2. مشفر المحول (Transformer Encoder):
   • يتم تقسيم صورة الهدف ($I_t$) إلى رموز بصرية (visual tokens).
   • يتضمن التسلسل المدخل رمز الفئة ($\mathit{CLS}$)، والرمز الشرطي (CDT)، والرموز البصرية.
   • يقوم الـ CDT بتكييف المحول عبر آلية الانتباه بين الرموز (cross-token attention)، مما يوجه المشفر للتركيز على الكائن المقابل في رؤية الهدف.
3. المفكك متعدد المهام (Multi-task Decoder):
   • رأس القناع (Mask Head): يولد قناع تقطيع ثنائي ($\hat{M}_t$) لرؤية الهدف باستخدام الرموز البصرية.
   • رأس CLS: يتنبأ بظهور الكائن (تصنيف ثنائي) لتحديد ما إذا كان الكائن موجوداً في رؤية الهدف.

ب. أهداف التدريب (Training Objectives)

يتم تدريب النموذج باستخدام دالة خسارة مركبة:
$$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{mask}} + \lambda_{\text{aux}} \mathcal{L}_{\text{aux}} + \lambda_{\text{cycle}} \mathcal{L}_{\text{cycle}}$$

1. خسارة القناع ($\mathcal{L}_{\text{mask}}$): مزيج من خسارة الإنتروبيا المتقاطعة الثنائية (BCE) وخسارة Dice للإشراف على قناع الهدف المتوقع مقابل الحقيقة الأرضية.
2. الخسارة المساعدة ($\mathcal{L}_{\text{aux}}$): إشراف عميق يتم تطبيقه على طبقات المحول المتوسطة لتحسين تدفق التدرج (gradient flow).
3. خسارة الاتساق الدوري ($\mathcal{L}_{\text{cycle}}$):
   • الآلية: يتم تغذية قناع الهدف المتوقع ($\hat{M}_t$) مرة أخرى في النظام كقناع مصدر لإعادة بناء قناع الاستعلام الأصلي ($\hat{M}_s$).
   • القيد: تتم مقارنة القناع المعاد بناؤه $\hat{M}_s$ مع القناع الأصلي $M_s$ باستخدام خسارة BCE.
   • الأهمية: يفرض هذا تمثيلات ثابتة تجاه الرؤية (view-invariant) ويوفر إشارة ذاتية الإشراف لا تتطلب تسميات الحقيقة الأرضية للرؤية المستهدفة.

ج. التدريب أثناء وقت الاختبار (Test-Time Training - TTT)

الابتكار الرئيسي هو تطبيق TTT أثناء الاستنتاج:

• بما أن $\mathcal{L}_{\text{cycle}}$ لا يتطلب أقنعة هدف للحقيقة الأرضية، يمكن حسابه على أزواج الاختبار غير المصنفة.
• لكل زوج اختبار، يقوم النموذج بعدة خطوات تحديث تدرجي (ضبط دقيق فقط لآخر $K$ من طبقات المحول) لتقليل خسارة الاتساق الدوري.
• يسمح هذا للنموذج بالتكيف ديناميكياً مع انزياحات النطاق (domain shifts) المحددة أو تغيرات التوزيع في بيانات الاختبار، مما يعزز الأداء بشكل كبير.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: إطار عمل معياري ونهاية إلى نهاية للارتباط عبر الرؤى يتطلب تغييرات هيكلية طفئة في نماذج الرؤية التأسيسية (DINOv3).
2. هدف الاتساق الدوري: استراتيجية تدريب ذاتية الإشراف تفرض المحاذاة الدلالية بين رؤيتي المصدر والهدف، مما يتيح التعلم القوي دون الحاجة لتسميات رؤية الهدف.
3. استراتيجية التدريب أثناء وقت الاختبار (TTT): أول تطبيق ناجح لـ TTT لهذه المهمة المحددة من الارتباط عبر الرؤى، مما يثبت أن التكيف أثناء الاستنتاج يحسن المتانة بشكل كبير.
4. أداء رائد (SOTA): حقق نتائج هي الأعلى في الاختبارات المرجعية الصعبة، مما يثبت فعالية التحسين المقترح واستراتيجية TTT.

4. النتائج التجريبية

تم تقييم الطريقة على اثنين من الاختبارات المرجعية الكبرى: Ego-Exo4D و HANDAL-X.

• اختبار Ego-Exo4D المرجعي:

  • استعلام الخارج (من منظور الشخص الثالث إلى الشخص الأول): حقق IoU بنسبة 47.18%، متفوقاً على أفضل نتيجة سابقة (O-MaMa) بتحسن نسبي قدره 7.0%.
  • استعلام الداخل (من منظور الشخص الأول إلى الشخص الثالث): حقق IoU بنسبة 41.95%، مقترباً بشدة من أفضل نتيجة سابقة (42.57%) ومتفوقاً على جميع النماذج المرجعية الأخرى.
  • متوسط IoU العام (mIoU): حقق 44.57%، بزيادة قدرها 2.9% عن أفضل نتيجة سابقة.
  • دقة الظهور (Visibility Accuracy): حقق 98.92% (للداخل) و 99.86% (للخارج)، مما يشير إلى قدرة ممتازة في اكتشاف وجود الكائن.

• اختبار HANDAL-X المرجعي (Zero-Shot & Fine-tuning):

  • التعلم الصفري (Zero-Shot): بدون أي تدريب على HANDAL-X، حققت الطريقة IoU بنسبة 78.8%، متفوقة على أفضل نتيجة سابقة (ObjectRelator) بتحسن نسبي قدره 36.0%.
  • الضبط الدقيق (Fine-tuned): بعد الضبط الدقيق، وصلت إلى 85.0% IoU، متفوقة على جميع المنافسين.

• دراسات الاستئصال (Ablation Studies):

  • أدى إزالة خسارة الاتساق الدوري إلى انخفاض كبير في mIoU، مما أكد دورها في توفير إشارة الإشراف الذاتي اللازمة لـ TTT.
  • حسن TTT الأداء باستمرار في جميع الإعدادات.
  • عُزي نجاح الإطار إلى التصميم الهيكلي ودوال الخسارة أكثر من مجرد اختيار العمود الفقري (حيث تفوق على النماذج المرجعية حتى عند تبديل الأعمدة الفقارية).

5. الأهمية

هذا العمل مهم لعدة أسباب:

• المتانة تجاه الرؤى المتطرفة: يحل بفعالية فجوة "ego-exo"، وهي متطلب حرج للذكاء الاصطçi المتمثل في الأجسام (Embodied AI)، والتفاعل بين الإنسان والروبوت، والملاحة المستقلة حيث يجب على الوكلاء فهم التعليمات من منظور واحد والعمل من منظور آخر.
• التعلم ذاتي الإشراف: من خلال استخدام الاتساق الدوري، تقلل الطريقة من الاعتماد على التسميات المكلفة على مستوى البكسل لرؤية الهدف، مما يجعلها قابلة للتوسع لمجموعات بيانات متنوعة.
• التكيف أثناء وقت الاستنتاج: يثبت أن النماذج يمكن تحسينها ديناميكياً أثناء الاستنتاج للتعامل مع انزياحات النطاق المحددة، وهو تحول جذري عن نشر النماذج الثابتة.
• البساة والكفاءة: تحقق الطريقة نتائج رائدة (SOTA) ببنية بسيطة نسبياً وتعديلات هيكلية طفيفة على النماذج التأسيسية، مما يشير إلى مسار عالي الكفاءة للمهام عبر الرؤى.