ملخص تقني: ما وراء البروز: التشفير المزدوج الموجه للانتباه المنخفض للبحث الدلالي في الفيديو

بيان المشكلة

يواجه البحث الدلالي للفيديو في البيئات المزدحمة للغاية (مثل التجمعات العامة، ومراكز النقل، والحرم المكي) قيداً حرجاً في أنظمة الاسترجاع متعددة الوسائط الحالية. تعتمد المشفرات البصرية القياسية، مثل تلك المستخدمة في CLIP وSigLIP، على آليات الانتباه التي تعطي الأولوية للمناطق الأمامية البارزة. وبناءً على ذلك، غالباً ما تتجاهل هذه النماذج المناطق الخلفية ذات الأهمية السياقية ولكنها غير بارزة بصرياً أو محجوبة. وفي المشاهد المزدحمة، غالباً ما تحتوي هذه المناطق "منخفضة الانتباه" على تفاصيل دلالية أساسية — مثل الأشياء المحجوبة جزئياً أو أفعال محددة — والتي تعد حاسمة للاسترجاع الدقيق. يؤدي هذا التحيز إلى تمثيلات (embeddings) غير مكتملة وتدهور في أداء الاسترجاع عندما تستهدف الاستعلامات عناصر غير مهيمنة داخل الإطار.

المنهجية

يقترح المؤلفون نهجاً جديداً لا يتطلب تدريباً يسمى "تشفير مناطق الانتباه العكسي بالقص" (Inverse Attention Region Embedding Cropping). تعمل هذه الطريقة بالكامل في وقت الاستدلال لتعزيز التشفيرات البصرية القياسية دون الحاجة إلى ضبط إضافي للنموذج. تدمج المسيرة بنية "المشفر المزدوج" (Dual-Encoder Architecture) (على غرار CLIP/SigLIP) مع وحدة "مشفر الانتباه العكسي" متخصصة.

تتضمن العملية الخطوات التالية:

1. التشفير القياسي: يتم تشفير استعلام نصي $q$ وإطار فيديو $f$ في مساحة تشفير مشتركة، مما ينتج عنه تمثيل نصي عالمي $t$ وتمثيل بصري عالمي $g$.
2. كشف الانتباه المنخفض (LARD): يقوم المشفر البصري بتوليد خريطة حرارية للانتباه $h$. يقوم كاشف مناطق الانتباه المنخفض (LARD) بوضع عتبة لهذه الخريطة لتحديد المناطق ذات درجات الانتباه المنخفضة (متوسط انتباه < 0.4). يقوم نواة منزلقة بتوليد صناديق إحاطة مرشحة لهذه المناطق غير الممثلة كفاية.
3. تجميع المناطق (LARC): يتم تجميع الصناديق المرشحة باستخدام تجميع مناطق الانتباه المنخفض (LARC) (عبر خوارزمية k-means) لتشكيل مناطق أكبر ومتماسكة (تم ضبطها عند $n=5$).
4. استخراج القص (LACE): يتم قص هذه المناطق وتغيير حجمها من الإطار الأصلي باستخدام مستخرج قص الانتباه المنخفض (LACE).
5. إعادة التشفير والدمج: يتم إعادة تشفير كل عملية قص بواسطة نفس المشفر البصري للحصول على تمثيلات على مستوى المنطقة $r_j$. يتم دمج هذه التمثيلات مع التمثيل العالمي الأصلي $g$ عبر دمج ميزات الانتباه المنخفض (LAFM).
6. حساب التشابه: يتم حساب درجة الاسترجاع النهائية كأقصى تشابه جيب تمام (cosine similarity) بين التشفير النصي وكل من التمثيل العالمي أو أي من تمثيلات مناطق الانتباه المنخفض:
   $$S = \max \left( \cos(t, g), \max_{j} \cos(t, r_j) \right)$$

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

• تشفير مناطق الانتباه العكسي بالقص: طريقة جديدة لا تتطلب تدريباً، مصممة لتشفير مناطق الانتباه المنخفض المهملة صراحةً، مما يثري التمثيل الدلالي في المشاهد المزدحمة.
• المجموعة الكثيفة (Dense-Set): تقديم مجموعة فرعية جديدة من معيار MS-COCO، تم تنسيقها لتسليط الضوء على إخفاقات نماذج الاسترجاع الحالية في البيئات المزدحمة للغاية. تختار هذه المجموعة أعلى 10% من الصور الأكثر ازدحاماً وتزاوجها مع أوصاف لأشياء فريدة ومنفردة لخلق سيناريوهات استرجاع تحديّة.
• التقييم الشامل: تقييم نماذج الاسترجاع الحالية على مجموعات البيانات القياسية، والمجموعة الجديدة (Dense-Set)، ومجموعة بيانات الحرم المكي (Haram) المخصصة، مما يوضح حدود النهج الحالية في البيئات البصرية عالية الكثافة.

النتائج التجريبية

تم تقييم الطريقة المقترحة على ثلاث مجموعات بيانات: MS-COCO، والمجموعة الكثيفة (Dense-Set)، ومجموعة بيانات الحرم المكي (التي تضم 500 صورة من مكة المكرمة، نتج عنها 277 زوجاً من الصور والنصوص). المقياس الأساسي كان "الاستدعاء عند K" (R@5 و R@10).

• الأداء في المشاهد المزدحمة: تفوقت الطريقة المقترحة بشكل كبير على النماذج المرجعية (OpenAI CLIP، وJina CLIP v2، وSigLIP القياسي) في مجموعتي بيانات الحرم المكي والمجموعة الكثيفة.
  • في مجموعة بيانات الحرم المكي، حققت الطريقة R@5 بنسبة 41.0% و R@10 بنسبة 47.0%، متجاوزة أفضل نموذج مرجعي (SigLIP) الذي سجل 34.0% و 36.0% على التوالي.
  • في المجموعة الكثيفة (Dense-Set)، حققت الطريقة R@5 بنسبة 42.5% و R@10 بنسبة 44.3%، متفوقة مرة أخرى على نموذج SigLIP المرجعي (40.6% و 41.0%).
• الأداء في مجموعات البيانات القياسية: في مجموعة بيانات MS-COCO القياسية، حيث تصف التعليقات غالباً الصورة بأكملها بدلاً من التركيز على أشياء خلفية محددة، أظهرت الطريقة المقترحة أداءً أقل قليلاً مقارنة ببعض النماذج المرجعية (R@5 بنسبة 66.3% مقابل 74.6% لـ SigLIP). ويعزو المؤلفون ذلك إلى طبيعة التعليقات القياسية التي لا تركز على أشياء منفردة، مما يشير إلى أن الطريقة محسنة خصيصاً للسيناريوهات المزدحمة دقيقة التفاصيل.
• التحليل النوعي: أظهرت النتائج البصرية أن النموذج نجح في استرجاع الإطارات التي تحتوي على أشياء ذات انتباه منخفض (مثل امرأة ترتدي عباءة سوداء، أو امرأة محجبة تقرأ) والتي فشلت نماذج SigLIP القياسية في تصنيفها ضمن المراتب العليا، وهو ما ثبت من خلال درجات تشابه جيب التمام الأعلى بكثير لهذه الاستعلامات المحددة.

الأهمية والادعاءات

تدعي الورقة أن أهميتها تكمن في معالجة نقطة عمياء محددة في البحث الدلالي للفيديو الحالي: إهمال مناطق الانتباه المنخفض في البيئات المزدحمة. من خلال تقديم آلية تعمل في وقت الاستدلال دون الحاجة إلى تدريب إضافي أو ضبط دقيق، يثبت المؤلفون أن دقة الاسترجاع في المشاهد المعقدة وعالية الكثافة يمكن تحسينها بشكل كبير.

يؤكد العمل أن التشفيرات القياسية غالباً ما تكون منحازة نحو العناصر الأمامية البارزة، مما يؤدي إلى فقدان الإشارات الدلالية. يوفر تشفير الانتباه العكسي المقترح حلاً قوياً وسهل الاستخدام (plug-and-play) لاستعادة هذه الإشارات. يضع المؤلفون هذا العمل كخطوة نحو استرجاع أكثر موثوقية في تطبيقات المراقبة والسلامة العامة في العالم الحقيقي حيث تسود حالات الحجب وكثافة الحشود. وقد اقترح المؤلفون عملاً مستقبلياً لاستكشاف الضبط الدقيق المشترك للمشفر البصري مع آلية الانتباه العكسي وتعزيز الربط النصي بناءً على دلالات الانتباه المنخفض المستخرجة.