MOSA: Motion-Guided Semantic Alignment for Dynamic Scene Graph Generation

إليك ملخص تقني مفصل لورقة البحث بعنوان "MoSA: Motion-Guided Semantic Alignment for Dynamic Scene Graph Generation".

1. بيان المشكلة

يهدف توليد الرسوم البيانية للمشاهد الديناميكية (DSGG) إلى نمذجة الكائنات وتفاعلاتها المتغيرة زمنياً بشكل هيكلي في تسلسلات الفيديو لتمكين الفهم الدلالي عالي المستوى. وعلى الرغم من التقدم المحرز، تواجه الأساليب الحالية ثلاثة تحديات حرجة:

• نمذجة العلاقات دقيقة التفاصيل: تعتمد النهج الحالية غالباً على الميزات البصرية الثابتة والسياق الزمني الفضفاض، مما يؤدي إلى الفشل في التمييز بين الأفعال المتشابهة دلالياً والتي تختلف في أنماط الحركة (مثل التمييز بين "اللمس" و"الشرب من").
• استغلال التمثيل الدلالي: تتجاهل العديد من الأساليب المعرفة النصية المسبقة، وتعتمد فقط على البيانات البصرية، مما يحد من قدرتها على حل حالات الغموض بين العلاقات التي تبدو متشابهة بصرياً ولكن لها معانٍ دلالية مختلفة.
• توزيع الذيل الطويل (Long-Tail Distribution): تعاني مجموعات بيانات DSGG من عدم توازن حاد في الفئات. وتتحيز النماذج نحو العلاقات عالية التكرار، مما يؤدي إلى ضعف التعرف على علاقات "الذيل" النادرة ولكن ذات المعنى.

2. المنهجية: إطار عمل MoSA

يقترح المؤلفون إطار عمل MoSA (المحاذاة الدلالية الموجهة بالحركة)، وهو إطار مصمم لنمذجة سمات الحركة صراحةً ومحاذاتها مع الأولويات الدلالية. تتكون البنية من أربعة مكونات أساسية:

أ. مستخرج ميزات الحركة (MFE)

لالتقاط التفاعلات الديناميكية، يقوم MFE بحساب أربع سمات حركة صراحة لكل زوج من الكائنات $(o_i, o_j)$ بناءً على مسارات صناديق الإحاطة:

1. المسافة النسبية ($d_t$): المسافة الإقليدية بين مراكز الكائنات، والتي تعكس اتجاهات التفاعل المكاني.
2. سرعة الاقتراب ($v_t$): معدل التغير في المسافة، مما يشير إلى ما إذا كانت الكائنات تقترب من بعضها أو تبتعد.
3. استمرارية الحركة (متوسط IoU): متوسط التقاطع فوق الاتحاد (Intersection-over-Union) عبر نافذة منزلقة، لتقييم استقرار أو استمرارية العلاقة.
4. الاتساق الاتجاهي ($CosSim_t$): تشابه جيب التمام لمتجهات الحركة، مما يعكس تنسيق حركات الكائنات.
   يتم دمج هذه السمات ومعالجتها عبر طبقة MLP لتوليد ميزات حركة عالية المستوى ($F_{motion}$).

ب. وحدة التفاعل الموجه بالحركة (MIM)

تقوم وحدة MIM بدمج ميزات الحركة المستخرجة مع ميزات العلاقات المكانية باستخدام آلية الانتباه.

• الآلية: تعمل ميزات الحركة كدليل ديناميكي، بينما تعمل الميزات المكانية (المستمدة من مشفر مكاني باستخدام تضمينات CLIP البصرية وفئات الكائنات) كـ سياق.
• المخرجات: ينتج عن ذلك تمثيلات علاقات "مدركة للحركة" ($F_{mim}$) تلتقط الأفعال دقيقة التفاصيل التي يصعب تمييزها بالمظهر وحده. يتم دمج هذه الميزات مع الميزات المكانية الأصلية عبر اتصالات متبقية (residual connections) لتشكيل ميزات مشتركة ($F_{joint}$).

ج. فك التشفير الزمني (Temporal Decoder)

لنمذجة تطور العلاقات عبر الزمن، يتم تنظيم الميزات المشتركة لكل زوج من الكائنات في مسارات وتغذيتها في مفكك تشفير ترانسفورمر زمني (Temporal Transformer Decoder). تلتقط هذه الوحدة التبعيات طويلة المدى والديناميكيات الزمنية المعقدة عبر تسلسل الفيديو.

د. مطابقة دلالات الفعل (ASM)

لمعالجة الغموض الدلالي والاستفادة من المعرفة المسبقة، تقوم وحدة ASM بمحاذاة ميزات العلاقة البصرية مع التضمينات النصية.

• العملية: يتم ترميز الأوصاف النصية لجميع فئات العلاقات الممكنة (مثل "شخص يأكل شطيرة") باستخدام مشفر نصي من CLIP.
• المحاذاة: يحسب النموذج تشابه الضرب النقطي (dot-product similarity) بين ميزات العلاقة البصرية والتضمينات النصية. توفر هذه المطابقة عبر الوسائط توجيهاً دلالياً صريحاً، مما يساعد النموذج على التمييز بين العلاقات المتشابهة بصرياً والمتميزة دلالياً.

هـ. دالة الخسارة واستراتيجية الذيل الطويل

للتخفيف من تحيز الذيل الطويل، قدم المؤلفون خسارة موزونة بالفئة (Category-Weighted Loss).

• تخصص دالة الخسارة أوزاناً أعلى للفئات النادرة بناءً على تكرارها ($n_r$).
• يتم حساب الوزن $\alpha_r$ بشكل يتناسب عكسياً مع لوغاريتم تكرار الفئة، مما يضمن أن النموذج يولي اهتماماً أكبر للعلاقات غير الممثلة كفاية أثناء التدريب.

3. المساهمات الرئيسية

1. بنية MoSA: إطار عمل مبتكر لنمذجة سمات الحركة متعددة الأبعاد صراحة (المسافة، السرعة، الاستمرارية، الاتجاه) لتعزيز نمذجة التفاعلات الديناميكية للكائنات.
2. التفاعل الموجه بالحركة (MIM): آلية تدمج ميزات الحركة والمكان عبر الانتباه، مما يسمح بالتمييز بين الأفعال دقيقة التفاصيل التي تغفل عنها الميزات الثابتة.
3. مطابقة دلالات الفعل (ASM): آلية محاذاة عبر الوسائط تدمج الأولويات النصية لحل حالات الغموض الدلالي وتحسين التمييز بين العلاقات المتشابهة.
4. تحسين الذيل الطويل: استراتيجية خسارة موزونة بالفئة تعمل على تحسين دقة التعرف والتعميم للعلاقات النادرة (الذيل) بشكل كبير.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات Action Genome (AG) عبر ثلاث مهام قياسية: تصنيف المسند (PREDCLS)، تصنيف الرسم البياني للمشهد (SGCLS)، وكشف الرسم البياني للمشهد (SGDET).

• أداء الحالة الراهنة (SOTA): تفوق MoSA على الأساليب الحالية (بما في ذلك TD2-Net وSTTran وTRACE) في كل من إعدادات "مع القيد" و"بدون قيد".
  • PREDCLS: حقق 70.6% R@10 و 73.5% R@50، متجاوزاً أفضل النتائج السابقة (TD2-Net).
  • SGDET: حقق 38.3% R@50، مما أظهر قدرات كشف قوية.
• أداء الذيل الطويل: أظهر MoSA تحسناً كبيراً في متوسط الاستدعاء (mR@K)، وهو المقياس الخاص بأداء الذيل الطويل.
  • في مهمة SGDET، حسن MoSA قيمة mR@50 بنسبة 2.9% و 3.0% مقارنة بأفضل الأساليب الأخرى تحت إعدادات مختلفة.
• الدراسات الاستئصالية (Ablation Studies): تسبب إزالة وحدة MFE في أكبر انخفاض في الأداء، مما يؤكد أن نمذجة الحركة الصريحة هي المكون الأكثر أهمية. كما ثبت أن وحدة ASM ضرورية لتقليل الارتباك الدلالي.
• التحليل النوعي: أظهرت المقارنات البصرية أنه بينما تخطئ النماذج الأساسية غالباً في تصنيف الأفعال دقيقة التفاصيل (مثل التنبؤ بـ "الإمساك" بدلاً من "الأكل")، فإن MoSA يحدد بدقة الدلالات الموجهة بالحركة.

5. الأهمية

يمثل إطار عمل MoSA خطوة كبيرة للأمام في فهم الفيديو من خلال سد الفجوة بين ديناميكيات الحركة منخفضة المستوى والاستدلال الدلالي عالي المستوى.

• الفهم دقيق التفاصيل: يتجاوز مجرد اكتشاف الكائنات الثابتة لفهم كيفية تفاعل الكائنات، وهو أمر بالغ الأهمية لتطبيقات مثل القيادة الذاتية، والإجابة على الأسئلة عبر الفيديو، والتحكم الروبوتي.
• القوة تجاه عدم التوازن: من خلال التعامل بفعالية مع توزيعات الذيل الطويل، يجعل MoSA عملية توليد الرسوم البيانية للمشاهد الديناميكية أكثر واقعية للسيناريوهات الحقيقية حيث يجب اكتشاف الأحداث النادرة ولكن الحرجة.
• التكامل متعدد الوسائط: يوضح التكامل الناجح بين إشارات الحركة البصرية والأولويات الدلالية النصية نموذجاً قوياً لحل الغموض في المشاهد الديناميكية المعقدة.