Frequency-guided Multi-level Reasoning for Scene Graph Generation in Video

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستدلال متعدد المستويات الموجه بالتردد لإنشاء مخطط المشهد في الفيديو" (FReMuRe).

1. بيان المشكلة

يهدف إنشاء مخطط المشهد في الفيديو (VSGG) إلى ترجمة محتوى الفيديو إلى تمثيلات دلالية مهيكلة (الأجسام كعُقد، والعلاقات كحواف) لتسهيل الفهم عالي المستوى. ومع ذلك، تواجه الطرق الحالية تحديات كبيرة:

• التوزيع طويل الذيل (Long-Tail Distribution): تتبع علاقات الروابط (predicates) في فيديوهات العالم الحقيقي توزيعاً طويل الذيل شديد الحدة. فالعلاقات المتكررة (مثل "يمسك بـ") تهيمن على مجموعة البيانات، بينما العلاقات النادرة (مثل "يحمل") ممثلة تمثيلاً ناقصاً.
• صراعات التدرج وتحيز الرأس (Gradient Conflicts & Head Bias): في النماذج التقليدية، تقوم شبكة عمود فقري مشتركة بمعالجة جميع أنواع العلاقات. يؤدي هذا إلى صراعات في التدرج، حيث تعمل التدرجات القوية من الفئات الشائعة ("الفئات الرأسية/Head") على قمع تعلم الفئات النادرة ("فئات الذيل/Tail")، مما يتسبب في عدم كفاية تعلم علاقات الذيل.
• عدم الاتساق الزمني وعدم اليقين (Temporal Incoherence & Uncertainty): تؤدي معالجة الإطارات بشكل مستقل إلى عدم الاتساق، كما أن العوامل الواقعية مثل الحجب (occlusion) وضبابية الحركة (motion blur) تفرض حالة من عدم اليقين في الاستدلال، وهو ما تجد المصنفات القياسية صعوبة في التعامل معه.

2. المنهجية: FReMuRe

يقترح المؤلفون نموذج الاستدلال متعدد المستويات الموجه بالتردد (FReMuRe). الفلسفة الجوهرية هي فك الارتباط (decouple) في عملية التعلم بناءً على تكرار العلاقة لحل صراعات التدرج وتعزيز تمثيل فئات الذيل.

أ. الآلية الموجهة بالتردد

• الأولوية الترددية (Frequency Prior): يحسب النموذج التكرار الإحصائي ($f_k$) لكل نوع من أنواع العلاقات في مجموعة البيانات.
• البوابة المدركة للتردد (Frequency-Aware Gating): تستخدم آلية بوابة قابلة للتعلم مقلوب التكرار ($\log(1/f)$) لتوسيع نطاق الميزات المدخلة.
  • تعزيز الذيل: بالنسبة للعلاقات النادرة، تزدัง قيمة البوابة، مما يعمل على تضخيم ميزاتها.
  • الاستقرار: يستخدم النموذج تسوية الطبقة (LayerNorm - $LN$) خالية من المعلمات لتثبيت توزيع ميزات الذيل.
  • الصيغة: $x' = g(f) \odot LN(x) + (1 - g(f)) \odot x$، حيث $g(f)$ هي دالة سيجمويد (sigmoid) تعتمد على التردد. يعمل هذا كتصحيح هيكلي وليس مجرد إعادة وزن للخسارة.

ب. مولد تضمين الروابط ثنائي المسار (DPEG)

لفصل تعلم العلاقات الشائعة والنادرة مادياً:

• البنية: ينقسم النموذج إلى مسارين متوازيين:
  1. المسار المحلي (الرأس/Head): ترميز قياسي للعلاقات عالية التكرار.
  2. مسار الذيل (Tail): مسار مدرك للتردد مصمم خصيصاً لنمذجة العلاقات منخفضة التكرار.
• فك الارتباط: من خلال تخصيص معاملات مستقلة لكل مسار، يمنع النموذج تداخل تدرجات فئات الرأس مع فئات الذيل، مما يضمن توازناً ديناميكياً.
• السياق العالمي: يدمج فك تشفير عالمي المعلومات عبر الإطارات (الاتساق الزمني) باستخدام الترميز الموضعي وتجميع النافذة المنزلقة لصقل التنبؤات عبر الزمن.

ج. رؤوس التصنيف المتخصصة

تقدم الورقة رأسيْن قابلين للاستبدال للتعامل مع عدم اليقين وتنوع الفئات داخل النوع الواحد:

1. الرأس البايزي (Bayesian Head): ينمذج التنبؤات كتوزيع (المتوسط $\mu$ والتباين $\sigma^2$). يستخدم أخذ العينات بطريقة مونت كارلو أثناء التدريب لالتقاط كل من عدم اليقين العرضي (aleatoric uncertainty) (ضجيج البيانات) وعدم اليقين المعرفي (epistemic uncertainty) (جهل النموذج)، مما يحسن المتانة للفئات النادرة.
2. رأس GMM-Plus: امتداد لنموذج الخليط الغاوسي (Gaussian Mixture Model) حيث يتم تمثيل كل فئة بواسطة $K$ من مكونات غاوس.
   • التنظيم المدرك للتردد: يفرض حداً أدنى للتباين لمنع المكونات الغاوسية من التدهور إلى توزيعات ديراك (overfitting) عندما تكون عينات الذيل شحيحة. يسمح هذا للنموذج بالتقاط أنماط بصرية متنوعة للعلاقات النادرة.

3. المساهمات الرئيسية

1. إزالة تحيز فئات الذيل الموجهة بالتردد: تقديم آلية بوابة هيكلية تستخدم أولويات التردد لإعادة معايرة الميزات تكيفياً، مما يحسن بشكل كبير من استدعاء (recall) العلاقات منخفضة التكرار.
2. شبكة ثنائية المسارات مفككة: اقتراح بنية قائمة على المحولات (Transformer) تفصل مادياً تعلم روابط الرأس والذيل، مما يحل بفعالية صراعات التدرج المتأصلة في الظهر المشترك.
3. رؤوس تصنيف قابلة للاستبدال: تطوير رأسين متقدمين (البايزي و GMM-Plus) يعززان المتانة من خلال تقدير عدم اليقين ونمذجة تعدد النماذج الأولية، على التوالي.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات Action Genome (AG)، وهي معيار لرسوم المشاهد الديناميكية.

• المقاييس: تم التقييم باستخدام Recall@K (R@K) و Mean Recall@K (mR@K)، حيث يعد الأخير حاسماً لأداء الذيل الطويل.
• الأداء:
  • PREDCLS (تصنيف الروابط): حقق FReMuRe+GMM-Plus أفضل نتيجة (SOTA) بمعدل mR@50 بلغ 43.1، متفوقاً على الطرق السابقة مثل TEMPURA و STTran-TPI.
  • SGCLS (تصنيف مخطط المشهد): سجل أفضل النتائج عبر جميع المقاييس، حيث وصل إلى mR@50 بنسبة 30.6.
  • SGDET (كشف مخطط المشهد): حقق أفضل mR@50 بنسبة 22.5، مما أظهر قدرة فائقة على كشف العلاقات المتنوعة من البداية إلى النهاية.
• دراسات الاستئصال (Ablation Studies): أدى إزالة استراتيجية فك الارتباط إلى أكبر انخفاض في الأداء (انخفض SGDET mR@50 من 22.5 إلى 17.3)، مما يؤكد أن فصل مسارات التعلم هو العامل الأكثر حرجاً. كما أدت إزالة التوجيه الترددي أو الرؤوس المتخصصة إلى تدهور ملحوظ أيضاً.
• التحليل النوعي: أظهرت المقارنات البصرية أن FReMuRe حدد بشكل صحيح التفاعلات النادرة (مثل "شخص يقف على الأرض") التي أخطأت النماذج المرجعية (مثل TEMPURA) في تصنيفها كعلاقات شائعة (مثل "أمام").

5. الأهمية

تعالج هذه الورقة قصوراً جوهرياً في فهم الفيديو: عدم قدرة النماذج الحالية على تعلم العلاقات النادرة ولكن المهمة دلالياً بسبب عدم توازن البيانات. من خلال الانتقال من مساحة ميزات موحدة إلى بنية مفككة وموجهة بالتردد، يوفر FReMuRe إطاراً قوياً لـ:

• التعلم المتوازن: القضاء على التحيز نحو الفئات الشائعة دون التضحية بالدقة الإجمالية.
• الاستدلال المتين: التعامل مع عدم اليقين والضجيج المتأصل في بيانات الفيديو من خلال النمذجة الاحتمالية.
• القدرة على التعميم: تقديم تصميم معياري (رؤوس قابلة للاستبدال) يمكن تكييفه مع مختلف تحديات التوزيع طويل الذيل في الرؤية الحاسوبية.

الكود المصدري متاح للجمهور، مما يسهل المزيد من الأبحاث في فهم الفيديو طويل الذيل.