Multimodal Skeleton-Based Action Representation Learning via Decomposition and Composition

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم تمثيل الحركة متعدد الوسائط القائم على الهيكل العظمي عبر التفكيك والتركيب".

1. بيان المشكلة

تتناول الورقة البحثية تحدي التعرف على الأفعال القائم على الهيكل العظمي متعدد الوسائط، وتحديداً المقايضة بين كفاءة النموذج وفعالية الأداء.

• المعضلة: تعتمد الطرق الحالية عادةً على الدمج المتأخر (الجمع بين تنبؤات نماذج منفصلة لوسائط مختلفة مثل المفاصل، والعظام، والحركة). ورغم فعالية هذا النهج، إلا أنه يتطلب شبكات خلفية (backbone) متعددة، مما يؤدي إلى ارتفاع التكاليف الحسابية وأعداد المعلمات. وعلى العكس من ذلك، فإن الدمج المبكر (الجمع بين البيانات الخام أو التضمينات قبل عملية المعالجة في شبكة خلفية واحدة) يتميز بكفاءة حسابية، ولكنه غالباً ما يفشل في التقاط الخصائص المميزة لكل وسيط، مما يؤدي إلى أداء دون المستوى الأمثل.
• الفجوة: هناك نقص في أطر التعلم ذاتي الإشراف التي يمكنها تعلم تمثيلات متعددة الوسائط غنية بكفاءة باستخدام شبكة خلفية مشتركة واحدة دون التضحية بالقدرة التمييزية لكل وسيط على حدة.

2. المنهجية: التفكيك والتركيب (D&C)

يقترح المؤلفون إطار عمل للتعلم ذاتي الإشراف يسمى التفكيك والتركيب (Decomposition and Composition - D&C). تستخدم البنية الأساسية دمج التضمين (Embedding Fusion)، حيث يتم رسم خرائط للوسائط المختلفة (المفاصل، العظام، الحركة) إلى فضاء تضمين موحد ومعالجتها بواسطة شبكة خلفية مشتركة واحدة (تحديداً شبكة Transformer ثنائية المسار للميزات المكانية والزمانية).

تتكون استراتيجية التدريب من ثلاثة مكونات رئيسية:

أ. الترميز المكاني-الزماني المنفصل

بدلاً من معاملة تسلسل الهيكل العظمي ككتلة واحدة صماء، يستخدم النموذج بنية ثنائية المسار:

• المسار الزماني (Temporal Stream): يعالج التسلسل عن طريق الاحتفاظ بالبعد الزماني وتسطيح الأبعاد المكانية.
• المسار المكاني (Spatial Stream): يعالج التسلسل عن طريق الاحتفاظ ببعد المفاصل وتسطيح البعد الزماني.
  هذا الفصل يسمح للنموذج بتعلم ميزات تمييزية مكانية وزمانية محددة بشكل منفصل قبل دمجها للحصول على التمثيل النهائي.

ب. تفكيك الميزات أحادية الوسيط (UFD)

لضمان احتفاظ الميزات المدمجة متعددة الوسائط بالمعلومات الخاصة بكل وسيط، يقوم النموذج بعملية التفكيك:

• يتم تمرير التضمين المدمج الموحد عبر المشفر لإنتاج تمثيل مدمج.
• ثم يتم إسقاط هذا التمثيل المدمج وإعادة بنائه ليتطابق مع ميزات الفروع أحادية الوسيط (المفاصل، العظام، الحركة).
• دالة الخسارة: تعمل دالة متوسط مربع الخطأ (MSE) على محاذاة الميزات المدمجة المفككة مع ميزات الوسيط الواحد الحقيقية. هذا يجبر الشبكة الخلفية المشتركة على ترميز معلومات كافية لاستعادة تفاصيل الوسيط المحدد، مما يمنع فقدان المعلومات أثناء عملية الدمج.

ج. تركيب الميزات متعددة الوسائط (MFC)

بينما يضمن التفكيك الحفاظ على دقة الوسيط الواحد، فإنه يفتقر إلى التحسين المباشر للتآزر متعدد الوسائط. تعالج استراتيجية التركيب هذه النقطة:

• يحاكي النموذج سيناريو الدمج المتأخر عن طريق حساب متوسط ميزات الفروع أحادية الوسيط (التي تُعالج بشكل منفصل في هذه الخطوة تحديداً) لإنشاء هدف "متعدد الوسائط زائف".
• بعد ذلك، يتم محاذاة التمثيل المدمج الموحد (الناتج من الشبكة الخلفية الواحدة) مع هذا الهدف "متعدد الوسائط الزائف".
• دالة الخسارة: تقلل دالة MSE المسافة بين الميزات المدمجة من الشبكة الخلفية الواحدة وبين الميزات الناتجة عن الدمج المتأخر. يعمل هذا كدليل ذاتي الإشراف، حيث يُعلّم نموذج الشبكة الخلفية الواحدة الكفء كيفية محاكاة أداء نموذج الدمج المتأخر الأكثر تكلفة.

د. التدريب المستقل عن زاوية الرؤية

لتعزيز المتانة، قدم المؤلفون استراتيجية تدريب مستقلة عن زاوية الرؤية.

• بدلاً من الاعتماد فقط على تعزيز البيانات، يعامل النموذج عينات الفعل نفسه الملتقطة من زوايا كاميرا مختلفة كأزواج إيجابية.
• يشجع هذا النموذج على تعلم ميزات ثابتة (invariant) تجاه كل من تعزيز البيانات ومنظور الكاميرا، مستفيداً من طبيعة تعدد الزوايا في مجموعات البيانات مثل NTU RGB+D.

3. المساهمات الرئيسية

1. إطار عمل متعدد الوسائط فعال: تعد هذه الورقة من الأعمال القليلة التي تدرس تعلم تمثيل الأفعال القائم على الهيكل العظمي متعدد الوسائط بكفاءة، حيث تحقق أداءً عالياً باستخدام شبكة خلفية مشتركة واحدة بدلاً من شبكات مستقلة متعددة.
2. استراتيجية التفكيك والتركيب: طريقة مبتكرة للتعلم ذاتي الإشراف تضمن:
   • التفكيك: ضمان الحفاظ على معلومات غنية أحادية الوسيط داخل الميزات المدمجة.
   • التركيب: استخدام ميزات الدمج المتأخر كدليل ذاتي الإشراف لتعزيز تعلم التمثيل متعدد الوسائط.
3. الفصل المكاني-الزماني: دمج إطار تعلم ثنائي المسار مصمم خصيصاً لبيانات الهيكل العظمي، مما يحسن تعلم الميزات المكانية والزمانية.
4. أداء رائد (SOTA): يحقق الأسلوب نتائج متفوقة عبر عدة معايير مع الحفاظ على تكاليف حسابية منخفضة (FLOPs ووقت الاستدلال).

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات رئيسية: NTU RGB+D 60، و NTU RGB+D 120، و PKU-MMD II.

• التعرف على الأفعال:

  • تفوقت الط المقترحة على الطرق الرائدة الحالية (مثل UmURL و CMD و ActCLR) عبر جميع بروتوكولات التقييم (Cross-Subject، Cross-View، Cross-Setup).
  • بشكل ملحوظ، في مجموعة بيانات NTU-120 المعقدة، حققت الطريقة دقة بنسبة 91.8% (Cross-View) باستخدام وسائط (المفاصل + العظام + الحركة)، متجاوزة أفضل النتائج السابقة بفارق كبير.
  • الكفاءة: رغم استخدام بنية Transformer، فإن سرعة الاستدلال أسرع من الطرق القائمة على GCN بسبب التوازي، وهي أكثر كفاءة بكثير من طرق الدمج المتأخر التي تتطلب شبكات خلفية متعددة.

• استرجاع الأفعال (Action Retrieval):

  • حققت الطريقة أفضل أداء في مهام استرجاع الأفعال القائمة على خوارزمية KNN، مما يدل على جودة عالية في تجميع الميزات.
  • وصل أداء الوسيط الواحد (المفاصل) للطريقة المقترحة إلى مستوى أداء الوسائط المتعددة في النماذج المرجعية، مما يسلط الضوء على فعالية التعلم المستقل عن زاوية الرؤية.

• التعلم شبه الإشرافي:

  • في السيناريوهات ذات البيانات المصنفة المحدودة (1% و 5% من بيانات التدريب)، تفوقت الطريقة بشكل كبير على النماذج المرجعية التي تم ضبطها بدقة، مما يثبت متانة التمثيلات المتعلمة.

• تعلم النقل (Transfer Learning):

  • أظهرت النماذج المدربة مسبقاً على مجموعات بيانات NTU والتي تم ضبطها بدقة على PKU-MMD II قدرة فائقة على نقل التعلم مقارنة بالطرق الأخرى.

• دراسات الاستئصال (Ablation Studies):

  • أكدت أن كلاً من التفكيك والتركيب ضروريان؛ حيث يؤدي استخدام أحدهما فقط إلى نتائج أقل جودة.
  • أظهرت أن إضافة خسارة اتساق صريحة بين الوسائط غير ضروري عند استخدام التفكيك، حيث يقوم الأخير بمعالجة المحاذاة ضمنياً.
  • أوضحت أن التدريب المستقل عن زاوية الرؤية يحسن الدقة بنسبة تقارب 1%.

5. الأهمية

يقدم هذا العمل حلاً حاسماً لـ المقايضة بين الكفاءة والدقة في التعرف على الأفعال متعدد الوسائط القائم على الهيكل العظمي. ومن خلال إثبات أن شبكة خلفية واحدة يمكنها تعلم تمثيلات فعالة (أو أفضل) من مجموعات الدمج المتأخر المعقدة عبر نموذج التفكيك والتركيب، توفر الورقة مساراً قابلاً للتوسع لنشر أنظمة التعرف على الأفعال في البيئات ذات الموارد المحدودة. كما أن تقديم التعلم المستقل عن زاوية الرؤية يقلص الفجوة بين مجموعات البيانات المختبرية والتطبيق في العالم الحقيقي، مما يجعل هذا النهج ذا أهمية كبيرة لتطبيقات الرؤية الحاسوبية العملية.