Explicit Time-Frequency Dynamics for Skeleton-Based Gait Recognition

إليك ملخص تقني مفصل لورقة البحث بعنوان "Explicit Time-Frequency Dynamics for Skeleton-Based Gait Recognition" (ديناميكيات الزمن والتردد الصريحة للتعرف على مشية المشي القائمة على الهيكل العظمي).

1. بيان المشكلة

يهدف التعرف على مشية المشي (Gait recognition) إلى تحديد هوية الأفراد بناءً على أنماط مشيهم. وبينما تحقق الأساليب القائمة على المظهر (التي تستخدم الصور الظلية أو شدة البكسل) حالياً نتائج هي الأفضل في فئتها (SOTA) على مجموعات بيانات مثل CASIA-B، إلا أنها تعاني من تدهور كبير في الأداء تحت تأثير تغيرات المتغيرات المصاحبة (covariate shifts) مثل حمل الحقائب (BG) أو ارتداء المعاطف (CL).

أما الأسالب القائمة على الهيكل العظمي (Skeleton-based methods)، والتي تعتمد على إحداثيات المفاصل، فهي بطبيعتها قوية في مواجهة تغيرات المظهر (النسيج/الملابس)، لكنها تاريخياً كانت متأخرة عن النماذج القائمة على المظهر. وتتمثل إحدى القيود الرئيسية لنماذج الهيكل العظمي الحالية (مثل GaitMixer وGaitFormer) في أنها تنمذج ديناميكيات الحركة بشكل ضمني. فهي غالباً ما تفشل في التقاط خصائص الزمن والتردد (time-frequency) لحركات المفاصل بشكل صريح، وهي الخصائص الحاسمة لتمييز المشية عندما يتم حجب المظهر البصري أو تغييره.

2. المنهجية

يقترح المؤلفون "تدفق ميزات المويجات" (Wavelet Feature Stream) الذي يعمل بنظام "التوصيل والتشغيل" (plug-and-play)، والذي يمكن إلحاقه بأي نموذج هيكلي موجود دون تعديل بنيته أو الحاجة إلى إشراف إضافي. يتكون الإطار من مسارين متوازيين:

أ. مسار النموذج الأساسي (Backbone Stream)

يستخدم نموذج هيكلي قياسي من الفئة الأفضل (مثل GaitMixer) لترميز الأنماط المكانية والزمانية العالمية من تسلسلات المفاصل.

ب. مسار ميزات المويجات (Wavelet Feature Stream - المساهمة الجوهرية)

يقوم هذا المسار بنمذجة ديناميكيات الحركة بشكل صريح من خلال الخطوات التالية:

1. حساب السرعة: يتم حساب سرعات المفاصل لكل منها ($v_x, v_y$) من تسلسل الهيكل العظمي ثنائي الأبعاد ($S \in \mathbb{R}^{2 \times T \times V}$) عبر حساب الفرق بين الإطارات المتتالية.
2. تحويل المويجات المستمر (CWT): يتم تحويل إشارات السرعة أحادية البعد إلى خرائط زمن-تردد (scalograms) باستخدام تحويل المويجات المستمر (CWT). يقوم هذا التحويل بتفكيك إشارات الحركة غير المستقرة إلى مقاييس متعددة، مما يفصل إيقاعات المشية الدورية المستقرة عن الاضطرابات المفاجئة (مثل اهتزاز الوضعية أو تأرجح الحقيبة).
   • الصيغة: $W_\psi v(s, \tau) = \int v(t) \psi^*(\frac{t-\tau}{s}) dt$
3. شبكة عصبية تلاففية (CNN) متعددة المقاييس: تقوم شبكة CNN خفيفة الوزن بمعالجة الـ scalograms لتعلم الميزات الديناميكية المميزة.
   • الجذع (Stem): يعمل على تحسين الأنماط المحلية باستخدام تلاففات $5\times5$ و $3\times3$.
   • كتلة متعددة المقاييس متوازية: تستخدم فروعاً متزامنة بمقاييس $3\times3$ (للتغيرات دقيقة التفاصيل) و $7\times7$ (للإيقاع/الدورية العامة).
   • التجميع (Pooling): يقوم التجميع المتوسط العالمي بتوليد متجه ثابت الحجم لكل مفصل.
4. الدمج (Fusion): يتم دمج واصف المويجات الناتج ($F_{wavelet}$) مع ميزة النموذج الأساسي ($F_{backbone}$) ويتم إسقاطهما عبر طبقة متصلة بالكامل لتشكيل التضمين النهائي.
5. دالة الخسارة (Loss Function): يتم تدريب النموذج باستخدام خسارة الثلاثية (Triplet Loss) مع البحث عن العينات الصعبة (hard mining) لتقليل التباين داخل الفئة الواحدة وتعظيم الفصل بين الفئات المختلفة.

3. المساهمات الرئيسية

• النمذجة الصريحة للزمن والتردد: قدمت الورقة أول وحدة "توصيل وتشغيل" تضخ ديناميكيات الزمن والتردد الصريحة لسرعات المفاصل في التعرف على مشية المشي القائمة على الهيكل العظمي باستخدام CWT.
• استقلالية البنية (Architecture Agnostic): لا تتطلب الطريقة أي تغييرات في بنية النموذج الأساسي ويمكن إلحاقها بمختلف النماذج الموجودة (GaitGraph, GaitFormer, GaitMixer).
• أداء جديد هو الأفضل في فئته (SOTA): من خلال إلحاق هذا المسار بنموذج GaitMixer، حقق المؤلفون مستوى جديداً من الأداء (SOTA) للتعرف على مشية المشي القائمة على الهيكل العظمي في مجموعة بيانات CASIA-B.
• التفوق في الظروف الصعبة: يعد هذا النموذج أول نهج قائم على الهيكل العظمي يتفوق على الأساليب الحالية القائمة على المظهر في حالة "المعطف" (CL) الأكثر تحدياً، مما يثبت فعالية معلومات الهيكل العظمي عندما تُفقد ميزات المظهر.

4. النتائج التجريبية

أُجريت التجارب على مجموعة بيانات CASIA-B (124 شخصاً، 11 زاوية رؤية، 3 حالات: NM، BG، CL).

• الأداء العام:
  • حقق نموذج GaitMixer + Ours متوسط دقة من الدرجة الأولى (Rank-1) بنسبة 89.7%، متجاوزاً أفضل نموذج هيكلي سابق (GaitMixer بنسبة 88.3%) ومقلصاً الفجوة مع أفضل نموذج قائم على المظهر (3DLocal بنسبة 92.8%).
• الأداء تحت تأثير المتغيرات:
  • المعطف (CL): حقق النموذج المقترح دقة 86.7% مع GaitMixer، بزيادة قدرها +2.2%. والأهم من ذلك أن هذه النتيجة (86.7%) تجاوزت أفضل طريقة قائمة على المظهر (3DLocal بنسبة 84.5%) في حالة CL.
  • الحقيبة (BG): لوحظت مكاسب مستمرة، حيث وصل GaitMixer + Ours إلى 87.2% (مقابل 85.6% للنموذج الأساسي).
• دراسات الاستئصال (Ablation Studies):
  • اختيار المويجة: أعطت دالة مويجة Morlet أفضل النتائج (متوسط دقة 89.7%) نظراً لقدرتها على التقاط السعة والطور لاهتزازات المشية شبه الدورية.
  • توافق النموذج الأساسي: قدم المسار تحسينات متسقة عبر GaitGraph وGaitFormer وGaitMixer، مع ملاحظة أكبر المكاسب في حالة CL.

5. الأهمية

تعالج هذه الدراسة فجوة حرجة في القياسات الحيوية القائمة على الهيكل العظمي: وهي عدم الاستغلال الأمثل لديناميكيات الحركة الصريحة. من خلال الاستفيد من تحليل الزمن والتردد (CWT)، أثبت المؤلفون أن بيانات الهيكل العظمي تحتوي على ميزات ديناميكية غنية ومميزة وقوية تجاه تغيرات المظهر.

تكمن الأهمية في:

1. القوة والمتانة (Robustness): إثبات أن الأنظمة القائمة على الهيكل العظمي يمكن أن تتفوق على الأنظمة القائمة على المظهر في السيناريوهات التي تحجب فيها الملابس أو الأشياء المحمولة الميزات البصرية.
2. الكفاءة: الطبيعة "التوصيل والتشغيل" تسمح بتحقيق زيادات فورية في الأداء في المسارات الحالية دون الحاجة لإعادة تدريب النموذج الأساسي بالكامل من الصفر.
3. التوجه المستقبلي: يفتح هذا العمل آفاقاً جديدة لتحليل الإشارات غير المستقرة في القياسات الحيوية باستخدام تحويل المويجات، مما يشير إلى تطبيقات محتملة في سيناريوهات تعدد المستشعرات (مثل بيانات IMU) واستراتيجيات الدمج التكيفي.