Multilevel neural networks with dual-stage feature fusion for human activity recognition

1. بيان المشكلة

يعد التعرف على النشاط البشري (HAR) أمراً بالغ الأهمية لتطبيقات الرعاية الصحية، والأمن، والبيئات الذكية. وبينما طورت نماذج التعلم العميق مثل الشبكات العصبية الالتفافية (CNN) وشبكات الذاكرة الطويلة قصيرة المدى (LSTM) هذا المجال، إلا أن هناك نقصاً في التقييم المنهجي فيما يتعلق بـ:

• الترتيب الهيكلي الأمثل للنماذج الهجينة (التي تجمع بين CNN وLSTM وConvolutional LSTM).
• فعالية استراتيجيات دمج الميزات المختلفة (تحديداً مقارنة الدمج المتأخر مقابل الدمج الوسيط).
• أداء الشبكة الالتفافية ذات الذاكرة الطويلة قصيرة المدى (CLSTM) في مجال التعرف على النشاط البشري، وهو تطبيق جديد لهذا المجال تحديداً.
• مدى ملاءمة البنى أحادية الأبعاد (1D) مقابل ثنائية الأبعاد (2D) لمعالجة بيانات مستشعرات وحدة القياس بالقصور الذاتي (IMU).

2. المنهجية

يقترح المؤلفون بنية شبكة ثنائية المستوى تدمج الميزات من مستشعرات متعددة (مقياس التسارع والجيروسكوب) باستخدام استراتيجية دمج ميزات ثنائية المرحلة.

أ. معالجة البيانات مسبقاً

• مجموعات البيانات: تم استخدام معيارين عامين:
  • USC-HAD: 14 شخصاً، 12 نشاطاً، مستشعرات مثبتة على الورك (مقياس تسارع، جيروسكوب، مغناطيس).
  • UCI-HAR: 30 شخصاً، 6 أنشطة، مستشعرات هاتف ذكي مثبتة عند الخصر.
• المعالجة: تخضع بيانات المستشعرات الخام للترشيح والتقييس (المتوسط الصفري، والوحدة المعيارية). يتم معالجة إشارات مقياس التسارع والجيروسكوب في مسارات متوازية.

ب. البنية المقترحة

تتكون البنية من مستويين متتاليين من الشبكة التي تدمج الميزات من مستشعرات متعددة باستخدام استراتيجية دمج الميزات ثنائية المرحلة.

1. المستوى الأول (المعالجة المتوازية):
   • يتم تغذية بيانات مقياس التسارع وبيانات الجيروسكوب في شبكات عصبية منفصلة ولكنها متطابقة.
   • يمكن أن تكون هذه الشبكات من نوع CNN أو LSTM أو CLSTM.
   • الدمج المتأخر (المرحلة 1): يتم دمج مخرجات هاتين الشبكتين المتوازيتين لإنشاء خريطة ميزات موحدة.
2. الدمج الوسيط (المرحلة 2):
   • تمر الميزات المدمجة من المستوى الأول إلى شبكة عصبية ثانية لمزيد من التجريد.
   • يتم تطبيق التجميع المتوسط العالمي (GAP) على مخرجات كل من الشبكة الأولى والثانية لتلخيص المعلومات المكانية وتقليل الأبعاد.
   • الدمج الوسيط: يتم دمج الميزات المجمعة من المرحلتين الأولى والثانية. يسمح هذا للنموذج بالاستفادة من التمثيلات منخفضة المستوى وعالية المستوى في آن واحد.
3. التصنيف: يمر المتجه المدمج النهائي عبر طبقة كثيفة وطبقة Softmax لتصنيف النشاط.

ج. التصميم التجريبي

• دراسة الاستئصال (Ablation Study): قيم المؤلفون 15 تكويناً مختلفاً عبر تغيير أنواع الشبكات الأولى والثانية (1D/2D CNN، LSTM، 1D/2D CLSTM).
• مقارنة الدمج: تم اختبار النماذج باستخدام الدمج المتأخر فقط مقابل الدمج ثنائي المرحلة (المتأخر + الوسيط).
• التدريب: تم استخدام مُحسّن ADAM، وفقدان التقاطع الفئوي (categorical cross-entropy)، والتحقق المتبادل خماسي الطيات (5-fold cross-validation).

3. المساهمات الرئيسية

1. إطار عمل مبتكر للدمج ثنائي المرحلة: تقدم الدراسة بنية محددة تجمع بين الدمج المتأخر (دمج تدفقات المستشعرات) والدمج الوسيط (دمج الميزات عبر أعماق الشبكة)، مما يثبت أن دمج الميزات في مراحل متعددة يحسن الأداء.
2. أول تطبيق لـ CLSTM في التعرف على النشاط البشري: تعد هذه أول دراسة تطبق الـ CLSTM في كل من التكوينات الفردية والهجينة للتعرف على النشاط البشري، لاستكشاف قدرتها على التقاط التبعيات المكانية والزمانية مباشرة داخل البنية المتكررة.
3. تحليل 1D مقابل 2D: تقدم الأبحاث دليلاً تجريبياً على أن البنى أحادية الأبعاد (1D CNN، 1D CLSTM) تتفوق على نظيراتها ثنائية الأبعاد (2D)، حيث أن البيانات هي في الأساس إشارة زمنية أحادية البعد. وتضيف النماذج ثنائية الأبعاد تعقيداً دون تحقيق مكاسب تناسبية في الأداء.
4. التقييم الشامل: مقارنة منهجية لـ 15 مزيجاً من الشبكات مقابل الطرق الحالية (SOTA) على مجموعتي بيانات مختلفتين.

4. النتائج

أُجريت التجارب على بيانات المستشعرات الخام ومتجهات الميزات المستخرجة مسبقاً.

• مجموعة بيانات USC-HAD (المستشعرات الخام):
  • كان التكوين الأمثل هو الشبكات الالتفافية أحادية البعد المزدوجة (Dual 1D CNNs) مع الدمج الوسيط، محققاً دقة بلغت 94.40%.
  • تفوق هذا النموذج على النماذج التي استخدمت الدمج المتأخر فقط والنماذج القائمة على البنى ثنائية الأبعاد.
• مجموعة بيانات UCI-HAR (المستشعرات الخام):
  • حقق أفضل نموذج (LSTM + 2D CNN مع دمج وسيط) دقة بلغت 88.90%.
  • أظهر الدمج الوسيط تحسناً مستمراً في الدقة مقارنة بالنماذج التي تعتمد على الدمج المتأخر فقط.
• مجموعة بيانات UCI-HAR (متجهات الميزات):
  • بلغت أعلى دقة إجمالية 96.75%، والتي حققها نموذج 1D CNN يليه 1D CNN آخر مع دمج وسيط.
  • تفوقت التكوينات التي استخدمت 1D CNNs في المرحلة الثانية عموماً على تلك التي استخدمت LSTM أو CLSTM.

المقارنة مع أحدث ما توصل إليه العلم (SOTA):
تفوق النموذج المقترح على الطرق الموجودة في كلتا مجموعتي البيانات:

• USC-HAD: 94.40% (المقترح) مقابل 90.88–92.83% (النماذج السابقة CNN-LSTM/H-LSTM).
• UCI-HAR: 96.75% (المقترح) مقابل 91.65–95.76% (النماذج السابقة CNN-LSTM/H-LSTM).

5. الأهمية والخاتمة

• فعالية الدمج الوسيط: تثبت الدراسة بشكل قاطع أن دمج الميزات في مرحلة وسيطة (الجمع بين الميزات الضحلة والعميقة) يعطي دقة أعلى من الاعتماد فقط على الدمج المتأخر.
• كفاءة البنية: بالنسبة للتعرف على النشاط البشري المعتمد على مستشعرات IMU، فإن الطبقات الالتفافية أحادية البعد (1D) أكثر كفاءة وفعالية من الطبقات ثنائية الأبعاد (2D)، حيث توفر توازناً أفضل بين التكلفة الحسابية والدقة.
• القدرة على التعميم: حققت بنية 1D CNN ثنائية المرحلة مع الدمج الوسيط أعلى دقة مسجلة في كل من USC-HAD وUCI-HAR، مما يؤكد قوتها عبر مختلف تكوينات المستشعرات ومجموعات الأنشطة.
• الاتجاهات المستقبلية: يقترح المؤلفون استكشاف آليات الدمج التكيفية (مثل الآليات القائمة على الانتباه - attention-based) لوزن مساهمات المستشعرات ديناميكياً، وتحسين النموذج عبر عمليات التقليم (pruning) أو التكميم (quantization) للنشر على أجهزة الحافة (edge devices) منخفضة الطاقة.

باختصار، تقدم هذه الورقة إطار عمل قوياً للتعرف على النشاط البشري يستفيد من دمج الميزات متعدد المستويات والبنى الالتفافية أحادية البعد لتحقيق أداء يضاهي أحدث ما توصل إليه العلم، مما يوفر إرشادات واضحة لتصميم نماذج تعلم عميق فعالة للتعرف على الأنشطة المعتمدة على المستشعرات.