Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals

إليك ملخص تقني مفصل لورقة البحث بعنوان "التمثيل المشترك لتقدير الوضعية ثلاثية الأبعاد، وتصنيف الحركة، والتنبؤ بالتقدم من خلال الإشارات اللمسية" (SCOTTI).

1. بيان المشكلة

بينما تُعد الطرق القائمة على الرؤية الحاسوبية لتقدير وضعية الجسم، وتصنيف الحركة، والتنبؤ بتقدم الحركة متقدمة، إلا أنها تعاني من قيود كبيرة في البيئات الواقعية:

• الانسداد (Occlusion): لا تستطيع الكاميرات الرؤية عبر العوائق أو عندما تكون أجزاء الجسم مخفية.
• الخصوصية: تثير المراقبة المستمرة للفيديو مخاوف تتعلق بالخصوصية.
• البنية التحتية: تتطلب أنظمة الرؤية غالبًا مساحات مخصصة ومجهزة بأدوات معينة.

يوفر الاستشعار اللمسي بديلًا قويًا من خلال التقاط بيانات القوة والضغط المرتبطة مباشرة بالوضعية دون مشاكل الخصوصية أو الانسداد. ومع ذلك، فإن الأبحاث الحالية القائمة على اللمس تتعامل عادةً مع تقدير الوضعية، وتصصنيف الحركة، والتنبؤ بالتقدم كمهام منفصلة ومعزولة. هذا النهج المستقل يفشل في الاستفادة من الارتباطات الجوهرية بين هذه المهام، مما يؤدي إلى أداء غير مثالي. علاوة على على ذلك، لم يتم استكشاف التنبؤ بتقدم الحركة (تقدير مدى قطع الحركة) باستخدام إشارات اللمس للقدم من قبل.

2. المنهجية: SCOTTI

يقترح المؤلفون SCOTTI (Shared Convolutional Transformer for Tactile Inference)، وهو إطار عمل موحد للتعلم متعدد المهام.

أ. بنية الشبكة

يجمع SCOTTI بين الشبكات العصبية الالتفافية (CNNs) لاستخراج الميزات المكانية والمحولات (Transformers) للنمذجة الزمنية:

1. المدخلات: تسلسل من $T$ من الإطارات اللمسية (نافذة منزلقة) من النعل الأيسر والأيمن. كل إطار عبارة عن شبكة ثنائية الأبعاد ($H \times W$) تمثل ضغط القدم.
2. الترميز المكاني (CNN): يتم معالجة كل إطار بشكل مستقل بواسطة مستخرج ميزات CNN (طبقتان تلاففيتان مع ReLU وتجميع) لالتقاط توزيعات الضغط المكانية. يتم تسطيح المخرجات وإسقاطها في فضاء التضمين ($E$).
3. الترميز الزمني (Transformer):
   • يتم دمج تضمينات الإطارات الـ $T$.
   • يتم إلحاق رمز فئة (Class Token) قابل للتعلم لتجميع المعلومات العالمية.
   • تُضاف ترميزات موضعية (Positional Encodings) قابلة للتعلم لترميز الترتيب الزمني.
   • يقوم مشفر المحول (Transformer Encoder) بمعالجة التسلسل لالتقاط التبعيات الزمنية طويلة المدى.
4. التمثيل المشترك: يتم تطبيق تجميع متوسط مرجح (weighted mean pooling) على مخرجات المحول لإنشاء متجه ميزة مشترك واحد يمثل الإشارة اللمسية.
5. رؤوس المهام (Task Heads): يتم تغذية هذا التمثيل المشترك في ثلاث شبكات عصبية متعددة الطبقات (MLPs) منفصلة للتنبؤ بـ:
   • الوضعية البشرية ثلاثية الأبعاد: 19 نقطة رئيسية (من الرأس إلى أصابع القدمين).
   • فئة الحركة: تصنيف فئوي (8 فئات).
   • تقدم الحركة: قيمة انحدار مستمرة $p \in [0, 1]$.

ب. دالة الخسارة

يتم تدريب النموذج باستخدام مجموع مرجح لثلاث دالات خسارة:
$$L_{total} = w_{pose} L_{pose} + w_{action} L_{action} + w_{progress} L_{progress}$$

• خسارة الوضعية (Pose Loss): مجموع خطأ متوسط موقع المفصل (MPJPE) ومتوسط خطأ زاوية المفصل (MPJAE).
• خسارة الحركة (Action Loss): الإنتروبيا المتقاطعة القياسية (Cross-Entropy).
• خسارة التقدم (Progress Loss): متوسط مربع الخطأ (MSE).

3. المساهمات الرئيسية

أ. نموذج موحد مبتكر (SCOTTI)

SCOTTI هو أول نموذج يتعلم في آن واحد الوضعية ثلاثية الأبعاد، وتصنيف الحركة، وتقدم الحركة من الإشارات اللمسية. وقد أثبت أن التعلم متعدد المهام مع التمثيلات المشتركة يتفوق بشكل كبير على النماذج المرجعية أحادية المهمة.

ب. أول تنبؤ لتقدم الحركة عبر الإشارات اللمسية

تقدم الورقة مفهوم التنبؤ بتقدم الحركة المستمر (من 0% إلى 100%) باستخدام ضغط القدم. حدد المؤلفون إطارًا رياضيًا لتسمية التقدم بناءً على مؤشرات الحركة الدورية (مثل ارتفاع الورك في تمرين القرفصاء "squats"، أو المسافة بين الكعبين في المشي).

ج. مجموعة بيانات واسعة النطاق

جمع المؤلفون مجموعة بيانات جديدة ومفتوحة المصدر تتكون من:

• المشاركين: 15 فردًا.
• المدة: أكثر من 7 ساعات من البيانات المتزامنة.
• الحجم: أكثر من 200,000 إطار.
• الأنشطة: 8 حركات متميزة (القرفصاء، الطعن "lunge"، القفز، الصعود على درجة "step-up"، المشي الجانبي، المشي في المكان، المشي للخلف، والمشي الطبيعي).
• الأجهزة: مستشعر نعل لاسلكي مخصص ومنخفض التكلفة (حوالي 50 دولارًا) يحتوي على أكثر من 500 مستشعر ضغطي لكل قدم، ينقل البيانات بتردد 16 هرتز. تم التقاط الوضعيات الحقيقية (Ground Truth) عبر نظام XRmocap المكون من 6 كاميرات.

4. النتائج التجريبية

تم تقييم النموذج باستخدام استراتيجية التحقق المتبادل "ترك موضوع واحد خارج الاختبار" (leave-one-subject-out) عبر ثلاثة مقاييس: MPJPE (الوضعية)، والدقة (الحركة)، وAPP/MSE (التقدم).

مقارنة الأداء

تفوق SCOTTI على جميع النماذج المرجعية المتطورة (بما في ذلك Voxel-CNN، وRes-CNN، وGCN-Transformer، وSTAT) وعلى نسخها متعددة المهام:

• تقدير الوضعية: حقق 96.63 مم في MPJPE (الأفضل)، وهو أقل بكثير من ثاني أفضل نتيجة (98.51 مم).
• تصنيف الحركة: حقق دقة بنسبة 90.06%، متفوقًا على نموذج STAT المتخصص (84.56%).
• التنبؤ بالتقدم: حقق 0.0223 MSE و 0.8952 APP، وهو ما يتفوق بمراحل على النماذج العشوائية والنسخ متعددة المهام من النماذج الأخرى.

دراسات الاستئصال (Ablation Studies)

• متعدد المهام مقابل أحادي المهمة: أدت إزالة التمثيل المشترك (تدريب نماذج أحادية المهمة) إلى انخفاض كبير في الأداء (على سبيل المثال، ارتفع MPJPE للوضعية من 96.63 إلى 101.61 مم). وهذا يؤكد الفائدة المتبادلة بين المهام.
• مناطق الاستشعار: كشف التحليل أن مناطق وسط القدم هي الأكثر أهمية لجميع المهام، بينما المناطق الطرفية والكعب أقل معلوماتية.
• تصوير الميزات (t-SNE): أظهر فضاء الميزات المشترك أنماطًا مهيكلة:
  • التقدم: الحركات ذات حركات القدم المتبادلة (المشي، الطعن) شكلت هياكل حلقية حيث يتراوح التقدم من دورة 0 إلى 1.
  • الحركة: تجمعت ميزات نفس فئة الحركة بشكل وثيق، مما يشير إلى أن النموذج تعلم تمثيلات تمييزية.

5. الأهمية والتأثير

• تفاعل قوي بين الإنسان والروبوت: من خلال التغلب على مشكلات الانسداد والخصوصية، يمكن لـ SCOTTI تمكين الروبوتات من فهم نية الإنسان وتقدم الحركة في البيئات غير المنظمة (مثل المنازل والمستشفيات).
• الكفاءة: يستبدل النموذج الموحد الحاجة إلى أنظمة متعددة متخصصة، مما يقلل من العبء الحسابي وتعقيد النشر.
• اتجاه بحثي جديد: يفتح تقديم التنبؤ بتقدم الحركة عبر الإشارات اللمسية آفاقًا جديدة لتطبيقات في التدريب الرياضي (تصحيح الأداء)، ورعاية المسنين (اكتشاف السقوط ومراقبة النشاط)، وإعادة التأهيل.
• العلم المفتوح: إن إصدار مجموعة البيانات وتصميم المستشعر (منخفض التكلفة ولاسلكي) يقلل من الحواجز أمام الأبحاث المستقبلية في تحليل الحركة البشرية القائم على اللمس.