TransfHAR: Self-Supervised Wrist Representations for On-Demand Activity Recognition
تُعد TransfHAR إطار عمل للتعلم الذاتي لوحدات قياس القصور الذاتي (IMU) في المعصم، يستفيد من التدريب المسبق على أنشطة غير مصنفة وعامة لتمكين التعرف الدقيق واللحظي على الأنشطة التفصيلية بأقل قدر من البيانات المصنفة، متفوقاً بذلك على النماذج المرجعية الخاضعة للإشراف الكامل في كل من التقييمات غير المتصلة بالإنترنت وتطبيقات الساعات الذكية في العالم الحقيقي.
تحكي معاصمنا كل يوم قصة حركة؛ فهي ترافقنا عبر إيقاع الجري الصباحي، والخطى الثابتة أثناء المشي إلى العمل، والسكون الهادئ أثناء الجلوس خلف المكتب. لسنوات طويلة، علّم العلماء الحواسيب كيفية التعرف على هذه الحركات الواسعة والواسعة النطاق باستخدام مستشعرات تُرتدى على المعصم. يمكن لهذه الأجهزة أن تميز بين الجري والراحة، أو المشي والقيادة. لكن عالم الحركة البشرية أكثر تعقيداً بكما من هذه الفئات العامة؛ فهو مليء بالإيماءات الصغيرة والدقيقة التي تحدد تفاصيل حياتنا الشخصية: مثل الطريقة التي يحرك بها باريستا القهوة، أو الحركة الدقيقة لفرقعة الأصابع، أو الخطوات الرقيقة لوضع الكريم المرطب. هذه الأفعال دقيقة التفاصيل هي ذاتها التي تجعل روتيننا فريداً، ومع ذلك ظلت غير مرئية لبرمجيات الساعات الذكية القياسية. كان التحدي دائماً يكمن في أن تعليم الكمبيوتر حركة جديدة ومحددة يتطلب عادةً جمع ساعات من البيانات المصنفة لكل شخص ولكل مهمة، وهي عملية بطيئة ومكلفة ويستحيل توسيع نطاقها لتشمل التنوع اللامتناهي للعادات البشرية.
لقد وجد فريق من الباحثين الآن طريقة لتجاوز هذه العقبة. فقد طوروا نظاماً يسمى (TransfHAR)، والذي يسمح للساعة الذكية بتعلم أنشطة جديدة وشخصية من خلال عرض توضيحي لا يستغرق سوى ثوانٍ معدودة. وبدلاً من محاولة تعليم الجهاز كل حركة ممكنة من الصفر، قام الباحثون أولاً بتعليمه اللغة العالمية لحركة المعصم. لقد جمعوا كميات هائلة من البيانات غير المصنفة من مجموعات بيانات عامة، حيث التقطوا آلاف الساعات من أشخاص يمشون، ويجرون، ويجلسون، ويمارسون الرياضة. وباستخدام طريقة التعلم الخاضع للإشراف الذاتي، درس النظام هذه الحركات الخام دون أن يُخبر بماهيتها. لقد تعلم فهم الفيزياء الكامنة وراء حركة المعصم؛ كيف يدور، وكيف يتسارع، وكيف تترابط الأجزاء المختلفة من الحركة عبر الزمن. خلقت هذه العملية فهماً داخلياً عميقاً لبنية الحركة، وهو ما يشبه خريطة ذهنية لكيفية سلوك المعصم في العالم المادي.
بمجرد بناء هذا الأساس، قام الباحثون بتجميد المعرفة الجوهرية للنظام وطرحوا سؤالاً بسيطاً: هل يمكن لهذا الفهم الواسع للحركة أن يساعد في التعرف على مهام محددة ودقيقة لم يسبق له رؤيتها؟ لاختبار ذلك، حاولوا تعليم النظام تحديد أفعال معقدة مثل تحريك وعاء (تقليب)، أو الكتابة بقلم، أو القيام بسلسلة من الخطوات لإعداد كوب من اللاتيه. كانت هذه المهام غائبة تماماً عن بيانات التدريب الأولية. وكانت النتائج مذهلة؛ فعندما تم تزويد النظام ببعض الأمثلة لهذه الأفعال الجديدة، استطاع التعرف عليها بدقة عالية. وفي دراسة شملت عشرة مشاركين حدد كل منهم سبعة أنشطة فريدة، وصل النظام إلى دقة تقارب التسعين بالمئة عند تدريبه على دقيقة واحدة فقط من التسجيل لكل نشاط. وحتى مع وجود ثوانٍ قليلة فقط من البيانات، كان أداؤه أفضل بكثير من الطرق التقليدية التي كانت ستتطلب إعادة تدريب النموذج بالكامل من الص scratch.
تكمن قوة هذا النهج في قدرته على التعميم. لم يحفظ النظام الحركات المحددة للأشخاص الذين تدرب عليهم، بل تعلم الميكانيكا الأساسية لحركة المعصم. ولأن فيزياء حركة المعصم أثناء تحريك كوب ما، ترتبط بكيفية حركته أثناء فرقعة الأصابع، استطاع النظام نقل معرفته من الحركات الواسعة والخشنة للحياة اليومية إلى الإيماءات الدقيقة والمحددة للروتين الشخصي. وهذا يعني أنه يمكن للمستخدم الآن تحديد نشاطه الخاص، مثل خطوة تمرين معينة أو إيماءة يد فريدة، ويمكن للساعة تعلمها بشكل فوري تقريباً. يعمل النظام عن طريق أخذ بيانات المستشعر الخام، وتحويلها إلى تمثيل موجز باستخدام "دماغه" المدرب مسبقاً، ثم استخدام طبقة بسيطة وخفيفة الوزن لربط هذا التمثيل بالتسمية الجديدة. وهذا يسمح للعملية بأكملها بأن تحدث مباشرة على الساعة، دون الحاجة إلى إرسال البيانات إلى خادم سحابي أو انتظار تحديث معقد.
ومع ذلك، حدد الباحثون أيضاً حدود هذه التكنولوجيا. يتفوق النظام في التعرف على الأفعال التي تتميز بحركات انفجارية مميزة أو أنماط دورانية واضحة، مثل هز زجاجة أو تدوير برغي. لكنه يعاني أكثر مع الأفعال المستمرة ومنخفضة السعة، مثل التمرير على الهاتف أو الكتابة بالقلم، لأن هذه الحركات غالباً ما تبدو متشابهة جداً في النوافذ الزمنية القصيرة التي يحللها النظام. وعندما تنتج أنشطة مختلفة ديناميكيات معصم متطابقة تقريباً، يمكن للنظام أن يخلط بينها، مما يشير إلى أنه لا تزال هناك حدود لما يمكن أن تكشف عنه لقطة واحدة من الحركة. ورغم هذه القيود، تشير النتائج إلى مسار جديد لتقنيات الأجهزة القابلة للارتداء. فمن خلال التعلم من الحركات الضخمة غير المصنفة في العالم، يمكن للساعات الذكية أن تتجاوز قائمة ثابتة من الأنشطة المبرمجة مسبقاً وتصبح أدوات تكيفية حقاً تفهم اللغة الفريدة والمتطورة للحركة البشرية. ويعني هذا التحول أنه في المستقبل، لن تكتفي أجهزتنا بتتبع ما نفعله فحسب، بل ستتعلم فهم الطرق المحددة التي نختار بها القيام به.
ملخص تقني: TransfHAR
بيان المشكلة يحمل التعرف على نشاط المعصم بدقة عالية إمكانات كبيرة للمساعدة القائمة على السياق والتوجيه الإجرائي. ومع ذلك، تواجه الأنظمة الحالية عقبة حرجة: فهي تعتمد على مفردات أنشطة محددة مسبقاً تم تدريبها على مجموعات بيانات معينة. إن إضافة أنشطة جديدة، لا سيما تلك التي يحددها المستخدم، أو الدقيقة (مثل إيماءات معينة أو خطوات إجرائية)، أو المخصصة لتناسب أساليب الأفراد، تتطلب جمع بيانات جديدة مصنفة وإعادة تدريب النماذج من الصفر. هذا النهج لا يتوسع لاستيعاب تنوع الأنشطة البشرية. علاوة على ذلك، فإن مجموعات بيانات مستشعرات الحركة بالقصور ذاتي (IMU) للمعصم العامة تميل بشدة نحو حركات التنقل والوضعيات العامة (الأنشطة من المستوى 1 و2)، مما يترك ندرة في البيانات المصنفة للمهام التلاعبية الدقيقة (المستوى 3) والإجرائية (المستوى 4).
المنهجية يقترح المؤلفون TransfHAR، وهو إطار عمل للتعلم الذاتي الخاضع للإشراف، مصمم لتعلم أولويات الحركة القابلة للنقل من بيانات معصم (IMU) عالمية غير مصنفة لتمكين التعرف على الأنشطة الدقيقة عند الطلب. يعمل الإطار في مرحلتين:
1. المرحلة (أ): التدريب المسبق ذاتي الإشراف على الحركة العالمية
تجميع البيانات: قام المؤلفون بتجميع مجموعات بيانات معصم (IMU) عامة وغير متجانسة (مثل RecoFit، وPAMAP2، وCapture-24)، وتوحيدها إلى معدل أخذ عينات مشترك قدره 50 هرتز ونظام إحداثيات (Forward-Left-Up - FLU).
التركيز: يستخدم التدريب المسبق بشكل أساسي بيانات الحركة العالمية العامة (أنشطة L1/L2 مثل المشي، والجلوس، والتمارين الرياضية) حيث تتوفر البيانات بكثرة. يتم التخلص من الملصقات (Labels) خلال هذه المرحلة.
البنية الهيكلية: تم استخدام مشفر (1D Vision Transformer - ViT-1D). يقوم بمعالجة مدخلات السلاسل الزمنية الخام باستخدام تقطيع الرموز المستقل عن القنوات (channel-independent patch tokenization).
الهدف: يتم تدريب النموذج باستخدام هدف "المشفر التلقائي المقنع" (Masked Autoencoder - MAE). تقوم استراتيجية قناع مركبة (عشوائية، وزمنية، وقناع إشارة) بإخفاء 6� 65% من الرموز، ويقوم فك تشفير خفيف الوزن بإعادة بناء القطع المقنعة. هذا يجبر المشفر على تعلم البنية الزمنية والتنسيق عبر المحاور المشتركة بين مختلف أنواع الأنشطة.
النماذج المتغيرة: تم تدريب نوعين من المشفرات: متغير بـ 3 محاور (مقياس تسارع فقط) ومتغير بـ 6 محاور (مقياس تسارع + جيروسكوب).
2. المرحلة (ب): تعلم المهام عند الطلب (التخصيص)
التجميد: يتم تجميد المشفر المدرب مسبقاً.
المسبار الخطي (Linear Probe): يتم إرفاق مسبار تصنيف خطي خفيف الوزن، مكون من طبقة واحدة، بمخرجات تضمين المشفر.
سير عمل المستخدم: على ساعة ذكية، يحدد المستخدمون فئات أنشطة جديدة ويسجلون عدداً صغيراً من العروض التوضيحية (few-shot). يقوم النظام بتقسيم البيانات، وتشفيرها باستخدام المشفر المجمد، وتدريب المسبار على الجهاز.
التكيف: يظل المشفر ثابتاً؛ حيث يتم تحديث معاملات المسبار فقط. وهذا يسمح للمستخدمين بتوسيع مفردات الأنشطة الخاصة بهم بشكل تكراري دون الحاجة لإعادة تدريب الهيكل الأساسي الثقيل.
المساهمات الرئيسية
إطار عمل TransfHAR: إطار عمل ذاتي الإشراف لبيانات المعصم (IMU) يتعلم تمثيلات حركة قابلة لإعادة الاستخدام من مجموعات بيانات عامة غير متجانسة، مما يتيح التكيف السريع على الأجهزة للأنشطة التي يحددها المستخدم.
نظام الساعة الذكية في الوقت الفعلي: تنفيذ تم نشره على ساعة Apple Watch Series 10 يدعم تحديد الملصقات، وتسجيل العروض التوضيحية، وتدريب مصنف مخصص على الجهاز، وتلقي تنبؤات في الوقت الفعلي.
التحقق التجريبي: تقييم عبر مجموعات البيانات يثبت أن التمثيلات ذاتية الإشراف المجمدة تنتقل بفعالية إلى اختبارات معيارية للمهام التلاعبية، والإجرائية، والتشبه بالإيماءات، متفوقة على النماذج الخاضعة للإشراف الكامل.
النتائج
التقييم عبر مجموعات البيانات (Offline): تم اختبار الإطار على ثلاثة اختبارات معيارية محجوزة (SAMoSA، وPrISM-Tracker، وUTD-MHAD) تغطي أنشطة L3 (تلاعبية) وL4 (إجرائية).
الأداء: تجاوز مشفر TransfHAR ذو الـ 6 محاور المجمد مع مسبار خطي نماذج الإشراف الكامل (التي استخدمت مجموعات ملصقات كاملة وغالباً قنوات استشعار أكثر) بمتوسط 6.2 نقطة في دقة التوازن.
المكاسب المحددة: حقق زيادة قدرها +8.1 نقطة في SAMoSA، و+5.5 في عملية تحضير القهوة في PrISM، و+5.0 في UTD-MHAD.
توسع الأمثلة القليلة (Few-Shot Scaling): تحسن الأداء بشكل كبير مع عدد قليل من الأمثلة. على سبيل المثال، في SAMoSA، قفزت الدقة من 21.8% (مثال واحد) إلى 42.6% (5 أمثلة) لنموذج الـ 6 محاور.
دراسة المستخدم على الجهاز: دراسة مع 10 مشاركين قاموا بـ 7 أنشطة محددة من قبل المستخدم لكل منهم.
الدقة: باستخدام 5 أمثلة فقط لكل فئة (حوالي 12.8 ثانية من البيانات)، حقق النظام دقة توازن بلغت 86.7%.
تسجيل لمدة دقيقة واحدة: عند التدريب على تسجيل واحد لمدة دقيقة لكل فئة، وصلت الدقة إلى 90.4%.
الكفاءة: اكتمل تدريب المسبر على الساعة في أقل من ثانية لفئات نموذجية، وكان زمن انتقال الاستدلال حوالي 23.8 مللي ثانية لكل نافذة.
توسع المفردات: حافظ النظام على دقة عالية مع توسع المفردات من 10 إلى 70 فئة، حيث حدثت معظم انخفاضات الأداء تحت 30 فئة.
الأهمية والادعاءات يدعي البحث أن التدريب المسبق واسع النطاق ذاتي الإشراف على حركات المعصم العالمية العامة يوفر أساساً فعالاً للتعرف على الأنشطة الدقيقة المحددة من قبل المستخدم والتي لم تُشاهد أثناء التدريب المسبق. الرؤية المركزية هي أن مجموعات البيانات العامة، رغم هيمنة حركات التنقل عليها، تحتوي على بدائيات حركة أساسية (اهتزازات، اصطدامات، دورات) يمكن إعادة استخدامها للمهام التلاعبية والإجرائية.
يجادل المؤلفون بأن هذا النهج يحل مشكلة التوسع في التعرف الشخصي على الأنشطة. من خلال تعلم "فضاء الحركة العام" (motion manifold)، يسمح النظام للمستخدمين بتحديد مجموعات الأنشطة الخاصة بهم وتحقيق تعرّف قوي من خلال عدد قليل جداً من العروض التوضيحية، مما يلغي الحاجة إلى مجموعات بيانات ضخمة مصنفة أو إعادة تدريب كاملة للنموذج. يوضح العمل كيف يمكن للتعلم ذاتي الإشراف سد الفجوة بين البيانات العامة الخشنة والاحتياجات الدقيقة والمحددة للأفراد في الأنظمة القابلة للارتداء التفاعلية.
القيود المذكورة من قبل المؤلفين
السياق الزمني: النهج الحالي القائم على النوافذ يعاني في التعامل مع الخطوات الإجرائية (L4) التي تتشابه محلياً وتتطلب سياقاً زمنياً أطول للتمييز بينها.
الانحراف طويل الأمد: كانت دراسة المستخدم قصيرة المدى؛ ولم يتم تقييم الانحراف السلوكي طويل الأمد والحاجة إلى إعادة التكيف بمرور الوقت.
قيود الأجهزة/الموارد: مشفر الـ Transformer أثقل من نماذج CNN/LSTM المحسنة للحواف، ولم يتم قياس تأثيرات البطارية/الحرارة بشكل مباشر.
التحيز الديموغرافي: تفتقر مجموعة التدريب المسبق إلى بيانات وصفية ديموغرافية متسقة، مما يترك قابلية الانتقال عبر مختلف أنواع الأجسام، والأعمار، والقدرات الحركية دون اختبار.