Impact Detection in Fall Events: Leveraging Spatio-Temporal Graph Convolutional Networks and Recurrent Neural Networks Using 3D Skeletons Data
تقترح هذه الورقة منهجية تجمع بين الشبكات التلافيفية الرسومية المكانية-الزمانية (STGCN)، وطبقات GRU، وBiLSTM لمعالجة بيانات الهيكل العظمي ثلاثية الأبعاد للكشف بدقة عن لحظات الارتطام ضمن أحداث السقوط، محققةً دقة تتجاوز 90% على مجموعة بيانات UP-Fall المحسنة التي أتاحها المؤلفون للعموم.
المؤلفون الأصليون:Tresor Y. Koffi, Youssef Mourchid, Mohammed Hindawi, Yohan Dupuis
تخيل أنك تشاهد فيلماً حيث يتعثرت إحدى الشخصيات ويسقط. قد يصرخ نظام إنذار بسيط بكلمة "!FALL" (سقوط!) في اللحظة التي يبدأ فيها الشخص بالتعثر، حتى لو تمكن من إسناد نفسه على كرسي أو حائط. لكن في العالم الحقيقي، وخاصة بالنسبة لكبار السن، الجزء المخيف ليس التعثر؛ بل هو صوت الارتطام "الخبطة" عند اصطدامهم بالأرض. هذا هو الفرق بين "التعثر الوشيك" وبين حالة طوارئ حقيقية. يحاول العلماء العاملون في مجال الرؤية الحاسوبية والذكاء الاصطناعي بناء أنظمة يمكنها التمييز بين حركة رقصة غير متزنة وبين حادثة سقوط مهددة للحياة. إنهم يستخدمون "هياكل عظمية" ليست مصنوعة من العظام، بل من نقاط رقمية متصلة بخطوط تتبع كيفية تحرك مفاصل الشخص. ومن خلال مراقبة هذه الهياكل العظمية الرقمية، يمكن للحواسيب أن تتعلم رصد اللحظة الدقيقة التي يصطدم فيها الشخص بالأرض، مما يضمن وصول المساعدة فقط عندما تكون هناك حاءة حقيقية، بدلاً من إضاعة الموارد في إنذارات كاذبة.
تتناول هذه الورقة البحثية تلك المشكلة المعقدة المتمثلة في "رصد الارتطام". يقترح المؤلفون، وهم فريق من معهد CESI وENSAM في فرنسا، طريقة جديدة لتعليم الحواسيب رصد لحظة الارتطام الحرجة تلك. لم يكتفوا ببناء كاميرا أذكى؛ بل بنوا عقلاً أذكى للكاميرا. لقد أخذوا مجموعة بيانات لفيديوهات السقوط (مجموعة بيانات UP-Fall) وقاموا بتنظيفها مثل محقق ينظف مسرح جريمة، عبر إزالة الفوضى في الخلفية وإصلاح البيانات المصنفة غير الدقيقة. ثم قاموا بتغذية هذه البيانات المنقحة في بنية ذكاء اصطناعي خاصة. فكر في نموذجهم كفريق تحقيق مكون من ثلاث طبقات. أولاً، تعمل شبكة STGCN (الشبكة العصبية التلافيفية الرسومية المكانية والزمانية) كقارئ للخرائط، حيث تراقب كيفية اتصال المفاصل الرقمية ببعضها البعض (الرسم البياني) وكيفية تحركها عبر الزمن. بعد ذلك، استبدلوا وحدة ذاكرة قديمة وبطيئة بوحدة GRU (الوحدة المتكررة ذات البوابة)، والتي تشبه مدون ملاحظات أسرع وأكثر كفاءة، يتذكر تسلسل الحركات دون أن يثقل كاهله. وأخيراً، أضافوا طبقة BiLSTM (الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه). هذه هي نجمة العرض: إنها تشبه المحقق الذي يمكنه قراءة القصة للأمام وللخلف في نفس الوقت. فمن خلال النظر إلى الإطارات قبل لحظة معينة وبعدها، يمكن للنموذج فهم السياق الكامل للسقوط، مما يميز بين الارتطام الحقيقي والخداع بشكل أفضل بكثير من الأنظمة التي تنظر إلى الماضي فقط.
نتائج هذا "المحقق ثلاثي الطبقات" مثيرة للإعجاب حقاً. فعندما تم اختباره على مجموعة بياناتهم المحسنة، حقق النموذج دقة بلغت 97.50% في اكتشاف لحظة الارتطام بدقة. وهذه قفزة كبيرة عن نموذجهم الأساسي الذي حقق 92.16% فقط. وجد المؤلفون أن نظامهم بارع بشكل خاص في رصد حالات السقوط حيث يسقط الشخص للخلف أثناء الوقوف (96.50% دقة) أو السقوط أثناء محاولة الجلوس (97.50% دقة). كما اختبروا مدى كفاءة نظامهم عندما تكون أجزاء من الشخص مخفية (محجوبة). إذا كان الجزء العلوي من الجسم مرئياً (حوالي 70% من المفاصل)، فإن النظام لا يزال يعمل بشكل جيد جداً بدقة 95.20%. ومع ذلك، إذا كان الجزء السفلي فقط هو المرئي (مجرد 30% من المفاصل)، فإن الدقة تنخفض إلى 76.60%، مما يظهر أن رؤية الجزء العلي من الجسم أمر بالغ الأهمية لرصد "الارتطام".
من الضروري أن الورقة تجادل ضد فكرة أن مجرد النظر إلى السقوط يكفي. فالعديد من الأنظمة الحالية تطلق الإنذار بمجرد بدء سقوط الشخص، مما يؤدي إلى فيض من التنبيهات الكاذبة. يوضح المؤلفون صراحةً أن طريقتهم تتفوق لأنها تنتظر اللحظة المحددة لملامسة الأرض. كما قارنوا نهجهم بنماذج الذكاء الاصطناعي الشهيرة الأخرى مثل الشبكات العصبية التلافيفية (CNN) القياسية والشبكات المتكررة (LSTM)، وقد تفوق مزيجهم "STGCN-GRU-BiLSTM" باستمرار على تلك النماذج، خاصة عند استخدام بياناتهم المنقحة. على سبيل المثال، قفز نموذج STGCN القياسي من دقة 72% على البيانات الأصلية الفوضوية إلى 87.43% على بياناتهم المحسنة، مما يثبت أن تنقية البيانات لا تقل أهمية عن الخوارزمية نفسها.
يشير المؤلفون بحذر إلى أنه بينما يتمتع نموذجهم بدقة عالية على البيانات المحاكية (حيث قام شباب بتمثيل حركات السقوط في مختبر)، إلا أنه لا يزال مجرد محاكاة. ويقترحون أن الخطوة التالية هي اختباره في دور الرعاية الفعلية مع كبار السن الحقيقيين، حيث قد تجعل الإضاءة، والملابس، وفوضى العالم الحقيقي الأمر أكثر صعوبة. كما يشيرون إلى أن نظامهم فعال حاسوبياً بما يكفي ليكون عملياً، حيث يستغرق حوالي 41 دقيقة للتدريب و12 ثانية فقط لاختبار تسلسل ما على بطاقة رسوميات قياسية. ومن خلال جعل مجموعة بياناتهم المحسنة متاحة للجمهور، يأملون أن يبني باحثون آخرون على هذا الأساس، بهدف إنشاء شبكة أمان تعرف تماماً متى تطلب المساعدة، مما يوفر الأرواح وموارد الطوارئ على حد سواء.
ملخص تقني: اكتشاف التأثير في أحداث السقوط باستخدام STGCN وGRU وBiLSTM على الهياكل العظمية ثلاثية الأبعاد
بيان المشكلة بينما حققت أنظمة اكتشاف السقوط الحالية دقة عالية في تحديد حدوث واقعة السقوط، إلا أنها تفتقر إلى الدقة الزمنية المطلوبة لتحديد اللحظة الدقيقة لملامسة الأرض (التأثير). يؤدي هذا القصور إلى ارتفاع معدلات الإيجابيات الكاذبة، حيث يتم تصنيف السقطات الوشيكة، أو التعثرات، أو الأنشطة غير المتعلقة بالسقوط بشكل خاطئ على أنها لحظات تأثير، مما يتسبب في تنبيهات غير ضرورية وتخصيص غير فعال لموارد الرعاية الصحية. التحدي الحرج يكمن في التمييز بين الحركة العامة للسقوط ولحظة التأثير المحددة، خاصة في البيئات ذات الأنشطة الديناميكية أو سرعات السقوط المتفاوتة.
المنهجية يقترح المؤلفون بنية للتعلم العميق مصممة لاكتشاف لحظات التأثير ضمن أحداث السقوط باستخدام بيانات الهيكل العظمي ثلاثي الأبعاد. تتبع المنهجية مساراً منظماً:
الحصول على البيانات ومعالجتها مسبقاً:
مجموعة البيانات: تستخدم الدراسة مجموعة بيانات UP-Fall، وهي مجموعة متعددة الوسائط تشمل حالات سقوط وأنشطة الحياة اليومية (ADLs) تحتوي على بيانات متزامنة من مقياس التسارع والفيديو.
معالجة الصور: لتحسين تقدير الوضعية، طبق المؤلفون عملية قص الصور (التوحيد إلى 500×700 بكسل) وإزالة الخلفية باستخدام خوارزمية GrabCut. وقد أدى ذلك بشكل كبير إلى زيادة عدد الإطارات التي يمكن فيها اكتشاف الهياكل العظمية (على سبيل المثال، من 81 إلى 100 إطار للموضوع رقم 1).
تقدير الوضعية: تم اختيار خوارزمية MediaPipe BlazePose على حساب OpenPose نظراً لأدائها المتفوق في اكتشاف 33 مفصلاً في 100% من الإطارات، مقارنة بـ 25 مفصلاً في 61 إطاراً فقط لخوارزمية OpenPose.
التوسيم (Labeling): تم تقديم نهج جديد للتوسيم شبه التلقائي؛ حيث يقوم بحساب متجه مقدار الإشارة (SMV) من بيانات مقياس التسارع لتحديد لحظات التأثير المحتملة (عتبة > 2g). ثم يتم التحقق بصرياً من هذه المرشحات لإنشاء "مجموعة بيانات UP-Fall المحسنة" مع تسميات دقيقة للتأثير/عدم التأثير (1 أو 0).
بنية النموذج (STGCN-GRU-BiLSTM): تبني النواة الأساسية للنموذج على الشبكات التلافيفية الرسومية الزمانية المكانية (STGCN) وتدمج الطبقات المتكررة لتعزيز التحليل الزمني:
النموذج المرجعي STGCN: يعمل على نمذجة الهيكل العظمي البشري كرسم بياني G=(A,V,E) حيث المفاصل هي رؤوس والروابط هي حواف. يستخدم التلافيف الرسومي لاستخراج الميزات المكانية والشبكات التلافيفية الزمنية (TCN) لالتقاط التبعيات الزمنية.
تكامل GRU: لتحسين الكفاءة الحسابية وتقليل وقت التدريب مقارنة بـ ConvLSTM، تم إدخال طبقات الوحدة المتكررة ذات البوابة (GRU). تقوم هذه الطبقات بتحليل التبعيات الزمنية وتساعد في تحديد مساهمة مفاصل الجسم المحددة في حدث السقوط.
تكامل BiLSTM: تمت إضافة طبقة الذاكرة الطويلة قصيرة المدى ثنائية الاتجاه (BiLSTM) لمعالجة المتواليات في كلا الاتجاهين. يسمح هذا للنموذج بالتقاط السياق من الإطارات الماضية والمستقبلية، وهو أمر بالغ الأهمية للتعامل مع تسلسلات السقوط متغيرة الطول وتحديد لحظة التأثير بدقة في السيناريوهات الديناميكية.
آلية الانتباه (Attention Mechanism): يتم استخدام متجه الانتباه لوزن مصفوفة التجاور ديناميكياً، مما يركز النموذج على المفاصل الحرجة (مثل الرأس، الكتفين، الوركين) الأكثر صلة باكتشاف التأثير.
المساهمات الرئيسية
مجموعة بيانات محسنة: أصدر المؤلفون نسخة محسنة من مجموعة بيانات UP-Fall مع بيانات هيكل عظمي ثلاثي الأبعاد منقحة وتوسيم دقيق للتأثير، وهي متاحة للجمهور لتسهيل المزيد من الأبحاث.
بنية هجينة: اقتراح بنية STGCN-GRU-BiLSTM التي تجمع بفعالية بين النمذجة الرسومية المكانية والتحليل الزمني ثنائي الاتجاه والكفء.
التوسيم شبه التلقائي: طريقة للاستفادة من البيانات العطالية (مقاييس التسارع) لأتمتة الكشف الأولي عن لحظات التأثير، مما يقلل من كثافة العمل اليدوي مع الحفاظ على دقة عالية من خلال التحقق البصري.
التركيز على التأثير: على عكس أنظمة اكتشاف السقوط العامة، يستهدف هذا النهج تحديداً التوطين الزمني لحدث التأثير، متميزاً عن حركة السقوط نفسها.
النتائج تم تقييم النموذج على مجموعة بيانات UP-Fall المحسنة واختبار قدرته على التعميم على مجموعة بيانات UMAFall.
الأداء: حقق نموذج STGCN-GRU-BiLSTM الكامل دقة بلغت 97.50%، ودقة (Precision) بلغت 98.11%، ودرجة F1 بلغت 97.26%. ويمثل هذا تحسناً بنسبة 5.34% في الدقة مقارنة بالنموذج المرجعي STGCN.
تفاصيل السيناريوهات: أظهر النموذج أداءً جيداً بشكل خاص في اكتشاف التأثيرات لـ "السقوط للخلف أثناء الوقوف" (دقة 96.50%) و"السقوط أثناء الجلوس" (دقة 97.50%).
دراسة الاستئصال (Ablation Study): أكدت الدراسة أن استبدال ConvLSTM بـ GRU حسن الكفاءة دون التضحية بالأداء، وأن إضافة BiLSTM وفرت السياق الثنائي اللازم لتحقيق أعلى دقة.
التعميم: عند التدريب على مجموعة بيانات UP-Fall المحسنة والاختبار على مجموعة بيانات UMAFall، حافظ النموذج على دقة عالية (94-97%)، مما أظهر متانة عبر مجموعات البيانات المختلفة.
تأثير المعالجة المسبقة: أدى تطبيق المعالجة المسبقة المقترحة (إزالة الخلفية، القص، التوسيم المحسن) على خوارزميات أخرى من أحدث ما توصل إليه العلم (CNN, LSTM, BiLSTM, STGCN) إلى رفع أدائها بشكل كبير، حيث ارتفعت دقة STGCN الأساسية من 72% إلى 87.43%.
الانسداد (Occlusion): حافظ النموذج على دقة 95.2% عندما كان الجزء العلوي من الجسم مرئياً (70% من المفاصل)، رغم انخفاض الأداء إلى 76.6% عندما كان الجزء السفم فقط هو المرئي.
الأهمية والادعاءات يزعم البحث أن الكشف الدقيق عن التأثير ضروري لتقليل الإنذارات الكاذبة وضمان تخصيص موارد الرعاية الصحية فقط عندما يصطدم الشخص بالأرض بالفعل. من خلال التمييز بين السقطات الوشيكة والتأثيرات الفعلية، يعزز النظام المقترح الموثوقية. يؤكد المؤلفون أن نهجهم يقدم حلاً عملياً للتطبيقات في العالم الحقيقي من خلال الجمع بين الدقة الزمنية العالية والجدوى الحسابية. ويُبرز البحث إصدار مجموعة البيانات المحسنة والفعالية المثبتة لمسار المعالجة المسبقة كإسهامات هامة للمجتمع البحثي، مما يتيح تقييماً أفضل لأنظمة اكتشاف التأثير. وتخلص الدراسة إلى أن طريقتهم تعالج بفعالية الفجوة بين اكتشاف السقوط العام والحاجة المحددة والحرجة لتوطين التأثير.