Validation design changes wearable stress-state classification performance in hospital nurses
تُظهر هذه الدراسة أنه بينما قد تُبدي مصنفات الإجهاد القائمة على الأجهزة القابلة للارتداء لممرضي المستشفيات دقة داخلية عالية، إلا أن أداءها يتدهور بشكل كبير عند تقييمها على أفراد غير مرئيين، مما يسلط الضوء على الحاجة الماسة للتحقق على مستوى المشاركين لضمان قابلية النقل قبل الاستخدام التشغيلي.
تخيل عالماً يمكن فيه لسوار معصم بسيط أن يخبر الممرضة متى أصبحت مجهدة لدرجة لا تسمح لها بالعمل بأمان، مما قد يمنع الاحتراق الوظيفي والأخطاء في مستشفى مزدحم. تعتمد هذه الفكرة على أجهزة استشعار قابلة للارتداء تتبع إشارات الجسم الدقيقة، مثل التغيرات في كيفية توصيل الجلد للكهرباء، ومعدل ضربات القلب، ودرجة حرارة الجلد. تلتقط هذه الأجهزة تدفقاً مستمراً من البيانات، وتقسمها إلى أجزاء صغيرة مدة كل منها دقيقة واحدة للبحث عن أنماط تشير إلى التوتر. والأمل هو أنه من خلال تعليم الكمبيوتر التعرف على هذه الأنماط، يمكننا إنشاء أداة تساعد العاملين في مجال الرعاية الصحية. ومع ذلك، يبقى سؤال جوهري قائماً: هل الكمبيوتر الذي يتعلم التعرف على التوتر في بيانات شخص واحد يعمل حقاً عندما يلتقي بشخص جديد تماماً؟
لقد بحثت دراسة حديثة أجراها الباحثون فوات كهرامان، وغوزدي أوزسيزر، وغولينغول ميرمر في هذه المشكلة تحديداً باستخدام بيانات من مجموعة من خمس عشرة ممرضة في مستشفى ارتدين هذه المستشعرات خلال فترة الجائحة. أراد الباحثون معرفة ما إذا كانت النتائج المثيرة للإعجاب التي تظهر غالباً في النماذج الحاسوبية كانت حقيقية أم أنها كانت مجرد نتيجة لحفظ النماذج للعادات الخاصة بالأشخاص الذين تدربت عليهم. لقد أخذوا مجموعة بيانات عامة تحتوي على أكثر من أحد عشر مليون ثانية من البيانات المسجلة واختبروا مدى قدرة خوارزميات حاسوبية مختلفة على تصنيف مستويات التوتر لدى الممرضات كمنخفضة، أو متوسطة، أو عالية. ركزت الدراسة على طريقتين مختلفتين لاختبار النماذج: إحدى الطريقتين حيث يرى الكمبيوتر بعض البيانات من ممرضة ما أثناء التدريب وبيانات أخرى من نفس الممرضة أثناء الاختبار، والطريقة الأخرى حيث يتم اختبار الكمبيوتر على ممرضة لم يسبق له رؤيتها من قبل.
كشفت النتائج عن فجوة مذهلة بين هاتين الطريقتين للاختبار. فعندما سُمح للكمبيوتر بالتعلم من ممرضة واحدة ثم اختباره على لحظات لاحقة من نفس الممرضة، حقق دقة شبه مثالية، حيث وصلت الدرجات إلى 0.990. وقد اقترح هذا أن النموذج كان بارعاً للغاية في المهمة. ومع ذلك، عندما غير الباحثون الاختبار لمعرفة ما إذا كان النموذج يمكنه التعامل مع ممرضة جديدة تماماً لم يواجهها من قبل، انخفض الأداء بشكل كبير. بالنسبة لأفضل النماذج أداءً، انخفضت الدقة من 0.948 إلى متوسط أقل بكثير بلغ 0.661. في الواقع، تباينت الدقة للممرضات الجديدات بشكل هائل، حيث تراوحت بين منخفضة جداً عند 0.32 ومرتفعة عند 0.90. وهذا يعني أنه بينما استطاع الكمبيوتر بسهولة التعرف على أنماط التوتر للأشخاص الذين درسهم، إلا أنه واجه صعوبة كبيرة في تطبيق تلك المعرفة على غريب. وجدت الدراسة أن النموذج اعتمد بشكل كبير على موصلية الجلد ودرجة حرارة الجلد لاتخاذ تخميناته، ولكن حتى مع وجود هذه الإشارات القوية، لم يستطع تعميم تعلمه على أفراد جدد.
كما نظر الباحثون عن كثب في كيفية إنشاء تسميات التوتر. لم تأتِ البيانات من طبيب يشخص التوتر؛ بل اقترحت خوارزمية لحظات التوتر العالي، وقامت الممرضات بمراجعة هذه الاقتراحات بأنفسهن بعد نوبات عملهن. تعني هذه العملية أن التسميات ربما تأثرت بنفس بيانات المستشعرات التي يحاول الكمبيوتر تعلمها، مما جعل من السهل على النموذج التخمين بشكل صحيح دون فهم الفسيولوجيا الكامنة وراء ذلك حقاً. ولأن الدراسة كانت محدودة بمجموعة صغيرة من الممرضات من مستشفى واحد خلال فترة زمنية محددة، ولأن النماذج الحاسوبية لم تُختبر في مستشفيات جديدة أو على مجموعات جديدة من الناس، فقد حذر المؤلفون من أن هذه الأدوات ليست جاهزة للاستخدام في العالم الحقيقي. وهم يؤكدون أن أرقام الدقة العالية من الاختبارات الداخلية يمكن أن تكون مضللة، وأنه قبل استخدام مثل هذا النظام لدعم طاقم المستشفى، يجب إثبات عمله بموثوقية على أشخاص لم يقابلهم من قبل، مع تقديم دليل واضح على أنه يساعد بدلاً من أن يضر.
ملخص تقني: تغييرات تصميم التحقق تؤثر على أداء تصنيف حالة الإجهاد عبر الأجهزة القابلة للارتداء لدى ممرضي المستشفيات
بيان المشكلة توفر المستشعرات القابلة للارتداء مراقبة فسيولوجية مستمرة في البيئات الطبيعية، ومع ذلك، غالبًا ما يتم المبالغة في فائدتها لتصنيف الإجهاد بسبب عيوب في تصميمات التحقق. تبرز مشكلة حرجة عندما تولد تدفقات الاستشعار الكثيفة من فرد واحد آلاف النوافذ الزمنية المتجاورة. فإذا ساهمت النوافذ من نفس الشخص في كل من تدريب النموذج وتقييمه (التحقق الداخلي على مستوى النافذة)، فإن الدقة العالية الناتجة قد تعكس قدرة النموذج على التعرف على "بصمات" مستخدمين محددين بدلاً من قدرته على التعميم على أفراد جدد لم يسبق رؤيتهم. يبحث هذا البحث في كيفية تأثير تصميم التحقق على الأداء الظاهري للمصنفات المشتقة من الأجهزة القابلة للارتداء لتصنيف الإجهاد، وبالتحديد فحص التفاوت بين التقديرات الداخلية على مستوى النافذة والتقييمات المستقلة عن المعرّف (التحقق بترك أحد المعرفات خارج النموذج - Leave-one-identifier-out).
المنهجية هذه الدراسة هي تحليل مقارنة حسابي استرجاعي لمجموعة بيانات عامة متعددة الوسائط تم جمعها من 15 ممرضة في مستشفى خلال جائحة كوفيد-19.
مصدر البيانات: استخدم التحليل إعادة توزيع مدمجة لمجموعة البيانات التي أبلغ عنها Hosseini وآخرون، والتي تحتوي على ما يقرب من 11.5 مليون صف مدته ثانية واحدة. تكونت العينة الأصلية من 15 ممرضة، رغم أن البيانات المعاد توزيعها احتوت على 18 قيمة معرّف فريدة.
المستشعرات والميزات: تم التقاط البيانات عبر أجهزة Empatica E4، والتي تقيس النشاط الكهربائي للجلد (EDA)، ومعدل ضربات القلب (HR)، ودرجة حرارة الجلد، والتسارع ثلاثي المحاور. تم تقسيم الإشارات إلى نوافذ مدتها 60 ثانية، واستخراج 24 ميزة إحصائية (المتوسط، الانحراف المعياري، الحد الأدنى، الحد الأقصى) لكل نمط.
التسميات (Labels): المتغير المستهدف هو حالة إجهاد ثلاثية المستويات (منخفض، متوسط، مرتفع). تم اشتقاق هذه التسميات من أحداث اقترحتها الخوارزمية وتمت مراجعتها لاحقًا من قبل الممرضات، وليس بناءً على تشخيصات سريرية مستقلة.
النماذج: تم تقييم ست خوارزميات: الغابة العشوائية (Random Forest)، وXGBoost، وLightGBM، والبيرسيبترون متعدد الطبقات (MLP)، والذاكرة الطويلة قصيرة المدى (LSTM)، والشبكات العصبية الالتفافية أحادية البعد (1D CNN).
استراتيجية التحقق:
التحقق الداخلي الزمني على مستوى النافذة: تقسيم يعتمد على الوقت داخل التسلسل المدمج، حيث تعمل النوافذ اللاحقة كمجموعة اختبار. سمح هذا بظهور نوافذ من نفس الممرضة في كل من أقسام التدريب والاختبار.
التحقق بترك المشارك خارج النموذج (LOSO): تقييم مستقل عن المشارك حيث يتم استبعاد جميع النوافذ الخاصة بمعرّف واحد أثناء ملاءمة النموذج. تم إجراء ذلك فقط لنموذج XGBoost بسبب قيود توفر البيانات.
أدوات التحليل: تم استخدام قيم SHAP (تفسيرات شابلِي الإضافية) لتفسير أهمية الميزات، كما أُجريت دراسات استئصال مجموعات المستشعرات لتقييم مساهمة الأنماط المحددة.
النتائج الرئيسية
تفاوت الأداء: تراوحت الدقة الداخلية على مستوى النافذة من 0.810 (MLP) إلى 0.990 (LSTM و1D CNN). في المقابل، عندما تم تقييم XGBoost باستخدام التحقق بترك المشارك خارج النموذج (LOSO)، انخفض متوسط الدقة بشكل كبير إلى 0.661 (انخفاض قدره 0.287). وتفاوتت الدقة للمعرفات الفردية المستبعدة بشكل كبير، حيث تراوحت تقريبًا بين 0.32 و0.90.
أهمية الميزات: أشارت تحليلات SHAP إلى أن ميزات النشاط الكهربائي للجلد (EDA) قدمت أكبر المساهمات في مخرجات النموذج، تليها درجة حرارة الجلد وميزات الحركة. كانت مساهمات معدل ضربات القلب ضئيلة.
نتائج الاستئصال (Ablation): أدى إزالة ميزات EDA إلى تقليل الدقة بمقدار 0.0606، وإزالة درجة حرارة الجلد قللتها بمقدار 0.0455. أما إزالة معدل ضربات القلب أو أي محور واحد من مقياس التسارع فقد أدى إلى انخفاضات طفيفة (أقل من 0.009).
الأنماط الزمنية: كشف التخطيط الزمني الاستكشافي عن أنماط غير متجانسة عبر المعرفات. لم تدعم البيانات ادعاءات ثابتة بأن مستويات الإجهاد كانت أعلى خلال نوبات العمل الليلية أو فترات زمنية محددة (مثل 12:00-18:00) دون وجود جداول عمل موثقة.
المساهمات الرئيسية
إثبات انحياز التحقق: تقدم الدراسة دليلاً تجريبيًا على أن التحقق الداخلي على مستوى النافذة يبالغ بشكل كبير في تقدير أداء تصنيف الإجهاد. إن الدقة الداخلية العالية (تصل إلى 0.990) لا تضمن قابلية النقل إلى ممرضة جديدة لم يسبق رؤيتها.
تكميم فجوة التعميم: من خلال مقارنة النتائج الداخلية ونتائج LOSO لنموذج XGBoost، يحدد البحث بدقة الانخفاض الكبير في الأداء (من 0.948 إلى 0.661 في متوسط الدقة) عند الانتقال من التقييم الخاص بالمستخدم إلى التقييم المستقل عن المستخدم.
تحليل اعتماد النمط (Modality): يحدد العمل أن المصنف يعتمد بشدة على EDA ودرجة حرارة الجلد، مما يشير إلى أن النماذج المدربة على هذه الميزات المحددة قد لا تتعمم جيدًا إذا كانت هذه الإشارات مشوشة أو غائبة في بيئات جديدة.
نقد مصدر التسميات: يسلط التحليل الضوء على أن التسميات المستهدفة ليست تشخيصات سريرية مستقلة، بل هي مشتقة جزئيًا من نفس بيانات الاستشعار المستخدمة للتنبؤ، مما يخلق مسارًا محتملاً لدمج التسميات يؤدي إلى تضخم الأداء الداخلي.
الأهمية والادعاءات تخلص الورقة إلى أن التقديرات الداخلية المحتفظ بها بالغت بشكل كبير في وصف الأداء ذي الصلة بممرضة لم يسبق رؤيتها. ويؤكد المؤلفون أن الدقة الداخلية العالية لا ينبغي الخلط بينها وبين الجاهزية للنشر.
الجاهزية التشغيلية: تشير النتائج إلى أن النماذج الحالية ليست جاهزة للاستخدام العملي كإنذارات ذاتية، أو قواعد للتوظيف، أو أدوات لإدارة الأداء.
متطلبات النشر: قبل أن تصبح مثل هذه الأنظمة قابلة للاستخدام في الممارسة العملية، يلزم وجود نتائج مستقلة، وتقييم قابل للتكرار على مستوى المشارك (مثل LOSO)، ومعايرة، وتحقق خارجي.
القيود: يشير المؤلفون صراحةً إلى قيود تشمل العينة الصغيرة المكونة من إناث فقط من موقع واحد، وعدم حل التناقض بين 15 ممرضة أصلية و18 معرفًا، وغياب النتائج المستقلة، وغياب فترات الثقة والمقاييس الخاصة بالفئات.
الاتجاه المستقبلي: تدعو الورقة إلى إجراء تقييمات حاسمة تسجل الغرض المقصود مسبقًا، وتجمع نتائج زمنية مستقلة، وتقدم مقاييس عدم اليقين والمعايرة، مع التأكيد على ضرء تقديم قابلية النقل والتكرار على دقة النافذة "العنوانية".