Reliability-Aware Weighted Multi-Scale Spatio-Temporal Maps for Heart Rate Monitoring
تقدم هذه الورقة خريطة مكانية-زمانية متعددة المقاييس وموزونة (WMST) مدركة للموثوقية، مدمجة مع نهج تعلم ذاتي الإشراف جديد باستخدام Swin-Unet ونموذج موجي عالي-عالي-عالي (High-High-High) للأمثلة السلبية، لتحسين متانة ودقة مراقبة معدل ضربات القلب عن بُعد بشكل كبير في ظل ظروف الإضاءة والحركة الصعبة.
المؤلفون الأصليون:Arpan Bairagi, Rakesh Dey, Siladittya Manna, Umapada Pal
تخيل أنك تحاول الاستماع إلى صديق يهمس بسرٍ ما في غرفة مزدحمة وعاصفة. هذا "الهمس" هو نبضات قلبك، و"الغرفة المزدحمة" هي العالم الحقيقي، المليء بالإضاءة السيئة، وحركة الناس، والظلال.
تقدم هذه الورقة البحثية طريقة جديدة للاستماع إلى ذلك الهمس باستخدام كاميرا فيديو فقط، دون لمس الشخص. إليك تفصيل لحلهم باستخدام تشبيهات بسيطة:
١. المشكلة: "الضجيج" في الإشارة
قياس تغير تدفق الدم عن بُعد (rPPG) هو مصطلح معقد لقياس معدل ضربات قلبك من خلال مراقبة التغيرات الطفيفة في لون بشرتك (الناتجة عن ضخ الدم) باستخدام الكاميرا.
المشكلة: في استوديو مثالي، يكون هذا الأمر سهلاً. ولكن في العالم الحقيقي، تصاب الكاميرا بالارتباك. ضوء الشمس الساطع يسبب توهجاً، والظلال تتحرك، وإذا أدرت رأسك، ستظن الكاميرا أن هذه الحركة هي نبضات قلبك. الأمر يشبه محاولة سماع همس بينما يقوم شخص ما بالضرب على طبل بجانبك.
٢. الحل: "الفلتر الذكي" (خريطة WMST)
ابتكر المؤلفون أداة جديدة تسمى خريطة الـ WMST (الخريطة المكانية الزمانية متعددة المقاييس الموزونة والمدركة للموثوقية).
التشبيه: تخيل أنك محقق ينظر إلى صورة لمسرح جريمة. بعض أجزاء الصورة ضبابية أو مغطاة بالضباب (إضاءة سيئة)، وبعض الأجزاء واضحة تماماً.
كيف يعمل: بدلاً من النظر إلى الوجه بأكمله بالتساوي، يعمل خوارزمهم مثل محقق ذكي. فهو يضع "درجة ثقة" على كل بكسل في الفيديو:
ثقة عالية: البشرة الناعمة على خدك (حيث يكون تدفق الدم مرئياً).
ثقة منخفضة: الجبهة اللامعة (التوهج)، الشعر (لا يوجد جلد)، أو الظلال المتحركة.
النتيجة: يقوم النظام تلقائياً بخفض مستوى الصوت في الأجزاء "المزعجة" من الفيديو ويرفع مستوى الصوت في الأجزاء "الموثوقة". إنه يشبه ارتداء سماعات إلغاء الضوضاء التي لا تسمح إلا بمرور صوت نبضات القلب فقط.
٣. طريقة التدريب: "التعليم عن طريق التباين"
لتعليم الكمبيوتر كيفية إيجاد نبضات القلب دون الحاجة إلى طبيب يضع علامات على كل فيديو (وهو أمر صعب ومكلف)، استخدموا تقنية تسمى التعلم الذاتي (Self-Supervised Learning).
التشبيه: تخيل أنك تعلم طفلاً التعرف على "تفاحة حقيقية".
المثال الإيجابي: تظهر له تفاحة حقيقية.
المثال السلبي: تظهر له تفاحة بلاستيكية مزيفة.
الخدعة: معظم الطرق السابقة كانت تظهر للطفل تفاحة مزيفة لا تشبه التفاحة الحقيقية بتاتاً (مثل الموزة). لذا يتعلم الطفل بسهولة شديدة.
الابتكار (خريطة HHH): ابتكر المؤلفون "تفاحة مزيفة" خاصة تسمى خريطة HHH الموجية (HHH Wavelet Map).
هذه التفاحة المزيفة تشبه التفاحة الحقيقية تماماً من حيث الشكل والحركة (بحيث لا يستطيع الطفل القول ببساطة "إنها تتحرك، إذن هي مزيفة")، ولكن ليس لها "نكهة التفاح" (أي لا توجد بها إشارة نبضات قلب).
من خلال إجبار الكمبيوتر على التمييز بين "فيديو نبضات القلب" و"فيديو الحركة فقط"، يتعلم الكمبيوتر تجاهل الحركة والتركيز فقط على التغيرات الطفيفة في لون الجلد الناتجة عن تدفق الدم.
٤. النتيجة: همس أكثر وضوحاً
قاموا باختبار طريقتهم على مجموعتين كبيرتين من البيانات (إحداهما لأشخاص يتحركون في إضاءة سيئة، والأخرى في غرفة هادئة).
النتيجة: كانت طريقتهم أفضل في تجاهل "الرياح والضجيج" من أي طريقة سابقة.
الإحصائيات: ارتكبت أخطاء أقل في تخمين معدل ضربات القلب وكانت أقرب إلى معدل ضربات القلب "الحقيقي".
الملخص
فكر في هذه الورقة البحثية على أنها ابتكار نظارات ذكية للغاية للكاميرا.
النظارات تقوم تلقائياً بتعتيم التوهج، والظلال، والشعر (خريطة WMST).
التدريب يعلم الكاميرا تجاهل حركة الرأس والتركيز فقط على تدفق الدم، باستخدام فيديو "نبضات قلب مزيف" مخادع كاختبار (خريطة HHH).
النتيجة؟ كاميرا يمكنها تحديد معدل ضربات قلبك بدقة حتى لو كنت تسير في الخارج في يوم مشمس وعاصف.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "خرائط زمانية-مكانية متعددة المقاييس موزونة ومعتمدة على الموثوقية لمراقبة معدل ضربات القلب."
1. بيان المشكلة
تقوم تقنية قياس حجم الدم بالضوء عن بُعد (rPPG) بتقدير الإشارات الفسيولوجية (مثل معدل ضربات القلب) من فيديوهات الوجه عبر تحليل التغيرات الطفيفة في لون الجلد الناتجة عن نبضات حجم الدم. ومع ذلك، في البيئات غير المقيدة، تعاني إشارات rPPG من انخفاض نسبة الإشارة إلى الضوضاء (SNR) بسبب:
محدودية البيانات: تتطلب طرق التعلم العميق عادةً بيانات فسيولوجية موسومة واسعة النطاق، وهو أمر يصعب الحصول عليه.
قصور أساليب التعلم شبه الإشرافي (SSL) الحالية: غالبًا ما تستخدم أساليب التعلم شبه الإشرافي الحالية تعزيزات سلبية عامة تكون إما سهلة الفصل للغاية أو تفشل في الحفاظ على الديناميكيات الوجهية الواقعية، كما أنها تعتمد على خرائط زمانية-مكانية (MST) معيارية لا تنجح في نمذجة أو كبح الضوضاء بشكل كافٍ.
2. المنهجية
يقترح المؤلفون إطار عمل يجمع بين المعالجة المسبقة المتقدمة واستراتيجية تعلم تبايني تعتمد على نموذج Swin-Unet. المكونات الأساسية هي:
أ. الخريطة الزمانية-المكانية متعددة المقاييس الموزونة والمعتمدة على الموثوقية (WMST)
بدلاً من التجميع المتوسط البسيط المستخدم في خرائط MST التقليدية، تقوم خريطة WMST بتعيين أوزان تكيفية للبكسلات بناءً على موثوقيتها في استخراج الإشارة الفسيولوجية.
احتمالية الجلد: تستخدم قنوات الكرومينانس (U, V) ومسافة ماهالانوبيس (Mahalanobis distance) لإعطاء وزن أعلى لمناطق الجلد.
كبح الحواف والحركة: تستخدم تحويل المويجات المستقر (SWT) للكشف عن استجابات الحواف عالية التردد (HL, LH, HH subbands) وكبحها، وهي التي تشير إلى حدود الحركة أو الأنسجة غير الفسيولوجية.
التعامل مع الانعكاسات: تستخدم مساحة ألوان HSV لتحديد اللمعان المرآتي (قيمة عالية، تشبع منخفض) وتكبحها عبر دالة وزن أسية.
التعامل مع الظلال: تعاقب البكسلات المظلمة (السطوع Y المنخفض) الناتجة عن الظلال.
الدمج التكيفي: يتم تجميع هذه الأوزان الفردية باستخدام التوزين القائم على التباين (المعادلة 6) لإنشاء خريطة موثوقية نهائية، والتي تُستخدم بعد ذلك لعملية التجميع المتوسط الموزون حسب منطقة الاهتمام (ROI) مكانياً.
ب. إطار التعلم التبايني (Contrastive Learning)
يتعلم النموذج تمثيلات قوية دون الحاجة إلى تسميات (labels) حقيقية باستخدام نهج تبايني:
المرساة (Anchor): خريطة WMST المولدة.
الأزواج الإيجابية (Positive Pairs): يتم توليدها عن طريق دمج الإشارات الفسيولوجية أحادية البعد المستمدة من الطرق التقليدية (ICA, PCA, CHROM, إلخ) وخرائط WMST التي تم تغيير حجمها زمنياً وتعزيزها.
الأزواج السلبية (Negative Pairs):
خرائط WMST من فيديوهات مختلفة.
خريطة المويجات (HHH): عينة سلبية مبتكرة يتم إنشاؤها عن طريق تطبيق تحويل 3D SWT على الفيديو المدخل واستخراج النطاق الفرعي HHH. تحتفظ هذه الخريطة بتفاصيل الحركة والهيكل (التغيرات عالية التردد) ولكنها تصفّي المعلومات الفسيولوجية، مما يجعلها عينة سلبية "صعبة" تجبر النموذج على التمييز بين ضوضاء الحركة والإشارات الفسيولوجية الحقيقية.
دالة الخسارة (Loss Function): دالة InfoNCE خالية من درجة الحرارة (temperature-free) باستخدام معامل ارتباط بيرسون لكثافة الطيف القدرتي (PSD) ضمن النطاق [0.5, 3.0] هرتز.
ج. بنية الشبكة والتدريب
العمود الفقري (Backbone): تم اختيار Swin-Unet لقدرتها على نمذجة التبعيات الزمنية طويلة المدى عبر آلية الانتباه الذاتي (self-attention).
صياغة المهمة: يتم تدريب النموذج على إعادة بناء خريطة زمانية-مكانية منقحة من خريطة WMST المدخلة، بدلاً من الانحدار المباشر لمعدل ضربات القلب.
التدريب على مرحلتين:
التدريب المسبق (Pre-training): يتم التدريب على إشارات من الطرق التقليدية لتعلم الأوزان ذات الصلة فسيولوجياً (تقليل مسافة L1 وتعظيم الارتباط).
التعلم التبايني: يتم ضبط النموذج بدقة باستخدام الأزواج الإيجابية والسلبية المقترحة لتعزيز المتانة.
الاستنتاج (Inference): يتم حساب متوسط الخريطة الناتجة وتطبيق مرشح تمرير النطاق (band-pass filter)؛ ويُستنتج معدل ضربات القلب من التردد المهيمن في الـ PSD.
3. المساهمات الرئيسية
خريطة WMST: تقنية معالجة مسبقة مبتكرة تنمذج موثوقية البكسل عبر كبح الضوضاء البيئية (الانعكاس، الظل، الحركة) باستخدام مناهج إحصائية ورياضية، مما يؤدي إلى تحقيق نسبة إشارة إلى ضوضاء (SNR) أعلى بكثير من خرائط MST التقليدية.
خريطة المويجات HHH: تقديم عينة سلبية محددة (خريطة HHH) للتعلم التبايني تعمل صراحةً على نمذجة ضوضاء الحركة والهيكل مع إزالة الإشارات الفسيولوجية، مما يحسن قدرة النموذج على تصفية العيوب (artifacts).
إطار التعلم شبه الإشرافي (SSL): خط معالجة كامل للتعلم شبه الإشرافي يحقق أداءً متفوقاً دون الاعتماد على بيانات فسيولوجية موسومة واسعة النطاق.
الكفاءة الحتمية: عملية التوزين غير تكرارية وتتم في مرحلة ما قبل المعالجة (offline)، مما يحافظ على التعقيد الحسابي المشابه لخرائط MST القياسية (O(H×W×T)).
4. النتائج التجريبية
تم تقييم الطريقة على مجموعتين من البيانات العامة: VIPL-HR (بيئة غير مقيدة، حركة/ضوضاء عالية) و UBFC-rPPG (بيئة محكومة، مستقرة).
الدلالة الإحصائية: أكدت اختبارات t أحادية الجانب واختبارات ويلكوكسون (Wilcoxon signed-rank tests) أن WMST تحسن SNR بشكل كبير مقارنة بخرائط MST التقليدية (p<10−13).
الأداء الكمي (VIPL-HR):
متوسط الخطأ المطلق (MAE): 4.32 (الأفضل بين طرق SSL، متفوقة على RS+rPPG التي سجلت 4.40).
معامل ارتباط بيرسون (R): 0.86 (الأعلى بين جميع طرق SSL المقارنة).
جذر متوسط مربع الخطأ (RMSE): 7.26 (تنافسي، أعلى قليلاً من RS+rPPG التي سجلت 7.19، ولكن مع ارتباط أفضل).
الأداء الكمي (UBFC-rPPG):
حققت MAE قدره 0.50 و R قدره 0.99، وهو ما يضاهي طرق SSL المتطورة الأخرى، مما يثبت القدرة على التعميم في البيئات المحكومة.
دراسة الاستئصال (Ablation Study):
إزالة خريطة WMST أدت لزيادة MAE من 4.32 إلى 4.55.
إزالة خريطة HHH خفضت معامل ارتباط بيرسون من 0.86 إلى 0.80، مما يثبت دور خريطة HHH في تزامن الإشارة.
التحليل النوعي: أظهرت المقارنات البصرية أن الطريقة المقترحة تتبع الحقيقة الأرضية (ground truth) بشكل أكثر اتساقاً، مع وجود عدد أقل من القمم الزائفة والارتفاعات الحادة مقارنة بالمنافسين مثل RS+rPPG، خاصة في المقاطع ذات أنماط القمم المزدوجة أو الانتقالات الحادة.
5. الأهمية
تعالج هذه الورقة عقبة حرجة في المراقبة الفسيولوجية عن بُعد: تدهور جودة الإشارة في البيئات الواقعية غير المقيدة. من خلال التحول من التعزيز العام للبيانات إلى نمذجة الإشارة المعتمدة على الموثوقية (WMST) وأخذ العينات السلبية القائم على الفيزياء (خريطة HHH)، أثبت المؤلفون أن التعلم شبه الإشرافي (SSL) يمكن أن يحقق متانة فائقة دون الحاجة إلى بيانات موسومة. يقدم هذا النهج حلاً عملياً وفعالاً حسابياً لنشر تقنيات rPPG في تطبيقات الهاتف والجوال حيث لا يمكن التحكم في الإضاءة أو الحركة.