TempoGFormer: A Gating Mechanism-based Transformer for Physiological Measurement from Facial Videos
تقدم هذه الورقة TempoGFormer، وهو نموذج جديد قائم على تقنية Transformer للقياس الضوئي عن بُعد لنبضات القلب، يستفيد من آلية بوابية (gating mechanism)، ورأس دمج زمني طيفي (Temporal-Spectral Fusion Head)، واستراتيجية ترميز متداخلة مكانياً (Spatially-Overlapped Tokenization) للتخفيف بفعالية من الضوضاء البيئية وعيوب الحركة، محققاً بذلك دقة وكفاءة فائقتين في القياسات الفسيولوجية من فيديوهات الوجه عبر مجموعات بيانات عامة متعددة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول سماع همسة في وسط ساحة مدينة صاخبة. الصوت الذي تريد سماعه موجود، يحمله الهواء، لكنه يغرق في ضجيج حركة المرور، والثرثرة، والرياح. هذا هو التحدي الجوههري المتمثل في قياس نبضات قلب الإنسان دون لمس الجلد. لعقود من الزمن، اعتمد الأطباء على أجهزة استشعار تلامسية، مثل المشبك الذي يوضع على الإصبع، لتتبع النبض. تعمل هذه الأجهزة بشكل جيد، لكنها مزعجة وغير عملية في مواقف عديدة، مثل مراقبة رضيع نائم أو مريض يعاني من حروق شديدة. في السنوات الأخيرة، توجه العلماء إلى تقنية تسمى "قياس تغير الحجم الضوئي عن بعد" (remote photoplethysmography)، والتي تحاول قراءة نبض القلب من مجرد فيديو بسيط لوجه الشخص. الفكرة أنيقة: فبينما يضخ الدم عبر الوجه، فإنه يغير الطريقة التي ينعكس بها الضوء عن الجلد، مما يخلق تغيراً لونياً طفيفاً وإيقاعياً. ومع ذلك، فإن هذه الإشارة ضعيفة للغاية، ومن السهل أن تضيع في ضجيج تغير الضوء، أو حركات الرأس، أو حتى رمش العين.
قام فريق من الباحثين في جامعة "جيجيانغ غونغشانغ" بتطوير طريقة جديدة لحل هذه المشكلة، حيث ابتكروا نظاماً يمكنه سماع تلك الهمسة بوضوح. لقد بنوا نموذجاً حاسوبياً متطوراً مصمماً خصيصاً للعثور على نبض القلب المختبئ داخل بث الفيديو. وبدلاً من مجرد النظر إلى إطارات الفيديو إطاراً تلو الآخر، يتعلم نظامهم تجاهل المشتتات البيئية والتركيز بكثافة على التغيرات اللونية الطفيفة والإيقاعية في الجلد التي تشير إلى نبض القلب. ومن خلال الجمع بين طريقة تعمل على تنعيم بيانات الفيديو وطريقة جديدة لتصفية الضجيج، نجحوا في ابتكار أداة أكثر دقة وكفاءة من المحاولات السابقة، مما يثبت أن الكاميرا يمكنها بالفعل أن تحل محل المستشعر في العديد من السيناريوهات الصحية الحيوية.
يطلق الباحثون على ابتكارهم اسم "TempoGFormer". ولفهم كيفية عمله، يجب أولاً فهم الصعوبة التي يواجهها. عندما تسجل الكاميرا وجهاً، فإن الفيديو الناتج يكون عبارة عن كمية هائلة من البيانات، معظمها غير ذي صلة بنبض القلب. قد يبدو الجلد مختلفاً بسبب ظل، أو ابتسامة، أو تغير في إضاءة الغرفة. غالباً ما ترتبك النماذج الحاسوبية التقليدية أمام هذه التغييرات، حيث تعامل الظل كأنه نبض قلب أو تفقد الإشارة الحقيقية تماماً. يبدأ النظام الجديد بتفكيك الفيديو إلى قطع صغيرة، لكنه يفعل شيئاً مختلفاً عن الطرق القديمة؛ فبدلاً من تقطيع الفيديو إلى كتل صلبة غير متداخلة، يستخدم نهجاً انزلاقياً يسمح للقطع بالتداخل. هذا يحافظ على التدفق السلس للوقت بين الإطارات، مما يضمن أن يرى النموذج الحركة المستمرة للدم بدلاً من سلسلة من اللقطات المنفصلة. هذه الخطوة حاسمة لأن نبض القلب هو إيقاع مستمر، وتقسيمه بشكل قاسٍ يدمر النمط الذي يحتاج النموذج لإيجاده.
بمجرد تجهيز الفيديو، يطبق النظام نوعاً خاصاً من "آلية الانتباه" لتقرير الأجزاء الأكثر أهمية من الصورة. في العديد من أنظمة الرؤية الحاسوبية، قد يتشتت النموذج بالسمات الأكثر وضوحاً، مثل العينين أو الفم، بدلاً من التغيرات اللونية الطفيفة على الجلد. يحل "TempoGFormer" هذه المشكلة باستخدام آلية بوابة (gating mechanism)، وهي بمثابة مرشح ذكي يقع بين ملاحظة النموذج واتخاذ قراره. يعمل هذا المرشح مثل مفتاح التحكم في مستوى الصوت للإشارة؛ فهو يحلل مدى الانتباه الذي يوليه النموذج لأجزاء مختلفة من الوجه، ويقوم تلقائياً بخفض "صوت" المناطق الصاخبة أو غير ذات الصلة، بينما يرفع "صوت" المناطق التي يكون فيها تدفق الدم أكثر وضوحاً. وهذا يسمح للنظام بتجاهل مشتتات الحركة والضوء، وتركيز طاقته بدقة على الإشارة الفسيولوجية.
بعد تصفية الإشارة، يستخدم النظام "رأساً" متخصصاً لإعادة بناء موجة نبض القلب. ينظر هذا الجزء من النموذج إلى البيانات من زوايا متعددة، مع مراعاة كل من توقيت النبضات وتردد الإيقاع. وهو يجمع هذه الرؤى المختلفة لإنشاء تنبؤ دقيق لمعدل ضربات القلب. اختبر الباحثون هذا النظام على ثلاث مجموعات بيانات عامة مختلفة، تضمنت فيديوهات لأشخاص يجلسون بهدوء، ويلعبون الألعاب، وحتى يتحركون. وفي كل اختبار، تفوق النموذج الجديد على الأساليب الموجودة، بما في ذلك تلك القائمة على تقنيات التعلم العميق القديمة. فقد حقق دقة أعلى في تقدير معدل ضربات القلب وأنتج إشارة أنقى مع ضجيج أقل. وحتى عندما تم تدريب النموذج على مجموعة من الفيديوهات واختباره على مجموعة أخرى مختلفة تماماً من حيث الأشخاص وظروف الإضاءة، حافظ على مستواه العالي من الأداء، مما أظهر أنه تعلم الطبيعة الحقيقية لنبض القلب بدلاً من مجرد حفظ مقاطع فيديو محددة.
كما بحثت الدراسة أيضاً في تكلفة تشغيل هذا النظام. ورغم أن النموذج الجديد أكثر تعقيداً قليلاً من بعض البدائل الأبسط، إلا أنه لا يتطلب قدرة حوسبية مفرطة؛ فهو يحقق توازناً، مستخدماً عدداً معقولاً من المعلمات لتحقيق نتائج أفضل بكثير من المنافسين. وقد أثبت الباحثون أنه من خلال تحسين كيفية دفع النموذج لانتباهه للفيديو وكيفية معالجته للبيانات الزمنية، فمن الممكن استخراج العلامات الحيوية بمستوى من الدقة كان من الصعب تحقيقه سابقاً دون تلامس جسدي. يشير هذا العمل إلى أنه في المستقبل القريب، يمكن أن تصبح الكاميرات أدوات قياسية للمراقبة الصحية، قادرة على تتبع معدلات ضربات القلب في المستشفيات، أو الصالات الرياضية، أو حتى في المنازل، وكل ذلك دون سلك واحد أو مستشعر ملتصق بالجسم. وتعد هذه النتائج خطوة واعدة نحو جعل مراقبة الصحة أكثر سهولة وأقل إزعاجاً للجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.