💻 computer science

BTS-rPPG: Orthogonal Butterfly Temporal Shifting for Remote Photoplethysmography

تقترح الورقة البحثية BTS-rPPG، وهو إطار عمل جديد لتخطيط التحجم الضوئي عن بُعد (remote photoplethysmography) يستفيد من آلية إزاحة زمنية فراشية متعامدة مستوحاة من تحويل فوريه السريع (FFT) واستراتيجية نقل ميزات متعامدة للتغلب على قيود النمذجة الزمنية المحلية، مما يتيح تفاعلاً زمنياً طويل المدى فعالاً ويحسن بشكل كبير من تقدير الإشارات الفسيولوجية من فيديوهات الوجه.

المؤلفون الأصليون: Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول الاستماع إلى نبضات قلب صديقك من خلال مشاهدة فيديو لوجهه. الأمر يشبه محاولة سماع همسة في غرفة صاخبة. إشارة "نبض القلب" هذه مخفية في تغيرات لونية طفيفة، تكاد تكون غير مرئية، في بشرته ناتجة عن ضخ الدم. تسمى هذه التقنية القياس الضوئي عن بُعد لحجم الدم (rPPG).

المشكلة هي أن أجهزة الكمبيوتر عادة ما تكون سيئة في ربط النقاط ببعضها عبر الزمن. معظم نماذج الذكاء الاصطناعي الحالية تشبه الأشخاص الذين يستمعون فقط للجملة التي تُقال "الآن"، متجاهلين ما قيل قبل خمس ثوانٍ أو ما سيُقال بعد خمس ثوانٍ. لكن نبض القلب هو إيقاع؛ يحتاج إلى فهمه كنمط عبر الزمن، وليس كمجرد لقطة واحدة.

يقدم البحث نموذج ذكاء اصطناعي جديد يسمى BTS-rPPG لحل هذه المشكلة. وإليك كيف يعمل، مشروحاً ببساطة:

١. المشكلة: حد "الجار الملاصق"

تخيل أنك في صف طويل من الناس (إطارات الفيديو)، وعليك تمرير رسالة سرية عبر الصف.

الطرق القديمة: يمكنك فقط الهمس للشخص الواقف بجانبك مباشرة. لكي تصل الرسالة إلى الشخص الموجود في نهاية الصف تماماً، يجب أن تنتقل من شخص لآخر، خطوة بخ خطوة. هذا يجعل العملية بطيئة، وقد تتعرض الرسالة للتشوه أو الضياع في الطريق.
النتيجة: لا يرى الذكاء الاصطناعي سوى المعلومات "المحلية" (ما حدث الآن وقبل لحظة وجيزة) ويفقد الصورة الكبيرة لإيقاع القلب.

٢. الحل: رقصة "الفراشة"

ابتكر المؤلفون، مستلهمين من الطريقة التي تحسب بها أجهزة الكمبيوتر الموسيقى والإشارات (تحديداً شيئاً يسمى تحويل فوريه السريع)، طريقة جديدة لتمرير الرسائل تسمى إزاحة الزمن بالفراشة (Butterfly Temporal Shifting - BTS).

التشبيه: بدلاً من الهمس فقط لجارك المباشر، تخيل رقصة حيث يتقابل الناس في أزواج وفق نمط محدد.
- المرحلة ١: تتحدث إلى الشخص الذي يبعد عنك خطوة واحدة.
- المرحلة ٢: تتحدث إلى الشخص الذي يبعد عنك خطوتين.
- المرحلة ٣: تتحدث إلى الشخص الذي يبعد عنك ٤ خطوات.
- المرحلة ٤: تتحدث إلى الشخص الذي يبعد عنك ٨ خطوات.
السحر: يسم هذا النمط "الفراشي" للمعلومات أن تنتقل من بداية الفيديو إلى نهايته بسرعة كبيرة. الأمر يشبه امتلاك مصعد فائق السرعة يربط بين طوابق المبنى فورياً، بدلاً من صعود الدرج درجة بدرجة. هذا يسمح للذكاء الاصطناعي بفهم الإيقاع طويل الأمد لنبضات القلب، وليس فقط النبضة اللحظية.

٣. فريق التنظيف: "نقل الميزات المتعامدة"

هناك عقبة. إذا قمت فقط بتمرير المعلومات ذهاباً وإياباً بين أشخاص يقفون بجانب بعضهم البعض مباشرة، فمن المرجح أنهم يقولون الشيء نفسه تماماً. وهذا يخلق تكراراً (جهداً ضائعاً).

التشبيه: تخيل أنك ترسل طرداً لصديق. إذا ملأت الطرد بأشياء يمتلكها صديقك بالفعل في منزله، فأنت تضيع المساحة والوقت فحسب.
الحل: يحتوي نموذج BTS-rPPG على مرشح خاص يسمى نقل الميزات المتعامدة (Orthogonal Feature Transfer - OFT). قبل أن يرسل النموذج "رسالة" (ميزة) من إطار إلى آخر، فإنه يتحقق: "هل يمتلك المستلم هذه المعلومة بالفعل؟"
- إذا كانت الإجابة نعم، فإنه يتخلص من ذلك الجزء.
- إذا كانت الإجابة لا (أي أن المعلومة "متعامدة" أو فريدة)، فإنه يحتفظ بها ويرسلها.
النتيجة: يقوم الذكاء الاصطناعي بتمرير المعلومات الجديدة والمفيدة فقط. هذا يجعل التواصل أكثر نظافة وكفاءة، ويمنع النموذج من الارتباك بسبب البيانات المتكررة.

لماذا يهم هذا الأمر؟

اختبر الباحثون نموذجهم الجديد على ثلاثة مجموعات بيانات فيديو مختلفة، تتراوح من الإعدادات الاستوديوية الهادئة والمسيطر عليها إلى السيناريوهات الواقعية الفوضوية مع حركة الرؤوس وتغير الإضاءة.

النتيجة: تفوق BTS-rPPG على جميع الطرق الموجودة تقريباً. لقد كان أفضل في تجاهل الضجيج (مثل تحدث الشخص أو حركته) والتركيز على إيقاع نبض القلب الفعلي.
الخلاصة: من خلال استخدام رقصة "الفراشة" لربط اللحظات البعيدة في الزمن، واستخدام "مرشح" لإزالة المعلومات المكررة، يمكن لهذا الذكاء الاصطناعي قياس معدلات ضربات القلب من الفيديو بدقة أكبر بكثير مما سبق.

باخت-اختصار: لقد علموا الكمبيوتر التوقف عن النظر فقط إلى "الآن" والبدء في فهم "قصة" نبضات القلب، مع التأكد من عدم إضاعة الوقت في الاستماع إلى الشيء نفسه مرتين.

إليك ملخص تقني مفصل لورقة البحث بعنوان "BTS-rPPG: Orthogonal Butterfly Temporal Shifting for Remote Photoplethysmography".

1. بيان المشكلة

يقوم قياس حجم الضوء عن بُعد (rPPG) بتقدير الإشارات الفسيولوجية (مثل معدل ضربات القلب) من فيديوهات الوجه عبر تحليل التغيرات الطفيفة في اللون الناتجة عن الدورة الدموية. وبينما أدى التعلم العميق إلى تحسين تقنية rPPG، لا تزال هناك عقبة حرجة تتمثل في: نمذجة الديناميكيات الزمنية طويلة المدى.

قصور الأساليب الحالية: تعتمد معظم الأساليب الحالية للتعلم العميق على إزاحة زمنية أو معاملات تلافيفية (convolutional operators) تجمع المعلومات بشكل أساسي من الإطارات المتجاورة. ويؤدي هذا إلى:
- تفاعلات زمنية محلية في الغالب.
- مجالات استقبال زمنية محدودة.
- عدم القدرة على التقاط التبعيات الدورية طويلة المدى المتأصلة في الإشارات القلبية بشكل فعال.
مشكلة التكرار: غالبًا ما يؤدي تبادل الميزات مباشرة بين الإطارات إلى نشر معلومات مكررة لأن الإطارات المتجاورة تكون مترابطة للغاية، مما يؤدي إلى تواصل غير فعال.

2. المنهجية: BTS-rPPG

يقترح المؤلفون إطار عمل BTS-rPPG، الذي يدمج آليتين أساسيتين: الإزاحة الزمنية الفراشية المتعامدة (BTS) ونقل الميزات المتعامد (OFT). تم بناء البنية التحتية على نموذج Swin Transformer.

أ. تمثيل المدخلات

للتأكيد على التغيرات الزمنية الطفيفة، يبني النموذج تمثيل الفرق الطبيعي للإطار (NDF). يتم دمج كل إطار RGB ( $X_t$ ) مع الـ NDF الخاص به ( $D_t = \frac{X_{t+1} - X_t}{X_{t+1} + X_t}$ )، مما ينشئ تنسور مدخلات مكون من 6 قنوات.

ب. الإزاحة الزمنية الفراشية المتعامدة (BTS)

مستوحى من نمط الاتصال الفراشي (butterfly communication pattern) في تحويل فوريه السريع (FFT)، يقوم BTS بإنشاء تفاعلات هيكلية للإطارات لتوسيع المجال الزمني للاستقبال تدريجيًا.

جدول الاقتران الفراشي: بدلاً من إزاحة الميزات فقط إلى الإطارات المجاورة، يستخدم BTS جدول اقتران يعتمد على عملية XOR. في المرحلة $\ell$ ، يتفاعل الإطار $t$ مع الإطار $\pi_\ell(t) = t \oplus 2^{\ell-1}$ .
التوسع التدريجي: يخلق هذا إزاحات زمنية قدرها $1, 2, 4, \dots, 2^{L-1}$ عبر المراحل. يسمح هذا للنموذج بالانتقال من التفاعلات المحلية في المراحل المبكرة إلى التفاعلات العالمية طويلة المدى في المراحل الأعمق، محاكيًا بذلك الطبيعة الهرمية لتكوين الإشارة الفسيولوجية.

ج. نقل الميزات المتعامد (OFT)

لمعالجة مشكلة تكرار نقل الميزات المترابطة للغاية بين الإطارات، يقوم OFT بتصفية الميزة المصدر قبل إزاحتها.

الآلية: قبل نقل ميزة من إطار مصدر إلى إطار هدف، يتم إسقاطها مقابل سياق الهدف (الميزات المتبقية لإطار الهدف).
التعامد: يتم إزالة المكون من الميزة المصدر الذي يكون متوازيًا مع سياق الهدف. يتم نقل المكون المتعامد فقط (الجزء المكمل للهدف).
الصيغة: تُعرف عملية النقل بـ $OFT(a, b) = a - \frac{\langle a, b \rangle}{\|b\|^2 + \epsilon}$ ، حيث $a$ هو الجزء المصدر و $b$ هو سياق الهدف.
الفائدة: يضمن هذا أن التواصل عبر الإطارات يحمل فقط معلومات جديدة أو مكملة، مما يقلل التكرار ويحسن الكفاءة.

د. نظرة عامة على البنية

المدخلات: إطارات RGB + NDF.
العمود الفقري (Backbone): Swin Transformer مكون من 6 مراحل.
التكامل: قبل آلية الانتباه الذاتي (self-attention) في كل مرحلة، يقوم عامل BTS بتطبيق الإزاحة القائمة على XOR، ويقوم OFT بتصفية الميزات المنقولة.
المخرجات: يقوم رأس التنبؤ بتجميع الميزات المكانية ويقوم باسترجاع شكل موجة rPPG النهائي باستخدام فقدان ارتباط بيرسون السالب.

3. المساهمات الرئيسية

آلية BTS: تقديم آلية تفاعل زمني مهيكلة باستخدام جدول فراشي يعتمد على XOR. يتيح ذلك توسعًا فعالًا ومرحليًا للمجال الزمني للاستقبال من المقاييس المحلية إلى العالمية دون تكلفة حوسبية باهظة.
استراتيجية OFT: آلية تصفية ميزات مبتكرة تحتفظ فقط بالمكون المتعامد للميزات المصدر بالنسبة لسياق الهدف. وهذا يقلل من انتشار الميزات المكررة ويشجع التفاعل الزمني المكمل.
أداء رائد (SOTA): يتفوق الإطار المقترح باستمرار على الأساليب الموجودة عبر مجموعات بيانات متعددة، مما يظهر قدرة فائقة على نمذجة الديناميكيات الفسيولوجية طويلة المدى.

4. النتائج التجريبية

تم تقييم الطريقة على ثلاث مجموعات بيانات مرجعية: PURE (حركة متحكم بها)، UBFC-rPPG (تغيرات طبيعية)، و MMPD (واسعة النطاق ومتعددة المجالات).

الأداء داخل مجموعة البيانات الواحدة:
- PURE: حقق BTS-rPPG متوسط خطأ مطلق (MAE) قدره 0.21 (مقابل 0.27 لأفضل نموذج سابق، RhythmFormer) وارتباط ( $r$ ) قدره 1.00.
- UBFC-rPPG: حقق MAE قدره 0.24 وارتباط $r$ قدره 1.00، متفوقًا بشكل كبير على المنافسين (على سبيل المثال، RhythmFormer بـ MAE قدره 0.81).
- MMPD: حقق MAE قدره 4.05 وارتباط $r$ قدره 0.75، مما أظهر قوة في الظروف الواقعية الصعبة مع تنوع في درجات لون البشرة والإضاءة.
التعميم عبر مجموعات البيانات:
- في اختبارات عبر مجموعات البيانات (مثل التدريب على PURE والاختبار على UBFC-rPPG)، حافظ BTS-rPPG على أفضل أداء للنقل، مما يشير إلى أنه يتعلم تمثيلات فسيولوجية ذات معنى بدلاً من السمات الخاصة بمجموعة بيانات معينة.
الكفاءة:
- رغم كونه نموذجًا يعتمد على Transformer، إلا أنه يحقق إنتاجية قدرها 2.05 Kfps على وحدة معالجة رسومات NVIDIA T4 واحدة، مما يوفر توازنًا جيدًا بين الدقة وسرعة الاستنتاج مقارنة بنماذج Transformer الأخرى مثل PhysFormer.

5. دراسات الاستئصال والتحليل (Ablation Studies)

OFT مقابل BTS: يساهم كلا المكونين بشكل كبير. يحسن OFT النموذج الأساسي حتى بدون BTS، بينما يوفر BTS أكبر المكاسب من خلال تمكين الاستدلال الزمني الهرمي. ويؤدي دمجهما معًا إلى أفضل النتائج.
حساسية نسبة الطيات (Fold Ratio): وُجد أن النسبة المثلى لطية الميزة القابلة للنقل ( $C_s/d$ ) هي 1/4. هذا يوازن بين الحاجة إلى النقل عبر الإطارات والحفاظ على المعلومات الخاصة بالهدف.
تصميم الجدول الزمني للوقت: تفوق الجدول الزمني "الفراشي" المقترح (التوسع من المحلي إلى العالمي: 1, 2, 4, 8...) على الجداول "الخطية" (التوسع المنتظم) و"الفراشية العكسية" (من العالمي إلى المحلي). يشير هذا إلى أن الإشارات الفسيولوجية تُنمذج بشكل أفضل من خلال دمج الديناميكيات قصيرة المدى أولاً قبل دمج الهياكل الإيقاعية طويلة المدى.

6. الأهمية

يعالج BTS-rPPG قصورًا جوهريًا في تقنية rPPG: وهو عدم قدرة المعاملات الزمنية القياسية على التقاط التبعيات طويلة المدى بكفاءة. من خلال استعارة نمط الفراشة من تحويل فوريه السريع ودمجه مع تصفية الميزات المتعامدة، نجح المؤلفون في إنشاء نموذج:

يلتقط التبعيات طويلة المدى: وهو أمر ضروري لتقدير معدل ضربات القلب بدقة في الإشارات الدورية.
يقلل التكرار: يجعل التواصل الزمني أكثر كفاءة عن طريق تصفية الضوضاء المترابطة.
يعزز المتانة: يعمل بشكل استثنائي تحت ظروف الحركة وتغيرات الإضاءة وتحولات النطاق (domain shifts)، مما يجعله مرشحًا قويًا لتطبيقات مراقبة الصحة عن بُعد في العالم الحقيقي.