💻 computer science

HOT: Harmonic-Constrained Optimal Transport for Remote Photoplethysmography Domain Adaptation

تقدم هذه الورقة البحثية إطار عمل HOT، وهو إطار عمل مبتكر يجمع بين تكييف النطاق الترددي (FDA) لنقل المكونات الطيفية المتعلقة بالمظهر، والنقل الأمثل المقيد بالتوافقيات لفرض الاتساق الفسيولوجي، مما يعزز بشكل كبير من متانة ونماذج قياس تغير حجم الدم عن بُعد (rPPG) وقدرتها على التعميم عبر المجالات المتنوعة.

المؤلفون الأصليون: Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ba-Thinh Nguyen, Thi-Duyen Ngo, Thanh-Trung Huynh, Thanh-Ha Le, Huy-Hieu Pham

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية قياس معدل ضربات قلبك بمجرد النظر إلى فيديو لوجهك. تسمى هذه التقنية قياس حجم الدم الضوئي عن بُعد (rPPG). وهي تعمل من خلال رصد تغيرات لونية دقيقة، تكاد تكون غير مرئية، في بشرتك ناتجة عن ضخ الدم.

ومع ذلك، هناك مشكلة كبيرة: الروبوت يصاب بالارتباك عندما تتغير البيئة المحيطة.

إذا قمت بتدريب الروبوت في استوديو ساطع باستخدام كاميرا عالية الجودة، فقد يفشل فشلاً ذريعاً عندما تأخذه إلى الخارج في يوم غائم باستخدام هاتف رخيص. الإضاءة، وجودة الكاميرا، وحتى لون بشرتك سيبدون مختلفين. سيخطئ الروبوت في تفسير تغيرات "المظهر" هذه على أنها تغيرات في معدل ضربات قلبك، مما يؤدي إلى قراءات خاطئة.

تقدم هذه الورقة حلاً ذكياً يسمى HOT (النقل الأمثل المقيد بالتوافقيات - Harmonic-Constrained Optimal Transport) لإصلاح ذلك. وإليك كيف يعمل، مشروحاً بتبسيط عبر التشبيهات:

1. المشكلة: تأثير "الحرباء"

فكر في الروبوت كطالب حفظ كتاباً مدرسياً بدقة شديدة. لكن الكتاب كُتب بخط معين، وعلى ورق محدد، وتحت إضاءة معينة. وعندما يؤدي الطالب اختباراً مكتوباً بخط مختلف على شاشة مختلفة، فإنه يصاب بالارتباك.

في تقنية rPPG، "الكتاب المدرسي" هو بيانات التدريب. و"الخط" هو نمط الإضاءة ونمط الكاميرا. أما "معدل ضربات القلب" فهو القصة الفعلية التي يجب على الطالب تعلمها. الروبوتات الحالية تتعلم "الخط" جيداً جداً لدرجة أنها تنسى "القصة".

2. الحيلة الأولى: "نقل النمط" (التكيف في نطاق التردد)

يحاول المؤلفون أولاً تعليم الروبوت تجاهل "الخط". يستخدمون تقنية تسمى التكيف في نطاق التردد (Frequency Domain Adaptation - FDA).

التشبيه: تخيل أن لديك صورة لشخص (المصدر) وصورة لنفس الشخص في غرفة أخرى (الهدف).
السحر: يقوم الكمبيوتر بفصل الصورة إلى جزأين:
1. الشكل (الطور - Phase): الهيكل الفعلي للوجه والنبضات اللونية الخفية لضربات القلب.
2. الإضاءة/اللون (سعة التردد المنخفض - Low-Frequency Amplitude): السطوع، والظلال، وتدرج ألوان الغرفة.
التبديل: يأخذ الكمبيوتر "الشكل" من صورة المصدر ويستبدله بـ "الإضاءة" من صورة الهدف.
النتيجة: يرى الروبوت الآن فيديو يبدو وكأنه صُوّر في البيئة المستهدفة (مثل الخارج)، ولكن إشارة ضربات القلب بداخله لا تزال هي الأصلية والنقية. هذا يجبر الروبوت على التعلم: "مهلاً، الإضاءة تغيرت، لكن نمط ضربات القلب ظل كما هو. عليّ التركيز على النمط، وليس على الإضاءة!"

3. الحيلة الثانية: "المرساة التوافقية" (HOT)

هناك عقبة؛ إذا قمت فقط بتبديل الإضاءة، فقد يرتبك الروبوت أكثر. قد يقوم بمطابقة الأجزاء الخاطئة من الفيديو (على سبيل المثال، مطابقة رمشة عين في المصدر مع رمشة عين في الهدف) لمجرد أنهما يبدوان متشابهين، حتى لو لم تكن ضربات القلب متزامنة في الوقت.

لإصلاح ذلك، قدموا HOT (النقل الأمثل المقيد بالتوافقيات).

التشبيه: تخيل أنك تحاول مطابقة رقصتين مختلفتين (المصدر والهدف) لترى ما إذا كانت هي نفس الرقصة.
- المطابقة القياسية: تنظر فقط إلى ملابس الراقصين. إذا كانوا يرتدون قمصاناً متشابهة، فتقوم بمطابقتهم. هذا أمر محفوف بالمخاطر لأن الملابس تتغير، لكن خطوات الرقص لا تتغير.
- نهج HOT: أنت تعلم أن ضربات القلب تشبه إيقاع الطبل المنتظم. لها نبضة رئيسية (معدل ضربات القلب) ونبضة ثانوية (صدى النبض). هذه هي الخاصية "التوافقية".
الحل: يعمل HOT مثل قائد أوركسترا صارم. يقول: "يمكنكم مطابقة الراقصين، ولكن فقط إذا كانت نبضات طبولهم متزامنة."
يستخدم أداة رياضية (النقل الأمثل - Optimal Transport) لإيجاد أفضل طريقة لترتيب إطارات الفيديو، ولكنه يضيف "جزاءً" إذا لم يتطابق الإيقاع. إذا حاول الروبوت مطابقة إطار يكون فيه القلب ينبض بسرعة مع إطار يكون فيه القلب ينبض ببطء، فإن "القيد التوافقي" يوبخه قائلاً: "لا! هذه ليست المطابقة الصحيحة!"

4. النتيجة: روبوت فائق المرونة

من خلال الجمع بين هاتين الحيلتين:

FDA يعلم الروبوت تجاهل "الضجيج" الناتج عن الكاميرات والإضاءات المختلفة.
HOT يجبر الروبوت على مطابقة البيانات بناءً على "إيقاع" القلب، وليس فقط مظهر الوجه.

اختبرت الورقة هذا على مجموعات بيانات عديدة (كاميرات مختلفة، أشخاص مختلفون، إضاءات مختلفة). والنتيجة؟ أصبح الروبوت أفضل بكثير في قياس معدلات ضربات القلب في بيئات جديدة وغير مرئية مسبقاً. لم يكتفِ بحفظ بيانات التدريب، بل تعلم فيزياء ضربات القلب.

الملخص

فكر في HOT كمعلم:

يعطي الطالب اختبارات تجريبية بخطوط وإضاءات مختلفة (FDA) حتى لا يتشتت انتباهه بمظهر الورقة.
يتحقق من إجاباته مقابل بندول إيقاعي (Metronome) (القيد التوافقي) لضمان أنه يعد النبضات بشكل صحيح، وليس مجرد التخمين بناءً على الصورة.

هذا يجعل التكنولوجيا قوية بما يكفي للعمل في العالم الحقيقي، سواء كنت في مستشفى، أو صالة ألعاب رياضية، أو في غرفة معيشتك.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "HOT: النقل الأمثل المقيد بالتوافقيات للتكيف مع نطاق قياس الضوء عن بُعد (rPPG)."

1. بيان المشكلة

قياس الضغط الضوئي عن بُعد (rPPG) هو تقنية غير تلامسية لتقدير الإشارات الفسيولوجية (مثل معدل ضربات القلب، ونبض حجم الدم) من مقاطع الفيديو الوجهية. وبينما حققت الطرق القائمة على التعلم العميق أداءً متطوراً في مجموعات بيانات محددة، إلا أنها تعاني من تدهور كبير في الأداء تحت تأثير إزاحة النطاق (Domain Shift).

المشكلة الجوهرية: النماذج التي يتم تدريبها على نطاق مصدر (مثل إضاءة محكومة، أو كاميرا محددة) تفشل عند نشرها في نطاق مستهدف بظروف مختلفة (مثل تباين الإضاءة، درجات لون البشرة، وخصائص الكاميرا).
القيود الحالية: غالباً ما تفرط الطرق الحالية في التكيف مع العوامل المتعلقة بالمظهر (الإضاءة، الاستجابة اللونية) بدلاً من تعلم الميزات الفسيولوجية الثابتة. علاوة على ذلك، بينما نجح التكيف في مجال التردد (FDA) في الرؤية الحاسوبية العامة، إلا أنه لم يُطبق بفعالية في مجال rPPG لأن تحويلات المظهر الساذجة يمكن أن تفسد التغيرات اللونية الدقيقة للغاية التي تشفر الديناميكيات القلبية.
الفجوة: هناك نقص في الطرق التي تعمل صراحةً على مواءمة بيانات المصدر والمستهدف مع فرض الاتساق الفسيولوجي (أي ضمان أن البيانات المحولة لا تزال تمثل ديناميكيات قلبية صالحة).

2. المنهجية: إطار عمل HOT

يقترح المؤلفون إطار عمل HOT (النقل الأمثل المقيد بالتوافقيات)، وهو إطار يجمع بين التكيف في مجال التردد (FDA) وخسارة النقل الأمثل المقيدة بالتوافقيات المبتكرة.

أ. التكيف في مجال التردد (FDA)

يُستخدم FDA لتوليد عينات تدريب "منقولة الأسلوب" تحاكي مظهر النطاق المستهدف مع الحفاظ على المحتوى الفسيولوجي للنطاق المصدر.

الآلية: يعمل في مجال فوريه (Fourier domain). لإطار فيديو مصدر $x_t$ $x_{t}$ وإطار مرجعي مستهدف $x_r$ $x_{r}$ :
1. حساب تحويل فوريه المتقطع ثنائي الأبعاد (2D DFT) لكل منهما.
2. استخراج طيف السعة ( $A$ ) والطور ( $\Phi$ ).
3. استبدال التردد المنخفض: يتم تحديد قناع للتردد المنخفض ( $\Omega_\beta$ ). تُستبدل مكونات سعة التردد المنخفض للإطار المصدر بمكونات من الإطار المرجعي المستهدف. يتم الحفاظ على مكونات التردد العالي (التي تحتوي على التفاصيل الدقيقة والديناميكيات الفسيولوجية) من المصدر.
4. إعادة البناء: يتم دمج السعة المتكيفة مع طور المصدر الأصلي، ويُطبق تحويل فوريه العكسي لتوليد الإطار المتكيف $\tilde{x}_t$ .
المبرر: تنبع إزاحات النطاق في rPPG بشكل كبير من الاستجابة الطيفية للكاميرا والإضاءة، والتي تظهر في سعات التردد المنخفض. ومن خلال استبدال هذه المكونات، يتعلم النموذج تجاهل تغيرات المظهر مع الاحتفاظ بطيف الطور، الذي يشفر التغيرات اللونية الدقيقة الناتجة عن تدفق الدم.

ب. واصف التوافقيات الدوري المحلي

لضمان بقاء البيانات المتكيفة صالحة فسيولوجياً، تستخرج الطريقة واصفاً توافقياً من الميزات الزمنية.

الترميز (Tokenization): تستخرج الشبكة الأساسية ميزات مكانية-زمانية، والتي يتم تجميعها في تسلسل من الرموز الزمنية $Z$ .
الإشارة الدورية المحلية: لكل رمز، يتم إنشاء جوار زمني دوري بطول ثابت $W$ لالتقاط الديناميكيات المحلية.
النسبة التوافقية: يتم تطبيق تحويل فوريه المتقطع بنوافذ زمنية على هذه الإشارة المحلية لحساب الطاقة الطيفية. تحدد الطريقة التردد المهيمن ( $k_1$ ، المقابل لمعدل ضربات القلب) والتوافق الثاني له ( $k_2$ ).
الواصف: يتم حساب النسبة التوافقية $r_t = E(k_2) / E(k_1)$ . يعمل هذا النسبة كقيد فسيولوجي، حيث تمتلك الإشارات القلبية بطبيعتها هياكل توافقية قوية.

ج. النقل الأمثل المقيد بالتوافقيات (HOT)

الابتكار الجوهري هو استخدام النقل الأمثل (OT) لمواءمة رموز المصدر الأصلية ( $Z$ ) والرموز المنقولة عبر FDA ( $\tilde{Z}$ ) مع احترام القيود الفسيولوجية.

تكلفة النقل: تُعرف التكلفة $C_{ij}$ بين رمز مصدر $z_i$ ورمز منقول $\tilde{z}_j$ بـ:
$C_{ij} = (1 - \cos(z_i, \tilde{z}_j)) + \lambda_h |r_i - \tilde{r}_j|$
حيث يقيس الحد الأول التشابه الميزاتي (الهندسي) ويقوم الحد الثاني بمعاقبة الاختلافات في النسبة التوافقية (الفسيولوجية).
التحسين: يتم حل المواءمة باستخدام خوارزمية سينكهورن (Sinkhorn algorithm) (النقل الأمثل المنتظم بالإنتروبيا) لإيجاد خطة النقل المثلى $P$ التي تقلل التكلفة الإجمالية.
هدف التدريب: تجمع الخسارة النهائية بين خسارة الانحدار الخاضعة للإشراف القياسية (معامل ارتباط بيرسون السالب) مع خسارة مواءمة HOT:
$L = L_{sup} + \gamma L_{HOT}$
هذا يجبر النموذج على إنتاج تمثيلات ليست دقيقة فحسب، بل ومتسقة توافقياً عبر المشاهد ذات المظهر المتغير.

3. المساهمات الرئيسية

أول تطبيق لـ FDA في مجال rPPK: تقدم الورقة أول تطبيق للتكيف في مجال التردد خصيصاً لـ rPPG، موضحة أن تبديل سعة التردد المنخفض يمكن أن يحاكي بفعالية تغيرات المظهر عبر النطاقات دون تدمير الإشارات الفسيولوجية.
النقل الأمثل المقيد بالتوافقيات (HOT): استراتيجية مواءمة مبتكرة تستفيد من الطبيعة التوافقية للإشارات القلبية لتوجيه نقل الميزات بين العينات الأصلية والمتكيفة، مما يضمن التماسك الفسيولوجي.
إطار عمل مستقل عن الهيكل الأساسي (Backbone-Agnostic): تم تصميم الطريقة لتكون وحدة قابلة للتركيب والتشغيل (plug-and-play) لتحسين التعميم عبر مختلف البنى (الشبكات العصبية الالتفافية والمحولات).

4. النتائج التجريبية

تم تقييم الإطار على ثلاث مجموعات بيانات رئيسية: PURE، وUBFC-rPPG، وMMPD (مجموعة بيانات واسعة النطاق متعددة النطاقات ذات إزاحات نطاق كبيرة).

الأداء عبر مجموعات البيانات: أظهرت التجارب المكثفة (على سبيل المثال، التدريب على PURE والاختبار على MMPD) أن إضافة HOT تتفوق باستمرار على النماذج المرجعية (DeepPhys, PhysNet, TSCAN, PhysFormer, إلخ).
- المقاييس: انخفاض ملحوظ في متوسط الخطأ المطلق (MAE)، وجذر متوسط مربع الخطأ (RMSE)، ومتوسط النسبة المئوية للخطأ المطلق (MAPE)، إلى جانب معاملات ارتباط بيرسون ( $r$ ) أعلى.
- المتانة: كانت التحسينات أكثر وضوحاً في السيناريوهات الأكثر تحدياً (مثل UBFC-rPPG $\to$ MMPD)، حيث تكون إزاحات النطاق شديدة بسبب تغيرات الإضاءة والحركة.
دراسات الاستئصال (Ablation Studies):
- نسبة التردد المنخفض ( $\beta$ ): وُجد أن الأداء الأمثل يكون عند $\beta=0.05$ ، مما يوازن بين التكيف مع النطاق والحفاظ على الإشارة.
- القيد التوافقي ( $\lambda_h$ ): كان الجزاء التوافقي حاسماً؛ فبدونه، تكون المواءمة متسقة هندسياً ولكنها غير متسقة فسيولوجياً.
- الكفاءة: تضيف HOT عبئاً حسابياً أثناء التدريب (زيادة بنسبة ~11% في الوقت، وزيادة بنسبة ~98% في ذروة الذاكرة بسبب تكرارات Sinkhorn) ولكن لها تأثير ضئيل على زمن الاستجابة عند الاستدلال (Inference Latency) لأن المواءمة تُستخدم فقط أثناء التدريب.

5. الأهمية والخاتمة

يعالج هذا العمل عقبة حرجة في النشر الواقعي لـ rPPG وهي: التعميم عبر النطاقات. من خلال نمذجة تغير المظهر صراحةً عبر FDA وفرض الاتساق الفسيولوجي عبر HOT، يقدم المؤلفون حلاً قوياً يسمح لنماذج rPPG بالتعميم عبر مختلف الكاميرات، وظروف الإضاءة، والأشخاص.

الأثر: ينقل المقترح طريقة rPPG نحو المراقبة العملية وغير المزعجة في البيئات غير المقيدة.
القيود والعمل المستقبلي: يتطلب النهج الحالي عينات مرجعية من النطاق المستهدف غير المصنفة لـ FDA. يهدف العمل المستقبلي إلى تقليل هذا الاعتماد وتحسين التكلفة الحسابية لمواءمة Sinkhorn.

باختصار، يمثل HOT خطوة مهمة للأمام في جعل rPPG متيناً أمام المتغيرات الواقعية من خلال سد الفجوة بين التكيف مع المظهر القائم على البيانات وسلامة الإشارة الفسيولوجية.