💻 computer science

Combining Facial Videos and Biosignals for Stress Estimation During Driving

تقترح هذه الورقة إطار عمل لتقدير الإجهاد متعدد الوسائط أثناء القيادة يدمج ميزات الفيديو الوجهي القائمة على النموذج المورفولوجي ثلاثي الأبعاد مع الإشارات الفسيولوجية باستخدام الانتباه عبر الوسائط، مما يحسن دقة اكتشاف الإجهاد ومساحة تحت منحنى خصائص التشغيل (AUROC) بشكل كبير مقارنة باستخدام الإشارات الحيوية وحدها.

المؤلفون الأصليون: Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Paraskevi Valergaki, Vassilis C. Nicodemou, Iason Oikonomidis, Antonis Argyros, Anastasios Roussos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تخمين ما إذا كان صديقك يشعر بالتوتر أثناء القيادة. لديك طريقتان للقيام بذلك: يمكنك مشاهدة وجهه عبر فيديو، أو يمكنك الاستماع إلى ضربات قلبه ومراقبة عرقه. عادةً ما يختار العلماء إحدى الطريقتين فقط. لكن هذا البحث يقول: "لماذا لا نستخدم كليهما؟" والأهم من ذلك: "ماذا لو استطاع الفيديو مساعدتنا في فهم إشارات الجسم حتى عندما تكون إشارات الجسم مشوشة وغير واضحة؟"

إليك قصة كيف فك الباحثون شفرة اكتشاف التوتر، مشروحة ببساية.

المشكلة: التوتر هو "حرباء"

التوتر أمر مخادع. أحياناً يخفيه الناس، وأحياناً أخرى تفضحهم أجسادهم. إذا نظرت فقط إلى وجه السائق، فقد يكون يتظاهر بالهدوء. وإذا نظرت فقط إلى معدل ضربات قلبه، فقد تتحرك المستشعرات من مكانها أو تصبح الإشارات مشوشة. أراد الباحثون نظاماً يمكنه النظر إلى كل من الوجه وإشارات الجسم معاً للحصول على صورة واضحة، حتى لو كانت إحدى الإشارات ضعيفة.

"ماسح الوجه": محرك دمى ثلاثي الأبعاد

بدلاً من مجرد التقاط فيديو عادي للسائق، استخدم الفريق أداة خاصة تسمى EMOCA. فكر في هذا كأنه "محرك دمى" عالي التقنية.

عندما تشاهد فيديو لسائق، لا ترى الأداة مجرد "وجه". بل تقوم بتجريد هوية الشخص (مثل شكل الأنف أو لون البشرة) وتحول وجهه إلى دمية رقمية مكونة من 56 بُعداً.

تتتبع كيفية حركة الفم (التعبير).
تتتبع كيفية ميل الرأس أو دورانه (الوضعية).
حتى أنها تتتبع سرعة هذه الحركات.

وجد الباحثون أن التوتر لا يتعلق فقط بـ شكل الوجه، بل بـ مدى سرعة تغيره. الأمر يشبه الفرق بين بحيرة هادئة وبحيرة تضربها العواصف. "العاصفة" (التوتر) تظهر في الحركات السريعة والمضطربة للدمية الرقمية، وليس فقط في الشكل الثابت.

"إشارات الجسم": ضربات القلب والعرق

نظروا أيضاً إلى جسم السائق باستخدام مستشعرات قياسية:

معدل ضربات القلب: مدى سرعة نبض القلب.
معدل التنفس: مدى سرعة التنفس.
التعرق حول الأنف: (علامة كلاسيكية على التوتر).

الاكتشاف الكبير: الوجه محقق أفضل مما تعتقد

قبل بناء ذكائهم الاصطناعي، أجرى الباحثون "مواجهة" إحصائية. قارنوا بين حركات الوجه وإشارات الجسم أثناء لحظات القيادة الموترة (مثل الكتابة على الهاتف أثناء القيادة) مقابل القيادة الهادئة.

النتيجة: وجدوا أن 38 من أصل 56 جزءاً من دمية الوجه الرقمية استجابت للتوتر بقوة تماثل قوة مستشعرات ضربات القلب أو العرق.

تشبيه: تخيل أنك تحاول تخمين ما إذا كان شخص ما متوتراً. قد تتحقق مما إذا كانت يداه ترتجفان (إشارة الجسم). لكن هذا البحث وجد أنه إذا راقبت حركة عينيه السريعة أو شد فكه (إشارة الوجه)، فستحصل على معلومات بقدر المعلومات التي ستحصل عليها من حركة اليدين. في الواقع، كان الوجه جيداً جداً لدرجة أن إشارات الجسم وحدها كانت سيئة جداً في تخمين التوتر (دقة حوالي 50% فقط، أي ما يعادل رمي العملة المعدنية!).

الحل: "قائد الفريق" الذكي (المحولات - Transformers)

بنى الباحثون نظام ذكاء اصطناعي ذكي باستخدام تقنية تسمى Transformers. فكر في هذا الذكاء الاصطناعي كقائد فريق لديه لاعبين:

اللاعب (أ): الوجه (الدمية ثلاثية الأبعاد).
اللاعب (ب): الجسم (القلب، التنفس، العرق).

جربوا ثلاث طرق لجعل هذين اللاعبين يتواصلان:

اللعب المنفرد: ترك الوجه يلعب وحده أو الجسم يلعب وحده.
الدمج المبكر (Early Fusion): ربط يدي اللاعبين معاً بحيث يتحركان ككتلة واحدة.
الانتباه عبر الوسائط (Cross-Modal Attention) - وهو الفائز: هذا هو "السر الخفي". يعمل الذكاء الاصطناعي هنا كـ مترجم فائق الذكاء. فهو يسمح للوجه بالنظر إلى الجسم وقول: "مهلاً، ضربات قلبك تتسارع، دعني أتفقد ما إذا كان فكك ينقبض للتأكد". ثم يسمح للجسم بالنظر إلى الوجه وقول: "وجهك يرتجف، دعني أتحقق مما إذا كان تنفسك سطحياً".

هذا "الانتباه عبر الوسائط" سمح للإشارات ببعضها البعض لسد الفجوات.

النتائج: من رمي العملة إلى البلورة السحرية

إليك مدى نجاح الطرق المختلفة في تخمين ما إذا كان السائق متوتراً:

إشارات الجسم وحدها: ~52% دقة. (بمثابة تخمين عشوائي).
الوجه وحده: ~90% دقة. (جيد جداً!).
الوجه + الجسم (مزيج بسيط): ~90% دقة.
الوجه + الجسم (ذكاء "المترجم"): 92% دقة.

الجزء الأكثر إثارة للدهشة؟ رغم أن إشارات الجسم كانت ضعيفة بمفردها، إلا أنه عندما استخدم الذكاء الاصطناعي طريقة "المترجم" لدمجها مع الوجه، ارتفرت الدقة بشكل كبير. لقد أثبت أن الوجه والجسم يشكلان فريقاً مثالياً، ولكن فقط إذا تحدثا مع بعضهما البعض بشكل صحيح.

لماذا يهم هذا بالنسبة للقيادة؟

أجريت الدراسة في جهاز محاكاة القيادة. وجد الباحثون أنه في السيارة، لا يمكنك دائماً رؤية يدي السائق أو قدميه (إشارات جسدية محدودة). ولكن يمكنك دائماً تقريباً رؤية وجهه. يثبت هذا النظام أنه من خلال مراقبة الحركات الدقيقة والسريعة لوجه السائق، يمكنك اكتشاف التوتر بنفس كفاءة وجود حقيبة طبية كاملة مربوطة بجسده.

باختاً: يوضح البحث أنه إذا أردت معرفة ما إذا كان السائق متوتراً، فلا تكتفِ بمراقبة معدل ضربات قلبه فحسب. راقب وجهه بدقة شديدة، واستخدم دمية ثلاثية الأبعاد لتتبع كل حركة بسيطة، واترك الذكاء الاصطناعي يترجم تلك الحركات إلى إشارة واضحة لـ "توتر" أو "هدوء". الأمر يشبه امتلاك "رؤية خارقة" ترى التوتر قبل أن يدرك السائق نفسه أنه يعاني منه.

ملخص تقني: دمج فيديوهات الوجه والإشارات الحيوية لتقدير التوتر أثناء القيادة

بيان المشكلة

يعد التعرف الموثوق على التوتر أمراً بالغ الأهمية للأنظمة المتعلقة بالسلامة، لا سيما في سيناريوهات القيادة في العالم الحقيقي. وبينما تُعد الإشارات الفسيولوجية (مثل معدل ضربات القلب، والتعرق حول الأنف) علامات راسخة للكشف عن التوتر، فإن الحصول عليها قد يكون مزعجاً أو صعباً في البيئات العملية. ومن ناحية أخرى، يواجه تقدير التوتر القائم على الفيديو عقبات كبيرة بسبب الطبيعة الذاتية للتوتر، والتباين الفردي، وإمكانية التغطية الواعية على تعبيرات الوجه. كما تعتمد النهج الحالية القائمة على الفيديو غالباً على ميزات هندسية منخفضة المستوى أو وحدات الحركة الوجهية (AUs)، والتي يمكن أن تخلط بين الهوية، والوضعية، والتعبير، مما يحد من قدرتها على التقاط الديناميكيات ثلاثية الأبعاد الدقيقة للوجه. علاوة على ذلك، قليل من الأعمال استكشفت بفعالية التفاعل التكميلي بين الديناميكيات الوجهية ثلاثية الأبعاد المنفصلة والإشارات الفسيولوجية ضمن إطار عمل موحد، خاصة في ظل الظروف المقيدة للقيادة حيث تكون إشارات الجسم محدودة.

المنهجية

مجموعة البيانات والإعداد التجريبي

تستخدم الدراسة مجموعة بيانات القيادة المشتتة المتاحة للعموم من قبل Taamneh وآخرون، والتي تم جمعها في محاكي. يميز البروتوكول بين مراحل القيادة العادية (ND) كخط أساس، ومراحل تشتت الاستجابة الحسية الحركية (MD) (P2 وP4)، حيث تسبب مهام الرسائل النصية التوتر. وتعمل المراحل الأخرى (P1، P3، P5) كفترات خالية من التوتر. تتضمن مجموعة البيانات فيديوهات وجه بالأشعة تحت الحمراء متزامنة، وإشارات فسيولوجية (معدل ضربات القلب، معدل التنفس، والتعرق حول الأنف)، وقياسات حركة العين.

استخراج الميزات

1. ميزات الوجه ثلاثية الأبعاد المنفصلة:
يستخرج المؤلفون معاملات التعبير والوضعية ثلاثية الأبعاد لكل إطار باستخدام EMOCA، وهو إطار عمل متطور لإعادة بناء الوجه أحادي المولد ثلاثي الأبعاد يعتمد على DECA.

التمثيل: متجه مكون من 56 بُعداً لكل إطار ( $x_t$ ) يضم 50 معامل تعبير ( $exp_t$ ) و6 معاملات وضعية ( $pose_t$ ).
الديناميكيات: لالتقاط السلوك الزمني، يتم حساب المشتقات الزمنية من الدرجة الأولى ( $\Delta x_t$ ) للتأكيد على تغيرات الحركة السريعة والانتقالات التعبيرية.
التطبيع: يتم حساب واصف سرعة على مستوى النافذة من خلال مقارنة القيادة المسببة للتوتر (MD) مقابل القيادة العادية المقترنة (ND) لكل شخص، مما يبرز الانحرافات الناتجة عن التوتر عن خط الأساس.

2. ميزات الفسيولوجيا وحركة العين:
تشمل العلامات الفسيولوجية معدل ضربات القلب، ومعدل التنفس، والتعرق حول الأنف. وعند توفرها، يتم حساب ديناميكيات حركة العين كسرعات أفقية وعمودية وتسارعات، بالإضافة إلى الإحصاءات قصيرة المدى (المتوسط المتحول، الانحراف المعياري، والانتشار).

التحليل الإحصائي

قبل التعلم العميق، يقوم المؤلفون بإجراء تحليل إحصائي باستخدام اختبارات t للعينات الواحدة ذات الطرفين المرتبطة لمقارنة مراحل MD وND.

النتائج: أظهر 38 من أصل 56 مكوناً وجهياً (التعبير والوضعية) استجابات توتر متسقة ومحددة المرحلة تضاهي العلامات الفسيولوجية.
الارتباطات الرئيسية: حدد تحليل المكونات الرئيسية (PCA) وتحليل التمييز الخطي (LDA) أن الوضع العام (تحديداً pose_00) ومعاملات تعبير معينة (مثل exp_40 وexp_20) هي الأكثر ارتباطاً بالتوتر. وتشير التصورات إلى أن هذه المكونات تؤثر بشكل أساسي على تشوهات الجزء السفلي من الوجه (الفم، والفك) ووضعية الرأس.
الأهمية الزمنية: أثبتت التمثيلات القائمة على السرعة (المشتقات الزمنية) أنها أكثر إخباراً من ميزات المستوى المتوسط الثابتة، مما يشير إلى أن التوتر مشفر في الديناميكيات السريعة من إطار إلى آخر.

إطار النمذجة

النظام الأساسي المقترح هو إطار نمذجة زمنية قائم على المحولات (Transformer) مصمم للتعامل مع دمج الوسائط المتعددة.

البنية: يستخدم خط الإنتاج (Pipeline) جذعاً تلافيفياً متعدد المقاييس (أحجام النواة 3، 5، 7) لاستخراج الأنماط قصيرة المدى، يليه مكدس من طبقات مشفر المحولات مع آلية الانتباه الذاتي متعدد الرؤوس.
التجميع الزمني: يتم الحصول على تمثيل نافذة ثابتة الطول عبر التجميع الزمني القائم على الانتباه، والذي يزن المقاطع الزمنية ذات الصلة بالتوتر.
استراتيجيات الدمج:
1. أحادية الوسيط: باستخدام الميزات الوجهية فقط.
2. الدمج المبكر: دمج المعلمات الوجهية ثلاثية الأبعاد مع الميزات الفسيولوجية/حركة العين عند مستوى المدخلات.
3. الانتباه عبر الوسائط: بنية ثنائية الاتجاه حيث يتم تشفير مسارات الوجه والفسيولوجيا بشكل مستقل ثم دمجها عبر آليات الانتباه المتبادل (Cross-attention). وهذا يسمح لكل وسيط بالانتباه انتقائياً للإشارات ذات الصلة زمنياً في الوسيط الآخر قبل التجميع.

المساهمات الرئيسية

الدور التكميلي لحركة الوجه ثلاثية الأبعاد: يوضح العمل أن دمج ميزات الحركة الوجهية ثلاثية الأبعاد الكثيفة (التعبير والوضعية المنفصلة) مع الميزات الفسيولوجية يحسن بشكل كبير التنبؤ بالتوتر، مما يؤكد طبيعتها التكميلية.
إطار عمل قوي عبر الوسائط: يقترح المؤلفون إطار عمل عبر الوسائط يعتمد على المحولات (Transformer) يعمل بفعالية في نمذجة التفاعل بين الديناميكيات الوجهية والإشارات الحيوية. ومن الأهمية بمكان أن هذا الإطار يظل قوياً وفعالاً حتى عند توفر فيديوهات الوجه فقط (الأداء أحادي الوسيط).
التركيز الخاص بالقيادة: تسلط الدراسة الضوء على حركة الوجه كمصدر أساسي للمعلومات البصرية المتعلقة بالتوتر في سيناريوهات القيادة حيث تكون إشارات الجسم محدودة، مما يقدم بروتوكولاً يمكن تعميمه على إعدادات أخرى لتقدير التوتر.

النتائج

تم تقييم النماذج باستخدام التحقق المتقاطع (5-fold cross-validation) لكل موضوع لمنع تسرب البيانات.

الأداء المرجعي:
- الإشارات الفسيولوجية فقط: أدت أداءً ضعيفاً، حيث حققت AUROC بنسبة 52.7% ودقة بنسبة 51.0%.
- الميزات الوجهية فقط (أحادية الوسيط): حققت AUROC بنسبة 90.8% ودقة بنسبة 84.1%، متفوقة على النماذج التقلية لتعلم الآلة (SVM/kNN) والنماذج العميقة ذات الطبقات كاملة الاتصال.
- الدمج المبكر: أدى دمج الميزات الوجهية والفسيولوجية عبر التوصيل البسيط إلى تحقيق AUROC بنسبة 90.1%، وهو أقل قليلاً من الخط المرجعي البصري فقط، مما يشير إلى أن الديناميكيات الوجهية تلتقط بالفعل المعلومات المهيمنة للتوتر في هذا الإعداد.
أداء الانتباه عبر الوسائط:
- حققت استراتيجية الانتباه عبر الوسائط (الوجه + الفسيولوجيا) أعلى أداء: AUROC 92.0% ودقة 86.7%.
- يمثل هذا تحسناً جوهرياً عن الإشارات الفسيولوجية وحدها، وزيادة مستمرة على النهج أحادية الوسيط والدمج المبكر.
- التوليفات التي استبعدت الديناميكيات الوجهية (مثل حركة العين + البيو) كانت أسوأ بكثير، مما يعزز مركزية حركة الوجه.

الأهمية والادعاءات

يدعي البحث أنه بينما قد يكون اكتشاف التوتر عبر الإشارات الفسيولوجية وحدها غير موثوق أو صعب الحصول عليه في القيادة الواقعية، فإن النشاط الوجهي يوفر إشارات تكميلية يمكن التقاطها دون إزعاج. وتثبت الدراسة ما يلي:

التوتر مشفر في الديناميكيات: تعد تعديلات التوتر أكثر بروزاً في السرعة والديناميكيات الزمنية للمعلمات الوجهية ثلاثية الأبعاد بدلاً من المظهر الساكن.
التآزر متعدد الوسائط: بينما تعتبر الميزات الوجهية وحدها فعالة للغاية، فإن النمذجة الصريحة للتفاعلات بين الوسائط عبر الانتباه عبر الوسائط تحقق أفضل النتائج، مستفيدة من الطبيعة التكميلية للإشارات الحيوية.
القابلية للتعميم: على الرغم من تقييمها باستخدام بيانات قيادة محاكية، فإن المنهجية والبروتوكول المقترحين مصممان للتوسع في إعدادات أخرى تتضمن التعرف على التوتر.

يشير المؤلفون إلى وجود قيود تتعلق باستخدام البيانات المحاكية ويقترحون أن العمل المستقبلي يجب أن يركز على التحقق من هذه النتائج في بيئات طبيعية، وتحسين القابلية للتفسير، واستكشاف النشر في الوقت الفعلي عبر خطوط إعادة بناء ثلاثية الأبعاد خفيفة الوزن.