⚡ electrical engineering

Dynamic Stress Detection: A Study of Temporal Progression Modelling of Stress in Speech

تقترح هذه الورقة إطار عمل ديناميكي للكشف عن التوتر يعمل على نمذجة التوتر كظاهرة تتطور زمنياً باستخدام نماذج تسلسلية قائمة على الانتباه المتقاطع وتوصيفات دقيقة مستمدة من الملصقات العاطفية، محققةً تحسينات كبيرة في الدقة على مجموعات بيانات متعددة مقارنة بالنهج الاستاتيكية.

المؤلفون الأصليون: Vishakha Lall, Yisi Liu

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Vishakha Lall, Yisi Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول معرفة ما إذا كان شخص ما يعاني من التوتر بمجرد الاستماع إلى صوته. تتعامل معظم الأنظمة القديمة مع التوتر كأنه صورة فوتوغرافية: تأخذ لقطة لصوت الشخص في لحظة واحدة، وتضع عليها ملصقاً ("متوتر" أو "غير متوتر")، ثم تمضي قدماً.

لكن مؤلفي هذه الورقة البحثية يجادلون بأن التوتر ليس صورة فوتوغرافية؛ بل هو فيلم سينمائي. إنه يتراكم بمرور الوقت. أنت لا تصبح متوتراً فجأة في جزء من الثانية؛ بل تشعر ببعض الانزعاج، ثم ببعض الإحباط، وأخيراً تشعر بأنك غارق تحت الضغط.

تقدم هذه الورقة طريقة جديدة لتعليم الحواسيب مشاهدة "فيلم" التوتر هذا، بدلاً من مجرد النظر إلى إطار واحد. إليك التفاصيل بتبسيط شدٍ:

1. المشكلة: فخ "اللقطة الواحدة"

التكنولوجيا الحالية تشبه حارس أمن يتحقق من هويتك مرة واحدة فقط عند دخولك إلى مبنى. إذا كنت تبدو هادئاً في تلك الثانية تحديداً، فسيسمح لك بالدخول، حتى لو كنت تصرخ في سيارتك قبل خمس دقائق.

يقول الباحثون إن هذا خطأ. التوتر هو تدرج زمني. إنه قصة تتكشف فصولها. وللكشف عنه بدقة، يحتاج الكمبيوتر إلى تذكر ما حدث قبل اللحظة الحالية مباشرة.

2. الحل: "آلة الزمن العاطفية"

واجه الفريق عقبة كبيرة: معظم مجموعات البيانات الصوتية العامة تحتوي فقط على تسميات توتر "ثابتة" (مثل علامة واحدة لمحادثة كاملة). لم يكن لديهم تسميات توتر دقيقة لكل دقيقة.

الحيلة الذكية التي استخدموها:
استخدموا العاطفة كبديل (Proxy) لـ التوتر.

فكر في العواطف (سعيد، غاضب، حزين) كأنها الطقس.
وفكر في التوتر كأنه الرطوبة التي تتراكم عندما يستمر المطر لفترة من الوقت.
وبما أن لديهم بيانات تفصيلية عن "الطقس" (تسميات العاطفة) لكل 10 ثوانٍ، فقد أنشأوا معادلة لحساب "الرطوبة" (التوتر) بناءً على كيفية تغير الطقس بمرور الوقت.

لقد بنوا "حاسبة توتر" تقول: "إذا كان الشخص سعيداً قبل 30 ثانية، ولكنه أصبح غاضباً قبل 10 ثوانٍ، وهو الآن يصرخ، فإن مستوى التوتر مرتفع".

3. العقل المدبر: نوعان من "الذاكرة"

لفهم قصة التوتر هذه، قاموا بتدريب نوعين مختلفين من "الأدمغة" الاصطناعية (النماذج) للاستماع إلى الصوت وتذكر الماضي:

نموذج LSTM (الذاكرة طويلة قصيرة المدى): تخيله كأنه دفتر ملاحظات. يقرأ قصة الخط الصوتي سطراً بسطر، ويتذكر الجمل السابقة لفهم الجملة الحالية. إنه جيد في تتبع الماضي القريب.
نموذج الـ Transformer: تخيله كأنه أمين مكتبة فائق التنظيم. بدلاً من مجرد القراءة سطراً بسطر، يمكنه النظر إلى الكتاب بأكمله دفعة واحدة ورؤية كيف ترتبط كلمة في الصفحة الأولى بكلمة في الصفحة العاشرة فوراً. إنه يستخدم آلية "الانتباه المتقاطع" (Cross-Attention)، وهي تشبه قول أمين المكتبة: "مهلاً، هذه النبرة الغاضبة الآن؟ إنها مرتبطة مباشرة بتلك التنهيدة المحبطة من 20 ثانية مضت".

4. التدريب: التعليم باستخدام تاريخ "زائف"

بما أنه لم يكن لديهم تسميات توتر حقيقية لكل ثانية، فقد استخدموا نهج "المعلم والتلميذ":

المعلم: يقوم الكمبيوتر بإنشاء تاريخ توتر "زائف" بناءً على تغيرات العاطفة (معادلة آلة الزمن).
التلميذ: نموذج الذكاء الاصطناٍعي (LSTM أو Transformer) يستمع إلى الصوت ويحاول تخمين مستوى التوتر، مستخدماً ذلك التاريخ الزائف كإشارة مساعدة.
التحول المفاجئ: أثناء التدريب، يقوم الكمبيوتر أحياناً بـ "الكذب" على التلميذ (بإعطائه تخميناته الخاطئة بدلاً من تلميحات المعلم) لإجباره على تعلم كيفية التعافي والتنبؤ بالتوتر من تلقاء نفسه، تماماً مثل السيناريو الواقعي حيث لا تملك ورقة غش.

5. النتائج: رؤية الصورة الكبيرة

اختبروا هذا على ثلاث مجموعات مختلفة:

Mu-SE: أشخاص يجرون مقابلات.
StressID: أشخاص يحلون ألغازاً رياضية ولفظية مجهدة.
مجموعة بيانات مخصصة: محترفون بحريون حقيقيون (مثل قادة السفن) في جهاز محاكاة يتعاملون مع أعطال المحركات والاصطدامات.

النتيجة:
من خلال معاملة التوتر كفيلم وليس كصورة فوتوغرافية، أصبح نظامهم أفضل بكثير في اكتشاف التوتر.

في مجموعة بيانات المقابلات، ارتفقت الدقة بنسبة 5%.
في مجموعة بيانات الألغاز، قفزت الدقة بنسبة 18%.
عمل النظام بشكل جيد بشكل مفاجئ في محاكي السفن الواقعي، مما أثبت قدرته على التعامل مع المواقف الحقيقية الفوضوية.

الخلاصة الكبرى

تخلص الورقة البحثية إلى أن التوتر تراكمي. لا يمكنك فهم مستوى توتر الشخص من خلال الاستماع إلى جملة واحدة فقط. أنت بحاجة إلى فهم الرحلة التي خاضها للوصول إلى تلك اللحظة.

من خلال تعليم الذكاء الاصطناعي النظر إلى تاريخ الصوت، وليس فقط اللحظة الحالية، يمكننا بناء أنظمة أفضل لمساعدة الأشخاص في الوظائف عالية الضغط (مثل مراقبي الحركة الجوية أو الجراحين) قبل أن يرتكبوا خطأً ما. إنه الفرق بين حارس أمن يتحقق من هويتك مرة واحدة، ونظام ذكي يلاحظ أنك كنت تسير ذهاباً وإياباً بتوتر طوال العشر دقائق الماضية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "كشف الإجهاد الديناميكي: دراسة لنمذجة التطور الزمني للإجهاد في الكلام".

1. بيان المشكلة

تتعامل أنظمة كشف الإجهاد الحالية القائمة على الكلام بشكل أساسي مع الإجهاد كـ سمة ثابتة (Static Feature)، حيث تخصص تسمية واحدة لقطعة كلامية كاملة. هذا النهج يبسط طبيعة الإجهاد بشكل مخل، حيث إن الإجهاد بطبيعته ظاهرة تتطور زمنياً وتتأثر بالحالات العاطفية التاريخية ومستويات الإجهاد السابقة.

القصور في الأعمال الحالية: تفتقر معظم مجموعات البيانات (مثل StressID وMuSE) إلى تسميات إجهاد دقيقة وديناميكية زمنياً، مما يجبر النماذج على الاعتماد على تسميات عامة وثابتة.
الفجوة: هناك نقص في الأطر التي تعمل صراحةً على نمذجة تطور الإجهاد بمرور الوقت باستخدام التبعيات المتسلسلة والتسميات المستمدة ديناميكياً.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر ينمذج الإجهاد كبناء ديناميكي باستخدام ثلاثة مكونات أساسية: استراتيجية التسمية الديناميكية، استخراج السمات الزمنية، والبنى المتسلسلة.

أ. استراتيجية التسمية الدينميكية (تطور الإجهاد)

بما أن العديد من مجموعات البيانات تفتقر إلى تسميات إجهاد مستمرة، فقد استخلص المؤلفون تسميات إجهاد تقريبية من الحالات العاطفية المسمات زمنياً باستخدام استراتيجية إعادة تسمية قائمة على المسافة:

ترميز VAD الثنائي: يتم ترميز العواطف باستخدام إطار (Valence-Arousal-Dominance - التكافؤ-الاستثارة-السيادة)، وتحويلها إلى قيم ثنائية (0 أو 1). ويُمثل الإجهاد كمتجه VAD نموذجي محدد وهو: (0, 1, 0) (تكافؤ منخفض، استثارة عالية، سيادة منخفضة).
مسافة هامينج (Hamming Distance): لكل نافذة زمنية $t$ ، يتم حساب مسافة هامينج ( $D_t$ ) بين ترميز VAD للعاطفة الحالية وترميز الإجهاد النموذجي.
الوزن الزمني: يتم تطبيق وزن اضمحلالي $\delta_{t'} = e^{-\lambda(t-t')}$ على النوافذ السابقة لمراعاة التأثير المتلاشي للحالات الماضية.
حساب المسافة الموزونة: يتم حساب إجمالي المسافة الموزونة ( $\theta_{total}$ ) عن طريق جمع المسافات الموزونة للنوافذ الـ $n$ السابقة.
تعيين التسمية: إذا كانت $\theta_{total}$ أقل من عتبة الإجهاد $T_{stress}$ ، يتم تسمية القطعة بأنها "إجهاد" (Stress)؛ وإلا، فإنها تحتفظ بتسميتها العاطفية الأصلية. وهذا يخلق تدفقاً مستمراً من تسميات الإجهاد للتدريب.

ب. معالجة البيانات وتعزيزها

التقطيع (Segmentation): يتم تقسيم الكلام المستمر إلى نوافذ متداخلة مدة كل منها 10 ثوانٍ (مع تداخل قدره 5 ثوانٍ).
التعزيز (Augmentation): بالنسبة لمجموعات البيانات القصيرة (مثل CREMA-D وRAVDESS)، يتم دمج نطق المتحدث نفسه الذي يظهر حالات عاطفية مختلفة لمحاكاة التطور الزمني والتحولات العاطفية.
استخراج السمات: تقارن الدراسة ثلاث مجموعات من السمات:
- MFCC: السمات التقليدية المصنوعة يدوياً.
- Wav2Vec 2.0: التضمينات المسبقة التدريب ذاتية الإشراف.
- HuBERT: التضمينات المسبقة التدريب المعروفة بقدرتها على التقاط الدلالات عالية المستوى.

ج. بنى النماذج

تم تصميم نموذجين قائمين على التسلسل لالتقاط التبعيات بين السمات الصوتية وتاريخ الإجهاد. يستخدم كلاهما آلية الانتباه المتقاطع (Cross-Attention) لربط التنبؤات الحالية بحالات الإجهاد الماضية.

LSTM أحادي الاتجاه: طبقتان متوازيتان من LSTM (واحدة للكلام وأخرى لتاريخ الإجهاد) تغذيان آلية الانتباه المتقاطع، تليها طبقة تصنيف كاملة الاتصال.
مشفر المحولات (Transformer Encoder): تمر سمات الكلام عبر مشفر Transformer، بينما يتم ترميز سياق الإجهاد عبر مشفر يعتمد على BERT. تقوم كتلة الانتباه المتقاطع بدمج هذه التمثيلات لالتقاط التبعيات طويلة المدى.
استراتيجية التدريب: تستخدم النماذج إجبار المعلم الاحتمالي (Probabilistic Teacher Forcing) (80% من البيانات الحقيقية، و20% من التنبؤات السابقة) لسد الفجوة بين التدريب (حيث يتوفر تاريخ البيانات الحقيقية) والاستدلال (حيث لا يتوفر).

3. المساهمات الرئيسية

إطار تسمية تطور الإجهاد: طريقة مبتكرة لاستنتاج تسميات إجهاد دقيقة وديناميكية زمنياً من التسميات العاطفية الثابتة باستخدام مقاييس المسافة القائمة على VAD والاضمحلال الزمني.
نماذج تصنيف الإجهاد الزمني: تنفيذ بنى LSTM أحادية الاتجاه ومشفر Transformer المعززة بالانتباه المتقاطع لنمذجة التفاعل بين الإشارات الصوتية وحالات الإجهاد التاريخية بشكل صريح.
تقييم شامل: التحقق من صحة العمل عبر مجموعات بيانات متعددة (MuSE وStressID) ومجموعة بيانات بحرية مخصصة للواقع (10 متخصصين، جلسات مدتها 45 دقيقة مع بيانات EEG كمرجع أرضي)، مما يثبت إمكانية تعميم النهج.

4. النتائج

تفوق النماذج الديناميكية المقترحة بشكل كبير على النماذج الثابتة المرجعية في جميع مجموعات البيانات المختبرة:

مجموعة بيانات MuSE:
- Transformer + HuBERT: حقق دقة 83% ودرجة F1 بلغت 81%.
- التحسن: +5% في الدقة مقارنة بأفضل نموذج مرجعي (MUSER Acoustic Encoder).
مجموعة بيانات StressID:
- Transformer + HuBERT: حقق دقة 78% ودرجة F1 بلغت 80%.
- التحسن: +18% في الدقة مقارنة بأفضل نموذج مرجعي (Wav2Vec 2.0 Classifier).
المجموعة البحرية المخصصة:
- Transformer + HuBERT: حقق دقة 81% ودرجة F1 بلغت 82%.
- LSTM + Wav2Vec 2.0: حقق دقة 80%.
نتائج دراسة الاستئصال (Ablation Findings):
- نافذة السياق ( $n$ ): تباين الأداء الأمثل حسب مجموعة البيانات ( $n=4$ لـ MuSE/المجموعة المخصصة، و $n=3$ لـ StressID)، مما يشير إلى أن السياق التاريخي الأمثل يعتمد على نوع المهمة (محادثة مقابل مهمة قصيرة).
- السمات: تفوقت النماذج مسبقة التدريب (Wav2Vec 2.0, HuBERT) باستمرار على MFCCs. وقد اقترن HuBERT بشكل أفضل مع Transformers، بينما اقترن Wav2Vec 2.0 بشكل أفضل مع LSTMs.

5. الأهمية

تحول في النموذج (Paradigm Shift): تثبت الدراسة فرضية أن الإجهاد ليس لحظياً بل يتطور بمرور الوقت، وأن نمذجة هذا التطور الزمني تحقق مكاسب كبيرة في الدقة.
القابلية للتطبيق في العالم الحقيقي: يثبت التطبيق الناجح على مجموعة بيانات بحرية مخصصة (محاكاة حالات الطوارئ مع بيانات EEG كمرجع أرضي) جدوى الإطار في مراقبة المهن عالية الخطورة وغير الاقتحامية.
الابتكار المنهجي: توفر استراتيجية إعادة التسمية القائمة على المسافة حلاً قابلاً للتوسع للاستفادة من مجموعات بيانات العواطف الموجودة لتدريب نماذج كشف الإجهاد دون الحاجة إلى جمع بيانات جديدة ومكلفة تحمل تسميات الإجهاد.
الاتجاهات المستقبلية: تشير الدراسة إلى أن الأنظمة المستقبلية يجب أن تكيف أطوال النوافذ الزمنية وفقاً للسياقات المحددة، وتستكشف التكامل متعدد الوسائط (مثل الجمع بين الكلام والإشارات الفسيولوجية) لتحقيق متانة أكبر.