⚡ electrical engineering

Multimodal Self-Attention Network with Temporal Alignment for Audio-Visual Emotion Recognition

تقترح هذه الورقة إطار عمل يعتمد على نموذج "ترانسفورمر" للتعرف على العواطف عبر الصوت والصورة، يعالج عدم التوافق في معدل الإطارات من خلال تضمينات الموضع الدوارة المتوافقة زمنياً وفقدان المطابقة عبر الزمن لتعزيز محاذاة ودمج الميزات متعددة الوسائط.

المؤلفون الأصليون: Inyong Koo, yeeun Seong, Minseok Son, Jaehyuk Jang, Changick Kim

نُشر 2026-03-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Inyong Koo, yeeun Seong, Minseok Son, Jaehyuk Jang, Changick Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم مزاج شخص ما من خلال مشاهدة فيلم له وهو يتحدث. لديك تدفقان من المعلومات:

الصوت: صوت كلامه (سريع، مفصل، مثل كاميرا عالية السرعة).
الفيديو: تعبيرات وجهه (أبطأ قليلاً، مثل كاميرا قياسية).

المشكلة هي أن هاتين الكاميرتين لا تعملان بنفس السرعة. قد يلتقط الصوت 50 "لقطة" في الثانية، بينما يلتقط الفيديو 30 لقطة فقط. إذا حاولت دمج الاثنين معاً دون إصلاح هذا عدم التوافق، فسيكون الأمر كمن يحاول الرقص مع شريك يدهس قدميك باستمرار لأنه يتحرك على إيقاع مختلف. قد تنظر إلى ابتسامة في الفيديو وتحاول مطابقتها مع صوت يحدث بعد ثانية من الآن، مما يؤدي إلى الارتباك.

تقدم هذه الورقة البحثية نظاماً جديداً يسمى "الانتباه الذاتي متعدد الوسائط مع المحاذاة الزمنية" (Multimodal Self-Attention with Temporal Alignment) لحل مشكلة "أرضية الرقص" هذه. وإليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. أرضية الرقص المشتركة (المُشفّر الموحد)

بدلاً من معاملة الصوت والفيديو كشخصين منفصلين لا يتحدثان مع بعضهما البعض أبداً، يضعهما المؤلفون على نفس "أرضية الرقص" (مساحة رقمية مشتركة).

الطريقة القديمة: كانوا يستمعون إلى الكلام بالكامل، ويشاهدون الفيديو بالكامل، ثم يدمجون الملخصين معاً في النهاية. هذا يفقدنا اللحظات الدقيقة جداً التي ينكسر فيها الصوت تماماً في نفس اللحظة التي يظهر فيها عبوس الوجه.
الطريقة الجديدة: يقومون بتغذية الصوت والفيديو في "ترانسفورمر" (Transformer) (عقل ذكاء اصطناعي ذكي) في وقت واحد. هذا يسمح للذكاء الاصطناعي بالنظر إلى صوت محدد وتعبير وجهي محدد يحدثان في نفس الوقت وقول: "آه، هذان ينتميان لبعضهما البعض".

2. الميترونوم السحري (TaRoPE)

بما أن الصوت والفيديو لهما سرعات مختلفة (50 إطاراً في الثانية مقابل 30 إطاراً في الثانية)، يحتاج الذكاء الاصطناعي إلى طريقة لمعرفة أي "نبضة" صوتية تتوافق مع أي "نبضة" فيديو.

التشبيه: تخيل أن الصوت هو نبض طبول سريع، والفيديو هو نبض طبول بطيء. إذا قمت بمجرد محاذاتهما حسب الرقم (الصوت الأول مع الصورة الأولى)، فسيتباعدان بسرعة.
الحل: ابتكر المؤلفون TaRoPE (ترميز الموضع الدوار المحاذى زمنياً). فكر في هذا كـ "ميترونوم سحري" يقوم بمد أو تقليص الجدول الزمني للفيديو ليتناسب تماماً مع الجدول الزمني للصوت. هو لا يقول فقط "هذه هي الإطار الخامس"؛ بل يقول "هذا هو الإطار الخامس، والذي يصادف أنه في نفس اللحظة تماماً مع الصوت الثامن". إنه يجبر السرعتين المختلفتين على التزامن تلقائياً.

3. عقوبة "التشابه" (خسارة المطابقة عبر الزمن - CTM Loss)

حتى مع وجود الميترونوم السحري، قد يصبح الذكاء الاصطناعي كسولاً ويتجاهل التوقيت. ولإجباره على الانتباه، أضاف المؤلفون قاعدة خاصة تسمى "خسارة المطابقة عبر الزمن" (Cross-Temporal Matching Loss).

التشبيه: تخيل معلماً يصحح ورقة طالب. يقول المعلم: "إذا ادعيت أن ضحكة في الفيديو تتوافق مع صرخة في الصوت، فيجب أن يبدوا ويشعرا بشكل متشابه".
كيف يعمل: يتحقق النظام: "هل الميزة الصوتية في هذه اللحظة تحديداً تبدو متشابهة رياضياً مع ميزة الفيديو في هذه اللحظة نفسها؟" إذا كان الصوت والفيديو قريبين في الوقت ولكنهما مختلفان تماماً، يحصل النظام على "عقوبة" (درجة سيئة). هذا يجبر الذكاء الاصطناعي على تعلم أن العواطف تحدث بالتزامن. إذا ارتفع الحاجبان، يجب أن ترتفع طبقة الصوت في نفس الوقت.

4. النتائج: تناغم مثالي

اختبر الباحثون هذا النظام على مجموعتي بيانات شهيرتين هما CREMA-D و RAVDESS، وهما بمثابة مكتبات لأشخاص يمثلون عواطف مختلفة.

النتيجة: حطم نظامهم الجديد جميع الأرقام القياسية السابقة. لقد كان أفضل في تخمين العواطف لأنه تعلم أخيراً كيف يستمع ويشاهد في نفس الوقت، مع احترام حقيقة أن الصوت والرؤية يحدثان بسرعات مختلفة ولكن يجب فهمهما معاً.

ملخص

اعتبر هذه الورقة البحثية بمثابة تعليم الذكاء الاصطناعي ليكون "قائداً أفضل للأوركسترا".

قبل ذلك، كان القائد (الذكاء الاصطناعي) يحاول دمج قسم الكمان (الفيديو) مع قسم الطبول (الصوت) دون إدراك أنهما يعزفان بإيقاعات مختلفة.
هذه الطريقة الجديدة تمنح القائد "عصا مايسترو ذكية" (TaRoPE) تعدل الإيقاع في الوقت الفعلي، و**"كتاب قواعد صارم" (CTM Loss)** يضمن أن كل نوتة وكل إشارة بصرية تحدث في تناغم تام.

النتيجة؟ فهم أكثر دقة للعاطفة البشرية، لأن الذكاء الاصطناعي فهم أخيراً أن الابتسامة والضحكة يحدثان معاً، وليس فقط "في نفس الوقت تقريباً".

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "شبكة الانتباه الذاتي متعددة الوسائط مع المحاذاة الزمنية للتعرف على العواطف عبر الصوت والصورة."

1. بيان المشكلة

يهدف التعرف على العواطف عبر الصوت والصورة (AVER) إلى استنتاج العواطف البشرية من خلال دمج الكلام (الصوت) وتعبيرات الوجه (الفيديو). وبينما أدت الأساليب الحديثة القائمة على الـ Transformer إلى تحسين الأداء من خلال التقاط التبعيات عبر الوسائط، إلا أنها تواجه عائقاً حرجاً: عدم المحاذاة الزمنية بسبب اختلاف معدلات أخذ العينات.

عدم التطابق: يتم استخراج ميزات الصوت عادةً بدقة زمنية عالية (مثلاً 50 إطاراً في الثانية)، بينما تكون ميزات الفيديو أقل دقة (مثلاً 30 إطاراً في الثانية).
النتيجة: تعامل بنيات الـ Transformer القياسية هذه المتواليات كتدفقات رموز مستقلة. وبدون مزامنة صريحة، قد تتوجه آليات الانتباه المتقاطع (cross-attention) إلى مواضع زمنية غير ذات صلة، مما يؤدي إلى تشتت الانتباه وإضعاف الارتباطات متعددة الوسائط دقيقة التفاصيل. تعتمد الطرق الحالية غالباً على مجرد الدمج (concatenation) أو التشابه على مستوى الميزات دون معالجة التفاوت الأساسي في معدل الإطارات.

2. المنهجية

يقترح المؤلفون إطار عمل قائماً على الـ Transformer مصمماً لإسقاط ميزات الصوت والفيديو في فضاء تضمين مشترك مع معالجة عدم المحاذاة الزمنية بشكل صريح. تتكون البنية من ثلاثة مكونات أساسية:

أ. مشفر الانتباه الذاتي متعدد الوسائط الموحد

بدلاً من استخدام كتل انتباه داخلية (intra-modal) ومتداخلة (inter-modal) منفصلة، يستخدم النموذج مشفر انتباه ذاتي متعدد الوسائط (MSA).

معالجة المدخلات: يتم استخراج ميزات الصوت باستخدام مشفر xlsr-Wav2Vec 2.0 مدرب مسبقاً (50 إطاراً في الثانية)، وتُستخرج ميزات الفيديو باستخدام OpenFace لوحدات الحركة (30 إطاراً في الثانية).
الإسقاط: يتم إسقاط كلتا الوسائط خطياً في فضاء مشترك ذي بُعد $d_{model}$ .
الدمج: يقوم مشفر Transformer موحد بمعالجة رموز الصوت والفيديو المدمجة في آن واحد، مما يلتقط التبعيات داخل الوسيط الواحد (intra-modal) والتبعيات بين الوسائط (inter-modal) في كتلة واحدة.

ب. تضمينات الموضع الدوارة المحاذية زمنياً (TaRoPE)

لحل مشكلة تفاوت معدل الإطارات، قدم المؤلفون TaRoPE، وهو نسخة مطورة من تضمينات الموضع الدوارة (Rotary Position Embeddings - RoPE).

الآلية: تقوم RoPE القياسية بتدوير متجهات الاستعلام (query) والمفتاح (key) بناءً على مؤشرات الرموز لترميز المواضع النسبية. تعمل TaRoPE على تعديل ذلك من خلال تطبيق ترددات دوران خاصة بكل وسيط.
المحاذاة: يتم ضبط تردد الدوران للفيديو ( $\theta_v$ ) بالنسبة للصوت ( $\theta_a$ ) بناءً على معدلات أخذ العينات الخاصة بهما ( $\eta_a$ و $\eta_v$ ):
$\theta_v = \frac{\eta_a}{\eta_v} \theta_a$
الأثر: تعمل هذه الآلية على مزامنة رموز الفيديو ضمنياً مع الجدول الزمني للصوت. وبالتالي، يعتمد درجة الانتباه بين رمز صوتي ورمز فيديو على المسافة الزمنية المتسقة في الوقت الفعلي، بدلاً من المسافة الرقمية التعسفية في المتوالية.

ج. خسارة المطابقة عبر الزمن (CTM Loss)

لفرض الاتساق الزمني بشكل صريح، قدم المؤلفون دالة خسارة مساعدة.

المفهوم: تشجع هذه الدالة إطارات الصوت والفيديو التي تكون متقاربة زمنياً (قريبة في الوقت الفعلي) على امتلاك تمثيلات ميزات متشابهة.
التنفيذ:
1. يتم حساب ألفة غاوسية زمنية ( $g_{ij}$ ) بين إطار صوتي $i$ وإطار فيديو $j$ بناءً على فرق الطابع الزمني بينهما. يعمل هذا كالتوزيع المستهدف.
2. يتم اشتقاق توزيع التشابه المتوقع للنموذج من حاصل الضرب النقطي للتضمينات.
3. تعمل خسارة الإنتروبيا المتقاطعة ثنائية الاتجاه على محاذاة التوزيع المتوقع مع توزيع هدف غاوس.
الهدف: توجيه المشفر لتعلم تمثيلات تترجم فيها التقارب الزمني في العالم المادي إلى تشابه في الميزات داخل فضاء التضمين.

3. المساهمات الرئيسية

المحاذاة الزمنية الصريحة: تحدد الورقة مشكلة عدم تطابق معدل الإطارات وتعالجها، وهي مشكلة غالباً ما يتم تجاهلها في دمج الوسائط المتعددة.
TaRoPE: نسخة مطورة من تضمينات الموضع الدوارة تعمل على مزامنة المتواليات غير المتجانسة للصوت والفيديو ضمن آلية انتباه مشتركة.
خسارة CTM: دالة خسارة مساعدة مبتكرة تفرض الاتساق الزمني بين الوسائط باستخدام تقارب غاوسي مدرك للطوابع الزمنية.
بنية موحدة: تثبت أن كتلة انتباه ذاتي متعدد الوسائط (MSA) واحدة هي أكثر كفاءة في المعلمات وأكثر فعالية من كتل الانتباه داخل الوسيط (ISA) والانتقالي (ICA) المتراكمة.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعتي بيانات مرجعيتين: CREMA-D و RAVDESS.

الأداء:
- CREMA-D: حققت دقة بنسبة 89.49%، متفوقة على أفضل النتائج السابقة (85.06%) بمقدار 4.43 نقطة مئوية.
- RAVDESS: حققت دقة بنسبة 89.25%، بتحسن عن أفضل نتيجة سابقة (88.67%) بمقدار 0.58 نقطة مئوية.
دراسات الاستئصال (Ablation Studies):
- استراتيجية الدمج: تفوق نهج MSA الموحد على متغيرات ISA/ICA المتراكمة مع استخدام معلمات أقل (6.83 مليون مقابل 12.61 مليون).
- تضمين الموضع: تفوقت TaRoPE بشكل كبير على تضمينات Sinusoidal و Learnable و RoPE القياسية.
- مساهمة الخسارة: أدى إضافة خسارة CTM إلى تحسين الدقة باستمرار عبر جميع استراتيجيات تضمين الموضع (على سبيل المثال، وصلت TaRoPE + CTM إلى 89.49% مقابل 88.95% بدون CTM).
التحليل: أكدت عمليات التصور أن خسارة CTM تجعل قيم ميزات الصوت والفيديو تتطور بمسارات متشابهة، مما يشير إلى نجاح مزامنة الديناميكيات الزمنية.

5. الأهمية

يقدم هذا العمل حلاً قوياً لمشكلة "التدرج الزمني" في التعلم متعدد الوسائط. من خلال نمذجة عدم تطابق معدل الإطارات صراحةً عبر TaRoPE و خسارة CTM، يوضح المؤلفون أن الحفاظ على الإشارات الزمنية الدقيقة أمر بالغ الأهمية للدمج الفعال عبر الوسائط. تشير النتائج إلى أن أنظمة AVER المستقبلية يجب أن تتجاوز مجرد دمج الميزات البسيط أو آليات الانتباه القياسية وتعتمد استراتيجيات محاذاة زمنية صريحة لتحقيق أداء رائد. وتكتسب البنية المقترحة أهمية خاصة للتطبيقات التي تتطلب كشف عواطف عالي الدقة في سيناريوهات العالم الحقيقي حيث قد لا تكون تدفقات الصوت والفيديو متزامنة تماماً.