⚡ electrical engineering

Beyond Acoustic Emotion Recognition: Multimodal Pathos Analysis in Political Speech Using LLM-Based and Acoustic Emotion Models

تُثبت هذه الورقة أن التحليل متعدد الوسائط القائم على النماذج اللغوية الكبيرة يتفوق على نماذج التعرف على العواطف الصوتية التقليدية في التقاط البعد الدلالي لـ "الباثوس" (Pathos) في الخطاب السياسي، مع تسليط الضوء على قيود كبيرة في المعايير الصوتية القياسية بسبب الكلام الممثل والتحيزات الثقافية.

المؤلفون الأصليون: Juergen Dietrich

نُشر 2026-05-22

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Juergen Dietrich

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

السؤال الكبير: هل يمكن للكمبيوتر أن "يسمع" نبض قلب سياسي؟

تخيّل أنك تشاهد مناظرة سياسية حامية الوطيس. يمكنك أن تدرك متى يكون المتحدث غاضبًا، أو ساخرًا، أو يحاول توحيد الحشد. ولكن كيف تعلّم الكمبيوتر القيام بنفس الشيء؟

تسأل هذه الورقة سؤالًا محددًا: هل من الأفضل تحليل خطاب سياسي من خلال "الاستماع" لصوته (مدى علوه أو ارتعاشه)، أم عبر ترك ذكاء اصطناعي فائق الذكاء يقرأ "الكلمات" ويستمع إلى النبرة معًا؟

أراد الباحثون معرفة ما إذا كانت أدوات "عاطفة الصوت" القياسية يمكنها قياس "الباثوس" (Pathos) بدقة — وهي كلمة فخمة تعني الأثر العاطفي الذي يتركه الخطاب على الجمهور. لقد قارنوا بين "محقّقين" مختلفين يحاولان حل لغز مشاعر السياسي.

المحققان

اختبر الباحثون هاتين الطريقتين على خطاب حقيقي ألقاه "فيليكس بانازاك"، وهو سياسي ألماني، في البرلمان الألماني (البوندستاغ). قاموا بتقسيم الخطاب إلى 51 جزءًا صغيرًا وطلبوا من كل محقق تقييم العاطفة.

المحقق الأول: ماسح "بصمة الصوت" (النموذج الصوتي - Acoustic Model)

من هو: أداة تسمى emotion2vec.
كيف يعمل: يستمع فقط إلى الموجات الصوتية. يتجاهل الكلمات تمامًا. يبحث عن أنماط مثل الصوت عالي النبرة (الذي يشير عادةً إلى "الحماس" أو "الغضب") أو الصوت المسطح ("الحزن" أو "الملل").
التشبيه: تخيل كلبًا يمكنه سماع نباحك. إذا نبحت بصوت عالٍ، سيعتقد الكلب أنك متحمس. إذا نبحت بصوت منخفض، سيعتقد أنك حزين. الكلب لا يعرف ماذا تقول، بل يعرف فقط كيف يبدو صوتك.

المحقق الثاني: "القارئ الخارق" (النموذج اللغوي متعدد الوسائط - Multimodal LLM)

من هو: ذكاء اصطناعي متطور يسمى Gemini 1.5 Flash.
كيف يعمل: يقرأ النص المكتوب (الكلمات) ويستمع إلى الصوت في نفس الوقت. يفهم السياق، والسخرية، والاستراتيجية السياسية.
التشبيه: تخيل مترجمًا بشريًا يسمعك تقول: "أوه، هذا رائع حقًا"، لكنه يرى أيضًا حركة عينيك الساخرة ويعرف أنك تقصد العكس. إنه يفهم المعنى الكامن وراء الصوت.

القاضي: لوحة تقييم "الأثر السياسي"

لمعرفة أي محقق كان على حق، استخدم الباحثون نظامًا ثالثًا يسمى TRUST. يعمل هذا النظام كقاضٍ يحدد ما إذا كان الخطاب "مثيرًا للانقسام" أو "موحدًا".

+2: يوحد الحشد.
0: محايد.
-2: يثير الانقسام.

النتائج: من أصاب الحقيقة؟

قارن الباحثون بين درجات المحققين وبين لوحة تقييم القاضي.

1. ماسح بصمة الصوت (الصوتي) فشل.

النتيجة: لم تكن درجات ماسح الصوت مرتبطة تقريبًا بدرجات القاضي.
التشبيه: اعتقد الكلب أن السياسي "سعيد" لأنه كان يتحدث بصوت عالٍ وبطاقة كبيرة. لكن القاضي عرف أن السياسي كان في الواقع ساخرًا وغاضبًا. الكلب سمع مستوى الصوت لكنه افتقد المعنى.
لماذا؟ ارتبك الماسح بسبب بيانات التدريب "المُمثَّلة". لقد تم تدريبه على ممثلين يتظاهرون بالعواطف في استوديو، وليس على سياسيين حقيقيين يستخدمون لغة معقدة.

2. القارئ الخارق (LLM) نجح.

النتيجة: تطابقت درجات الذكاء الاصطناعي بقوة مع درجات القاضي.
التشبيه: فهم المترجم البشري أن السياسي عندما قال "هذا مخجل حقًا"، لم يكن سعيدًا بذلك؛ بل كان ينتقد الطرف الآخر. حدد الذكاء الاصطناعي العاطفة السلبية والأثر السياسي بشكل صحيح.

مشكلة "العاطفة المزيفة" (نقد EMO-DB)

أخذت الورقة نظرة فاحصة أيضًا على "الكتاب المدرسي" المستخدم لتدريب ماسح بصمة الصوت. هذا الكتاب يسمى EMO-DB.

المشكلة: الكتاب مليء بممثلين يقرؤون نفس الجمل العشر مرارًا وتكرارًا، متظاهرين بالغضب أو الحزن أو الملل.
الاكتشاف: عندما حاول "القارئ الخارق" (Gemini) تقييم هذه التسجيلات المزيفة، فشل فشلًا ذريعًا في بعض العواطف مثل "الاشمئزاز" و"الملل".
- الاشمئزاز: لم يستطع الذكاء الاصطناعي سماعه دون رؤية وجه.
- الملل: اعتقد الذكاء الاصطناعي أن الممثلين كانوا فقط "محايدين" أو "واقعيين".
الخلاصة: تجادل الورقة بأن هذه الكتب التدريبية القياسية معيبة. فهي تعلم الكمبيوتر التعرف على "التمثيل"، وليس على المشاعر البشرية الحقيقية في المحادثات الواقعية.

خدعة "الفصل" (Decoupling)

تشرح الورقة لماذا فشل ماسح الصوت باستخدام مفهوم يسمى الفصل (Decoupling).

السيناريو: يمكن لسياسي أن يصرخ بجملة بصوت "غاضب" جدًا (طاقة عالية) ولكنه في الواقع يقول شيئًا محايدًا منطقيًا أو حتى إيجابيًا.
ماسح الصوت: يسمع الصراخ ويقول: "هذا غضب عالي الاستثارة!"
القارئ الخارق: يسمع الصراخ، لكنه يقرأ الكلمات ويقول: "انتظر، إنه يستخدم السخرية. إنه في الواقع ينتقد المعارضة، لكن الهدف هو توحيد حزبه."
الدرس: في السياسة، غالبًا ما يكذب صوت الشخص، بينما يخبرك معنى الكلمات بالحقيقة.

ملخص

أدوات الصوت فقط تشبه الكلاب التي تسمع النباح فقط؛ فهي ترتبك بسبب السخرية والاستراتيجية السياسية.
الذكاء الاصطناعي الذي يقرأ ويستمع يشبه الإنسان الذكي الذي يفهم السياق، والتهكم، والقصد.
الاستنتاج: لفهم العاطفة السياسية، لا يمكنك مجرد الاستماع إلى الصوت. يجب أن تفهم الكلمات والموقف. لذا، فإن "القارئ الخارق" (LLM) هو أداة أفضل بكثير لهذه المهمة من "ماسح بصمة الصوت".

تقترح الورقة أنه في المستقبل، يجب علينا الجمع بين الاثنين: استخدام ماسح الصوت لقياس مدى حيوية الخطاب، واستخدام الذكاء الاصطناعي لفهم ما يعنيه الخطاب بالفعل للجمهور.

ملخص تقني: ما وراء التعرف الصوتي على العواطف

بيان المشكلة
يواجه تحليل التعبير العاطفي في الخطاب السياسي فجوة منهجية حرجة: تعتمد نماذج التعرف الآلي على عواطف الكلام (SER) الحالية بشكل كبير على السمات الصوتية المستمدة من مجموعات بيانات تمثيلية (مثل EMO-DB، IEMACAP)، والتي قد تفتقر إلى الصلاحية البيئية للخطاب السياسي الطبيعي. ضمن إطار عمل TRUST، يُعرَّف بُعد Pathos (الاستمالة العاطفية) ليس فقط من خلال النبرة الوجدانية، بل من خلال التأثير المجتمعي للغة العاطفية، بما في ذلك السخرية، والتهكم، والاستراتيجية البلاغية. السؤال البحثي المركزي هو ما إذا كانت نماذج التعرف الصوتي (SER) يمكن أن تعمل كبدائل صالحة لـ Pathos المحدد سياسياً، أم أن التحليل متعدد الوسائط القائم على النماذج اللغوية الكبيرة (LLM) يقدم نهجاً متفوقاً من خلال دمج الفهم الدلالي والسياقي.

المنهجية
تعتمد الدراسة منهج دراسة حالة باستخدام خطاب مدته 232 ثانية لـ "فيليكس باناسزاك" (حزب التحالف 90/الأخضر) من البرلمان الألماني (البوندستاغ)، مقسماً إلى 51 جملة. يقارن التحليل بين ثلاث وسائط متميزة:

التعرف الصوتي على العواطف (emotion2vec): يقوم نموذج emotion2vec_plus_large بمعالجة الصوت لإخراج احتمالات لثماني فئات عاطفية منفصلة. ونظ fear أن النموذج لا يخرج أبعاداً مستمرة بشكل أصيل، يطبق المؤلفون إسقاط راسل الدائري اللاحق (post-hoc Russell Circumplex projection). يتضمن ذلك رسم خرائط لاحتمالات الفئات المنفصلة إلى قيم مستمرة للاستثارة (Arousal) والتكافؤ (Valence) باستخدام مجموع أوزان بناءً على معايير راسل [14] ووارينر وآخرون [15].
التحليل متعدد الوسائط القائم على النماذج اللغوية الكبيرة (Gemini 2.5 Flash): يتم تقديم الملف الصوتي الكامل للخطاب مع نصّه إلى Gemini 2.5 Flash. يقوم النموذج بإجراء توصيف مفتوح (بدون فئات مفروضة) لتوليد تسميات العواطف الأولية/الثانوية، ودرجات الاستثارة/التكافؤ المستمرة (المدى [-1، +1])، وتصنيفات الوظيفة البلاغية.
تسجيل TRUST-Pathos: يقوم تجمع من ثلاثة نماذج لغوية كبيرة (Gemini, GPT, Claude) تحت إشراف آلية توافق الوسيط بتعيين درجات Pathos على مقياس رتبي خماسي النقاط (من -2 إلى +2)، يمثل التأثير المجتمعي للغة العاطفية (من التقسيم إلى التوحيد).

بالإضافة إلى ذلك، يجري المؤلفون تقييماً نوعياً منهجياً لمجموعة بيانات EMO-DB المرجعية باستخدام Gemini كمُوصِّف مفتوح لتقييم صلاحية بيانات تدريب SER القياسية.

المساهمات الرئيسية

الصلاحية المقارنة: تثبت الدراسة أن التحليل متعدد الوسائط القائم على النماذج اللغوية الكبيرة يرتبط بشكل أفضل بكثير مع مقياس TRUST-Pathos من التعرف الصوتي (SER) وحده.
نقد المتون (Corpus Critique): يكشف التقييم المنهجي لـ EMO-DB عن قيود هيكلية، بما في ذلك عدم قدرة النماذج على تمييز "الاشمئزاز" بدون سياق بصري، والتصنيف المنهئي الخاطئ لـ "الملل" ككلام محايد، وتداخل النبرة الخاصة بالعاطفة مع هياكل الجمل الثابتة، مما يضخم الدقة المعتمدة على النص.
العمليات الإجرائية: تقدم الورقة وتنتقد "إسقاط راسل الدائري اللاحق" كوسيلة لاستخلاص الاستثارة والتكافؤ المستمرين من احتمالات SER المنفصلة، مع تسليط الضوء على افتراضاته غير المتحقق منها فيما يتعلق بالنقل عبر اللغات والسياقات المختلفة.

النتائج

الارتباط مع Pathos: يكشف تحليل ارتباط رتب سبيرمان عن ارتباط إيجابي قوي ومعنوي بين تكافؤ Gemini وTRUST-Pathos ( $\rho = +0.664, p < 0.001$ ). وعلى العكس من ذلك، لا يظهر تكافؤ emotion2vec أي ارتباط معنوي بـ TRUST-Pathos ( $\rho = +0.097, p = 0.499$ ).
ديناميكيات الاستثارة: بينما يرتبط استثارة Gemini بشكل متوسط مع TRUST-Pathos ( $\rho = -0.535$ )، لا تظهر استثارة emotion2vec أي ارتباط معنوي ( $\rho = -0.155$ ).
التباين في المفاهيم: تلتقط الوسيطتان أبعاداً مختلفة جوهرياً. على سبيل المثال، جملة "Das ist wirklich peinlich" ("هذا مخجل حقاً") تُصنف صوتياً بواسطة emotion2vec على أنها "سعيدة" (تكافؤ إيجابي عالٍ) بسبب الطاقة وطبقة الصوت، بينما يحدد Gemini بشكل صحيح أنها استياء شديد (تكافؤ سلبي) عبر الفهم الدلالي.
نتائج EMO-DB: في تقييم EMO-DB، حقق Gemini متوسط ثقة قدره 0.82 ولكن بنسبة تطابق دلالي بلغت 30.1% فقط مع الحقيقة الأرضية. ومن الملاحظ أن "الاشمئزاز" سجل نسبة تطابق 0.0%، وتم تحديد "الملل" بشكل خاطئ بنسبة 87.7% من المرات، وغالباً بثقة عالية.

الأهمية والادعاءات
تخلص الورقة إلى أن التعرف الصوتي على العواطف (SER) غير كافٍ كبديل مستقل لبُعد Pathos في التواصل السياسي لأنه يلتقط التكافؤ الصوتي (جودة الصوت، منحنى التردد الأساسي F0) بدلاً من التكافؤ السياسي-البلاغي (التأثير المجتمعي، السخرية، والاستراتيجية). يجادل المؤلفون بأن التحليل القائم على النماذج اللغوية الكبيرة (LLM) هو الأفضل لهذه المهمة المحددة لأنه يدمج المحتوى المعجمي، والبنية البلاغية، والسياق السياسي.

ومع ذلك، يحافظ المؤلفون على موقف متواضع تجاه دور السمات الصوتية. هم لا يدعون أن النماذج الصوتية أصبحت مهجورة؛ بل يقترحون أن السمات الصوتية تظل غنية بالمعلومات لتقدير الاستثارة منخفضة المستوى، في حين أن النماذج اللغوية الكبيرة مطلوبة للتحليل العاطفي المحدد دلالياً. تفترض الدراسة أن مستقبل تحليل العواطف السياسية يكمن في التمثيلات متعددة الوسائط التكاملية التي تجمع بين السمات الصوتية والفهم الدلالي القائم على النماذج اللغوية الكبيرة، بدلاً من استبدال أحدهما بالآخر. وتقتصر هذه النتائج حالياً على متحدث واحد وسياق سياسي ألماني، مع اقتراح أعمال مستقبلية لتوسيع النطاق ليشمل مجموعات بيانات متعددة المتحدثين وتحليلات قائمة على الفيديو (تعبيرات الوجه وحركة العين).