تتناول هذه الورقة نقص السياق الحواري في التعرف على العواطف في لغة الإشارة من خلال تقديم مجموعة بيانات eJSL Dialog، وإثبات أن النماذج العامة الحالية تعاني من فجوة نطاق من خلال التقييم المرجعي المنهجي، مما يسلط الضوء على الحاجة إلى مستخلصات بصرية مدركة للسياق ومجموعات بيانات أكبر نطاقاً للأبحاث المستقبلية.
تخيل أنك تحاول فهم فيلم من خلال مشاهدة لقطات عشوائية ومنفصلة منه فقط. قد ترى شخصاً يبتسم، لكنك لن تعرف لماذا يبتسم. هل هو سعيد لأنه فاز بجائزة للتو، أم أنه يبتسم بتوتر لأنه على وشك إلقاء خطاب؟ هذه هي بالضبط المشكلة التي واجهها الباحثون عند محاولة تعليم الحواسيب فهم العواطف في لغة الإشارة.
إليك شرح مبسط لما تفعله هذه الورقة البحثية، باستخدام تشبيهات من الحياة اليومية:
١. المشكلة: فخ "الفيلم الصامت"
معظم البرامج الحاسوبية الحالية المخصصة للتعرف على عواطف لغة الإشارة تشبه نقاد الأفلام الصامتة. فهي تنظر إلى مقطع فيديو واحد لشخص يوقع لغة الإشارة وتحاول تخمين العاطفة.
الخلل: في الحياة الواقعية، العواطف هي عبارة عن محادثة. قد يبدو الطالب "محايداً" (هادئاً) أثناء التوقيع، ولكن إذا قام معلمه بمدحه للتو، فإن هذا الوجه "المحايد" يعني في الواقع "الفخر". إذا نظر الحاسوب إلى الوجه فقط وتجاهل سياق المحادثة، فسيخطئ في التقدير.
الارتباك: في لغة الإشارة، تؤدي تعبيرات الوجه وظيفتين. فقد يعني تقطيب الحاجبين "أنا أطرح سؤالاً" (قواعد لغوية) أو "أنا غاضب" (عاطفة). الأمر يشبه إشارة المرور التي قد تعني أحياناً "قف" وأحياناً أخرى تعني "انعطف يساراً"، اعتماداً على السياق.
٢. الحل: "سيناريو" وقاعدة بيانات جديدة
لإصلاح ذلك، أنشأ المؤلفون مورداً جديداً يسمى eJSL Dialog.
التشبيه: فكر في هذا الأمر كالانتقال من طريقة دراسة "البطاقات التعليمية" إلى طريقة دراسة "المسرحية الكاملة". بدلاً من الجمل المنفصلة، أنشأوا ٤٨٠ محادثة قصيرة (مثل مسرحية صغيرة) بين معلم وطالب.
المحتوى: أخذوا نصوصاً موجودة بالفعل، وجعلوا ممثلين صم محترفين يؤدونها بلغة الإشارة اليابانية (JSL)، وسجلوا ١,٩٢٠ مقطع فيديو. كل مقطع مصنف بعاطفة معينة (سعيد، حزين، غاضب، أو محايد).
الهدف: تجبر قاعدة البيانات هذه الحواسيب على تعلم كيفية تغير العواطف أثناء المحادثة، وليس في فراغ.
٣. التجربة: اختبار "الطلاب"
عامل الباحثون هذه القاعدة الجديدة كأنها امتحان نهائي لأنواع مختلفة من النماذج الحاسوبية (الطلاب):
الطالب "البصري فقط": هذا النموذج ينظر فقط إلى الفيديو (اليدين والوجه). لقد أبلى بلاءً حسناً، لكنه عانى لفهم العواطف الدقيقة مثل الحزن لأنه لم يستطع "سماع" السياق.
الطالب "النصي فقط": هذا النموذج قرأ فقط ترجمة ما تم توقيعه. وقد حقق أفضل أداء إجمالي لأن الكلمات نفسها غالباً ما تكشف عن العاطفة.
الطالب "متعدد الوسائط العام": هذه نماذج متطورة تُدرب عادةً على اللغات المنطوقة (حيث يتحدث الناس ويظهرون تعبيرات وجههم). وعندما حاول الباحثون استخدام هذه النماذج على لغة الإشارة، فشلت فشلاً ذريعاً.
لماذا؟ الأمر يشبه محاولة تعليم كلب التحدث بالفرنسية. توقع النموذج وجود تعبيرات وجه بشرية (مثل الابتسامة للسعادة)، ولكن في لغة الإشارة، قد تكون "الابتسامة" مجرد علامة قواعدية. ارتبك النموذج وأدى أداءً أسوأ من النماذج الأبسط.
٤. النتىٔج الرئيسية
تكشف الورقة البحثية عن درسين رئيسيين: ١. السياق هو الملك: لا يمكنك فهم عواطف لغة الإشارة دون معرفة ما قيل قبل ذلك. يحتاج النموذج إلى تذكر تاريخ المحادثة، تماماً كما يفعل البشر. ٢. الحجم الواحد لا يناسب الجميع: لا يمكنك أخذ برنامج حاسوبي بُني للغات المنطوقة وتطبيقه على لغة الإشارة. القواعد البصرية للغة الإشارة مختلفة تماماً. نحن بحاجة إلى أدوات خاصة مصممة خصيصةً للطريقة الفريدة التي يستخدم بها الموقعون وجوههم وأيديهم.
٥. ما الخطوة التالية؟
يعترف المؤلفون بأن "مسرحيتهم" صُوّرت في استوديو أبيض مثالي مع ممثلين اثنين فقط. الحياة الواقعية فوضوية، بإضاءة سيئة وأشخاص مختلفين كثر.
المستقبل: يخططون لجعل قاعدة البيانات أكبر، وتضم محادثات أكثر عفوية (غير مكتوبة)، واستخدام الذكاء الاصطناعي المتقدم لفهم تدفق المحادثات الطويلة بشكل أفضل.
باخت اختصار: قامت هذه الورقة البحثية ببناء أول "مكتبة محادثات" لعواطف لغة الإشارة لتثبت أن الحواسيب الحالية "قصيرة النظر" للغاية. لكي يفهم الحاسوب حقاً مشاعر الشخص الذي يوقع، عليه أن يشاهد الفيلم كاملاً، وليس مجرد إطار واحد.
ملخص تقني: التعرف على العواطف في محادثات لغة الإشارة
بيان المشكلة
تواجه الأبحاث الحالية في التعرف على العواطف في المحادثة (ERC) وتحليل لغة الإشارة عائقاً هيكلياً حرجاً: الموارد الحالية تتكون أساساً من جمل معزولة أو تعبيرات أحادية الاتجاه (مثل eJSL Solo و EmoSign). تفتقر هذه المجموعات من البيانات إلى سياق المحادثة، مما يمنع النماذج من الاستفادة من تدفق الحوار التاريخي لفهم الديناميكيات العاطفية. وبناءً على ذلك، تُظهر النماذج المدربة على التعبيرات المنفردة أداءً متدهوراً في السيناريوهات الواقعية حيث تكون المعاني العاطفية مشروطة بالتفاعل المستمر واستجابات الطرف الآخر. علاوة على ذلك، تمثل لغة الإشارة تحدياً فريداً حيث تعمل تعبيرات الوجه وحركات الجزء العلوي من الجسم غرضين مزدوجين: ترميز البنى القواعدية (مثل الأسئلة) والحالات الوجدانية في آن واحد. هذا التداخل يخلق غموضاً كبيراً لأنظمة التعرف الآلي، لا سيما عند تطبيق نماذج ERC متعددة الوسائط عامة مصمما للغات المنطوقة على بيانات لغة الإشارة.
المنهجية
بناء مجموعة البيانات: eJSL Dialog
لمعالجة نقص بيانات المحادثة، قام المؤلفون ببناء مجموعة بيانات eJSL Dialog.
المصدر: تم اشتقاق النصوص من مجموعة "STUDIES Japanese Empathetic Dialogue Speech Corpus"، وتحديداً مجموعة فرعية تضم 480 حواراً فريداً تتضمن تفاعلات بين معلم وطالب.
الحجم: تتكون مجموعة البيانات من 1,920 عينة فيديو (4 تعبيرات لكل حوار).
المشاركون: قام اثنان من متحدثي لغة الإشارة اليابانية (JSL) الأصليين (ذكر وأنثى) بأداء دور المعلم والطالب معاً.
التسجيل: تم تسجيل الفيديوهات في بيئة داخلية محكومة بخلفية بيضاء باستخدام كاميرا RGB واحدة (دقة 1440 × 1080، 30 إطاراً في الثانية). تم تزويد الممثلين بالنصوص وتسميات العواطف على الشاشة لضمان الأداء المتسق.
التعليقات التوضيحية: يتم وسم كل تعبير بواحد من أربعة تصنيفات عاطفية: محايد، سعيد، حزين، وغاضب. مجموعة البيانات متوازنة عبر هذه الفئات وتتضمن تاريخ الحوار الصريح.
الغرض: صُممت مجموعة البيانات حصرياً كمعيار للتقييم والاختبار، وليس للتدريب، لتكون بمثابة معيار ذهبي لتقييم تعميم النماذج.
إطار التقييم المرجعي
وضع المؤلفون معياراً موضوعياً من خلال تقييم خمسة نماذج متميزة على مجموعة بيانات eJSL Dialog لعزل مساهمات الوسائط والسياق:
النماذج البصرية:
EmoAffectNet: يعالج الميزات الوجهية على مستوى الإطار.
EANwH: يوسع EmoAffectNet عن طريق دمج ميزات الوجه والهيكل العظمي لليد، مستخدماً شبكة LSTM لالتقاط الديناميكيات الزمنية. تم تدريب كلا النموذجين مسبقاً على مجموعة بيانات BOBSL (لغة الإشارة البريطانية) لتعلم الميزات البصرية العامة قبل الضبط الدقيق.
النماذج القائمة على النص:
EmoTrans: نموذج ERC يعمل حصرياً على المدخلات النصية (نصوص يابانية مترجمة إلى الإنجليزية)، حيث يقوم بدمج التعبيرات الأخيرة لالتقاط تغيرات الحالة.
النماذج الحوارية متعددة الوسائط:
TelME: يستخدم تقطير المعرفة عبر الوسائط والدمج المتغير للجمع بين الميزات النصية وغير اللفظية.
MMGCN: شبكة عصبية تلافيفية رسومية مدمجة متعددة الوسائط تنمذج التبعيات بين المتحدثين وداخل المتحدث الواحد.
ملاحظة: تم استبعاد الوسائط الصوتية من هذه النماذج متعددة الوسائط لتتماشى مع الطبيعة البصرية/النصية لمجموعة البيانات.
النتائج الرئيسية
كشف التقييم عن تفاوتات كبيرة في الأداء وفجوة نطاق واضحة:
النماذج البصرية: تفوق نموذج EANwH (بدرجة F1 موزونة 33.31) على EmoAffectNet (بدرجة F1 موزونة 29.06)، مما يؤكد أن ميزات هيكل اليد والنمذجة الزمنية توفر معلومات وجدانية صريحة. ومع ذلك، عانى كلاهما مع فئة "حزين" (درجات F1 بلغت 13.24 و 17.03 على التوالي).
النموذج النصي فقط: حقق EmoTrans أعلى أداء إجمالي (درجة F1 موزونة 55.40)، مما يثبت أن الدلالات النصية توفر إشارات عاطفية مباشرة وقابلة للتعميم، خاصة بالنظر إلى الارتباط العالي بين نص السيناريو والعواطف المحددة في المجموعة المصدر.
النماذج الحوارية متعددة الوسائط: أظهرت النماذج متعددة الوسائط العامة (TelME و MMGMM) تدهوراً حاداً في الأداء، حيث حققت درجات F1 موزونة بلغت 10.46 و 8.50 على التوالي.
التحليل: يعزو المؤلفون هذا الفشل إلى فجوة النطاق. فالنماذج العامة المدربة على مجموعات سكانية لا تستخدم لغة الإشارة تجد صعوبة في التمييز بين العلامات اللغوية (تعبيرات الوجه القواعدية) والتحولات العاطفية في لغة الإشارة. الميزات البصرية في لغة الإشارة تتداخل مع الوسيط النصي أثناء الدمج، مما يؤدي إلى تدهور الأداء العام.
دراسات الحالة
سلطت حالتان الضوء على الطبيعة التكاملية للوسائط:
الاعتماد على السياق: في سيناريو كان فيه التعبير البصري للطالب مقيداً بينما كان السياق إيجابياً، حددت النماذج القائمة على النص ومتعددة الوسائط حالة "الفرح" بشكل صحيح، بينما فشل النموذج البصري فقط وتوقع حالة "محايد".
الضرورة البصرية: في سيناريو وصف فيه النص حدثاً واقعياً دون معدلات عاطفية صريحة، فشلت النماذج النصية فقط، بينما حددت النماذج المدركة بصرياً حالة "الفرح" بناءً على الإشارات الوجهية.
المساهمات
يقدم البحث ثلاث مساهمات رئيسية:
تعريف المهمة: يحدد رسمياً مهمة التعرف على العواطف في المحادثة (ERC) خصيصاً لتحليل فيديو لغة الإشارة، مما يضع معياراً لسيناريوهات التفاعل ثنائي الاتجاه.
إصدار مجموعة البيانات: يقدم مجموعة بيانات eJSL Dialog، وهي أول مورد يوفر عينات فيديو للغة الإشارة مع سياق حوار صريح متعدد الأدوار وتسميات عاطفية، مما يعالج القيود الهيكلية لمجموعات البيانات ذات التعبيرات المنفردة.
النتائج التجريبية: من خلال التقييم المنهجي، تثبت الدراسة حدود النماذج البصرية المنفردة وهياكل المحادثة متعددة الوسائط العامة. وهي تؤكد الحاجة الصريحة إلى مستخلصات بصرية مدركة للسياق وخاصة بلغة الإشارة بدلاً من الاعتماد على الهياكل العامة.
الأهمية والتوجهات المستقبلية
يخلص البحث إلى أن توسيع نطاق مجموعات بيانات لغة الإشارة الحوارية هو خطوة ضرورية لدعم التدريب المسبق واسع النطاق. تشير النتائج إلى أن النماذج متعددة الوسائط العامة الحالية لا يمكن نقلها ببساطة إلى مهام لغة الإشارة بسبب الطبيعة المزدوجة الفريدة للميزات البصرية في لغة الإشارة. يهدف العمل المستقبلي إلى معالجة القيود الحالية (مثل البيئة المحكومة وعدد المشاركين المحدود) من خلال جمع محادثات عفوية، وتوسيع حجم مجموعة البيانات، ودمج النماذج اللغوية الكبيرة لمعالجة تاريخ الحوار متعدد الأدوار بشكل أفضل. يضع هذا البحث حجر الأساس لتطوير أنظمة حوار متعاطفة قادرة على تتبع والاستجابة للتاريخ العاطفي للمستخدمين الصم في التفاعلات الطبيعية بين الإنسان والحاسوب.