AMRD: Adaptive Multi-Teacher Relational Distillation for Lightweight Speech Emotion Recognition

تخيل أنك تحاول تعليم روبوت صغير فائق السرعة فهم المشاعر البشرية بمجرد الاستماع إلى صوتهم. هذا هو عالم التعرف على العواطف من خلال الكلام (SER)، وهو فرع من فروع الذكاء الاصطناعي يساعد الحواسيب على اكتشاف ما إذا كان شخص ما غاضبًا، أو سعيدًا، أو حزينًا، أو محايدًا. هذه هي التقنية الكامنة وراء المساعدات الذكية التي قد تقول لك: "تبدو متوترًا، هل تريد الاستماع إلى بعض الموسيقى الهادئة؟" أو تساعد الأطباء في مراقبة الصحة العقلية. المشكلة هي أن الحواسيب "الذكية" الجيدة في هذا المجال تكون عادةً ضخمة، مثل مكتبة مليئة بالكتب، بينما الروبوتات (مثل هاتفك أو مكبر الصوت الذكي) تكون صغيرة، مثل دفتر ملاحظات واحد. لا يمكنها حمل المكتبة بأكملها.

لحل هذه المشكلة، يستخدم العلماء حيلة تسمى تقطير المعرفة (Knowledge Distillation). فكر في الأمر كأنك تشاهد طباخًا ماهرًا (المعلم) يعلم متدربًا شابًا (الطالب). المتدرب صغير جدًا بحيث لا يمكنه استيعاب جميع الوصفات المعقدة، لذا لا يعطيه المعلم الطبق النهائي فحسب؛ بل يعطيه التلميحات، والنصائح، و"إحساس" الطعام. عادةً، يكون لديك معلم واحد. ولكن ماذا لو كان لديك اثنان؟ ربما أحدهما بارع في الأطعاق الحارة، والآخر بارع في الحلويات. إذا استطعت دمج حكمهما بشكل مثالي، فسيصبح متدربك عبقريًا. ومع ذلك، هناك عقبة: أحيانًا يمر أحد الطباخين بيوم سيء ويعطي نصائح سيئة، وأحيانًا يكون الآخر هو المتألق. وأيضًا، مجرد إخبار المتدرب بماذا يطبخ ليس كافيًا؛ فأنت بحاجة لتعليمه كيف ترتبط المكونات ببعضها البعض. هذا البحث، AMRD، يدور حول بناء النظام المثالي لإدارة اثنين من الطهاة المهرة وتعليم طالب صغير كيفية طبخ العواطف بشكل مثالي، حتى على جهاز صغير.

المشكلة: طباخان، يوم سيء، وطالب صغير

بدأ الباحثون بفكرة كبيرة: استخدام نموذجين قويين مدربين مسبقًا (يُسميان WavLM و data2vec) كـ "معلمين" لتعليم نموذج أصغر بكثير وأخف وزنًا (الـ "طالب"). هؤلاء المعلمون يشبهون خبراء فائقين الذكاء قرأوا كل كتاب عن الكلام، لكنهم ثقيلون جدًا بحيث لا يمكن تشغيلهم على هاتف. كان الهدف هو عصر معرفتهم داخل نموذج طالب صغير يمكنه العمل على الهاتف.

لكنهم واجهوا مشكلتين فوضويتين تجاهلهما الآخرون:

1. مشكلة "اليوم السيئ": أحيانًا، يكون أحد المعلمين رائعًا في التعرف على الغضب، لكنه سيء جدًا في التعرف على الحزن. وفي أحيان أخرى، تنعكس الأدوار. إذا قمت ببساطة بمتوسط نصائحهما بالتساوي (مثل إعطاء كلا الطباخين 50% من التصويت)، فقد يصاب الطالب بالارتباك بسبب النصيحة السيئة. يحتاج الطالب إلى طريقة للاستماع أكثر إلى المعلم الذي "يتألق" في تلك اللحظة المحددة وتجاهل المعلم الذي يعاني.
2. مشكلة "الرابط المفقود": معظم طرق التدريس تنظر فقط إلى الإجابة النهائية (مثل: "هذا غضب"). إنها تفوت العلاقات بين الأصوات المختلفة. على سبيل المثال، همس الغضب وصراخ الغضب مختلفان، لكنهما لا يزالان يندرجان تحت "الغضب". المعلم الذكي يعرف أن هذين الصوتين هما "أبناء عمومة" في عالم العواطف. الطرق القياسية غالبًا ما تتجاهل هذه الروابط العائلية، مما يترك الطالب ليخمن الروابط بمفرده.

الحل: AMRD (المشرف الذكي)

اقترح المؤلفون نظامًا جديدًا يسمى AMRD (التقطير العلاقاتي متعدد المعلمين التكيفي). فكر في AMRD كمشرف ذكي للغاية يقف بين المعلمين والطالب.

1. مشرف "One-Class SVM" (خاتم تغيير المزاج)
لحل مشكلة "اليوم السيء"، يستخدم النظام أداة تسمى One-Class SVM. تخيل المشرف وهو ينظر إلى ملاحظات الطباخين لدفعة معينة من مهام الطبخ. بدلًا من مجرد السؤال: "هل حصلت على الإجابة الصحيحة؟"، يسأل المشرف: "هل تبدو إجاباتكما منطقية معًا؟"

• إذا قال الطباخ (أ): "هذا سعيد"، وقال الطباخ (ب): "هذا حزين"، ولكنهما يتفقان على نمط إجاباتهما الأخرى، فإن المشرف يعرف أن الطباخ (أ) متماسك.
• إذا كان الطباخ (أ) مشتتًا (يقول "سعيد" لصرخة و"حزين" لضحكة)، فإن المشرف يلاحظ الفوضى.
  يقوم المشرف بعد ذلك بإعطاء "درجة موثوقية" لكل معلم لتلك الدفعة المحددة. إذا كان المعلم متماسكًا، يحصل على درجة عالية ويتم وزن نصيحته بقوة. وإذا كان فوضويًا، ينخفض وزنه. يحدث هذا في كل دفعة (كل بضع ثوانٍ من التدريب)، لذا يتكيف النظام فورًا إذا بدأ أحد المعلمين في المرور بيوم سيء.

2. خريطة "التشابه العلاقاتي" (شجرة العائلة)
لحل مشكلة "الرابط المفقود"، لا ينظر النظام فقط إلى الإجابات النهائية. بل ينظر إلى خرائط الميزات (Feature Maps) — أي الأفكار الداخلية للنماذج.

• يرسم النظام خريطة توضح مدى قرب كل صوت من كل صوت آخر. هل هذان الصوتان "أبناء عمومة" (مشاعر متشابهة)؟ هل هذان "غرباء" (مشاعر مختلفة)؟
• إنه يجبر الطالب الصغير على رسم نفس الخريطة تمامًا كما يفعل المعلمون. حتى لو كان الطالب صغيرًا ولا يستطيع تذكر كل التفاصيل، يجب عليه الحفاظ على شكل العلاقات. إذا اعتقد المعلمون أن الصوت (أ) والصوت (ب) متقاربان، فيجب على الطالب أن يرى أنهما متقاربان أيضًا. هذا يعلم الطالب "بنية" العواطف، وليس مجرد التصنيفات.

النتائج: طالب صغير يصبح ماهرًا

اختبر الباحثون هذا على مجموعتين شهيرتين من البيانات الصوتية البشرية: IEMOCAP (تسجيلات من ممثلين) و CREMA-D (تسجيلات من ممثلين في استوديو). استخدموا أربعة أحجام مختلفة من نماذج "الطالب"، تتراوح من نموذج ضئيل (0.78 مليون معلمة) إلى نموذج متوسط (11.7 مليون معلمة).

إليك ما وجدوه:

• التفوق على أفضل معلم منفرد: في 7 من أصل 8 سيناريوهات اختبار مختلفة، حقق نظام AMRD (باستخدام معلمين) نتائج أفضل حتى من أفضل معلم منفرد.
• العملاق الصغير: حقق أصغر نموذج طالب، والذي يحتوي على 120 مرة أقل من المعلمات مقارنة بالمعلمين الكبار، دقة بنسبة 52.30% على IEMOCAP و 56.37% على CREMA-D. كانت هذه قفزة هائلة — حيث تحسن بنسبة 2.8 إلى 3.4 نقطة مئوية عن الطالب الذي تعلم بدون أي معلمين على الإطلاق.
• قوة التكيف: عندما أوقفوا "خاتم تغيير المزاج" (الوزن التكيفي)، ساء أداء النظام. أثبت هذا أن معرفة أي معلم يجب الوثوق به في أي لحظة معينة هو أمر بالغ الأهمية.
• قوة العلاقات: عندما أوقفوا "شجرة العائلة" (الخسارة العلاقاتية)، ساء الأداء أيضًا. أثبت هذا أن تعليم الطالب كيفية ارتباط العواطف ببعضها البعض لا يقل أهمية عن تعليمه التصنيفات.

ماذا يعني هذا (وما لا يعنيه)

يشير البحث إلى أنه باستخدام مشرف ذكي لاختيار أفضل معلم في الوقت المناسب، ومن خلال تعليم الطالب كيفية اتصال العواطف ببعضها البعض، يمكننا صنع نماذج ذكاء اصطناعي صغيرة جدًا وتكون جيدة بشكل مدهش في فهم المشاعر. هذا أمر كبير لوضع كاشفات عواطف ذكية على الهواتف أو الأجهزة القابلة للارتداء دون الحاجة إلى مزارع خوادم ضخمة.

ومع ذلك، كان المؤلفون حذرين في توضيح ما لم يفعلوه. لقد استخدموا معلمين اثنين فقط؛ لم يختبروا ما إذا كان إضافة عشرة معلمين سيجعل الأمر أفضل (رغم أنهم يشتبهون في ذلك، لكنه غير مختبر). لقد نظروا فقط في الصوت؛ ولم يحاولوا دمجه مع تعبيرات الوجه أو النصوص، مما قد يجعل النظام أكثر ذكاءً. كما اختبروا النظام على تسجيلات جاءت فيها بيانات التدريب والاختبار من نفس مجموعة الممثلين؛ لم يثبتوا بعد ما إذا كان هذا يعمل بشكل مثالي مع شخص جديد تمامًا في مقهى صاخب.

ولكن في الوقت الحالي، يظهر AMPD أنه مع وجود نوع صحيح من الإشراف، يمكن للطالب الصغير أن يتعلم من عملاقين ويصبح ماهرًا في عالمه الصغير الخاص.