PriorProbe: Recovering Individual-Level Priors for Personalizing Neural Networks in Facial Expression Recognition

ملخص تقني: PriorProbe لتخصيص الشبكات العصبية في التعرف على تعبيرات الوجه

بيان المشكلة
يعد تكييف الذكاء الاصطناعي مع المستخدمين الأفراد أمراً بالغ الأهمية لاتخاذ قرارات مخصصة، ومع ذلك يظل التقاط السلوك الخاص بكل فرد تحدياً كبيراً. وبينما تستطيع الشبكات العصبية العميقة (DNNs) المتطورة التنبؤ بالسلوك البشري في المتوسط، إلا أنها تواجه صعوبة في التقاط الأحكام الإدراكية الفردية، لا سيما فيما يتعلق بتعبيرات الوجه الدقيقة أو الغامضة حيث يكون التباين بين الأفراد مرتفعاً.

رسمياً، يمكن نمذجة التعرف على تعبيرات الوجه كاستدلال بايزي (Bayesian inference): $P(e|f) \propto P(e)P(f|e)$، حيث يمثل $P(e)$ اعتقاد الفرد المسبق بالحالات العاطفية، ويمثل $P(f|e)$ احتمالية ملاحظة التعبير $f$ بوجود العاطفة $e$. عندما تكون المحفزات غامضة، يصبح حد الاحتمالية غير مفيد، وتطغى الاختلافات الفردية في التوزيعات المسبقة $P(e)$ على عملية الاستدلال. تواجه الطرق الحالية لتخصيص الشبكات العصبية العميقة عقبتين أساسيتين:

1. ندرة البيانات: غالباً ما يكون التدريب على بيانات على مستوى الفرد مكلفاً وغير ممكن بسبب الحاجة إلى مجموعات بيانات ضخمة وممثلة للواقع.
2. تدهور النموذج: يؤدي الضبط الدقيق (Fine-tuning) للشبكات العصبية العميقة على بيانات فردية شحيحة ومشوشة إلى خطر الإفراط في التخصيص (Overfitting) والنسيان الكارثي للتمثيلات المتعلمة.

علاً عن ذلك، تفشل طرق العلوم المعرفية التقليدية لاستخراج التوزيعات المسبقة غالباً في تحديدها بشكل فريد أو تسبب تحيزات منهجية من خلال معاملة دالة الاحتمالية كمعامل حر أو كخريطة تعسفية.

المنهجية
يقدم المؤلفون PriorProbe، وهو نهج استخراج مبتكر قائم على سلسلة ماركوف مونت كارلو مع البشر (MCMCP). بخلاف التخصيص على مستوى المعاملات (مثل الضبط الدقيق للأوزان)، يقوم PriorProbe باستعادة التوزيعات المسبقة الإدراكية والاحتمالات المحددة بدقة لكل فرد لتوجيه فضاء الاستدلال لشبكة عصبية دون تعديل أوزانها.

تتكون المنهجية من ثلاثة مكونات أساسية:

1. DistFace (فضاء الهوية والعاطفة المنفصل):
   لتمكين أخذ العينات غير المنحاز، أنشأ المؤلفون فضاءً توليدياً محكماً حيث يتم فصل العاطفة الوجهية عن هوية الوجه.

• البنية: مشفر تلقائي متغير (VAE) هجين يتكون من:
  • المشفر (Encoder): تستخرج ثلاثة فروع مدربة مسبقاً الميزات: ResEmoteNet (التعبير)، وFMAE-IAT (وحدات الحركة، مع الخصومة للهوية)، وArcFace (الهوية).
  • الفضاء الكامن (Latent Space): يتم رسم هذه الميزات في فضاءات كامنة فرعية ($V_{af}$ للعاطفة، و$V_{id}$ للهوية).
  • إزالة الضجيج (Denoising): يقوم مشفر تلقائي لإزالة الضجيج بضغط فضاء العاطفة المكون من 128 بُعداً إلى فضاء عاطفة نقي مكون من 16 بُعداً لأجل أخذ عينات فعال.
• التدريب: تم تدريب النموذج على مجموعة بيانات BU-4DFE باستخدام خسائر إعادة البناء، والحفاظ على الهوية، والحفاظ على العاطفة لضمان أن فرع العاطفة يقود التعبير بينما يقود فرع الهوية الهوية.

2. إجراء استخراج PriorProbe:
   يعمل PriorProbe ضمن فضاء العاطفة المكون من 16 بُعداً باستخدام خوارزمية "متروبوليس-هستينغز" بنظام الكتل مع وجود عنصر بشري في الحلقة. تتناوب العملية بين نوعين من التجارب لأخذ عينات مشتركة من احتمالية الفرد $P(f|e)$ وتوزيعه المسبق $P(e)$:

• تجارب الوجه (Face Trials): يُعرض على المشاركين فئة عاطفية $e$ وخيارين للوجه ($f, f'$). يختار المشارك الوجه الذي يمثل الفئة بشكل أفضل. لتسريع أخذ العينات، تُستخدم آلية "متروبوليس-هستينغز المستقل" (IMH) حيث يقترح "الحارس" (ResEmoteNet) وجوهاً من المرجح أن تنتمي إلى الفئة المستهدفة.
• تجارب التصنيف (Categorization Trials): يُعرض على المشاركين وجه $f$ وفئتان عاطفيتان ($e, e'$). يختار المشارك الوصف الأفضل. كما يتم توجيه توزيع الاقتراح للفئات بواسطة "الحارس".
• الاستعادة (Recovery): تتقارب سلسلة ماركوف الناتجة على التوزيع المشترك $\pi(f, e)$. ويتم استعادة التوزيعات المسبقة الفردية $P(e)$ عن طريق إعادة وزن الفئات المختارة بـ $1/G_e(e|f)$، حيث $G_e$ هو احتمال تخصيص "الحارس"، مما يؤدي فعلياً إلى تصحيح انحياز الاقتراح.

3. التكامل والتقييم:
   يتم دمج التوزيعات المسبقة المستعادة مع شبكة عصبية عميقة متطورة (ResEmoteNet) داخل فضاء الاستدلال. يتم تقييم النظام في مهمة تصنيف المحفزات الجديدة والغامضة (الصور التي تكون ثقة الشبكة العصبية فيها أقل من 0.25). الهدف هو تحديد ما إذا كان دمج التوزيعات المسبقة الفردية يحسن توافق النموذج مع التصنيف البشري في المحفزات الغامضة دون تدهور الأداء على الملصقات (labels) الصحيحة.

المساهمات الرئيسية

• إطار عمل PriorProbe: طريقة عامة، قابلة للتفسير، وفعالة لاستعادة التمثيلات الذهنية الدقيقة والمحددة لكل فرد (التوزيعات المسبقة والاحتمالات) دون الحاجة إلى مجموعات بيانات فردية ضخمة أو تعديل الأوزان.
• نموذج/مجموعة بيانات DistFace: نموذج توليدي يفصل العاطفة الوجهية عن الهوية، مما يوفر "فضاء عاطفة نقياً" ضرورياً لاستخراج التوزيعات المسبقة غير المنحازة في مهام تعبيرات الوجه.
• التحقق التجريبي: تجربة بشرية شاملة تثبت أن الشبكات العصبية المدعومة بالتوزيعات المسبقة المستعادة تتنبأ بالخيارات الفردية في المحفزات الغامضة بشكل أفضل من الشبكة وحدها أو الشبكات التي تستخدم مصادر توزيع مسبقة بديلة.

النتائج
في تجربة شملت 55 مشاركاً، استعاد المؤلفون التوزيعات المسبقة الفردية عبر سبع عواطف أساسية.

• الاختلافات الفردية: أظهرت التوزيعات المسبقة المستعادة تبايناً كبيراً بين المشاركين، مما يؤكد أن الأفراد يمتلكون انحيازات معرفية متميزة فيما يتعلق بالفئات العاطفية.
• مكاسب الأداء: أدى دمج التوزيعات المسبقة المستمدة من PriorProbe في الشبكة العصبية إلى تحقيق مكاسب كبيرة في التنبؤ بالتصنيفات الفردية في المحفزات الغامضة.
• المتانة: أدى التخصيص إلى تحسين التوافق مع الأحكام البشرية الفردية دون تدهور أداء الاستدلال للنموذج في المحفزات غير الغامضة (الحقيقية).

الأهمية والادعاءات
يزعم البحث تقديم إطار عمل عام، وقابل للتفسير، ومتين لتخصيص الشبكات العصبية العميقة. ومن خلال نقل التركيز من التكيف على مستوى المعلمات إلى استعادة التوزيعات المسبقة المعرفية، يعالج PriorProbe قيود ندرة البيانات والنسيان الكارثي. يؤكد المؤلفون أن هذا النهج يقدم مساراً مبدئياً لتطوير أنظمة رقمية تقدم مساعدة مخصصة حقاً، لا سيما في المجالات مثل التعرف على تعبيرات الوجه حيث تكون الاختلافات الإدراكية الفردية كبيرة وتفشل النماذج القياسية في التقاطها. يوضح العمل أن التوزيعات المسبقة المعرفية على المستوى الفردي يمكن استخراجها بدقة واستخدامها بفعالية لتعزيز القدرة التنبؤية لأنظمة الذكاء الاصطناعي لمستخدمين محددين.