ملخص تقني: AdaTosk – قناع ناعم زمني تكيفي لتعرف فعال على تعبيرات الوجه الديناميكية

بيان المشكلة

يهدف التعرف الديناميكي على تعبيرات الوجه (DFER) إلى تحديد النوايا النفسية من خلال التواصل غير اللفظي في التسلسلات الفيديوية. ورغم الفعالية، تواجه الطرق الحالية تحديات كبيرة تتعلق بـ الكفاءة والوفرة (Redundancy). تحتوي بيانات الفيديو بطبيعتها على وفرة زمنية كبيرة بسبب الاستمرارية، مما يؤدي إلى معالجة معلومات غير ذات صلة مثل ضوضاء الخلفية والإطارات الساكنة المتكررة دلالياً. وغالباً ما تعاني النهج الحالية، بما في ذلك تلك المستوحاة من المشفرات التلقائية المقنعة (MAE)، من صعوبة في التمييز بين ديناميكيات التعبير الحرجة والرموز (Tokens) الزائدة عن الحاجة. ونتيجة لذلك، قد تقوم النماذج بحساب ميزات غير ضرورية في إطارات غير ذات صلة، أو قد تفشل في التقاط تحولات التعبير الدقيقة التي يصعب اكتشافها، مما يؤدي إلى تكاليف حوسبة عالية دون مكاسب متناسبة في الدقة.

المنهجية: AdaTosk

يقترح المؤلفون AdaTosk، وهو شبكة مشفر تلقائي مقنع زمني ناعم وخاضع للإشراف، مصممة لمعالجة حالات عدم الكفاءة هذه. تدمج البنية فرعين متوازيين: فرع إعادة البناء الخاضع للإشراف الذاتي وفرع التصنيف الخاضع للإشراف.

1. بنية ثنائية المسار

• فرع إعادة البناء الخاضع للإشراف الذاتي: يستخدم هذا الفرع قناعاً صلباً ثنائياً عشوائياً (مستوحى من VideoMAE) لحجب جزء كبير من رموز الفيديو. يتم تدريب النموذج على إعادة بناء الرموز المحجوبة من الرموز المرئية باستخدام فك تشفير خفيف الوزن. تشجع هذه العملية المشفر على تعلم تمثيلات ميزات ذات معنى من الرموز المرئية المتبقية.
• فرع التصنيف الخاضع للإشراف: يعالج هذا الفرع الرموز المرئية المثلى ($X_{opt}$) لأداء تصنيف التعبيرات. وعلى عكس القناع الصلب، يستخدم هذا الفرع قناعاً زمنياً ناعماً تكيفياً ($S$) يخصص درجات متفاوتة من الحجب للرموز بناءً على أهميتها الزمنية ووفرتها الدلالية.

2. آلية القناع الزمني الناعم التكيفي

الابتكار الجوهري في AdaTosk هو القناع الناعم التكيفي، الذي يضبط تأثير الرموز ديناميكياً. وهو يجمع بين استراتيجيتين متمايزتين:

• القناع الناعم الديناميكي غير المرتبط بالفئة (Class-Agnostic):

  • الهدف: التقاط اللحظات الرئيسية لديناميكيات التعبير دون انحياز للفئات المحددة مسبقاً.
  • الآلية: يحسب الفروقات في الميزات من إطار إلى إطار ($\tau$) بين الإطارات المرئية المتجاورة. يتم تحديد أزواج الإطارات ($K$-top) ذات الفروقات الأعلى كـ "إطارات نشطة". يقوم وحدة تفاعل معلومات القنوات (نمط Squeeze-and-Excitation) بتعزيز هذه الإطارات، وتنتج وحدة تفاعل المعلومات الزمنية قناعاً ناعماً ($S_{agnostic}$) يعطي الأولوية لهذه التحولات الديناميكية عبر التسلسل بأكمله.

• القناع الناعم المتشابه دلالياً مع الفئة (Class-Semantic Similar):

  • الهدف: تقليل تراكم الرموز المتشابهة دلالياً ولكن الزائدة عن الحاجة بمرور الوقت مع الحفاظ على المعلومات الأساسية.
  • الآلية: يقوم بنمذجة احتمالية حجب الرموز باستخدام درجة تراكم زمنية ($M$). وللتعامل مع الاستمرارية، تقوم سلسلة ماركوف (Markov chain) بنقل الدرجات بين الإطارات، مع استبعاد أفضل $r$ من الرموز لتقليل العبء الحوسبي. والأهم من ذلك، يتم إعادة وزن هذه الدرجة بواسطة درجة دلالية ($A$) مستمدة من الإشراف على الفئة (جمع التنشيطات المطلقة). يضمن هذا الاحتفاظ بالرموز ذات القيمة الدلالية العالية حتى لو أظهرت وفرة زمنية.
  • القناع النهائي: القناع التكيفي النهائي ($S$) هو حاصل الضرب العنصري للقناعين، غير المرتبط بالفئة والمتشابه دلالياً مع الفئة ($S = S_{agnostic} \odot S_{semantic}$).

3. هدف التدريب

تجمع دالة الخسارة الإجمالية ($L$) بين خسارة إعادة البناء ($L_{rec}$) من الفرع الخاضع للإشراف الذاتي وخسارة التصنيف ($L_{cls}$) من الفرع الخاضع للإشراف، والموزونة بأوزان $\lambda_{rec}$ و $\lambda_{cls}$.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. دمج VideoMAE الخاضع للإشراف: يعد AdaTosk أول من يدمج إطار عمل VideoMAE خاضع للإشراف في مهمة DFER، مما يحسن الرموز المرئية لتعزيز كفاءة التعرف بشكل كبير.
2. القناع الزمني الناعم التكيفي: يقترح المؤلفون استراتيجية قناع مبتكرة تضبط درجات الحجب تكيفياً. مكوناتها الاثنين — القناع الديناميكي غير المرتبط بالفئة والقناع الناعم المتشابه دلالياً مع الفئة — تستهدف تحديداً تنشيط ديناميكيات التعبير الرئيسية وكبح الوفرة الدلالية الزمنية.
3. مكاسب الكفاءة والأداء: يحقق النموذج توازناً بين الأداء العالي والتكلفة الحوسبية المنخفضة، مما يقلل حجم النموذج وعمليات الفاصلة العائمة (FLOPs) مع الحفاظ على الدقة أو تحسينها مقارنة بالطرق الرائدة.

النتائج التجريبية

قيم المؤلفون AdaTosk على ثلاثة معايير قياسية مستخدمة على نطاق واسع في البيئات الواقعية لـ DFER وهي: DFEW، و FERV39K، و MAFW.

• الأداء: يتفوق AdaTosk (مع القناع الناعم، ويرمز له بـ †AdaTosk) على النماذج الخاضعة للإشراف الحالية بنسبة 9-10% في كل من متوسط الاستدعاء غير الموزون (UAR) ومتوسط الاستدعاء الموزون (WAR) عبر جميع مجموعات البيانات. كما يتفوق على الطرق القائمة على النماذج اللغوية الكبيرة وغيرها من النهج القائمة على VideoMAE (مثل MAE-DFER و MMA-DFER) بفوارق تتراوح بين 2.1% و 4.8%.
• الكفاءة:
  • مقارنة بـ Baseline VideoMAE، يقلل AdaTosk المعلمات بنحو 12 مليون و FLOPs بنحو 38 جيجا.
  • إضافة القناع الزمني الناعم (†AdaTosk) يقلل المعلمات بمقدار 2 مليون و FLOPs بمقدار 4 جيجا مقارنة بالنسخة بدون القناع الناعم (AdaTosk)، مع تحسين UAR و WAR بنحو 2% في الوقت نفسه.
  • بشكل عام، يقلل النموذج التكاليف الحوسبية بمقدار 6 جيجا FLOPs وحجم النموذج بمقدار 10 ملايين معلمة مقارنة بالطرق الرائدة الحالية.

الأهمية والادعاءات

تدعي الورقة أن AdaTosk يعالج بنجاح القصور الحرج في الطرق الحالية: الميل إلى إغفال ديناميكيات التعبير الدقيقة أثناء معالجة المعلومات الزائدة. ومن خلال تقديم القناع الزمني الناعم التكيفي، يركز النموذج بفعالية على لحظات تطور التعبير ويقلل من تراكم الرموز المتشابهة دلالياً.

يؤكد المؤلفون أن هذا النهج يسمح بـ تعرف ديناميكي فعال على التعبيرات دون التضحية بالأداء. وتثبت النتائج أن النموذج، من خلال إدارة الوفرة الزمنية بذكاء عبر القناع الناعم، يحقق دقة تنافسية، وغالباً متفوقة، مع تكلفة حوسبية أقل بكثير. كما تؤكد نتائج التصوير المرئي أن النموذج يحدد بشكل صحيح مناطق الوجه الرئيسية (مثل الفم، والخدين، والحواجب) ويضبط شدة القناع ديناميكياً بناءً على تحولات التعبير والأهمية الدلالية.