ملخص تقني: VISAFF

بيان المشكلة

يهدف التعرف على العواطف في المحادثات (ERC) إلى تحديد الحالة العاطفية للمتحدثين في الحوارات متعددة الأدوار. وبينما كانت الأساليب المبكرة القائمة على النصوص مباشرة وبسيطة، إلا أنها تفشل في السيناريوهات المعقدة (مثل السخرية) من خلال إهمال المعلومات غير اللفظية الحيوية مثل تعبيرات الوجه وإيماءات الجسد. تحاول النهج الحديثة التي تستخدم نماذج اللغة والرؤية (VLMs) تحليل الفيديو مباشرة، لكنها تواجه ثلاث عقبات حرجة:

1. نقص التركيز على المتحدث: نماذج VLMs العامة ليست مصممة بطبيعتها لمهام الـ ERC؛ فهي غالبًا ما تنجذب إلى المناطق البارزة بصريًا ولكنها غير ذات صلة عاطفيًا (مثل الخلفية، أو المستمعين السلبيين) بدلاً من المتحدث النشط.
2. التكلفة الحسابية: إن الضبط الدقيق (Fine-tuning) لنماذج VLMs الكبيرة أو استخدام التكيف الموفر للمعلمات (مثل LoRA) لمهام الـ ERC يترتب عليه تكاليف حسابية باهظة ويتطلب موارد موسومة واسعة النطاق.
3. الغموض البصري: غالبًا ما تكون الإشارات البصرية المنعزلة غامضة أو معيبة تقنيًا (مثل ضبابية الحركة) دون سياق المحتوى اللغوي والنبرة الصوتية. فابتسامة ما، على سبيل المثال، قد لا تشير إلى السعادة دون السياق الحواري.

يعالج هذا البحث تحديين جوهريين: (1) كيفية إطلاق قدرات الاستنتاج العاطفي الكامنة في نماذج VLMs المجمدة باستخدام نهج خالٍ من الضبط (Tuning-free) للتركيز على الإشارات العاطفية للمتحدث النشط؛ و(2) كيفية تصميم آلية تكيفية للاستفادة ديناميكيًا من الوسائط النصية والصوتية للتعويض عن عدم اليقين البصري.

المنهجية: VISAFF

يقترح المؤلفون إطار عمل VISAFF (تعلم السمات العاطفية البصرية المتمحور حول المتحدث)، وهو إطار عمل ثنائي المراحل يعمل دون ضبط النموذج الأساسي لـ VLM.

المرحلة الأولى: التأصيل العاطفي المتمحور حول المتحدث (SCAG)

تستخدم هذه المرحلة نموذج VLM مجمدًا كمستخرج سمات في وقت الاستدلال الصفري (Zero-shot). ولتوجيه نموذج VLM بفعالية دون تدريب، قدم المؤلفون مجموعتين من المدخلات:

• مدخلات VLM الموجهة بالحث (PGVI): تتضمن إطارات فيديو مأخوذة ($F_i$)، وصورة مرجعية للمتحدث المستهدف ($R_i$) لتعمل كقيد لتحديد الموقع، وحثًا للمهمة ($P_{task,i}$) يوجه النموذج صراحةً لإجراء تحليل عاطفي متمحور حول المتحدث بدلاً من وصف المشهد العام.
• مدخلات التوجيه الدلالي العاطفي (ASGI): لتوفير السياق العاطفي الضروري الذي تفتقر إليه الإطارات المنعزلة، يقوم هذا المدخل بدمج حثات مشتقة من سياق الحوار ($P_{ctx}$)، والأوصاف الصوتية ($P_{aud}$)، وأولويات التكافؤ والاستثارة والسيادة (VAD) اللغوية ($P_{vad}$).

يقوم نموذج VLM المجمد بمعالجة هذه المدخلات المدمجة لاستخراج السمات العاطفية البصرية المتمحورة حول المتحدث ($v_i$). ولا يتم تمرير أي تدرجات (Gradients) إلى معاملات نموذج VLM.

المرحلة الثانية: التكامل العاطفي الموجه بالموثوقية (RGAC)

إدراكًا بأن الإشارات البصرية قد تكون غير موثوقة، تقوم هذه المرحلة بدمج الوسائط النصية والصوتية تكيفيًا بناءً على الموثوقية البصرية.

• الاسترجاع عبر الوسائط الموجه بصريًا: يتم إسقاط السمات النصية (RoBERTa) والصوتية (emotion2vec) في مساحة مشتركة. وباستخدام الميزة البصرية كاستعلام (Query)، يسترجع النموذج المراجع العاطفية النصية والصوتية ($\tilde{h}_i^{(m)}$) عبر الانتباه المتقاطع (Cross-attention). وتُعامل هذه المراجع كمرجع خارجي لتفسير الإشارات البصرية، وليس كوسائط مهيمنة مستقلة.
• التكامل المتبقي الموجه ببوابة الموثوقية: يتم حساب درجة الموثوقية البصرية ($c_i$) (عبر مصنف بصري مساعد). ويقوم النموذج بحساب المكمل المتبقي ($\Delta_i$) الذي يمثل التباين بين المراجع الخارجية المسترجعة والحالة البصرية الحالية. ويتم تحديث التمثيل البصري النهائي كما يلي:
  $$h_i^{(v)*} = h_i^{(v)} + (1 - c_i)\Delta_i$$
  عندما تكون الإشارات البصرية موثوقة ($c_i \approx 1$)، يتم كبح المكمل الخارجي. وعندما تكون الإشارات البصرية غير مؤكدة ($c_i \approx 0$)، توفر المراجع النصية والصوتية تعويضًا أقوى.
• التنبؤ: يتم دمج التمثيل البصري المكتمل مع المراجع النصية والصوتية المسترجعة لإجراء التصنيف العاطفي النهائي.

أهداف التدريب

يتم تحسين إطار العمل باستخدام ثلاثة أنواع من الخسائر (Losses):

1. خسارة التصنيف ($L_{cls}$): تشرف على التنبؤ العاطفي النهائي.
2. الخسارة البصرية المساعدة ($L_{aux}$): تشرف على مصنف بصري فقط لتثبيت درجة الموثوقية البصرية والحفاظ على القدرة التمييزية للفرع البصري.
3. خسارة المحاذاة الدلالية ($L_{cl}$): تعمل على تنظيم مساحة السمات متعددة الوسائط باستخدام InfoNCE والتعلم التبايني الخاضع للإشراف قبل التفاعل عبر الوسائط.

يقدم البحث حدًا نظريًا لخطأ التعميم (النظرية 1) يدعم تصميم الموثوقية، حيث يوضح أن الحد الأعلى يضيق عندما يكون الارتباط بين الثقة البصرية والخسارة البصرية سالبًا، والارتباط بينها وبين فائدة الوسائط الخارجية موجبًا.

المساهمات الرئيسية

1. إطار عمل VISAFF: إطار عمل لتعلم السمات العاطفية البصرية المتمحور حول المتحدث، يقوم بتنشيط نماذج VLMs المجمدة للاستنتاج البصري دون الحاجة لضبط دقيق خاص بمهام الـ ERC، مما يقلل بشكل كبير من التكاليف الحسابية.
2. آلية SCAG: طريقة تأصيل صفري باستخدام مدخلات VLM الموجهة بالحث والتوجيه الدلالي لتوجيه نماذج VLMs المجمدة نحو الإشارات العاطفية للمتحدث النشط.
3. آلية RGAC: وحدة تكامل عاطفي موجهة بالموثوقية تدمج المعلومات النصية والصوتية تكيفيًا للتعويض عن عدم اليقين البصري، ويتم التحكم فيها عبر بوابة موثوقية بصرية متعلمة.
4. التحقق التجريبي: تجارب واسعة على مجموعتي بيانات واقعيتين (MELD و IEMOCAP) أظهرت أداءً تنافسيًا مقابل الأساليب الرائدة، بما في ذلك تلك التي تستخدم نماذج كبيرة خاضعة للضبط الدقيق.

النتائج التجريبية

أُجريت التجارب على مجموعتي بيانات MELD و IEMOCAP باستخدام Qwen3-VL-Embedding كنموذج خلفي مجمد.

• الأداء: حقق VISAFF أفضل درجات الوزن للفئة F1 (W-F1) بين طرق الـ ERC التقليدية وطرق النماذج الكبيرة التي لا تستخدم الضبط الدقيق أو التكيف بـ LoRA.
  • IEMOCAP: سجل 77.30% في W-F1 (مقابل 63.78% لنموذج DialogueLLM بدون LoRA).
  • MELD: سجل 67.12% في W-F1 (مقابل 64.42% لنموذج DialogueLLM بدون LoRA).
• دراسات الاستئصال (Ablation Studies):
  • أدى إزالة SCAG (تغذية الإطارات الخام لـ VLM) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة التأصيل للمتحدث والتوجيه الدلالي.
  • أدت إزالة RGAC إلى تراجع واضح، مما يثبت أهمية التكامل الموجه بالموثوقية.
  • أظهر تحليل المكونات أن كل من المراجع النصية والصوتية، وكذلك بوابة الموثوقية، تساهم بشكل إيجابي في التنبؤ النهائي.
• تحليل الموثوقية: أظهر إطار العمل أكبر مكاسب في الأداء في فئات الثقة المنخفضة (على سبيل المثال، زيادة بنسبة +24.1% في IEMOCAP لفئة الثقة 0.2–0.4)، مما يثبت أن النموذج يستفيد بفعالية من النص والصوت عندما تكون الإشارات البصرية غامضة.

الأهمية والادعاءات

يدعي البحث أن VISAFF يوفر إطار عمل عالي الكفاءة للاستنتاج متعدد الوسائط في سيناريوهات الحوار الديناميكية. وتكمن أهميته الأساسية في إثبات أن:

1. نماذج VLMs المجمدة قابلة للتطبيق في الـ ERC: مع التوجيه المناسب للمهمة والتوجيه الدلالي، يمكن لنماذج VLMs المجمدة استخراج سمات عاطفية بصرية عالية الجودة متمحورة حول المتحدث دون التكلفة الباهظة للضبط الدقيق.
2. التركيز المتمحور حول المتحدث أمر بالغ الأهمية: إن توجيه النموذج صراحةً نحو المتحدث النشط وإشاراته العاطفية، بدلاً من الاعتماد على الميزات البصرية العالمية، أمر ضروري لـ ERC دقيق.
3. الموثوقية السياقية مهمة: الإشارات البصرية غامضة بطبيعتها؛ لذا فإن الآلية الواعية بالموثوقية التي تكمل عدم اليقين البصري ديناميكيًا بالسياق اللغوي والصوتي تعزز المتانة بشكل كبير.

يضع المؤلفون هذا العمل كمنظور بصري موجه لمهام الـ ERC، مما يشجع الأبحاث المستقبلية في الاستنتاج البصري المتمحور حول المتحدث والتكامل متعدد الوسائط الواعي بالموثوقية.