Nuanced Emotion Recognition Based on a Segment-based MLLM Framework Leveraging Qwen3-Omni for AH Detection

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "التعرف على المشاعر الدقيقة بناءً على إطار عمل لنموذج لغوي كبير متعدد الوسائط يعتمد على التقسيم إلى مقاطع باستخدام Qwen3-Omni للكشف عن التردد والازدواجية (A/H)."

1. بيان المشكلة

تتناول الورقة تحدي التعرف على الازدواجية والتردد (Ambivalence and Hesitancy - A/H) في بيانات الفيديو. وخلافاً للمشاعر الأساسية (مثل السعادة أو الحزن)، تمثل الـ A/H حالة نفسية دقيقة ومتضاربة، حيث يحمل الفرد مواقف إيجابية وسلبية في آن واحد.

• التحديات الرئيسية:
  • التناقضات عبر الوسائط (Cross-modal Inconsistencies): تظهر الـ A/H غالباً في صورة تباينات بين الوسائط (على سبيل المثال، محتوى لفظي إيجابي يتم تقديمه بنبرة مترددة أو تعبيرات وجه متذبذبة).
  • التعقيد الزمني (Temporal Complexity): عادة ما تكون إشارات الـ A/H قصيرة الأمد (متوسط المدة حوالي 4.29 ثانية) ولكنها تكون مدمجة ضمن فيديوهات أطول.
  • القيود الحسابية: إن تغذية النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بفيديوهات طويلة مباشرة يتجاوز حدود الرموز (tokens)، ويزيد من التكاليف الحسابية، ويؤدي إلى إدخال ضوضاء غير ذات صلة.
• مجموعة البيانات: تستخدم الدراسة مجموعة بيانات BAH، التي تحتوي على 1,427 فيديو (10.6 ساعة) من 300 مشارك مع تعليقات توضيحية من خبراء على مستوى الفيديو والإطار (frame).

2. المنهجية

يدمج الإطار المقترح التقسيم الزمني مع نموذج لغوي كبير متعدد الوسائط قوي للكشف عن الـ A/H. يتكون المسار من ثلاث مراحل رئيسية:

أ. المعالجة المسبقة للفيديو المتوافقة مع A/H

يستفيد النظام من التعليقات التوضيحية التفصيلية للطوابع الزمنية في مجموعة بيانات BAH لبناء عينات تدريب عالية الكثافة:

• العينات السلبية: تُترك الفيديوهات التي لا تحتوي على A/H كوحدات واحدة.
• العينات الإيجابية: يتم استخراج المقاطع الزمنية المحددة فقط التي تم التعليق عليها بأنها تحتوي على A/H. هذا يزيل السياق غير ذي الصلة ويركز النموذج على الإشارة المستهدفة.

ب. التقسيم الزمني القائم على المقاطع (Clip-Based)

لمعالجة حدود الرموز والكفاءة الحسابية، اقترح المؤلفون استراتيجية مقطع مدته 5 ثوانٍ:

• يتم تقسيم الفيديوهات (أو مقاطع A/H المستخرجة) إلى مقاطع بمدة قصوى تبلغ 5 ثوانٍ.
• المقاطع التي تقل مدتها عن 5 ثوانٍ تُترك كما هي؛ أما المقاطع الأطول فتُقسم إلى نوافذ متتالية مدة كل منها 5 ثوانٍ.
• يتم التخلص من المقاطع المتبقية في النهاية إذا كانت قصيرة جداً.
• المنطق: يتوافق هذا مع متوسط مدة إشارات الـ A/H، مما يضمن قدرة النموذج على التقاط الإشارات العاطفية المحلية دون تجاوز نافذة السياق الخاصة بالنموذج اللغوي الكبير (MLLM).

ج. تطويع النموذج اللغوي الكبير متعدد الوسائط

المحرك الأساسي هو Qwen3-Omni-30B-A3B، وهو نموذج لغوي كبير متعدد الوسائط قادر على معالجة الفيديو والصوت والنص في وقت واحد.

• الضبط الدقيق (Fine-tuning): يتم ضبط النموذج باستخدام إطار العمل MS-Swift. تم استخدام استراتيجيتين:
  1. LoRA (التكيف منخفض الرتبة): ضبط فعال من حيث المعلمات.
  2. الضبط الدقيق لكامل المعلمات (Full-Parameter Fine-tuning): تحديث جميع أوزان النموذج.
• صياغة المهمة: تتم صياغة المهمة كسؤال استدلال ثنائي. يتلقى النموذج إطارات الفيديو، وميزات الصوت، ومطالبة (prompt)، ويخرج النتيجة بصيغة <answer>Yes</answer> أو <answer>No</answer>.

د. الاستدلال والتجميع

• التنبؤ على مستوى المقطع: يتنبأ النموذج بوجود A/H لكل مقطع مدته 5 ثوانٍ.
• التجميع على مستوى الفيديو: يتم تطبيق قاعدة الحد الأقصى (Max-based rule): إذا تم التنبؤ بأن أي مقطع داخل الفيديو هو إيجابي، يُصنف الفيديو بأكمله على أنه إيجابي ($y_{video} = \max(y_i)$).
• استراتيجية التجميع (Ensemble Strategy): لتحسين المتانة، يتم دمج تنبؤات نماذج متعددة (تم تدريبها بتكوينات مختلفة) باستخدام تصويت الأغلبية (Majority Voting).

3. المساهمات الرئيسية

1. النمذجة الزمنية القائمة على المقاطع: استراتيجية مبتكرة تقوم بتقسيم الفيديوهات إلى مقاطع مدتها 5 ثوانٍ. يحترم هذا النهج قيود الرموز في النماذج اللغوية الكبيرة مع التركيز على النوافذ الزمنية المحددة التي تحدث فيها إشارات الـ A/H.
2. تطويع MLLM لـ A/H: النجاح في تطويع نموذج Qwen3-Omni-30B-A3B للكشف عن الصراعات العاطفية الدقيقة عبر الوسائط، مما يثبت قدرة النماذج الكبيرة على الاستدلال حول الحالات النفسية الدقيقة.
3. إطار عمل تجميعي متين: يؤدي الجمع بين التجميع الأقصى على مستوى المقطع وتصويت الأغلبية متعدد النماذج إلى تقليل تباين التنبؤ بشكل كبير، خاصة بالنسبة للعينات الغامضة.

4. النتائج التجريبية

أُجريت التجارب على مجموعة اختبار BAH باستخدام إطار العمل MS-Swift بدقة bfloat16 وتقنية FlashAttention.

• الأداء: حققت طريقة التجميع المقترحة دقة بلغت 85.1%.
• المقارنة:
  • Qwen3-Omni-v1 (LoRA, 1 epoch): 81.9%
  • Qwen3-Omni-v2 (Full FT, 2 epochs): 79.8%
  • Qwen3-Omni-v3 (Full FT, 3 epochs): 65.3%
  • التجميع (Majority Vote): 85.1%
• التحليل: تشير النتائج إلى أنه بينما أدى الضبط الدقيق الكامل مع عدد أكبر من الدورات (v3) إلى فرط التخصيص (overfitting) أو تدهور الأداء في هذا الإعداد المحدد، فإن نهج LoRA واستراتيجية تصويت التجميع قد حققا أفضل النتائج. لقد نجحت استراتيجية التجميع في تخفيف نقاط الضعف في النماذج الفردية.

5. الأهمية

يُظهر هذا العمل أن النماذج اللغوية الكبيرة متعددة الوسائط، عند دمجها مع استراتيجيات تقسيم زمني مناسبة، يمكن أن تتفوق بشكل كبير على الطرق التقليدية في الكشف عن الحالات العاطفية المعقدة والدقيقة مثل الازدواجية والتردد.

• التطبيق العملي: يوفر الإطار حلاً قابلاً للتوسع لأنظمة الصحة الرقمية والتدخل السلوكي، مما يسمح بالكشف الآلي عن الصراعات النفسية التي غالباً ما تؤدي إلى تأخير أو التخلي عن التغييرات السلوكية.
• الرؤية التقنية: يسلط الضوء على أهمية مواءمة دقة المدخلات (طول المقطع) مع الطبيعة الزمنية المحددة للعاطفة المستهدفة والقيود الحسابية للنماذج الكبيرة.

كود الإطار متاح علنًا في مستودع GitHub المقدم.