AffectVerse: Emotional World Models for Multimodal Affective Computing
يُعد AffectVerse نموذجاً لغوياً ضخماً متعدد الوسائط يعزز الاستدلال العاطفي من خلال دمج "وحدة عالم المشاعر" (Emotion World Module) للقيام بالتنبؤ الوجداني الكامن قصير المدى عبر التخيل الزمني عابر الوسائط وتجميع المعتقدات، مما يسمح بالتقاط الديناميكيات العاطفية وتحقيق أداء فائق عبر تسعة معايير قياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد مقابلة عمل على التلفاز. يبدأ المرشح في التحدث، ويبدأ صوته في الارتجاف قليلاً. تبدو ابتسامته متشنجة للغاية، كأنها قناع. الإنسان الذي يشاهد هذا لا ينتظر انتهاء الجملة ليخمن شعور الشخص. بدلاً من ذلك، يبدأ دماغنا فوراً في محاكاة "ماذا لو": "إذا استمر في التحدث بهذا الشكل، هل سينهار؟ أم أنه مجرد متوتر؟" نحن نحدث تخميننا (اعتقادنا) في الوقت الفعلي مع وصول أدلة جديدة.
النماذج الحاسوبية الحالية للتعرف على العواطف تشبه إلى حد كبير المصور الفوتوغرافي الذي لا يلتقط صورة إلا بعد انتهاء الحدث. إنها تنظر إلى الفيديو والصوت والنص بالكامل، ثم تقول: "حسناً، كان ذلك حزناً". إنها تفوت العملية الديناميكية لكيفية بناء الشعور وتطوره.
يقدم هذا البحث AffectVerse، وهو نموذج ذكاء اصطناعي جديد يحاول التفكير مثل المراقب البشري. فبدلاً من مجرد النظر إلى ما حدث، يتعلم تخيل ما سيحدث بعد قليل بناءً على ما رآه حتى الآن.
إليك كيفية عمله، مقسماً إلى خطوات بسيطة:
1. الفكرة الجوهرية: "وحدة عالم العواطف" (The Emotion World Module)
فكر في عقل الذكاء الاصطناعي وكأن به "محرك خيال" خاص يسمى وحدة عالم العواطف (EWM). بينما تقرأ نماذج الذكاء الاصطناعي القياسية الماضي فقط، يقوم هذا المحرك بثلاثة أشياء:
الخطوة 1: المسافر عبر الزمن (التخيل الزمني عبر الوسائط المتعددة)
تخيل أنك تشاهد فيلماً وتصبح الشاشة سوداء لثانية واحدة. قد يخمن الإنسان ما سيحدث بعد ذلك بناءً على الموسيقى ووجه الممثل. AffectVerse يفعل هذا رياضياً. فهو ينظر إلى الفيديو والصوت اللذين رآهما حتى الآن ويحاول التنبؤ بما سيكون عليه شكل الفيديو والصوت بعد بضع ثوانٍ. هو لا يرى المستقبل فعلياً؛ بل ينشئ نسخة "شبحية" من المستقبل لاختبار فهمه.- التشبيه: الأمر يشبه لاعب الشطرنج الذي ينظر لثلاث خطوات للأمام. هو لا يلعب الخطوات بعد، لكنه يحاكيها لفهم مسار اللعبة.
الخطوة 2: الملخص (تجميع الاعتقاد عبر MAMA)
قام الذكاء الاصطناعي الآن بتوليد هذه المقاطع المستقبلية "الشبحية". لكنه لا يستطيع تغذية دماغه بفيلم كامل. لذا، يستخدم مرشحاً ذكياً يسمى MAMA لضغط كل تلك اللحظات المستقبلية المتخيلة في بعض "رموز الاعتقاد" (belief tokens).- التشبيه: فكر في هذا كأن مذيع أخبار يلخص قصة عاجلة. بدلاً من قراءة السيناريو كاملاً، يعطيك "العنوان الرئيسي" لما يُحتمل حدوثه بعد ذلك. هذه العناوين هي "الاعتقادات".
الخطوة 3: الحقن (حقن الاعتقاد)
أخيراً، يأخذ الذكاء الاصطناعي هذه "العناوين الإخبارية للاعتقاد" ويقوم بحقنها مرة أخرى في محادثته الرئيسية. الآن، عندما يقرر الذكاء الاصطناعي ما هو الشعور الذي يشعر به الشخص، فإنه لا ينظر فقط إلى الماضي؛ بل يأخذ في الاعتبار أيضاً تنبؤه بالمستقبل.- التشبيه: الأمر يشبه المحقق الذي لا يكتفي بالنظر إلى مسرح الجريمة (الماضي)، بل لديه أيضاً حدس حول من يُحتمل أن يكون الجاني (الاعتقاد المستقبلي). هذا الحدس يساعده على حل القضية بشكل أسرع وأكثر دقة.
2. كيف يتعلم (التدريب)
يتم تدريب النموذج باستخدام خدعة ذكية. يُعرض عليه مقطع فيديو، ولكن يتم قطع الشاشة مبكراً (مثل نسخة "خالية من حرق الأحداث").
- يجب على الذكاء الاصطناعي تخمين كيف سيبدو ويسمع بقية الفيديو.
- إذا خمن بشكل صحيح، يحصل على مكافأة.
- هذا يجبر الذكاء الاصطناعي على تعلم الأنماط لكيفية تغير العواطف بمرور الوقت (على سبيل المثال، كيف تتحول الابتسامة إلى عبوس، أو كيف يصبح الصوت الهادئ مهتزاً).
بمجرد أن يتعلم مهارة "التنبؤ بالمستقبل" هذه، فإنه لا يحتاج إلى قطع الشاشة بعد الآن. عند مشاهدة فيديو كامل، يستخدم تلك المهارة نفسها لبناء فهم أقوى وأكثر دقة للعاطفة.
3. النتائج
اختبر الباحثون AffectVerse على تسعة مجموعات بيانات مختلفة (مجموعات من الفيديوهات التي تحتوي على صوت ونص).
- النتيجة: تفوق AffectVerse على النماذج الرائدة الأخرى (مثل AffectGPT و Qwen2.5-Omni) بفارق كبير (حوالي 2.5% إلى 5% أفضل في المتوسط).
- لماذا هذا مهم: يوضح البحث أنه من خلال تعليم الذكاء الاصطناعي "تخيل" الثواني القليلة القادمة من التفاعل، يصبح أفضل بكثير في فهم العواطف المعقدة والمتغيرة. كما أنه يتعامل مع الحالات التي قد يكون فيها الصوت أو الفيديو مفقوداً أو مقطوعاً بشكل أفضل بكثير من النماذج التي تكتفي بالنظر إلى لقطات ثابتة.
ملخص
باختصار، AffectVerse هو ذكاء اصطناعي لا يكتفي بمشاهدة الحاضر فحسب؛ بل يقوم باستمرار بمحاكاة المستقبل القريب. ومن خلال "تخيل" كيفية تطور العاطفة، يبني "اعتقاداً" أكثر قوة ودقة حول ما يشعر به الشخص، مما يؤدي إلى التعرف على العواطف بشكل أذكى وأكثر دقة. إنه يحول التعرف على العواطف من صورة ثابتة إلى فيلم ديناميكي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.