← أحدث الأبحاث
💻 computer science

Lightweight Prompt-Based Enhancement for Missing-Modality Multimodal Sentiment Analysis

تقترح هذه الورقة إطار عمل خفيف الوزن يعتمد على التلقين، يتكون من ثلاث وحدات تآزرية — تعزيز الميزات الأصيلة، والدمج المدرك للموثوقية، ومهايئ التوزيع الموجه بالمحتوى — لمعالجة فقدان الأنماط في تحليل المشاعر متعدد الوسائط بفعالية من خلال استعادة الميزات دقيقة التفاصيل، وتعديل أوزان الدمج ديناميكيًا، وتصحيح انزياحات التوزيع.

المؤلفون الأصليون: Juan Liu, Jinping Liu, Hang Zhong, Shikang He

نُشر 2026-09-15
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Juan Liu, Jinping Liu, Hang Zhong, Shikang He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إن العاطفة البشرية نادراً ما تكون نوتة واحدة؛ بل هي وتر معقد تعزفه الكلمات، ونبرة الصوت، وحركة الوجه. وعلى الحواسيب التي تحاول فهم هذه المشاعر أن تستمع إلى هذه الآلات الثلاث في آن واحد. هذا المجال، المعروف باسم تحليل المشاعر متعدد الوسائط، حقق خطوات كبيرة في تعليم الآلات كيفية قراءة أمزجتنا من خلال الجمع بين النص والصوت والفيديو. ومع ذلك، في الواقع الفوضوي للعالم الحقيقي، غالباً ما يصمت أحد هذه الآلات؛ فقد تتعطل الكاميرا، أو ينقطع الميكروفون، أو تمنع إعدادات الخصوصية بث الفيديو. وعندما تُجبر الحواسيب على تخمين مزاج الشخص باستخدام جزء فقط من البيانات، فإن فهمها غالباً ما ينهار، وتفقد الإشارات الدقيقة التي تحدد كيف نشعر حقاً.

لسنوات، حاول الباحثون إصلاح ذلك عبر تعليم الحواسيب كيفية تخيل القطعة المفقودة. إنهم يستخدمون تقنية تسمى "تعلم التلقين" (prompt learning)، حيث يتم إعطاء الآلة تلميحاً أو "تلقيناً" لإعادة بناء الصوت أو الفيديو المفقود بناءً على ما لا يزال متاحاً. وبينما يعد هذا النهج فعالاً، إلا أنه يحمل عيباً خفياً؛ فعملية تخمين المعلومات المفقودة تميل إلى تنعيم الحواف الحادة للتعبير البشري. تماماً كما تفقد النسخة الضوئية منخفضة الجودة الحبيبات الدقيقة للصورة الفوتوغرافية، فإن هذه الإشارات المعاد بناؤها تفقد التفاصيل الدقيقة عالية التردد — مثل الومضة السريعة لتعبيرات الوجه الدقيقة أو الشرخ المفاجئ في الصوت — والتي غالباً ما تكون أهم الأدلة لتحديد العاطفة. علاوة على ذلك، تتعامل الأساليب الحالية مع هذه الإشارات المخمنة بنفس القدر من الثقة التي تعامل بها الإشارات الحقيقية، فتعجز عن إدراك أن إعادة البناء هي بطبيعتها أقل موثوقية من التسجيل المباشر. وأخيراً، ولأن هذه الأنظمة تعتمد على "دماغ" مدرب مسبقاً ومجمد لا يمكنه تعلم أشياء جديدة أثناء العمل، فإن البيانات المعاد بناؤها غالسب ما تبدو "خارج النغمة" بالنسبة لبقية النظام، مما يجعل الآلة تتعثر عندما تحاول دمجها.

اقترح فريق من الباحثين من كلية تشانغشا للعمل الاجتماعي وجامعة هونان حلاً جديداً وخفيف الوزن لهذه المشكلات الثلاث. لم يحاولوا إعادة بناء الآلة بأكملها من الصفر، بل أضافوا ثلاث أدوات صغيرة متخصصة إلى النظام الحالي، صُممت لتعمل معاً مثل محرر ماهر يقوم بتنقيح مسودة أولية. تركز الأداة الأولى على البيانات الحقيقية التي لا تزال متاحة؛ فهي تأخذ السمات الناعمة والباهتة قليلاً للصوت أو الفيديو الأصلي وتقوم بحقن التفاصيل المفقودة عالية التردد فيها مجدداً، مما يؤدي فعلياً إلى شحذ الصورة وتوضيح الصوت. أما الأداة الثانية، فتعمل كحارس بوابة لعملية الدمج؛ فهي تتحقق باستمرار من الإشارات الحقيقية وتلك المخمنة، وترفع مستوى صوت البيانات الموثوقة تلقائياً بينما تخفض ضجيج الأجزاء المعاد بناؤها. أما الأداة الثالثة، فهي مترجم يضمن ملاءمة البيانات المخمنة للبيانات الحقيقية؛ إذ تستخدم محتوى الإشارات المتاحة لتدفع الميزات المعاد بناؤها برفق نحو الشكل الصحيح، بحيث تندمج بسلاسة مع بقية المعلومات قبل أن يتخذ الكمبيوتر قراره النهائي.

اختبر الباحثون هذا النظام المكون من ثلاثة أجزاء على مجموعة بيانات قياسية من مقاطع الفيديو التي تحتوي على آلاف التفاعلات البشرية. لقد قاموا بمحاكاة سيناريو يفقد فيه الكمبيوتر 70 بالمائة من البيانات، مما يجبره على الاعتماد بشكل كبير على قدرته على ملء الفراغات. وأظهرت النتائج أن الأدوات الثلاث تعمل بشكل أفضل عند استخدامها معاً، بطريقة تتجاوز مجرد كونها مجموع أجزائها. فعندما كانت الأدوات الثلاث نشطة، تحسنت قدرة النظام على تحديد المشاعر الإيجابية أو السلبية بشكل ملحوظ، لتصل دقتها إلى حوالي 70.6 بالمائة، وهي قفزة ملحوظة عن الخط المرجعي. ومن المثير للاهتمام أن الباحثين وجدوا أن استخدام أول أداتين معاً أدى في الواقع إلى أداء أسوأ من استخدام الأداة الأولى وحدها؛ مما يشير إلى أنه بدون الأداة الثالثة لإصلاح عدم التطابق بين البيانات الحقيقية والمخمنة، يصبح النظام مشوشاً بسبب الإشارات المتضاربة. وفقط عند إضافة مهايئ التوزيع لتوحيد البيانات، انطلق الإمكان الكامل للنظام.

كما استكشفت الدراسة كيف يتصرف النظام عند فقدان أنواع معينة من البيانات، مثل توفر النص فقط أو فقدان الفيديو فقط. وفي هذه السيناريوهات الثابتة، أثبت النظام الكامل مرة أخرى أنه الأكثر قوة بشكل عام، رغم أن الباحثين أشاروا إلى أن الفوائد المحددة لكل أداة تعتمد على نوع البيانات المفقودة بالضبط. فعلى سبيل المثال، كانت إحدى الأدوات جيدة بشكل خاص في تحسين قدرة النظام على الارتباط بالتقييمات البشرية عندما يكون الفيديو مفقوداً، بينما تفوق المزيج الكامل في الدقة العامة. ولم تضف التحسينات بأكملها سوى جزء ضئيل جداً من المعلمات الجديدة إلى النظام — حوالي 1 بالمائة من حجم النموذج الرئيسي — مما يثبت أن التحسينات الكبيرة في فهم العاطفة البشرية لا تتطلب عمليات تغيير ضخمة ومستهلكة للطاقة.

يشير هذا العمل إلى أن المسار نحو ذكاء عاطفي أكثر قوة في الآلات لا يكمن في توليد نسخ مثالية من البيانات المفقودة، بل في إدارة العلاقة بعناية بين ما هو معلوم وما هو مخمن. فمن خلال شحذ الإشارات الحقيقية، والثقة بها أكثر من التخمينات، وضمان ملاءمة التخمينات للسياق، خلق الباحثون نظاماً يتعامل مع المعلومات المفقودة بمستوى جديد من الرزانة. ورغم أن الدراسة كانت محدودة بمجموعات بيانات باللغة الإنجليزية وأنماط فقدان محددة، إلا أن النتائج تقدم مخططاً واضحاً لبناء آلات يمكنها فهمنا حتى عندما يكون الاتصال غير مكتمل. قد يعتمد مستقبل هذه التكنولوجيا على مثل هذه التعديلات الذكية والخفيفة التي تسمح للحواسيب بالتنقل عبر الفجوات في حياتنا الرقمية دون أن تفقد جوهر إنسانيتنا.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →