Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

تخيل الإنترنت كأنه ساحة مدينة رقمية ضخمة وفوضوية، حيث يصرخ الجميع، ويمزحون، ويشاركون القصص. في هذه المدينة، تُعد "الميمات" (memes) الطريقة الأكثر شعبية للتواصل. فكر في "الميم" ليس فقط كصورة مضحكة، بل كشطيرة رقمية: لها طبقة بصرية (الصورة) وطبقة نصية (الكلمات المكتوبة عليها). عادةً ما تعمل هاتان الطبقتان معاً لإخبار نكتة أو مشاركة فكرة. لكن أحياناً، خاصة في السياسة، تصبح هذه الشطيرة معقدة؛ فقد يكون النص ساخراً، أو قد تكون الصورة مضللة، أو قد يكون الشيء برمته فخاً ذكياً مصمماً لجعلك تشعر بطريقة معينة تجاه قائد أو سياسة ما.

بالنسبة للحواسيب، فهم هذه الشطائر الرقمية هو كابوس حقيقي. الأمر يشبه محاولة حل لغز حيث تتحدث الصورة والكلمات بلغات مختلفة. إذا نظر الحاسوب إلى الصورة فقط، فقد يفوت النكتة. وإذا قرأ الكلمات فقط، فقد يفوت السياق. ويصبح هذا الأمر أكثر صعوبة عندما تكون اللغة واحدة لم تدرسها الحواسيب كثيراً، مثل اللغة البنغالية. يحاول الباحثون في مجال "الحوسبة الوجدانية" (affective computing) -وهو مجرد مصطلح منمق يعني تعليم الآلات فهم المشاعر والنوايا- بناء محقق فائق الذكاء يمكنه النظر إلى هذه الميمات ومعرفة: "هل يحاول هذا الشخص إضحاكي، أم يحاول تغيير رأيي السياسي؟"

هذا هو بالضبط اللغز الذي عالجه فريق من الباحثين من جامعة بنغلاديش للهندسة والتكنولوجيا. لقد ركزوا على الميمات البنغالية، والتي غالباً ما تكون فوضوية، وفنية، ومليئة بالسخرية السياسية. كان هدفهم هو بناء نظام يمكنه التمييز بين الميم الذي هو لمجرد المرح، وبين ذاك الذي يحاول دفع أجندة سياسية. واكتشفوا أن سر حل هذه المعضلة لم يكن بمجرد رمي كل المعلومات في خلاط وتمني الأفضل، بل بدلاً من ذلك، قاموا ببناء نظام يعمل كمحقق دقيق جداً، يجبر الحاسوب على النظر إلى الصورة والكلمات معاً، ومطابقة كلمات محددة بأجزاء محددة من الصورة، تماماً مثل محقق يطابق وصف مشتبه به بصورة مسرح الجريمة.

حقيبة أدوات المحقق الجديدة

أدرك الباحثان، موسى تور فارازي ونوفاير جهان ريزا، أن المحاولات السابقة لحل هذا الأمر كانت تشبه محاولة قراءة كتاب مصور عبر النظر إلى الصور في صفحة والكلمات في صفحة أخرى بشكل منفصل. اقترحوا طريقة جديدة تسمى "دمج الانتباه المتبادل متعدد الوسائط" (Multimodal Cross-Attention Fusion). هذا الاسم طويل وصعب، لذا دعونا نفككه باستخدام تشبيه بسيط.

تخيل أنك تحاول فهم خدعة سحرية معقدة. لديك فيديو للخدعة (الصورة) ونص لما يقوله الساحر (النص). قد يقوم حاسوب بسيط بمشاهدة الفيديو ثم قراءة النص بشكل منفصل ثم يخمن ما حدث. لكن المحقق الذكي يعرف أن كلمات الساحر لا معنى لها إلا إذا رأيت أين يشير في الفيديو.

يعمل نظام الفريق الجديد كالتالي:

1. العين والأذن: أولاً، يستخدم النظام "عيناً" قوية (نموذج لغوي بصري) لقراءة النص الفني الفوضوي في الميم، حتى لو كانت الخلفية صاخبة أو الخط غريباً. كما يستخدم "دماغاً" قد رأى ملايين الصور والجمل لفهم الجو العام للصورة ومعنى الكلمات.
2. الخاطبة (الموفّق): هذا هو الجزء السحري. بدلاً من مجرد لصق الصورة والنص معاً، يستخدم النظام آلية "الانتباه المتبادل" (Cross-Attention). تخيل أن الكلمات في الميم تسأل الصورة: "مهلاً، هل تتحدثين عن هذا الجزء من الصورة؟" فترد الصورة: "نعم، أنا كذلك!" أو "لا، انظري إلى هنا!". يقوم النظام بمواءمة كلمات محددة مع مناطق محددة من الصورة. فإذا كانت الكلمة تقول "فاسد" والصورة تُظهر سياسياً، فإن النظام يربط هذين الأمرين ببعضهما بقوة. وإذا كانت الكلمة تقول "بطل" لكن الصورة تُظهر شريراً، فإن النظام يلاحظ عدم التطابق.
3. كتاب القواعد: حاولوا أيضاً إضافة "كتاب قواعد سياسي" (معجم) للمساعدة في توجيه الحاسوب. هذا يشبه إعطاء المحقق قائمة بالكلمات التي تظهر غالباً في الخطابات السياسية. ومع ذلك، وجدوا شيئاً مفاجئاً: إذا أجبرت المحقق على الاعتماد بشدة على هذه القائمة، فإنه يبدأ في ارتكاب الأخطاء. قد يعتقد أن الميم سياسي لمجرد أنه يحتوي على كلمة سياسية، حتى لو كان السياق مختلفاً تماماً.

ما الذي وجدوه؟

اختبر الفريق نظام "الخاطبة" الجديد الخاص بهم على مجموعة بيانات تسمى PoliMemeDecode1، وهي مليئة بالميمات البنغالية. وقارنوا طريقتهم بالطرق القديمة، مثل النظر إلى الصورة وحدها، أو قراءة النص وحده، أو ببساً لصق الصورة والنص معاً دون أي مطابقة خاصة.

كانت النتائج مبهرة. حقق نظامهم الجديد، الذي يطابق الكلمات بأجزاء الصورة بعناية، درجة تسمى "Macro-F1" تبلغ حوالي 0.94. ولو وضعت ذلك في الاعتبار، فهذه درجة عالية جداً، مما يعني أن النظام كان صحيحاً في معظم الأوقات. لقد تفوق بشكل كبير على الطرق القديمة. فعلى سبيل المثال، الحصول على درجة حوالي 0.88 بمجرد النظر إلى الصور، وقراءة النص وحده أعطت حوالي 0.85. وعندما جربوا لصق الصورة والنص معاً ببساطة دون "انتباه الخاطبة"، ارتفعت الدرجة إلى 0.935، لكن طريقة الانتباه الجديدة رفعتها أكثر لتصل إلى 0.940.

ومع ذلك، استبعدت الورقة فكرة شائعة. اعتقد العديد من الباحثين أن إضافة "كتاب قواعد سياسي" (المعجم) سيجعل الحاسوب أكثر ذكاءً. لكن المؤلفين وجدوا العكس؛ فعندما حاولوا تعزيز ثقة النظام باستخدام هذا المعجم، تراجع الأداء في الواقع. انخفضت الدرجة إلى 0.915 عند استخدام النظام الكامل مع المعجم. لماذا؟ لأن المعجم جعل الحاسوب جامداً للغاية. بدأ يرى نية سياسية في كل مكان، حتى في النكات البريئة، مما أدى إلى المزيد من الإنذارات الكاذبة. تشير الورقة إلى أن الحاسوب يتعلم بشكل أفضل عندما يستنتج العلاقة بين الصورة والنص بنفسه، بدلاً من إجباره على اتباع قائمة كلمات معدة مسبقاً.

لماذا هذا مهم؟

لم يتوقف الباحثون عند الأرقام فحسب، بل نظروا "تحت الغطاء" ليروا كيف كان الحاسوب يفكر. وجدوا أن النظام كان ينتبه بالفعل إلى الأشياء الصحيحة. فعندما استخدموا تقنية تسمى "SmoothGrad" لرؤية الأجزاء التي ركز عليها الحاسوب في الصورة، وجدوا أنه يسلط الضوء على وجوه الأشخاص والنصوص الموضوعة فوق الصورة، متجاهلاً ضجيج الخلفية العشوائي. أثبت هذا أن الحاسوب لم يكن يخمن فحسب، بل كان يربط حقاً بين الأدلة البصرية والمعنى النصي.

كما تحققوا مما إذا كان الحاسوب واثقاً في إجاباته. وأظهرت النتائج أن النظام كان "معايراً" جيداً (well-calibrated)، مما يعني أنه عندما يقول إنه متأكد بنسبة 90%، فإنه يكون صحيحاً في معظم الأحيان. والحالات القليلة التي أخطأ فيها، كانت غالباً بسبب كون الميم نفسه مربكاً أو غامضاً حقاً، وهو تحدٍ صعب لأي إنسان أو آلة.

في النهاية، تظهر هذه الورقة أنه بالنسبة للغات ذات الموارد المحدودة مثل البنغالية، فإن أفضل طريقة لفهم الميمات السياسية ليست بإجبار الحاسوب على حفظ قاموس من "الكلمات السيئة"، بل بتعليمه كيف يكون محققاً جيداً ينظر إلى الصورة كاملة، ويطابق الأدلة، ويفهم القصة. ومن خلال استخدام طريقة تربط الرموز (الكلمات) بالمناطق البصرية، أنشأ الفريق أداة ليست دقيقة فحسب، بل هي أيضاً أكثر موثوقية، محققة أداءً رائداً يشير إلى أن هذا النهج هو وسيلة قوية لفك رموز عالم الميمات المعقد والضوضائي والسياسي في كثير من الأحيان.