GRAFF-MM : Graph-Frequency Filtering for Multi-Modal Memorability Prediction

تظل بعض الصور عالقة في الذهن بينما تتلاشى صور أخرى فوراً تقريباً. هذه الخاصية، المعروفة باسم "القدرة على التذكر"، لا تتعلق ببساطة بمدى جمال الصورة أو مدى إعجاب الشخص بها؛ بل هي سمة قابلة للقياس في الصورة نفسها، وهي خاصية تحدد مدى احتمالية استرجاع الشخص لذلك المشهد المحدد بعد رؤيته لمرة واحدة. لقد عرف الباحثون منذ زمن طويل أن الحدس البشري ضعيف في تخمين أي الصور سيتم تذكرها؛ فنحن غالباً ما نفترض أن وجهاً لافتاً أو لوناً زاهياً سيجعل الصورة لا تُنسى، لنكتشف لاحقاً أن مشهداً عادياً بتوزيع معين للأشياء هو ما يظل عالقاً في الأذهان بالفعل. ولفهم هذه الظاهرة، لجأ العلماء إلى الحواسيب، حيث قاموا ببناء نماذج تحاول التنبؤ بهذه الدرجات من خلال تحليل المكونات البصرية للصورة الفوتوغرافية. اعتمدت المحاولات الأولى على قياسات بسيطة للون والشكل، لكنها غالباً ما أغفلت السياق الأعمق الذي يجعل الصورة لا تُنسى. أما الجهود الأكثر حداثة فقد استخدمت الذكاء الاصطناعي المعقد للنظر في الأشياء وعلاقاتها، ومع ذلك، لا تزال العديد من هذه الأنظمة تغفل التفاصيل الدقيقة والسريعة للمشهد أو الطريقة التي تمسح بها العين البشرية الصورة بشكل طبيعي.

اقترح فريق من الباحثين الآن نهجاً جديداً يجمع بين طرق مختلفة لرؤية الصورة لحل هذا اللغز. يعمل عملهم، المسمى GRAFF-MM، على فكرة أنه لا يمكن لطريقة واحدة أن تستوعب كل ما يجعل الصورة لا تُنسى. بدلاً من ذلك، يدمج النموذج ثلاث مسارات متميزة من المعلومات: التخطيط المكاني للأشياء، والمناطق التي من المرجح أن تركز عليها العين البشرية، واللغة الوصفية التي تشرح ما يحدث في المشهد. وللتعامل مع التخطيط المكاني، بنى الباحثون نظاماً يعامل الصورة كخريطة من النقاط المتصلة، حيث تمثل كل نقطة جسماً وتوضح الخطوط بينها كيفية ارتباط تلك الأجسام ببعضها البعض. ومن الأهمية بمكان أنهم طوروا هذا النظام عبر تعليمه الانتباه لكل من الأنماط الواسعة والناعمة للمشهد والحواف الحادة والتفصيلية التي غالباً ما تشير إلى شيء غير عادي أو مهم. هذا التركيز المزدوج يسمح للحاسوب ليس فقط برؤية أن دراجة نارية موجودة على طريق، بل أن الدراجة تميل بشدة في منعطف، وهو تفصيل قد يكون المفتاح وراء سبب تذكر هذه الصورة.

اختبر الباحثون هذا النموذج الجديد مقابل أربع مجموعات مختلفة من الصور، تتراوح من آلاف الصور الفوتوغرافية المتنوعة إلى مجموعات أصغر تركز على أشياء محددة. وفي كل حالة، تفوق النموذج الجديد على الطرق السابقة، محققاً مستوى من الدقة يطابق بشكل وثيق مدى اتفاق البشر على الصور التي لا تُنسى. وفي إحدى مجموعات البيانات الكبرى، حقق النموذج درجة 0.692، وفي مجموعة أخرى، حقق 0.711، وهي أرقام تشير إلى توافق قوي مع الذاكرة البشرية. كما تضمنت الدراسة نظرة تفصيلية حول سبب نجاح النموذج، حيث أظهرت أن إزالة أي جزء من أجزائه الثلاثة الرئيسية — الخريطة المكانية، أو دليل تتبع العين، أو الوصف النصي — تسببت في انخفاض الأداء. وهذا يؤكد أن كل قطعة تضيف شيئاً فريداً: فالنص يقدم القصة، ودليل تتبع العين يوضح مكان الحركة، والخريطة المكانية تكشف الهيكل.

إن أحد أهم النتائج هو أن قدرة النموذج على اكتشاف التفاصيل عالية التردد — تلك التغيرات السريعة والحادة في الصورة التي غالباً ما كانت الأنظمة السابقة تقوم بتنعيمها — كانت ضرورية لنجاحه. ومن خلال تصفية البيانات المرئية للاحتفاظ بالصورة الكبيرة والتفاصيل الدقيقة معاً، استطاع النموذج رصد الترتيبات غير العادية أو الأفعال المحددة التي تجعل الصورة بارزة. كما قام الباحثون بتصور كيفية تعلم النموذج، موضحين أنه مع دمج هذه الأنواع المختلفة من المعلومات، بدأت الصور التي يحللها تتجمع بشكل أكثر وضوحاً بناءً على مدى كونها لا تُنسى. وبينما لا يعد النموذج مثالياً، حيث يواجه أحياناً صعوبات مع الصور الضبابية أو المشاهد شديدة التعقيد، إلا أنه يمثل خطوة كبيرة للأمام في فهم كيف يمكن للحواسيب أن تتعلم رؤية العالم كما تفعل الذاكرة البشرية. ويشير العمل إلى أنه لكي نتنبأ حقاً بما سنتذكره، يجب ألا ننظر إلى الصورة كمجرد مجموعة من البكسلات، بل كقصة تُروى من خلال الفضاء، والانتباه، واللغة.