EgoMemReason: A Memory-Driven Reasoning Benchmark for Long-Horizon Egocentric Video Understanding
تقدم هذه الورقة EgoMemReason، وهو معيار شامل مصمم لتقييم فهم الفيديو من منظور الشخص الأول (egocentric) طويل المدى عبر اختبار الاستدلال القائم على الذاكرة عبر أنواع الكيانات والأحداث والسلوكيات، مما يكشف أن النماذج متعددة الوسائط الحالية تعاني بشكل كبير في دمج الأدلة المتفرقة عبر فترات زمنية تمتد لعدة أيام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك اشتريت للتو نظارات "ذكية" تسجل حياتك بالكامل، على مدار 24 ساعة في اليوم، لمدة أسبوع كامل. ترتديها أثناء الأكل، والعمل، والنوم، والتسكع مع الأصدقاء. الآن، تخيل أن شخصًا ما سألك سؤالًا عن ذلك الأسبوع: "ما هو آخر نشاط جماعي قمنا به في غرفة العرض قبل اليوم؟" أو "كم مرة أكلنا البيتزا على تلك الطاولة البرتقالية المحددة؟"
للإجابة على هذه الأسئلة، لا يمكنك مجرد النظر إلى ما يحدث الآن. عليك البحث في ذكريات أيام، والعثور على اللحظات المناسبة، وتجميعها معًا. هذا هو بالضبط التحدي الذي تعالجه ورقة EGOMEMREASON.
إليك تحليل بسيط لما قام به الباحثون، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: "الإبرة في كومة قش" هي في الواقع "إبرة في كومة قش لمدة أسبوع كامل"
نماذج الذكاء الاصطناعي الحالية بارعة في النظر إلى مقطع فيديو قصير (مثل مقطع تيك توك مدته 10 ثوانٍ) وإخبارك بما حدث. لكن عندما تعطيها فيديو يمتد لـ سبعة أيام، فإنها تضيع.
- الطريقة القديمة: معظم الاختبارات الحالية للذكاء الاصطناعي تشبه سؤال: "ما لون القميص الذي كان يرتديه الشخص في هذا المقطع الذي مدته 5 ثوانٍ؟". الإجابة موجودة أمامهم مباشرة.
- التحدي الجديد: يقول الباحثون: "لا، دعونا نجعل الأمر أصعب". إنهم يريدون اختبار ما إذا كان بإمكان الذكاء الاصطناعي تذكر أشياء حدثت قبل 3 أيام، أو تتبع كيفية تغير جسم ما بمرور الوقت، أو استنتاج عادة لديك بناءً على أدلة صغيرة متناثرة عبر أسبوع كامل.
2. الحل: "صالة ألعاب رياضية للذاكرة" للذكاء الاصطناعي
أنشأ الفريق اختبارًا جديدًا يسمى EGOMEMREASON. فكر فيه كصالة ألعاب رياضية تحتوي على ثلاث آلات محددة مصممة لاختبار أنواع مختلفة من العضلات الذهنية. هم يسمونها "أنواع الذاكرة":
الآلة 1: "متتبع الأشياء" (ذاكرة الكيان - Entity Memory)
- التشبيه: تخيل أن لديك كوب قهوة مفضل. في اليوم الأول، كان على طاولة المطبخ. في اليوم الثالث، كان في الحوض. في اليوم الخامس، أصبح في غسالة الأطباق.
- الاختبار: يجب على الذكاء الاصطناعي تتبع ذلك الكوب المحدد طوال الأسبوع. لا يمكنه فقط قول "أنا أرى كوبًا"، بل يجب أن يقول: "بدأ ذلك الكوب على الطاولة، ثم انتقل إلى الحوض، وانتهى به المطاف في غسالة الأطباق".
- التحدي: غالبًا ما يرتبك الذكاء الاصطناعي بشأن أي كوب هو المقصود، أو يفقد التفاصيل الصغيرة المتعلقة بحالته.
** الآلة 2: "منظم الجدول الزمني" (ذاكرة الأحداث - Event Memory)**
- التشبيه: تخيل أنك تحاول تذكر ترتيب الأحداث من أسبوع حافل. هل شاهدت فيلمًا قبل أم بعد تناول الشواء؟
- الاختبار: يتم إعطاء الذكاء الاصطناعي قائمة بالأحداث التي وقعت في أيام مختلفة، وعليه وضعها في الترتيب الزمني الصحيح. كما يجب عليه الإجابة على أسئلة مثل: "ما هو آخر شيء فعلناه في غرفة العرض قبل الغداء بالأمس؟".
- التحدي: يعاني الذكاء الاصطناعي في الحفاظ على استقامة الجدول الزمني عندما تكون الأحداث مفصولة بساعات أو أيام. وغالبًا ما يخلط بين الترتيب أو ينسى الأحداث السابقة.
الآلة 3: "محقق الأنماط" (ذاكرة السلوك - Behavior Memory)
- التشبيه: تلاحظ أنك في كل مرة تنهي فيها الغداء، تذهب عادةً للجلوس على الأريكة للقراءة. أنت لا تفعل هذا كل يوم، لكنه يحدث كثيرًا بما يكفي ليكون "عادة".
- الاذاختبار: يجب على الذكاء الاصطناعي النظر إلى الأسبوع بأكمله واستنتاج عاداتك. "أين تتناول الغداء عادةً؟" أو "ماذا تفعل مباشرة بعد الغداء؟".
- التحدي: يجب على الذكاء الاصطناعي تجاهل الأيام الغريبة العارضة والعث على النمط المتكرر المختبئ وسط الضجيج.
3. النتائج: الذكاء الاصطناعي لا يزال "مولودًا جديدًا"
اختبر الباحثون 17 نموذجًا متطورًا من نماذج الذكاء الاصطناعي (بما في ذلك أسماء كبيرة مثل GPT-5 وGemini وغيرها) في "صالة ألعاب الذاكرة" الجديدة هذه.
- الدرجة: حتى أذكى نموذج ذكاء اصطناعي حصل على حوالي 40% فقط من الإجابات الصحيحة. وهذا بالكاد يتجاوز التخمين العشوائي لبعض الأسئلة الأكثر صعوبة.
- لماذا فشلوا:
- مشكلة "التأسيس البصري" (Visual Grounding): يرى الذكاء الاصطناعي الفيديو ولكنه يفتقد التفاصيل الدقيقة (مثل ما إذا كان باب الثلاجة قد فُتح لوضع شيء ما في الداخل أم لإخراجه).
- مشكلة "المدى الطويل" (Long-Range): الذكاء الاصطناعي جيد في تذكر ما حدث قبل 10 دقائق، لكنه ينسى ما حدث قبل يومين.
- مشكلة "النمط" (Pattern): يمكن للذكاء الاصطناعي تلخيص فيديو ("تناولنا الغداء")، لكنه سيء في رصد العادات الدقيقة ("نحن دائمًا نأكل الغداء عند الطاولة البرتقالية").
4. ما الذي جربوه (ولماذا لم ينجح الأمر)
حاول الباحثون مساعدة الذكاء الاصطناعي من خلال:
- إعطائه المزيد من الإطارات (Frames): عرض المزيد من الصور من الفيديو للذكاء الاصطناعي. النتيجة: لم يساعد ذلك كثيرًا. لا يزال الذكاء الاصطناعي غير قادر على ربط النقاط ببعضها عبر الزمن.
- إعطائه نصوصًا مكتوبة (Transcripts): قراءة النص لما قاله الناس. النتيجة: لم يساعد ذلك كثيرًا. المشكلة لم تكن في قدرة الذكاء الاصطناعي على القراءة، بل في عدم قدرته على تذكر وربط الأحداث البصرية.
- طلب "التفكير خطوة بخطوة": إخبار الذكاء الاصطناعي بشرح منطقه. النتيجة: في الواقع، جعل هذا الأمر أسوأ! فقد ارتبك الذكاء الاصطناعي بسبب تفسيراته الطويلة.
الخلاصة
هذه الورقة لا تقول إن الذكاء الاصطناعي عديم الفائدة. بل تقول إنه بينما يتحسن الذكاء الاصطناعي في "الرؤية" و"القراءة"، إلا أنه لا يزال سيئًا للغاية في الذاكرة طويلة المدى.
إذا كنت تريد مساعدًا ذكيًا يمكنه مساعدتك في حياتك على مدار أسبوع أو شهر، فلا يمكننا فقط جعل الذكاء الاصطناعي "أكبر" أو إعطاؤه المزيد من النصوص ليقرأها. يجب علينا تعليمه كيفية تخزين وتنظيم واسترجاع الذكريات بالطريقة التي يفعلها البشر. وإلى أن نحل هذه المشكلة، سيظل الذكاء الاصطناعي ينسى ما حدث يوم الثلاثاء الماضي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.