S-EMBER: A Large-Scale Benchmark for Streaming Egocentric Memory Retrieval
تقدم الورقة البحثية S-EMBER، وهو معيار مرجعي واسع النطاق يتكون من 388 ساعة من الفيديو من منظور الشخص الأول وما يقرب من 10,000 زوج من الأسئلة والأجوبة المصممة لتقييم وكشف الفجوة الكبيرة في أداء نماذج الذكاء الاصطناعي الحالية في استرجاع الذاكرة العرضية المتدفقة والمؤصلة للوكلاء القابلين للارتداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مساعداً شخصياً لا ينسى أبداً. يمكنه تذكر ما تناولته في وجبة الإفطار قبل ثلاثة أسابيع، أو تذكر اللحظة الدقيقة التي فقدت فيها مفاتيحك، أو إخبارك بأي متجر زرته في المرة الأخيرة التي احتجت فيها إلى مكون معين. هذه القدرة، المعروفة باسم الذاكرة العرضية (episodic memory)، هي القدرة على تذكر أحداث محددة والترتيب الذي حدثت به. لعقود من الزمن، حاول العلماء تعليم الحواسيب هذه المهارة باستخدام مقاطع الفيديو، لكن معظم الاختبارات كانت اصطناعية؛ حيث كانوا يقدمون للحاسوب ملف الفيديو بأكمله دفعة واحدة، مما يسمح له بالبحث في القصة بأكملها قبل الإجابة على سؤال. وهذا لا يعكس كيف تسير الحياة الواقعية. في العالم الحقيقي، يرى الحاسوب القابل للارتداء، مثل النظارات الذكية، الحياة كما تحدث، لحظة تلو الأخرى، ويجب عليه أن يقرر ما يتذكره وما ينساه في الوقت الفعلي.
لقد ابتكر فريق من الباحثين في شركة "ميتا" (Meta) طريقة جديدة لاختبار هذه القدرة، وهي طريقة تحاكي التجربة الفعلية لارتداء النظارات الذكية. لقد قدموا مجموعة ضخمة من بيانات الفيديو تسمى S-EMBER، والتي ترمز إلى "معيار ذاكرة المنظور الشخصي المتدفق" (Streaming Egocentric Memory Benchmark). تتكون مجموعة البيانات من أكثر من 3,000 فيديو، بإجمالي ما يقرب من 400 ساعة من اللقطات، تم تصويرها بواسطة أكثر من 600 شخص مختلف يرتدون نظارات "ري بان ميتا" (Ray-Ban Meta) الذكية. هذه ليست مشاهد مُعدة مسبقاً أو مقاطع سينمائية؛ بل هي تسجيلات لحياة يومية عادية غير مكتوبة، من طهي الإفطار إلى التسوق من البقالة. وقد طلب الباحثون من مدققين بشريين مشاهدة هذه الفيديوهات أثناء عرضها، مع التوقف عند لحظات عشوائية لطرح أسئلة قد يطرحها الشخص بشكل طبيعي في تلك اللحظة، مثل "ما هو لون الكوب الذي استخدمته سابقاً؟" أو "كم قضيت من الوقت في تقطيع الخضروات؟".
التحدي الفريد لهذا الاختبار هو أنه يجب على الحاسوب الإجابة على السؤال باستخدام الفيديو الذي رآه فقط حتى تلك الثانية تحديداً. لا يمكنه استباق المستقبل. علاوة على ذلك، يجب على الحاسوب القيام بشيئين في آن واحد: يجب أن يعطي الإجابة الصحيحة، ويجب أن يشير إلى الجزء الزمني المحدد في الفيديو حيث يوجد الدليل على تلك الإجابة. هذا المتطلب المزدوج هو جوهر الاختبار. لقد أنشأ الباحثون ما يقرب من 9,500 زوج من هذه الأسئلة والأجوبة، كل منها مقترن بفترة زمنية دقيقة تعمل كدليل بصري. كما ضمنوا أن تكون الإجابات متفاوتة في الطول، من كلمة واحدة إلى فقرة مفصلة، لمحاكاة كيفية تحدث البشر مع بعضهم البعض في الواقع.
عندما اختبر الباحثون أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة اليوم مقابل هذا المعيار، كشفت النتية عن فجوة كبيرة بين القدرة البشرية وقدرة الآلة. استطاعت أفضل النماذج الإجابة على الأسئلة بشكل صحيح حوالي نصف الوقت، وكان بإمكانها تحديد الفترة الزمنية الصحيحة في الفيديو حوالي نصف الوقت عند اختبار كل منهما على حدة. ومع ذلك، عندما طُلب منها القيام بالأمرين معاً لنفس السؤال، انخفض أداؤها بشكل حاد. نجحت النماذج الرائدة في تقديم إجابة صحيحة مدعومة بدليل بصري صحيح في أقل من نصف المرات التي ينجح فيها البشر. يشير هذا إلى أنه بينما تتحسن هذه الأنظمة في فهم ما حدث في الفيديو وتصبح أفضل في تحديد متى حدث، إلا أنها تعاني في ربط هذين الحقيقتين ببعضهما البعض بشكل موثوق.
استكشفت الدراسة أيضاً سبب وجود هذه الفجوة. وجد الباحثون أن جعل النماذج أكبر حجماً، أو تغذيتها بمزيد من إطارات الفيديو، قد حسّن قدرتها على الإجابة وقدرتها على إيجاد الوقت، لكنه لم يسد الفجوة بين هاتين المهارتين. وحتى عندما زودوا النماذج بصور ذات دقة أعلى، تمكنت من تحديد الكائن بشكل أفضل، لكنها ظلت تكافح لتحديد متى ظهر بالضبط. زادت الصعوبة مع زيادة الوقت المنقضي بين الحدث والسؤال. وبينما يستطيع البشر تذكر الأحداث من ثماني دقائق سابقة بنفس الدقة تقرياً كما هو الحال مع أحداث وقعت قبل ثوانٍ معدودة، تراجع أداء النماذج تدريجياً مع اتساع فجوة الذاكرة.
ولعل الأمر الأكثر دلالة كان اكتشافاً حول كيفية تقديم المعلومات للنماذج. وجد الباحثون أن مجرد إخبار النموذج بالرمز الزمني الدقيق لكل إطار فيديو أحدث فرقاً هائلاً في قدرته على إيجاد الدليل، وهو أمر يفوق بكثير مجرد جعل النموذج أكبر حجماً. يشير هذا إلى أن الأنظمة الحالية تفتقر إلى وسيلة واضحة لربط ما تراه بالوقت الذي تراه فيه. فبدون هذا الاتصال الصريح، غالباً ما تخمن النماذج الإجابة الصحيحة لأسباب خاطئة، أو تجد اللحظة الصحيحة في الفيديو لكنها تفشل في استخراج التفصيل الصحيح منها.
خلص الباحثون إلى أنه بينما يقطع الذكاء الاصطناعي أشواطاً في فهم الفيديوهات الطويلة، فإنه لم يتقن بعد فن الذاكرة المرتبطة بالواقع (grounded memory). فالأنظمة الحالية يمكنها التفكير في الماضي ويمكنها تحديد اللحظات الزمنية، لكنها لا تستطيع بعد دمج هاتين القدرتين معاً بموثوقية الإنسان. يوفر هذا المعيار الجديد هدفاً واضحاً للتطوير المستقبلي، موضحاً أن الجيل القادم من المساعدين الذكيين القابلين للارتداء سيحتاج إلى ما هو أكثر من مجرد قوة معالجة أفضل؛ سيحتاجون إلى طريقة جديدة جذرياً لترسيخ أفكارهم في الواقع البصري للحظة الراهنة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.