💻 computer science

EgoExoMem: Cross-View Memory Reasoning over Synchronized Egocentric and Exocentric Videos

تقدم الورقة البحثية EgoExpMem، وهو أول معيار للاستدلال الذاكراتي عبر الرؤى باستخدام فيديوهات متزامنة من منظور الشخص الأول (egocentric) ومن منظور الشخص الثالث (exocentric)، إلى جانب طريقة E $^2$ -Select الخالية من التدريب التي تستفيد من الإشارات المزدوجة المتكاملة لتحقيق أداء رائد في هذه المهمة الصعبة التي تعاني فيها النماذج الحالية.

المؤلفون الأصليون: Ruiping Liu, Junwei Zheng, Yufan Chen, Di Wen, Shaofang Quan, Chengzhi Wu, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer Stiefelhagen

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruiping Liu, Junwei Zheng, Yufan Chen, Di Wen, Shaofang Quan, Chengzhi Wu, Jiaming Zhang, Kailun Yang, Kunyu Peng, Rainer Stiefelhagen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في مطبخ مزدحم. لديك طريقتان لتذكر ما حدث:

"رؤية الطاهي" (المنظور الذاتي - Egocentric): ترتدي كاميرا "GoPro" على جبهتك. ترى بالضبط ما تفعله يداك، والتوابل التي تلتقطها، والسكين الذي تستخدمه. لكن لا يمكنك رؤية الشخص الواقف خلفك، أو التخطيط الكامل للغرفة.
"رؤية كاميرا المراقبة" (المنظور الخارجي - Exocentric): لديك كاميرا مثبتة في السقف. ترى الغرفة بأكملها، والناس وهم يتحركون، وأين تنتهي الأشياء. لكن لا يمكنك رؤية التفاصيل الدقيقة لما يحمله الطاهي في يده أو تعبير وجهه المحدد.

المشكلة:
لفترة طويلة، قام باحثو الذكاء الاصطناعي ببناء "ذاكرة" للروبوتات بناءً على "رؤية الطاهي" فقط. تجادل الورقة البحثية بأن هذا ليس كافياً. إذا كان لديك "رؤية الطاهي" فقط، فقد تفوتك ملاحظة أن شخصاً ما حرك كرسياً. وإذا كان لديك "كاميرا المراقبة" فقط، فقد تفوتك ملاحظة أن الطاهي قطع البصل إلى قطع صغيرة جداً.

الحل: EgoExoMem
ابتكر المؤلفون "امتحاناً" جديداً يسمى EgoExoMem. وهو عبفر بنك أسئلة ضخم يحتوي على 2,600 سؤال مصممة لخداع الذكاء الاصطناعي. هذه الأسئلة لا يمكن الإجابة عليها إلا إذا دمج الذكاء الاصطناعي بين "رؤية الطاهي" و"رؤية كاميرا المراقبة" في نفس الوقت.

مثال على سؤال: "أين وضع الشخص الثاني الوعاء بعد أن سلمه إياه الطاهي؟"
- رؤية الطاهي ترى عملية التسليم ولكنها تفقد الوعاء بمجرد خروجه من إطار الرؤية.
- كاميرا المراقبة ترى الوعاء وهو يتحرك عبر الغرفة ولكنها قد تفوت اللحظة الدقيقة لعملية التسليم.
- يحتاج الذكاء الاصطناعي إلى كليهما للإجابة بشكل صحيح.

النتائج: لا يزال الذكاء الاصطناعي يعاني
اختبر المؤلفون أذكى نماذج الذكاء الاصطناعي المتاحة (مثل Gemini وغيرها) في هذا الامتحان.

الدرجة: حصل أفضل ذكاء اصطناعي على حوالي 55% من الإجابات الصحيحة. وهذا بالكاد يعتبر درجة نجاح في المرحلة الثانوية.
الدرس المستفاد: حتى أكثر نماذج الذكاء الاصطناعي تقدماً تعاني من أجل "التذكر" و"الاستنتاج" عندما يتعين عليها التعامل مع زاويتين مختلفتين للكاميرا في وقت واحد. غالباً ما يصابون بالارتباك حول أي رؤية يجب الوثوق بها.

الأداة الجديدة: E2-Select
بما أن الذكاء الاصطناعي سيء في النظر إلى كل إطار من فيديوهين طويلين (لأن ذلك يتطلب بيانات ضخمة)، فقد ابتكر المؤلفون صانع "مقاطع مميزة" ذكي يسمى E2-Select.

فكر في الأمر كأنه محرر أفلام عليه قص فيديو مدته 10 دقائق ليصبح 32 ثانية فقط لعرض دعائي لفيلم.

الطريقة القديمة: مجرد اختيار إطارات عشوائياً أو اختيار إطارات تبدو "مهمة" في كاميرا واحدة.
طريقة E2-Select: يعمل كالمحقق. يسأل نفسه: "عما يسأل السؤال؟"
- إذا كان السؤال عن أين يوجد شيء ما في الغرفة، فإنه يختار المزيد من الإطارات من كاميرا المراقبة.
- إذا كان السؤال عن ماذا يحمل الطاهي، فإنه يختار المزيد من الإطارات من كاميرا الطاهي.
- ثم يستخدم خدعة رياضية خاصة (تسمى k-DPP) للتأكد من أن الإطارات المختارة لا تبدو جميعها متشابهة (لتجنب التكرار) وتغطي القصة بأكملها.

النتيجة:
عندما استخدم الذكاء الاصطناعي أداة "المقاطع المميزة" الجديدة هذه، قفزت درجته إلى 58.2%. لا يزال الأمر غير مثالي، لكنه أثبت أن الأداة تعمل بشكل أفضل من الطرق السابقة.

المفاجأة الكبرى (خلل "الشخص الثالث")
وجد الباحثون خللاً غريباً. عندما يتم السؤال عما كان يفعله شخص ثالث (شخص آخر غير مرتدي الكاميرا)، كان أداء الذكاء الاصطناعي في الواقع أفضل عندما نظر فقط إلى "رؤية الطاهي"، رغم أن كاميرا المراقبة ترى الغرفة بأكملها بشكل أفضل.

لماذا؟ اكتشف المؤلفون أن الأسئلة كُتبت بطريقة تجعل الذكاء الاصطناعي يركز على كاميرا المراقبة، بينما كانت الإجابات في الواقع مخفية في رؤية الطاهي. إنه يشبه لغزاً تكون فيه الأدلة في غرفة، لكن الإجابة في غرفة أخرى، مما تسبب في ارتباك الذكاء الاصطناعي. وهذا يوضح أن مجرد امتلاك كاميرتين ليس كافياً؛ بل يحتاج الذكاء الاصطناعي إلى تعلم كيفية مطابقة السؤال مع رؤية الكاميرا الصحيحة.

باختصار:
تقول هذه الورقة البحثية: "يحتاج الروبوتات إلى رؤية العالم من زاويتين لفهمه حقاً. لقد بنينا اختباراً لإثبات أن الروبوتات الحالية سيئة في هذا الأمر، وبنينا أداة جديدة لمساعدتها على اختيار أفضل اللحظات لتذكرها. نحن نقترب من الهدف، ولكن لا يزال هناك الكثير من العمل للقيام به."

ملخص تقني: EgoExoMem

بيان المشكلة

بينما تزداد قدرة النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) على إدراك البيئات المعقدة والاستدلال عنها، لا تزال أطر الذاكرة الحالية للوكلاء المجسدين (embodied agents) محدودة بشكل جوهري باعتمادها على الملاحظات من منظور الشخص الأول (egocentric) فقط. تخلق هذه الرؤية الأحادية نقاط عمياء فيما يتعلق بالمناطق خارج نطاق الرؤية، والعلاقات المكانية، وتفاعلات الوكلاء الآخرين داخل مساحة مشتركة. وعلى الرغم من أن البشر يشفرون تجاربهم بشكل طبيعي من منظور كل من "الميدان" (المنظور الأول) و"المراقب" (المنظور الثالث) لدعم الوعي بالموقف، إلا أن الاختبارات والأساليب الحالية تعامل هذه الرؤى بشكل مستقل أو تركز على نقل المعرفة أحادي الاتجاه. هناك نقص في التقييم المعياري لـ الاستدلال عبر ذاكرة الرؤى المتقاطعة (cross-view memory reasoning)، حيث يتعين على الوكيل دمج تدفقات فيديو متزامنة من المنظور الشخصي (egocentric) ومنظور المراقب (exocentric) للإجابة على أسئلة لا يمكن حلها من أي منظور بمفرده.

المنهجية

1. معيار EgoExoMem

يقدم المؤلفون EgoExoMem، وهو أول معيار مصمم لتقييم الاستدلال القائم على الذاكرة عبر فيديوهات متزامنة من منظور الشخص الأول ومن منظور المراقب.

مصدر البيانات: يستخدم المعيار 390 فيديو متزامنًا من مجموعتي بيانات LEMMA و EgoExo4D، مع التركيز على سيناريوهات تتضمن تفاعلاً بيئياً كبيراً (الطهي وإصلاح الدراجات الهوائية) وأنشطة متعددة الوكلاء.
تعريف المهمة: يتكون المعيار من 2,600 سؤال اختيار من متعدد (MCQ) تم التحقق منها بشرياً، مصنفة إلى ثمانية أنواع متميزة من الاستدلال:
1. الموقع المعتاد (HL): الاحتفاظ بالخريطة المكانية المستمرة.
2. الموقع اللحظي (IP): الربط بين الفعل من منظور الشخص الأول والموقع الخارجي (allocentric).
3. الموقع الناتج (RL): تتبع موقع الكائن بعد المعالجة عبر حدود الأحداث.
4. الاتجاه من منظور الشخص الأول (ED): الوعي المكاني الدقيق بالنسبة لمرتدي الكاميرا.
5. حالة الكائن (OS): تحديد الحالات الفيزيائية للكائنات التي تمت معالجتها.
6. العلاقة الخارجية (AR): العلاقات المكانية بين الكائنات من منظور الشخص الثالث.
7. نشاط الشخص الثالث (TPA): التتبع المكاني المتزامن لعدة وكلاء.
8. الترتيب الزمني (TO): استرجاع تسلسل الخطوات الإجرائية الفرعية.
ضبط الجودة: يضمن مسار العمل الصارم جودة البيانات، بما في ذلك التحرير البشري لتصحيح حالات الغموض، و"فحص النص فقط" باستخدام GPT-4o لضمان أن الأسئلة تعتمد حصرياً على الرؤية (إزالة الإجابات القائمة على المنطق العام).

2. طريقة E2-Select: اختيار الإطارات

لمعالجة تحدي استرجاع المعلومات ذات الصلة من تدفقات فيديو مزدوجة ومتزامنة وغير متماثلة، يقترح المؤلفون E2-Select، وهي طريقة لاختيار الإطارات لا تتطلب تدريباً. وخلافاً للأساليب السابقة التي تعامل الرؤى بشكل مستقل أو تستخدم الاختيار القاطع، صُممت E2-Select للتعامل مع عدم تماثل الرؤية والاتساق الزمني عبر الرؤى من خلال ثلاث مراحل:

تسجيل النقاط المستقل للرؤية: يتم حساب صلة إطار الاستعلام لكل من رؤية الشخص الأول ورؤية المراقب بشكل منفصل باستخدام تشابه جيب التمام لنموذج CLIP. وهذا يمنع الرؤية المهيمنة من طغيان الرؤية الأخرى أثناء الاسترجاع المشترك.
تخصيص الميزانية بناءً على الصلة: يتم تخصيص إجمالي ميزانية الإطارات ( $K$ ) بشكل متناسب مع درجات الصلة المجمعة لكل رؤية. يسمح هذا للنظام بتفضيل الرؤية الأكثر صلة باستعلام محدد ديناميكياً مع الحفاظ على توازن مرن.
أخذ العينات باستخدام k-DPP لكل رؤية: لتقليل التكرار الزمني داخل كل رؤية، تستخدم الطريقة عمليات النقطة المحدد لـ k (k-DPP). يضمن ذلك أن تكون مجموعة الإطارات المختارة ذات صلة بالاستعلام ومتنوعة بصرياً، مما يعظم الحجم الذي تغطيه تمثيلات الإطارات (embeddings) في فضاء الميزات.
الدمج المرتب زمنياً: يتم دمج الإطارات المختارة من كلا الرؤيتين زمنياً للحفاظ على البنية الزمنية لتدفق الذاكرة المتزامن.

النتائج الرئيسية

أداء النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)

تكشف التقييمات المكثفة للنماذج المملوكة (Gemini 2.5 Flash) والنماذج مفتوحة المصدر (InternVL3.5, LLaVA-OV, Qwen2.5-VL) عن تحديات كبيرة:

التكامل (Complementarity): يؤدي دمج رؤيتي الشخص الأول والمراقب باستمرار إلى تفوق أفضل من مدخلات الرؤية الواحدة عبر جميع النماذج. على سبيل المثال، تحسن نموذج Gemini 2.5 Flash من 52.2% (للرؤية الأولى) و 49.5% (للرؤية الخارجية) إلى 55.3% عند استخدام (Ego+Exo).
قصور النماذج: حتى أفضل النماذج أداءً حقق دقة 55.3% فقط، مما يشير إلى أن نماذج MLLM الحالية تواجه صعوبة في الاستدلال الشامل عبر الرؤى المتقاطعة.
تفضيلات الرؤية: تظهر أنواع معينة من الأسئلة (QA) تبعية متميزة للرؤية. فمثلة الموقع اللحظي تفضل الرؤى الخارجية، بينما تفضل الاتجاه من منظور الشخص الأول الرؤى من منظور الشخص الأول. ومن المثير للاهتمام أن نشاط الشخص الثالث أظهر تفضيلاً غير متوقع للرؤية من منظور الشخص الأول في النماذج المرجعية، وهو ما يعزوه المؤلفون إلى عدم التطابق بين صياغة السؤال وتأسيس الإجابة.

أداء E2-Select

تُظهر E2-Select أداءً هو الأفضل حالياً (state-of-the-art) بين استراتيجيات استرجاع الذاكرة:

المقارنة المرجعية: تحقق E2-Select متوسط دقة قدره 58.2%، متفوقة على طرق اختيار الإطارات الحالية (AKS, BOLT)، واسترجاع النصوص (BM25, DPR)، والأساليب القائمة على الرؤية (VideoRAG).
دراسات الاستئصال (Ablation Studies): تؤكد الدراسة أن أخذ العينات باستخدام k-DPP أكثر فعالية في التكامل عبر الرؤى من طرق تقدير البنية الزمنية (مثل AKS/BOLT) التي تتدهور تحت تأثير تخصيص الميزانية عبر الرؤى. علاوة على ذلك، فإن التخصيص المرن (القائم على الصلة) يتفوق بشكل كبير على الاختيار القاطع للرؤية، مما يثبت ضرورة استخدام الأدلة المتكاملة من كلا التدفقين.

الأهمية والادعاءات

يزعم البحث أن EgoExoMem يسد فجوة حرجة في أبحاث الذكاء الاصطناو المجسد من خلال إنشاء أول معيار لـ الاستدلال عبر ذاكرة الرؤى المتقاطعة. وتكمن أهميته في:

إثبات عدم كفاية الرؤى الأحادية: يوفر دليلاً تجريبياً على أن ذاكرة منظور الشخص الأول وحدها غير كافية للفهم المكاني والزماني الشامل، مما يستلزم دمج الملاحظات الخارجية.
تسليط الضوء على القيود الحالية: إن الأداء المنخفض لنماذج MLLM المتطورة (بحد أقصى 55.3%) يؤكد تعقيد المهمة والحاجة إلى آليات ذاكرة متخصصة.
تقديم E2-Select: توفر الطريقة المقترحة حلاً بسيطاً وفعالاً لا يتطلب تدريباً لاختيار إطارات الرؤية المزدوجة الذي يعالج صراحةً عدم تماثل الرؤية والاتساق الزمني، محققةً مستوى جديداً من الأداء بنسبة 58.2%.
كشف الصراعات النظامية: يسلط تحليل حالات الفشل، وخاصة "صراع تفضيل الرؤية" في أسئلة نشاط الشخص الثالث، الضوء على تحدٍ دقيق حيث قد تختلف الرؤية الأكثر صلة بالسؤال عن الرؤية الأكثر صلة بالإجابة، مما يحفز العمل المستقبلي على توجيه الاستعلام والإجابة المشترك عبر الرؤى.

يضع المؤلفون EgoExoMem و E2-Select كموارد أساسية للتقدم في مجال الاستدلال عبر ذاكرة الرؤى المتقاطعة في الذكاء المجسد، لا سيما للتطبيقات في مجالات الرعاية الصحية، والمنازل الذكية، وبيئات الوكلاء المتعددين حيث يتطلب الأمر وعياً شاملاً بالموقف.