💻 computer science

Towards Multimodal Lifelong Understanding: A Dataset and Agentic Baseline

تقدم هذه الورقة MM-Lifelong، وهو عبارة عن مجموعة بيانات واسعة النطاق من لقطات الحياة اليومية الطبيعية وغير المكتوبة التي تمتد لفترة تصل إلى شهر، وتقترح الوكيل متعدد الوسائط المتكرر (ReMA) للتغلب على قيود الذاكرة العاملة والتحديد الموضعي للنماذج الحالية في الفهم متعدد الوسائط طويل الأمد.

المؤلفون الأصليون: Guo Chen, Lidong Lu, Yicheng Liu, Liangrui Dong, Lidong Zou, Jixin Lv, Zhenquan Li, Xinyi Mao, Baoqi Pei, Shihao Wang, Zhiqi Li, Karan Sapra, Fuxiao Liu, Yin-Dong Zheng, Yifei Huang, Limin Wang, Zhidi

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Guo Chen, Lidong Lu, Yicheng Liu, Liangrui Dong, Lidong Zou, Jixin Lv, Zhenquan Li, Xinyi Mao, Baoqi Pei, Shihao Wang, Zhiqi Li, Karan Sapra, Fuxiao Liu, Yin-Dong Zheng, Yifei Huang, Limin Wang, Zhiding Yu, Andrew Tao, Guilin Liu, Tong Lu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: من "المقاطع القصيرة" إلى "حياة كاملة"

تخيل أنك تحاول فهم حياة شخص ما.

الطريقة القديمة (الذكاء الاصطناعي الحالي): معظم نماذج الذاء الاصطناعي اليوم تشبه الأشخاص الذين يشاهدون فقط إعلانات الأفلام. إنهم يشاهدون مقاطع مدتها 30 ثانية، يفهمون ما حدث في تلك الدقيقة، ثم ينسون كل شيء. هم بارعون في الإجابة على سؤال مثل: "ما كان لون السيارة في هذا المقطع الذي مدته 5 ثوانٍ؟" لكنهم سيئون للغاية في الإجابة على: "ماذا أكل هذا الشخص في وجبة الإفطار قبل ثلاثة أسابيع؟"
المشكلة: الحياة الواقعية ليست إعلاناً لفيلم. إنها تدفق مستمر مع فجوات ضخمة. أنت تنام، تذهب للعمل، تسافر، ولا تسجل كل ثانية. يصاب الذكاء الاصطناعي الحالي بالارتباك عندما يُسأل عن أشياء من أيام أو شهور مضت لأنه يحاول استيعاب الفيديو بأكره في عقله دفعة واحدة، مما يؤدي إلى تعطل النظام أو الهلوسة (اختلاق معلومات).

الحل: MM-Lifelong (مجموعة بيانات "سجل الحياة")

أنشأ الباحثون مجموعة بيانات جديدة تسمى MM-Lifelong. اعتبر هذه المجموعة بمث $^{**مذكرات ضخمة وفوضوية**}$ مكونة من الفيديو.

بدلاً من عرض فيلم مدته 10 دقائق فقط على النموذج، أعطوه:

مقياس اليوم: يوم كامل للاعب فيديو جيم (24 ساعة من اللعب المتواصل).
مقياس الأسبوع: أسبوع من الحياة اليومية لشخص ما من كاميرته الخاصة (نوم، أكل، عمل).
مقياس الشهر: 51 يوماً من حياة "ستريمر" (بث مباشر)، ولكن مع فجوات ضخمة (يبث لمدة 10 ساعات، ثم يختفي لمدة 3 أيام، ثم يعود).

التحدي الرئيسي: تجبر مجموعة البيانات الذكاء الاصطناعي على التعامل مع "الوقت المفقود". يجب على الذكاء الاصطناعي أن يتذكر أنه في اليوم الأول، اشترى الستريمر قبعة حمراء، وفي اليوم 15، ارتدى نفس القبعة الحمراء، رغم وجود 13 يوماً من "الشاشة السوداء" (الوقت غير المسجل) بينهما.

الفشلان الكبيران للذكاء الاصطناعي الحالي

اختبرت الورقة البحثية أذكى نماذج الذكاء الاصطناعي المتاحة ووجدت طريقتين يفشل فيهما في مهمة "سجل الحياة":

"حقيبة الظهر المكتظة" (عنق زجاجة الذاكرة العاملة):
تخيل أنك تحاول حمل حقيبة ظهر مليئة بـ 100 ساعة من الفيديو. كلما أضفت المزيد من الفيديو، تصبح الحقيبة ثقيلة وممتلئة لدرجة أنك لا تستطيع التفكير بعد الآن. يحاول الذكاء الاصطناعي قراءة الفيديو بالكامل دفعة واحدة، فيغمره "الضجيج" (التفاصيل غير المهمة)، ويبدأ في التخمين. الأمر يشبه محاولة العثة إبرة في كومة قش عبر التحديق في كومة القش بأكملها مرة واحدة؛ ستصاب بالدوار فقط.
"الضياع في المكتبة" (انهيار التحديد العالمي):
تخيل ذكاءً اصطناعياً يحاول العثد على كتاب معين في مكتبة بحجم مدينة. إذا حاول المرور عبر كل ممر (كل إطار في الفيديو) للعثور على الكتاب، فسيضيع. غالباً ما تستسلم نماذج "الوكيل" (Agents) - وهي روبوتات تحاول البحث - عندما يكون الجدول الزمني طويلاً ومتفرقاً.

البطل: ReMA (الأمين الذكي على المكتبة)

لإصلاح ذلك، بنى المؤلفون نظاماً جديداً يسمى ReMA (الوكيل متعدد الوسائط المتكرر).

بدلاً من محاولة حمل المكتبة بأكملها في رأسه، يعمل ReMA مثل أمين مكتبة ذكي جداً يمتلك نظام أرشفة.

كيف يعمل:
1. التلخيص: يشاهد الفيديو في أجزاء ويكتب ملخصاً ذكياً لما حدث، ويضعه في "بنك الذاكرة" (مثل خزانة الملفات).
2. السؤال والبحث: عندما تسأله سؤالاً ("أين غنى الستريمر تلك الأغنية؟")، فإنه لا يعيد مشاهدة الفيديو بالكامل. بل يتحقق من خزانة ملفاته أولاً.
3. التقريب (Zoom In): إذا لم يكن الملخص كافياً، فإنه يعود ويشاهد فقط المقطع المحدد (الـ 5 دقائق) الذي ربما عُزفت فيه الأغنية.
4. التحديث: يقوم بتحديث ملاحظاته ويحاول مجدداً.

التشبيه:

الذكاء الاصطناعي القديم: يحاول حفظ كل كلمة في كتاب مكون من 1000 صفحة للإجابة على سؤال واحد. يصاب بصداع ويعطي إجابة خاطئة.
ReMA: يقرأ الكتاب، ويكتب فهرساً مفصلاً وملاحظات ملخصة، وعندما تسأله سؤالاً، يبحث عن رقم الصفحة في الفهرس، ثم يقلب إلى تلك الصفحة ويقرأ تلك الفقرة فقط.

النتائج

عندما اختبروا هذا "الأمين" الجديد (ReMA) مقابل "حاملي حقائب الظهر" (الذكاء الاصطناعي القياسي):

الذكاء الاصطناعي القياسي: أجاب على حوالي 15% من الأسئلة بشكل صحيح. كانوا في الغالب يخمنون.
ReMA: أجاب على حوالي 18-19% من الأسئلة بشكل صحيح.
لماذا 19% أفضل؟ في مهمة صعبة كهذه (البحث عن إبر في كومة قش من 100 ساعة فيديو)، فإن القفز من 15% إلى 19% يعد قفزة هائلة. هذا يثبت أن تنظيم الذاكرة أكثر أهمية من مجرد امتلاك "دماغ أكبر".

الخلاصة

تعلمنا هذه الورقة البحثية أنه لبناء ذكاء اصطناعي يمكنه حقاً فهم حياتنا (مثل مساعد شخصي يتذكر عاداتنا من الشهر الماضي)، لا يمكننا فقط جعل الذكاء الاصطناعي "ينظر" إلى المزيد من الفيديو. بل يجب أن نعلمه كيف يدون الملاحظات، وينظم ذكرياته، ويعرف متى يبحث عن المعلومات القديمة.

نحن بحاجة إلى ذكاء اصطناعي لا يكتفي بـ "رؤية" العالم فحسب، بل يعيش فيه من خلال بناء قصة مستمرة ومنظمة لما حدث، حتى عندما تكون الكاميرا مغلقة.

1. تعريف المشكلة: الفجوة في الفهم طويل الأمد (Lifelong Understanding)

تتناول الورقة البحثية قصوراً حرجاً في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) ومعايير فهم الفيديو الحالية. فبينما توسعت قواعد البيانات الموجودة لتشمل مقاطع فيديو مدتها ساعات، إلا أنها تتكون عادةً من مقاطع فيديو متتالية بكثافة، مما يفشل في تمثيل الحياة اليومية الطبيعية وغير المكتوبة.

يقدم المؤلفون تمييزاً رسمياً بين مقياسين لتحديد "الأفق طويل الأمد" (Lifelong Horizon):

مدة الملاحظة ( $T_{dur}$ ): مجموع وقت تشغيل الفيديو الفعلي.
النطاق الزمني الفيزيائي ( $T_{span}$ ): إجمالي الوقت الكرونولوجي الذي تغطيه مجموعة البيانات (من البداية إلى النهاية).

المشكلة الجوهرية: تعمل قواعد البيانات التقليدية في نظام يكون فيه $T_{span} \approx T_{dur}$ (مقاطع كثيفة). أما الفهم طويل الأمد في العالم الحقيقي فيتطلب التنقل في نظام يكون فيه $T_{span} \gg T_{dur}$ (ندرة زمنية عالية). يجب على النماذج سد "الفجوات غير المرصودة" (مثل النوم، السفر، أو الأيام الفاصلة بين الأحداث) والتعامل مع تغير المفاهيم (concept drift) عبر أسابيع أو أشهر. وتفشل النماذج الحالية هنا بسبب:

اختناق الذاكرة العاملة (Working Memory Bottleneck): تعاني النماذج اللغوية الكبيرة متعددة الوسائط (End-to-end MLLMs) من تشبع السياق وتراكم الضجيج عند تغذيتها بتدفقات ضخمة، مما يؤدي إلى تدهور الأداء.
انهيار التحديد الموضعي العالمي (Global Localization Collapse): تواجه النماذج الوكيلية (Agentic baselines) صعوبة في التنقل عبر جداول زمنية متفرقة تمتد لشهور، وتفشل في استرجاع أدلة محددة من مسافات زمنية شاسعة.

2. المنهجية

أ. مجموعة بيانات MM-Lifelong

لسد هذه الفجوة، قدم المؤلفون MM-Lifelong، وهي مجموعة بيانات متعددة المقاييس تتكون من 181.1 ساعة من اللقطات المهيكلة عبر ثلاثة مقاييس زمنية لمحاكاة عشوائية (entropy) الحياة المستمرة:

مقياس اليوم (رحلة اللاعب - Gamer's Journey): حوالي 24 ساعة من تتبع أسلوب اللعب المستمر لمراقبة مخزون الشخصية (avatar) ومهاراتها.
مقياس الأسبوع (حياة منظور الشخص الأول - Egocentric Life): حوالي 7 أيام من الروتين اليومي وتفاعلات المنزل من منظور الشخص الأول.
مقياس الشهر (البث المباشر - Live Stream): حوالي 51 يوماً من البث المباشر غير المكتوب (IRL) لتتبع تنقلات مقدم البث، الأحداث الاجتماعية، وصناعة المحتوى.

الميزات الرئيسية:

الترميز القائم على الأدلة (Clue-Grounded Annotation): على عكس أزواج السؤال والجواب القياسية، يتم ترميز كل سؤال بأدلة سببية (Causal Clues) محددة (فترات الفيديو التي تحتوي على الدليل البصري).
أنواع المهام:
- الإبرة في مجرى الحياة (Needle-in-a-Lifestream): تحديد الأحداث العابرة ومنخفضة التكرار في بث مستمر يتجاوز 100 ساعة.
  ما يتطلب تجميع المعلومات عبر فترات منفصلة تفصل بينها أيام.
- الاستدلال متعدد الخطوات (Multi-Hop Reasoning).
تقسيم صارم (Rigorous Splits): تستخدم مجموعة البيانات التقسيم الزمني (فرز حسب موقع الدليل) لمنع تسرب البيانات (data leakage)، مما يضمن وجوب تعميم النماذج من التجارب المبكرة إلى الأجزاء المستقبلية غير المرئية.

ب. الوكيل متعدد الوسائط التكراري (ReMA)

لمعالجة قيود المعالجة الشاملة (end-to-end)، يقترح المؤلفون ReMA، وهو نموذج وكيل يعمل كمعيار مرجعي، يعامل تدفق الفيديو كقاعدة معرفة نشطة بدلاً من مدخل ثابت.

البنية:
يعمل ReMA في مرحلتين باستخدام استراتيجية إدارة الذاكرة الديناميكية:

مرحلة الإدراك (Perception Phase): يتم تقسيم الفيديو المدخل إلى مقاطع ( $\Delta t$ ). تقوم أداة إدراك سلبية (MMInspect) باستخراج ملخصات متعددة الوسائط، والتي يتم دمجها تدريجياً في بنك الذاكرة ( $B$ ) عبر وحدة MemManage. وهذا ينشئ حالة اعتقاد مدمجة ومعززة لغوياً.
مرحلة التحكم (Control Phase): يقوم متحكم (LLM) بالاستدلال بشكل تكراري على استعلام المستخدم وبنك الذاكرة. ويختار عمليات أولية منفصلة:
- الإجابة (Answer): إنهاء العملية وإخراج النتيجة.
- الفحص متعدد الوسائط (MMInspect): إعادة فحص فترات زمنية محددة للحصول على أدلة دقيقة.
- البحث في الذاكرة (MemSearch): استرجاع وتلخيص المدخلات ذات الصلة من بنك الذاكرة.

تسمح هذه الحلقة التكرارية للوكيل بصقل حالة اعتقاده، مما يدير "اختناق الذاكرة العاملة" بفعالية عبر نقل التخزين طويل الأمد إلى بنك ذاكرة مهيكل مع الحفاظ على سياق نافذة العمل ضمن حدود معقولة.

3. المساهمات الرئيسية

التعريف الرسمي للأفق طويل الأمد (Lifelong Horizon): وضع التمييز بين $T_{dur}$ و $T_{span}$ ، وتحديد التحديات الفريدة للندرة الزمنية العالية ( $T_{span} \gg T_{dur}$ ).
مجموعة بيانات MM-Lifelong: معيار شامل يحتوي على 181.1 ساعة من المحتوى المتنوع، و1,289 سؤالاً قائماً على الأدلة، وتقسيمات صارمة للتدريب والتحقق والاختبار مصممة لعزل الانحيازات الزمنية والمجالية.
النموذج المرجعي ReMA: إطار عمل وكيل مبتكر يتفوق على النماذج اللغوية الكبيرة متعددة الوسائط (end-to-end) والوكلاء الفيديو الحاليين من خلال الاستدلال التكراري وإدارة الذاكرة الديناميكية.
مقاييس تقييم جديدة: تقديم Ref@N، وهو مقياس كمي لتقاطع الاتحاد الزمني (Intersection over Union) لتقييم التأسيد (grounding) في التدفقات الطويلة جداً حيث يفشل مقياس IoU القياسي بسبب المقياس.

4. النتائج التجريبية

تقيم الورقة نماذج مختلفة من أحدث التقنيات على MM-Lifelong:

النماذج اللغوية الكبيرة متعددة الوسائط (End-to-End MLLMs): تظهر نماذج مثل GPT-5 وQwen3-VL وVideoXL نقطة تشبع. فمع زيادة طول السياق، يتذبذب الأداء أو يتدهور بسبب الضجيج. وبينما تحقق دقة هامشية (~15%)، فإن درجات التأسيد (Ref@300) لديها تقترب من الصفر، مما يشير إلى أنها تعتمد على الأوليات الدلالية بدلاً من الأدلة البصرية.
النماذج الوكيلية الحالية (Existing Agentic Baselines): تعاني نماذج مثل VideoMind وLongVT من "انهيار التحديد الموضعي العالمي"، وتفشل في الحفاظ على التماسك عبر الفترات التي تمتد لشهور.
أداء ReMA:
- الدقة (Accuracy): يحقق ReMA أعلى دقة عبر جميع التقسيمات (مثلاً 18.62% في Val@Month مقابل ~15% لأفضل MLLM).
- التأسيد (Grounding): يحقق ReMA درجة Ref@300 مهيمنة تبلغ 16.37%، متفوقاً بشكل كبير على جميع النماذج المرجعية (حيث يبلغ أفضل نموذج تالٍ ~8% لـ DeepVideoDiscovery).
- دراسة الاستئصال (Ablation):
  - العمق التكراري (Recursive Depth): يصل الأداء إلى ذروته عند 3-4 جولات استدلال.
  - الدقة (Granularity): تؤدي فترات الإدراك الأكثر دقة (2-5 دقائق) إلى نتائج أفضل من معالجة الفيديوهات الكاملة.
  - المتحكم (Controller): تتفوق النماذج اللغوية الكبيرة (MLLMs) بشكل كبير على المتحكمات النصية فقط كـ "عقل"، مما يؤكد الحاجة إلى المحاذاة متعددة الوسائط في التخطيط.

5. الأهمية والتوجهات المستقبلية

يمثل هذا العمل تحولاً في النموذج من التوسع السلبي للسياق (مجرد جعل نوافذ السياق أكبر) إلى وكلاء الذاكرة النشطة والمستمرة.

الأثر النظري: يوضح أن مجرد زيادة حجم نوافذ السياق في النماذج اللغوية الكبيرة (MLLM) يصطدم بـ "اختناق الذاكرة العاملة" بسبب الضجيج والأعباء الحسابية. الفهم الحقيقي طويل الأمد يتطلب إدارة ذاكرة ديناميكية واستدلالاً تكرارياً.
الأثر العملي: توفر مجموعة بيانات MM-Lifelong بيئة اختبار صارمة لتطوير مساعدي الذكاء الاصطناي الذين يمكنهم "العيش" بجانب المستخدمين لفترات ممتدة، والتعامل مع تغير المفاهيم، وسد الفجوات الزمنية غير المرصودة.
العمل المستقبلي: يقترح المؤلفون ضرورة تركيز الأبحاث المستقبلية على تحسين طبقات تنسيق الذاكرة واستكشاف كيفية تأثير الفترات غير المرصودة (الفجوات) على الأحداث المرصودة، والانتقال من مجرد الاسترجاع إلى الاستدلال السببي عبر الزمن.

في الختام، تجادل الورقة بأن طريق الفهم الحقيقي طويل الأمد متعدد الوسائط لا يكمن في النماذج الأكبر، بل في الأطر الوكيلية (Agentic Frameworks) التي يمكنها بنشاط تنظيم واسترجاع والاستدلال فوق الذكريات متعددة الوسائط الطويلة والمتفرقة والمتطورة.