Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval
تقترح الورقة البحثية "الذاكرة الوكيلة البصرية" (VAM)، وهي إطار عمل خالٍ من التدريب يعزز فهم الفيديوهات الطويلة عبر الإنترنت من خلال الفهرسة الانتقائية، والتنظيم الهرمي للذاكرة، والاسترجاع الوكيلي، محققةً أداءً هو الأفضل في فئته على اختبارات معيارية مثل OVO-Bench وMM-Lifelong عبر التعامل مع الذاكرة البصرية كركيزة صريحة، وقابلة للفحص، وقابلة للاستعلام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تذكر كل ما حدث خلال عطلة استمرت 50 يومًا. إذا حاولت الاحتفاظ بكل ثانية من الفيديو في رأسك دفعة واحدة، فسوف ينهار دماغك. وإذا تذكرت "الجوهر" فقط (مثل: "ذهبنا إلى الشاطئ")، فقد تنسى اللحظة المحددة التي أسقطت فيها الآيس كريم الخاص بك، مما يجعل من المستحيل إثبات متى حدث ذلك بالضبط.
تقدم هذه الورقة البحثية الذاكرة البصرية الوكيلية (Visual Agentic Memory - VAM)، وهي طريقة جديدة لتمكين الحواسيب من التعامل مع الفيديوهات الطويلة دون الشعء بالارتباك أو فقدان الحقيقة. فكر في VAM ليس كقرص صلب ضخم يخزن كل شيء، بل كـ أمين مكتبة ذكي ونشط يشاهد بث الفيديو في الوقت الفعلي ويبني لك مكتبة قابلة للبحث.
إليك كيف يعمل هذا النظام، مقسمًا إلى ثلاثة أجزاء بسيطة:
1. "المصفاة الذكية" (الفهرسة عبر الإنترنت - Online Indexing)
تخيل حارس أمن عند مدخل متحف. معظم الناس يمرون فقط وهم يفعلون الشيء نفسه (مثل الوقوف ساكنين أو المشي ببطء). الحارس لا يحتاج إلى التقاط صورة لكل شخص يمر.
- ما تفعله VAM: بينما يعمل الفيديو، تعمل VAM مثل هذا الحارس. فهي تتجاهل الإطارات الضبابية أو اللحظات التي لا يتغير فيها شيء (التكرار). هي فقط "تلتقط صورة" (تخزن إطارًا) عندما يحدث شيء جديد أو مهم.
- النتيجة: بدلاً من تخزين ملايين الإطارات، تحتفظ فقط بالأكثر إثارة للاهتمام، مثل شريط لأبرز اللحظات ولكن مع الاحتفاظ بالأدلة الأصلية عالية الجودة.
2. "خزانة الملفات المنظمة" (الذاكرة الهرمية - Hierarchical Memory)
الآن بعد أن جمع أمين المكتبة الصور، كيف ينظمها؟ لا يمكنك مجرد رميها في كومة.
- ما تفعله VAM: تقوم بتجميع هذه الصور في "أحداث" (مثل فصول الكتاب).
- الملخص: لكل فصل، تكتب ملخصًا نصيًا قصيرًا (مثل: "عقد الفريق اجتماعًا في الساعة 2 ظهرًا"). هذا يساعدك على العثور على الفصل الصحيح بسرعة.
- الدليل: والأهم من ذلك، أنها تحتفظ أيضًا بالصور الفعلية من ذلك الفصل في مجلد منفصل.
- التشبيه: الأمر يشبه امتلاك جدول محتويات (الملخص) يشير إلى الصفحة المحددة (الصور الأصلية) حتى تتمكن من التحقق من التفاصيل بنفسك. هذا يمنع الكمبيوتر من التخمين بناءً على ملخص مضغوط.
3. "الوكيل المحقق" (الاسترجاع الوكيلي - Agentic Retrieval)
عندما تطرح سؤالاً (مثل: "ما كان لون السيارة عندما تحطمت؟")، قد يقوم ذكاء اصطناعي عادي بالتخمين بناءً على ذاكرته. لكن VAM تستخدم محققًا.
- ما تفعله VAM: المحقق لا يجيب فورًا فحسب. بل يتبع عملية صارمة:
- البحث: يبحث في "جدول المحتويات" للعثور على الفصل المناسب.
- الفحص: يستخرج الصور الفعلية من ذلك الفصل للنظر بتمعن في السيارة.
- التحقق: يدقق في الأدلة للتأكد من أنه لا يهذي (لا يختلق معلومات).
- الإجابة: فقط بعد رؤية الدليل، يعطيك الإجابة، مستشهدًا بالضبط بالصورة التي رآها.
- الفائدة: هذا يمنع الذكاء الاصطناعي من اختلاق الأمور. إذا لم يكن الدليل موجودًا، فإن المحقق يعترف بذلك، بدلًا من ابتكار قصة.
لماذا يهم هذا (النتائج)
اختبر المؤلفون هذا النظام في تحديين صعبين للغاية:
- البث في الوقت الفعلي (OVO-Bench): اختبروا ما إذا كان النظام قادرًا على الإجابة على الأسئلة حول فيديو أثناء تشغيله، دون رؤية المستقبل. كانت VAM هي الأفضل في هذا، حيث تفوقت حتى على أقوى نماذج الذكاء الاصطناعي "الكل في واحد".
- الفيديوهات التي تستمر لشهر كامل (MM-Lifelong): اختبروها على فيديو مدته 105 ساعات، تم تسجيله على مدار 51 يومًا. هذا يشبه مشاهدة فيديو لشخص ما طوال شهر ونصف.
- السحر: بينما حاولت الأنظمة الأخرى حفظ كل شيء وفشلت، أو ضغطت البيانات كثيرًا لدرجة فقدان التفاصيل، احتفظت VAM بـ 0.06% فقط من الفيديو الأصلي (حوالي 6,800 صورة من أصل 11 مليون).
- النتيجة: رغم تخزينها لقدر ضئيل جدًا من البيانات، حصلت VAM على ثاني أعلى درجة في هذا الاختبار، مما يثبت أن امتلاك بضع صور جيدة أفضل من امتلاك ذاكرة ضبابية لكل شيء.
الخلاصة
تجادل الورقة بأن فهم الفيديوهات الطويلة لا يتطلب فقط جعل الذكاء الاصطناعي "أذكى" أو إعطاءه ذاكرة أكبر. بدلاً من ذلك، نحتاج إلى إعطائه طريقة منهجية لتخزين وتنظيم والتحقق من أدلته الخاصة.
تعامل VAM الذاكرة البصرية كـ أرشيف قابل للبحث والفحص وليس كمجرد ملخص مضغوط. إنها تسمح للذكاء الاصطناعي بأن يقول: "أنا أعرف الإجابة لأنني نظرت إلى هذا الإطار المحدد"، بدلاً من مجرد التخمين.
ملاحظة: تذكر الورقة صراحة أن هذا النظام حاليًا بصري فقط (لا يتعامل مع الصوت بعد) وأن تخزين الفيديو الخام يثير مخاوف تتعلق بالخصوصية، وهو ما أشار المؤلفون إلى وجوب إدارته بعناية في الاستخدام الواقعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.