ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding
يُعد ObjectStream إطار عمل لا يتطلب تدريباً يعمل على تعزيز فهم الفيديو المتدفق من خلال تنظيم تمثيلات نماذج الفيديو اللغوية الكبيرة (Video-LLM) المجمدة في مراسي كائنات كامنة مستمرة، مما يتيح استنتاجاً عالي الأداء وفعالاً حول تاريخ الكائنات وتفاعلاتها مع تقليل استخدام الذاكرة وعدد الرموز (tokens) بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد بثاً مباشراً لشارع مزدحم في مدينة ما. سيارات تمر مسرعة، وأشخاص يعبرون الطريق، وطائر يحط على عمود إنارة. الآن، تخيل أنك روبوت يحاول الإجابة عن أسئلة حول هذا الشارع، لكنك لا تستطيع إلا تذكر جزء ضئيل جداً مما تراه في أي لحظة واحدة. إذا سألك أحدهم: "ما كان لون السيارة التي مرت قبل عشر دقائق؟" أو "هل أسقط ذلك الشخص مفاتيحه؟"، فقد تكون ذاكرتك جداراً فارغاً. هذا هو تحدي فهم الفيديو المتدفق (Streaming Video Understanding). إنه فرع من فروع الذكاء الاصطناعي حيث تحاول الحواسيب فهم الفيديو الذي يصل في الوقت الفعلي، مثل البث المباشر، بدلاً من فيلم يمكن إيقافه وإعادة تشغيله. المشكلة الكبيرة هي أن الفيديو ضخم؛ إنه فيض من البيانات المرئية. إذا حاول الكمبيوتر حفظ كل إطار بمفرده، فسينفد من الذاكرة (مساحة دماغه) ويصبح بطيئاً جداً في الإجابة على الأسئلة بسرعة. لذا، يتعين على العلماء اكتشاف كيفية التخلص من الأجزاء المملة (مثل السماء الفارغة) والاحتفاظ بالأجزاء المهمة (مثل كلب يتحرك) دون فقدان القصة.
هنا يأيد ObjectStream، وهو أسلوب جديد يعمل كأمين مكتبة فائق التنظيم لذاكرة الروبوت. فبدلاً من محاولة تذكر كل بكسل في تدفق الفيديو، يقرر ObjectStream تذكر "الأشياء" (Objects) باعتبارها الشخصيات الرئيسية في القصة. فكر في الأمر بهذه الطريقة: إذا كنت تصف حفلة صاخبة لصديق، فلن تسرد كل شخص مر عبر الباب، بل ستتتبع "اللاعبين الرئيسيين" — مثل منسق الموسي DJ، والشخص الذي يرقص فوق الطاولة، والرجل ذو القبعة الحمراء. يفعل ObjectStream ذلك تماماً بالنسبة للروبوتات؛ فهو ينظر إلى بيانات الفيديو المجمدة ويقول: "مهلاً، تلك الرقعة من البكسلات تبدو كأنها كوب"، ثم يحتفظ بمذكرات مستمرة لهذا الكوب. إنه يتتبع أين يذهب الكوب، وما إذا كان قد سقط، أو إذا اختفى. لا يحتاج إلى توظيف فريق منفصل من الخبراء (مثل كواشف الأشياء الخارجية) للعثور على هذه العناصر؛ بل يستنتج ذلك بنفسه باستخدام دماغ الروبوت الحالي.
يقدم البحث نظاماً ذكياً يتكون من ثلاثة أجزاء لإدارة هذه الذاكرة. أولاً، يقوم بإنشاء "مرتكزات الأشياء الكامنة" (Latent Object Anchors). تخيل هذه المرتكزات كقصاصات ملاحظات لاصقة تلصقها على الأشياء المهمة في الفيديو. ومع استمرار تشغيل الفيديو، يقوم الروبوت بتحديث هذه الملاحظات: "الكوب البرتقالي الآن على الطاولة"، أو "الكوب الأزرق يتم إمساكه". إنه يحتفظ بتاريخ هذه الأشياء، حتى لو تحركت أو تغيرت قليلاً. ثانياً، لديه قسم خاص لـ "التغيرات العابرة" (Transient Changes). أحياناً، تحدث أشياء بسرعة — مثل سكين يقطع خياراً، أو كرة ترتد. هذه لحظات سريعة قد يتم تجاهلها إذا نظرت فقط إلى التاريخ طويل الأمد. لذا، يحتفظ ObjectStream بـ "لقطة" لهذه التغيرات السريعة حتى لا يفتقد الروبوت الحدث. ثالثاً، يحتفظ بـ "نافذة ربط بصري حديثة" (Recent Visual Grounding Window)، وهي مجرد عرض واضح وعالي الجودة للثواني القليلة الأخيرة من الفيديو. هذا يضمن أنه إذا سأل أحدهم: "ماذا يحدث الآن؟"، فإن لدى الروبوت رؤية طازجة وغير مشوشة لينظر إليها.
اختبر الباحثون هذه الفكرة على نماذج ذكاء اصطناعي موجودة كانت جيدة بالفعل في فهم الفيديوهات ولكنها تعاني مع البث المباشر. ووجدوا أنه من خلال إضافة نظام "مرتكزات الأشياء" هذا، أصبحت النماذج أفضل بكثير في الإجابة على الأسئلة المتعلقة بما يحدث في الفيديو. على سبيل المثال، في اختبار يسمى OVO-Bench، والذي يتحقق من مدى قدرة الروبوت على الإدراك في الوقت الفعلي، قفزت درجة النموذج بمقدار 10.0 نقاط (من 63.3 إلى 73.3). والأكثر إثارة للإعجاب هو أنه فعل ذلك باستخدام حوالي 50% أقل من الذاكرة والإجابة على الأسئلة بضعف السرعة مقارنة بالسابق. في الواقع، كان النظام فعالاً للغاية لدرجة أنه استطاع التخلص من 82.5% من بيانات الفيديو الخام (الرموز/tokens) ومع ذلك كان يؤدي بشكل أفضل من النماذج التي حاولت الاحتفاظ بكل شيء.
يشير البحث إلى أن هذا النهج يمثل طريقة عملية لحل مشكلة الذاكرة دون الحاجة إلى إعادة تدريب نموذج الذكاء الاصطناعي بالكامل من الصفر. إنه يوضح أن تنظيم الذاكرة حول "الأشياء" (Objects) بدلاً من مجرد "اللحظات" (Frames) يساعد الروبوت على تتبع القصة. وجد المؤلفون أن هذه الطريقة تعمل جيداً لكل من البث المباشر والفيديوهات الطويلة المسجلة مسبقاً، مما يثبت أن الاحتفاظ بمذكرات للأشياء هو وسيلة ذكية للتعامل مع فيض المعلومات المرئية. قد لا يكون حلاً سحرياً يحل كل مشاكل العالم، لكنه يشير إلى أنه إذا أردنا للروبوتات أن تفهم عالمنا المزدحم والمتحرك في الوقت الفعلي، فنحن بحاجة إلى تعليمها تذكر الشخصيات، وليس مجرد المناظر الطبيعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.