CREST: Curvature-Regulated Event-Centric Sampling for Efficient Long-Video Understanding

فن اختيار اللحظات المثالية

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم فيلماً. لديك فيديو مدته ساعات، يحتوي على آلاف الإطارات (صور فردية). لكن الروبوت لديه قاعدة صارمة للغاية: لا يمكنه سوى النظر إلى عدد قليل جداً من الصور قبل أن يتعين عليه الإجابة على سؤال ما. إذا أظهرت له الصور الخاطئة، فسيخمن بشكل خاطئ، حتى لو كان ذكياً للغاية. هذا هو تحدي "فهم الفيديوهات الطويلة". لقد حاول العلماء إيجاد أفضل طريقة لاختيار تلك الإطارات القليلة والحاسمة. بعض الطرق تختار الصور بمسافات متساوية، مثل التقاط صورة كل دقيقة. بينما تحاول طرق أخرى أن تكون ذكية عبر البحث عن الصور التي تبدو مهمة، لكنها غالباً ما ترتبك بسبب كيفية تغير أهمية المشهد بمرور الوقت. السؤال الكبير هو: كيف تجد اللحظة الدقيقة التي يحدث فيها الحدث دون إضاعة وقت الروبوت في الأجزاء المملة والمتكررة؟

الفكرة الكبرى للورقة البحثية: CREST

تقدم هذه الورقة طريقة جديدة وذكية تسمى CREST (أخذ العينات المتمحور حول الأحداث والمنظم بالانحناء). فكر في الفيديو ليس كمجموعة من الصور، بل كرحلة "أفعوانية" (Rollercoaster) من "الأهمية". أحياناً تكون الرحلة مسطحة ومملة (مشاهد مكررة)، وأحياناً أخرى ترتفع فجأة لتصبح قمة مثيرة وحادة (حدث حاسم، مثل قيام شخص بعمل علامة النصر أو حدوث خدعة سحرية).

كانت الطرق السابقة تشبه روبوتاً يلتقط فقط أعلى النقاط على الخريطة، لكنه لم يفهم شكل التل. قد يلتقط مجموعة كاملة من الصور من هضبة مسطحة، مما يجعله يفقد القمة الفعلية، أو قد يفوت قمة حادة وصغيرة لأنه كان مشغولاً بالنظر إلى التلال الكبيرة والبطيئة.

CREST مختلف. فهو يعمل مثل متنزّه ذكي يدرك أن التغير المفاجئ والحاد في التضاريس (الانحناء العالي) يعني أن شيئاً مثيراً يحدث هناك تماماً.

• التشبيه: تخيل أنك تمسح طريقاً طويلاً ومتعرجاً بحثاً عن معلم محدد. إذا كان الطريق مسطحاً ومستقيماً، فلا داعي للنظر في كل بوصة منه؛ يمكنك القفز للأمام. ولكن إذا التوى الطريق فجأة إلى منحنى ضيق وحاد، فأنت تعلم أن شيئاً مثيراً للاهتمام موجود هناك، لذا تبطئ سرعتك وتلقي نظرة فاحصة. يقوم CREST بنفس الشيء مع إطارات الفيديو. إنه يقيس مدى "تعرج" أهمية الفيديو في أي لحظة معينة.
• كيف يعمل: عندما تكون "إشارة الأهمية" مسطحة، يتخطى CREST منطقة واسعة لتجنب اختيار إطارات مملة ومتكررة. ولكن عندما يرى قمة حادة ومفاجئة (قمة ذات انحناء عالٍ)، فإنه يقلص "منطقة التخطي" الخاصة به ويجمع عدة إطارات حول تلك اللحظة مباشرة للتأكد من التقاط الحدث بأكمله. كما أنه يمتلك ميزة "تلاشي الذاكرة": إذا اختار إطاراً في وقت مبكر، فإنه يسترخي في النهاية في قبضته على المنطقة المحيطة، مما يسمح له بالتقاط تفاصيل مهمة أخرى قد يكون قد فاتته في المرة الأولى.

ماذا وجدوا

اختبر الباحثون CREST في اختبارين رئيسيين للفيديو (LongVideoBench و VideoMME) ووجدوا نتائج مثيرة للإعجاب:

• إنه وحش في السرعة: CREST سريع بشكل لا يصدق. فهو يعالج الفيديوهات أسرع بـ 31.6 مرة من طريقة قوية سابقة تسمى MIRA. كما يستخدم ذاكرة حاسوبية أقل بنحو 10.7 مرة.
• لا يزال دقيقاً: على الرغم من كونه أسرع بكثير، إلا أنه لا يفقد الكثير من الدقة. فهو يحافظ على حوالي 93-95% من أداء الطريقة الأبطأ والأكثر تكلفة.
• تفسيرات أفضل: عندما طلبوا من حكم ذكاء اصطناعي مقارنة القصص التي ترويها الإطارات المختارة، فاز CREST بنسبة 60.58% في أحد الاختبارات. وهذا يعني أن الإطارات التي اختارها CREST ساعدت الروبوت على سرد قصة أكثر تماسكاً ومنطقية، بدلاً من مجرد تخمين الإجابة الصحيحة عن طريق الحظ.
• "الانحناء" هو المفتاح: عندما أزال الباحثون جزء "الانحناء" من طريقتهم (مما جعلها تختار الإطارات بناءً على درجات أهمية بسيطة)، انخفض الأداء. وهذا يثبت أن فهم شكل أهمية الفيديو هو ما يجعل طريقتهم ناجحة.

ما لا يفعله (وما هم متأكدون منه)

توضح الورقة البحثية بعناية ما لا يعتبر CREST حلاً سحرياً لكل مشاكل الفيديو فوراً.

• يحتاج إلى السؤال أولاً: CREST هو نظام "مشروط بالاستعلام"، مما يعني أنه يحتاج إلى معرفة السؤال (مثل "من الذي يلتقط صورة؟") قبل أن يبدأ في اختيار الإطارات. لا يمكن استخدامه لتلخيص فيديو لجمهور عام دون وجود سؤال محدد في الذهن.
• ليس "انتصاراً" على كل شيء: بينما يتفوق على الطرق السريعة الأخرى، تشير الورقة إلى أنه تم اختباره بميزانية إطارات أصغر (32 إطاراً) مقارنة بمنافس أبطأ (64 إطاراً). يشير المؤلفون إلى أنه إذا تمكنوا من اختباره بنفس عدد الإطارات، فقد تتغير الفجوة، لكنهم لم يتمكنوا من إجراء تلك الاختبارات المحددة بسبب القيود الحاسوبية.
• هو اقتراح وليس قانوناً: يذكر المؤلفون أن نتائجهم تشير إلى أن النظر في "الهندسة الزمنية" (شكل الأهمية بمرور الوقت) هو طريقة بسيطة وفعالة لحل هذه المشكلة. هم لا يدعون أنها الحل النهائي والمثالي لجميع أنظمة ذكاء الفيديو المستقبلية، بل هي خطوة عملية قوية جداً للأمام.

باختصر، CREST هو أداة ذكية وخفيفة الوزن تعلم الحواسيب كيفية النظر إلى "المنعطفات والالتواءات" في قصة الفيديو بدلاً من مجرد النظر إلى أعلى النقاط، مما يساعدها على فهم الفيديوهات الطويلة بشكل أسرع وبقدرة أكبر على الاستنتاج.