Video Active Perception: Effective Inference-Time Long-Form Video Understanding with Vision-Language Models
تقدم الورقة البحثية الإدراك النشط للفيديو (VAP)، وهي طريقة لا تتطلب تدريباً تستفيد من نظرية الإدراك النشط ونموذج توليد فيديو خفيف الوزن مشروط بالنص لاختيار الإطارات الرئيسية ديناميكياً، مما يحسن بشكل كبير من كفاءة وقدرات الاستنتاج للنماذج اللغوية البصرية الكبيرة في الإجابة على الأسئلة المتعلقة بالفيديوهات طويلة المدى دون الحاجة إلى تدريب إضافي.
المؤلفون الأصليون:Martin Q. Ma, Willis Guo, Aditya Agrawal, Ankit Gupta, Paul Pu Liang, Ruslan Salakhutdinov, Louis-Philippe Morency
تخيل أنك تحاول حل لغز من خلال مشاهدة مقطع فيديو لكاميرا مراقبة مدته 30 دقيقة. هدفك هو الإجابة على سؤال محدد، مثل "هل سرق الشخص المحفظة؟"
الطريقة القديمة: المشاهدة الشاملة تحاول أذكى أنظمة الذكاء الاصطناعي "المحققة" حالياً (تسمى نماذج الرؤية واللغة - Vision-Language Models) حل هذا الأمر عبر مشاهدة الفيديو بالكامل، إطاراً تلو الآخر، وبوتيرة ثابتة. الأمر يشبه استئجار حارس لمراقبة كل ثانية من الشريط، حتى عندما لا يحدث شيء.
المشكلة: هذا الأمر بطيء ومكلف للغاية. إنه يشبه قراءة كل كلمة في كتاب مكون من 500 صفحة فقط للعثور على جملة واحدة محددة. غالباً ما يصاب الذكاء الاصطناعي بالإرهاق بسبب الأجزاء المملة (أشخاص يمشون، خلفيات ثابتة) ويفقد اللحظة الحاسمة لأنه أصبح متعباً جداً أو لأن الفيديو طويل جداً.
الفكرة الجديدة: الإدراك النشط للفيديو (VAP) ابتكر الباحثون في جامعة كارنيجي ميلون ومعهد ماساتشوستس للتكنولوجيا استراتيجية أذكى تسمى الإدراك النشط للفيديو (Video Active Perception - VAP). لم يعلموا الذكاء الاصطناعي كيف يشاهد المزيد؛ بل علموه كيف يشاهد بشكل مختلف.
فكر في (VAP) كأنها محقق لديه كرة بلورية للتوقعات.
الكرة البلورية (المعرفة المسبقة): قبل مشاهدة الفيديو بالكامل، يستخدم الذكاء الاصطناعي "كرة بلورية" (نموذج توليد فيديو خفيف الوزن) لتخمين ما يجب أن يحدث بعد ذلك بناءً على بضع إطارات أولية والسؤال المطروح.
مثال توضيحي: تخيل أنك ترى شخصاً يمسك بمضرب تنس وكرة. "كرتك البلورية" تتوقع أنه من المرجح أن يضرب الكرة، أو يركض، أو يرسل الخدمة. إنها تنشئ فيلماً ذهنياً لما هو "متوقع".
كاشف "المفاجأة": الآن، يشاهد الذكاء الاصطناعي الفيديو الحقيقي. وهو يقارن باستمرار بين اللقطات الحقيقية وبين توقعات "كرته البلورية".
إذا كان الشخص يقف هناك دون فعل أي شيء، فإن الفيديو الحقيقي يطابق التوقع. يفكر الذكاء الاصطناعي: "ممل، لست بحاجة لحفظ هذا".
ولكن إذا قام الشخص فجأة برمي الكرة نحو النافذة (شيء لم تتوقعه الكرة البلورية)، فإنه يتلقى إشارة "مفاجأة!".
السر: يدرك الذكاء الاصطناعي: "هذه اللحظة مختلفة عما توقعته! هذه هي المعلومة الجوهرية التي أحتاجها للإجابة على السؤال".
الاختيار: بدلاً من حفظ الفيديو بأكمله، يقوم الذكاء الاصطناعي فقط بجلب الإطارات المحددة التي اختلفت فيها الحقيقة عن التوقع. إنه يتخطى الأجزاء المملة ويركز تماماً على اللحظات "المفاجئة" أو "المعلوماتية".
لماذا يعد هذا أمراً هاماً؟ يدعي البحث أن هذه الطريقة تُعد تغييراً جذرياً لسببين:
إنها أسرع بكثير (الكفاءة): من خلال النظر فقط إلى الإطارات "المفاجئة"، يمكن للذكاء الاصطناعي الإجابة على الأسئلة باستخدام إطارات أقل بـ 5.6 مرة من الطريقة القياسية. إنه يشبه حل اللغز عبر قراءة الـ 10 صفحات الأكثر أهمية فقط بدلاً من الـ 500 صفحة كاملة.
إنها أذكى (الفعالية): لأنها تركز على اللحظات التي تهم حقاً (المفاجآت)، فإنها تجيب على الأسئلة بدقة أكبر، خاصة للأسئلة الصعبة التي تتطلب فهم السبب والنتيجة أو التوقيت.
النتائج اختبر الباحثون "كاشف المفاجأة" هذا على عدة اختبارات فيديو (مثل EgoSchema و NExT-QA). ووجدوا أن (VAP):
حقق درجات أفضل من أفضل نماذج الذكاء الاصطناعي (مثل GPT-4o و Gemini) التي تشاهد الفيديوهات بالطريقة القديمة.
فعل ذلك باستخدام جزء ضئيل من قدرة الحوسبة.
عمل دون الحاجة إلى إعادة تدريبه على بيانات جديدة؛ فهو يستخدم فقط حيلة ذكية أثناء مرحلة "التفكير".
باخت الانتصار (الخلاصة) بدلاً من المشاهدة العمياء لفيلم كامل، يطلب الإدراك النشط للفيديو من الذكاء الاصطناعي أن يتخيل ما يجب أن يحدث، ثم ينتبه فقط للأجزاء التي تكسر السيناريو المتوقع. هذا يجعل الذكاء الاصطناعي أسرع، وأرخص، وأفضل بشكل مذهل في حل ألغاز الفيديو.
ملخص تقني: الإدراك النشط للفيديو (VAP)
بيان المشكلة لقد طورت نماذج الرؤية واللغة الضخمة (VLMs) المهام متعددة الوسائط مثل الإجابة على الأسئلة حول الفيديو (QA)، ومع ذلك فهي تواجه عقبات كبيرة عند تطبيقها على الفيديوهات طويلة المدى. حدد المؤلفون تحديين رئيسيين:
فعالية الإطارات: غالبًا ما يعتمد الاستدلال القياسي على أخذ عينات منتظمة (على سبيل المثال، إطار واحد في الثانية). هذا النهج غير مثالي لأنه يعامل جميع مناطق الفيديو بالتساوي، مما قد يؤدي إلى اختيار إطارات غير ذات صلة مع تفويت الأجزاء الغنية بالمعلومات وذات الصلة بالمهمة. وتظهر النتائج التجريبية أن الأداء غالبًا ما يستقر أو حتى يتدهور مع زيادة عدد الإطارات التي يتم أخذ عينات منها بشكل منتظم.
كفاءة الإطارات: إن معالجة الفيديوهات الطويلة تولد عددًا هائلًا من الرموز (Tokens) (ما يقرب من أربعة ملايين لـساعة واحدة فقط)، مما يعيق النشر العملي لنماذج الرؤية واللغة الضخمة في سيناريوهات العالم الحقيقي مثل القيادة الذاتية أو مراقبة المرضى.
تعتمد الحلول الحالية غالبًا على التفكير القائم على الوكيل المتكرر، أو وصف الفيديو، أو هياكل بيانات معقدة (مثل الرسوم البيانية أو الأشجار)، والتي تسبب زمن انتقال مرتفع، وتعتمد على جودة نماذج الوصف الوسيطة، أو تتطلب موارد حوسبة واسعة النطاق.
المنهجية: الإدراك النشط للفيديو (VAP) يقدم البحث الإدراك النشط للفيديو (VAP)، وهو طريقة تعتمد على وقت الاستدلال ولا تتطلب ضبطًا دقيقًا (training-free)، مصممة لتعزيز كل من فعالية وكفاءة اختيار الإطارات للإجابة على الأسئلة في الفيديوهات طويلة المدى. مستلهمًا من نظرية الإدراك النشط — التي تفترض أن الوكلاء الأذكياء يكتسبون بيانات تختلف عن توقعاتهم لتعظيم الاستفادة من المعلومات — يعيد VAP صياغة اختيار الإطارات الرئيسية كعملية استحواذ على البيانات موجهة بمعرفة عالمية مسبقة.
تعمل الطريقة عبر ثلاث مراحل رئيسية دون الحاجة إلى ضبط دقيق لنموذج الرؤية واللغة الضخم:
توليد المعرفة العالمية المسبقة:
يستخدم VAP نموذج توليد فيديو خفيف الوزن ومُدرب مسبقًا ومشروط بالنصوص (تحديدًا CogVideoX) لتمثيل المعرفة البصرية المسبقة.
يأخذ النظام مجموعة فرعية صغيرة من الإطارات الأولية المأخوذة بانتظام (على سبيل المثال، 32 إطارًا)، بالإضافة إلى سؤال المستخدم والإجابات المحتملة، كإشارات شرطية.
باستخدام مشفر (3D Causal VAE) ووحدة استكمال الإطارات (RIFE)، يقوم النموذج بتوليد تمثيلات كامنة لديناميكيات الفيديو بالكامل، متنبئًا بكيفية تطور الفيديو بناءً على السياق الأولي والاستعلام.
استحواذ البيانات (اختيار الإطارات):
يقوم النظام بتشفير جميع إطارات الفيديو الفعلية في نفس الفضاء الكامن باستخدام مشفر 3D VAE نفسه.
بعد ذلك، يقارن التمثيلات الكامنة للإطارات الحقيقية مقابل الإطارات المولدة (المتوقعة).
يعتمد الاختيار على التباعد (Divergence): الإطارات التي تختلف فيها ديناميكيات الفيديو الحقيقية بشكل كبير عن توقعات نموذج التوليد تُعتبر "مفاجئة" وبالتالي هي الأكثر غنى بالمعلومات.
تختار الطريقة عدد n من الإطارات (على سبيل المثال، 32 إطارًا) التي تمتلك أقل تشابه جيب التمام (cosine similarity) مع نظيراتها المولدة.
استدلال نموذج الرؤية واللغة الضخم (VLM Inference):
يتم تغذية الإطارات الرئيسية المختارة في نموذج VLM رائد (مثل GPT-4o، أو Gemini 1.5 Pro، أو LLaVA-OV) مع السؤال والإجابات لإجراء الاستدلال النهائي.
هذه العملية مستقلة عن نموذج الـ VLM المستخدم وتعمل في جولة اختيار واحدة، متجنبة الحلقات التكرارية.
المساهمات الرئيسية
إطار عمل لا يتطلب ضبطًا دقيقًا: لا يتطلب VAP أي ضبط دقيق لنماذج الرؤية واللغة الضخمة، مما يجعله قابلًا للتطبيق الفوري على النماذج الموجودة.
آلية اختيار مبتكرة: على عكس الطرق السابقة التي تعتمد على الأوصاف أو الوكلاء المتكررين، يستفيد VAP من نموذج توليدي لإنشاء "سابق" ويختار الإطارات بناءً على التباين بين التوقع والواقع.
نهج موحد: يبسط عملية الاختيار إلى جولة واحدة من المقارنة، مما يلغي الحاجة إلى هياكل بيانات معقدة أو استدعاءات متعددة لنماذج اللغة الكبيرة.
الكفاءة: يقلل VAP بشكل كبير من عدد الرموز (tokens) المطلوبة للاستدلال من خلال اختيار الإطارات الأكثر صلة فقط.
النتائج التجريبية قيم المؤلفون VAP على خمس مجموعات بيانات مرجعية: EgoSchema، و NExT-QA، و ActivityNet-QA، و IntentQA، و CLEVRER.
الأداء: حقق VAP نتائج رائدة (state-of-the-art) في وضع الصفر (zero-shot) عبر جميع مجموعات البيانات. على سبيل المثال، حقق 68.1% في EgoSchema، و 81.4% في NExT-QA، و 40.5% في CLEVRER.
قدرات الاستدلال: أظهر VAP أداءً فائقًا في المهام التي تتطلب استدلالًا زمنيًا وسببيًا (مثل الأسئلة التفسيرية والافتراضية في CLEVRER)، متفوقًا على النماذج المرجعية مثل VideoTree و VideoAgent.
مكاسب الكفاءة:
حقق VAP هذه النتائج باستخدام عدد إطارات أقل بكثير من النماذج المرجعية القياسية. على سبيل المثال، في EgoSchema، استخدم 32 إطارًا مقارنة بالمعيار 180 إطارًا (1 إطار في الثانية)، مما أدى إلى تحسن في كفاءة الإطارات بمقدار 5.6 ضعفًا.
في مقارنات زمن الانتقال (iso-compute و iso-accuracy)، حقق VAP دقة أفضل أو مماثلة مع زمن انتقال أقل من عينات GPT-4o mini القياسية.
المتانة: أظهرت التجارب أن الطريقة متينة تجاه مجموعة الإطارات الأولية المستخدمة في التوليد، وأن زيادة عدد الإطارات المختارة بما يتجاوز 32 إطارًا تؤدي إلى عوائد متناقصة.
الأهمية والادعاءات يزعم البحث أن VAP يثبت الفعالية التجريبية لاستخدام مبادئ الإدراك النشط لتحسين فهم الفيديو طويل المدى. ومن خلال استخدام نموذج توليدي لتشفير المعرفة العالمية المسبقة واختيار الإطارات التي تختلف عن هذه التوقعات، نجحت الطريقة في تحديد اللحظات المحورية (مثل الاصطدامات أو أفعال محددة) التي تعد حاسمة للإجابة على الأسئلة المعقدة.
يسلط المؤلفون الضوء على أن هذا النهج يقدم استراتيجية أكثر ذكاءً للحصول على البيانات لاستدلال نماذج VLM، حيث يوازن بين الأداء العالي والكفاءة الحوسبية. ويخلصون إلى أن دمج المعرفة المسبقة من نماذج الانتشار (diffusion models) يعد مسارًا قابلاً للتطبيق لتعزيز فعالية وكفاءة الإطارات في مهام الإجابة على الأسئلة للفيديوهات طويلة المدى، خاصة للمهام التي تتطلب استدلالًا مكثفًا. ويشير العمل إلى أن التطورات المستقبلية في نماذج توليد الفيديو يمكن أن تعزز قدرات نماذج VLM في الاستدلال المكاني والزماني على فيديوهات طويلة جدًا.