💻 computer science

Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models

تقترح هذه الورقة إطار عمل متكاملًا لفهم الفيديو طويل التنسيق بكفاءة في النماذج متعددة الوسائط الكبيرة، يجمع بين عينة فيديو تكيفية قائمة على كثافة المعلومات وضواغط مكانية-زمانية قائمة على المشفّر التلقائي للتغلب على قيود الذاكرة واستخراج المعلومات التمييزية من تسلسلات الفيديو الزائدة.

المؤلفون الأصليون: Yuxiao Chen, Jue Wang, Zhikang Zhang, Jingru Yi, Xu Zhang, Yang Zou, Zhaowei Cai, Jianbo Yuan, Xinyu Li, Hao Yang, Davide Modolo

نُشر 2026-02-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuxiao Chen, Jue Wang, Zhikang Zhang, Jingru Yi, Xu Zhang, Yang Zou, Zhaowei Cai, Jianbo Yuan, Xinyu Li, Hao Yang, Davide Modolo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فيلمًا ضخمًا مدته 3 ساعات موضوعًا على مكتبك، وتريد من مساعد ذكاء اصطناعي فائق الذكاء (نموذج لغوي متعدد الوسائط - MLLM) أن يشاهده ويجيب على سؤال محدد حوله.

المشكلة؟ ذلك الفيلم كبير جدًا.
إذا حاولت تغذية الذكاء الاصطناعي بالفيلم بأكمله، فالأمر يشبه محاولة الشرب من خرطوم إطفاء حريق. سيصاب الذكاء الاصطناعي بالارتباك، وينفد منه الذاكرة، ويبدأ في "الهلوسة" (اختلاق أشياء من خياله) لأنه يغرق في الكثير من البيانات. معظم الفيلم عبارة عن أشخاص يجلسون بلا حراك، أو يمشون ببطء، أو يحدقون في حائط—الكثير من الأشياء "المملة" التي لا تساعد في الإجابة على السؤال.

يقدم هذا البحث نظامًا من خطوتين لحل هذه المشكلة، حيث يعمل مثل محرر أفلام فائق الكفاءة للذكاء الاصطناعي.

الحل المكون من خطوتين

بنى المؤلفون نظامًا يحتوي على أداتين رئيسيتين:

1. "القاص الذكي" (أخذ عينات الفيديو التكيفي - AVS)

التشبيه: تخيل أنك محرر أفلام تحاول العثور على أكثر اللحظات إثارة في فيلم وثائقي مدته 3 ساعات.

الطريقة القديمة (أخذ العينات المنتظم): تمسك بمقص وتقص قطعة من الفيلم كل 10 ثوانٍ، بغضًا عما يحدث. قد تقص 10 ثوانٍ مملة لرجل نائم، ثم تقص مشهد انفجار مدته 10 ثوانٍ، ثم تقص مشهدًا مملًا آخر. أنت تضيع "وقت التحرير" الخاص بك على الأشياء المملة.
الطالطريقة الجديدة (AVS): هذه الأداة تشبه محررًا ذكيًا يمتلك حاسة سادسة. فهي تشاهد الفيديو وتقص فقط الإطارات التي يتغير فيها شيء ما بالفعل. إذا استقرت الكاميرا على غرفة ساكنة لمدة 5 دقائق، فهي تتخطاها. وبمجرد أن يفتح باب أو يتحدث شخص ما، تلتقط ذلك الإطار.
النتيجة: بدلاً من عرض 1,000 إطار للذكاء الاصطناعي (معظمها متطابق)، تعرض له الـ 20 إطارًا الأكثر أهمية التي تروي القصة.

2. "الضاغط السحري" (ضاغط الفيديو المكاني والزماني - SVC)

التشبيه: الآن بعد أن حصلت على أفضل 20 إطارًا، لا تزال هذه الملفات عالية الدقة وثقيلة. أنت بحاجة إلى تصغير حجمها حتى يتمكن الذكاء الاصطناعي من حملها بسهولة، ولكن لا يمكنك مجرد سحقها لتصبح كتلة غير مفهومة.

الطريقة القديمة (التجميع المتوسط - Average Pooling): تخيل أنك أخذت 10 صور لقطة و10 صور لكلب، وخلطتهم جميعًا في خلاط، ثم قدمت للذكاء الاصطناً "عصيرًا رماديًا". ستفقد التفاصيل! لن يستطيع الذكاء الاصطناعي التمييز بين قطة وكلب.
الطريقة الجديدة (SVC): هذه مثل خوارزمية ضغط عالية التقنية (تشبه طريقة عمل ملف ZIP، ولكنها أذكى). فهي تتعلم كيفية "تلخيص" المعلومات المرئية. تأخذ بيانات الفيديو الخام وتضغطها في "فضاء كامن" (Latent Space) صغير وكثيف (كود سري).
السر الخفي: لقد دربوا هذا الضاغط باستخدام طريقة "المعلم والطالب". يحاول الضاغط تصغير الفيديو، ويحاول "المفكك" (Decoder) إعادة بناء الفيديو الأصلي من هذا التصغير. إذا فشل المفكك في إعادة بناء الصورة، يدرك الضاغط أنه تخلص من معلومات مهمة للغاية ويحاول مرة أخرى. هذا يضمن حصول الذكاء الاصطناعي على ملف صغير لا يزال يحتفظ بجميع التفاصيل الحاسمة.

كيف يعمل كل ذلك معًا

المدخلات: تعطي النظام فيديو مدته ساعتان.
الخطوة 1 (القاص): يقوم "القاص الذكي" بمسح الفيديو، ويتجاهل الأجزاء المملة، ويختار فقط اللحظات الرئيسية التي يحدث فيها الفعل.
الخطوة 2 (الضاغط): يأخذ "الضاغط السحري" تلك اللحظات الرئيسية ويصغر حجمها بمقدار 64 مرة. إنه يحول كومة ضخمة من البيانات المرئية إلى حزمة صغيرة وفعالة.
الخطوة 3 (الذكاء الاصطناعي): يتلقى الذكاء الاصطناعي (النموذج اللغوي الكبير) هذه الحزمة الصغيرة وعالية الجودة. ولأن البيانات فعالة للغاية، يمكن للذكاء الاصطناعي "قراءة" الفيديو الكامل لمدة ساعتين في ذهنه دون التعرض لصداع أو نفاد الذاكرة.

لماذا يعد هذا أمرًا بالغ الأهمية؟

الكفاءة: يستخدم النظام رموزًا مرئية (Visual Tokens) أقل بنسبة 80% من النماذج الرائدة السابقة. الأمر يشبه الحصول على نفس الإجابة من مكتبة باستخدام بطاقة فهرسة واحدة فقط بدلاً من قراءة كل الكتب.
الدقة: نظرًا لأنه لا ينزعج من البيانات المملة، فإنه يجيب على الأسئلة بشكل أفضل. في الاختبارات، تفوق على النماذج الرائدة الأخرى في اختبارات معيارية مثل EgoSchema و PerceptionTest.
لا "هلوسة": من خلال الحفاظ على المعلومات "التمييزية" (الأشياء التي تهم حقًا) والتخلص من الضجيج، يصبح من غير المرجح أن يخترع الذكاء الاصطناعي حقائق.

الخلاصة

يعلمنا هذا البحث أنه لفهم فيديو طويل، لا تحتاج إلى إظهار كل شيء للذكاء الاصطناعي. أنت فقط بحاجة إلى إظهار الأشياء الصحيحة، في أصغر حزمة ممكنة. إنه الفرق بين تسليم شخص رواية مكونة من 500 صفحة وبين تسليمه ملخصًا مكتوبًا بإتقان من 5 صفحات يلخص جوهر القصة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم تمثيلات فيديو مدمجة لفهم الفيديو طويل المدى بكفاءة في النماذج متعددة الوسائط الكبيرة".

1. بيان المشكلة

يواجه فهم الفيديو طويل المدى (الذي يمتد من عشرات الدقائق إلى ساعات) عقبات كبيرة عند دمجه مع النماذج متعددة الوسائط الكبيرة (MLLMs). وتتمثل التحديات الجووية في:

التكرار: تحتوي تسلسلات الفيديو على كميات هائلة من المعلومات المرئية المكررة، مما يؤدي إلى عدد هائل من الرموز (tokens) المرئية.
القيود الحسابية: تعاني نماذج المحولات (Transformer) من تعقيد تربيعي بالنسبة لطول المدخلات. ومعالجة ساعات من الفيديو يتجاوز سعة الذاكرة وميزانيات الرموز.
عدم كفاءة الطرق الحالية:
- الوصف النصي على مستوى المقطع (Clip-level Captioning): تحويل المقاطع إلى نص في مرحلة مبكرة يؤدي إلى فقدان التفاصيل المرئية منخفضة المستوى وتراكم الهلوسة.
- التجميع الموحد (Uniform Pooling): يعامل التجميع المتوسط البسيط جميع الإطارات بالتساوي، مما يسبب تشوهاً في المعلومات عند دمج إطارات غير متشابهة.
- الضغط الموجه بالنص: الطرق التي تعتمد على أزواج (فيديو-نص) للتدريب تستهلك الكثير من البيانات ويصعب توسيع نطاقها.

2. المنهجية

يقترح المؤلفون مخططاً متكاملاً (end-to-end) يتكون من مكونين مبتكرين: مُنتقي الفيديو التكيفي (AVS) وضاغط الفيديو الزماني-المكاني القائم على المشفر التلقائي (SVC)، مدمجين مع نموذج لغوي متعدد الوسائط (QWen2).

أ. مُنتقي الفيديو التكيفي (AVS)

بدلاً من أخذ العينات الموحدة، يقوم AVS باختيار الإطارات بناءً على كثافة المعلومات.

الآلية: يستخدم وحدة اكتشاف حدود اللقطات (shot boundary detection) لتحديد تغيرات المحتوى (الانتقالات بين المشاهد/اللقطات).
العملية:
1. يُخرج مكتشف اللقطات درجات ثقة لتغيرات المحتوى لكل إطار.
2. تقوم عملية "حذف القيم غير القصوى" (NMS) بتصفية الاكتشافات المكررة.
3. يتم اختيار أفضل $k$ من الإطارات ذات درجات الثقة الأعلى (التي تشير إلى لحظات ديناميكية أو تغيرات في المشهد).
الهدف: التقاط المعلومات المميزة مع التخلص من الإطارات الساكنة والمكررة، ليعمل بفعالية كاستراتيجية "ذكية" لأخذ عينات زمنية فرعية.

ب. ضاغط الفيديو الزماني-المكاني القائم على المشفر التلقائي (SVC)

يقوم هذا المكون بضغط الميزات المرئية للإطارات المختارة إلى مساحة كامنة مدمجة، محققاً نسبة ضغط تبلغ 64 ضعفاً (على سبيل المثال: 4x زمنياً، 4x مكانياً، 4x مكانياً).

البنية: مشفر تلقائي خفيف الوزن يعتمد على التلافيف (Encoder $C$ + Decoder $D$ ) باستخدام كتل متبقية تلافيفية ثلاثية الأبعاد (3D convolutional residual blocks) متتالية.
استراتيجية التدريب (فيديو فقط): على عكس الطرق السابقة التي تتطلب أزواج (فيديو-نص)، يتم تدريب SVC مسبقاً باستخدام بيانات الفيديو فقط عبر خسارة إعادة البناء ( $L_{rec}$ )، مما يقلل الفرق بين الميزات الأصلية والمعاد بناؤها.
قيد المساحة الكامنة المتبقية: لمنع المساحة الكامنة المضغوطة من تطوير "فجوات" أو ثقوب (مما يسبب فشل المحاذاة مع النموذج اللغوي)، قدم المؤلفون قيداً. تُعرف التمثيل الكامن $h$ بأنها مجموع الميزات المضغوطة والميزات المجمعة متوسطياً ثلاثية الأبعاد للمدخلات:
$h = \mathcal{C}(f) + \text{avgpool}_{3D}(X)$
هذا يجبر الضاغط على تعلم المعلومات المتبقية (المفقودة) فقط بالنسبة للمتوسط، مما يضمن محاذاة المساحة الكامنة مع توزيع الميزات المتوقع للنموذج اللغوي دون الحاجة إلى قيود عشوائية مثل VAEs.

ج. التكامل

يسير خط العمل كالتالي: الفيديو $\leftarrow$ AVS (اختيار الإطار) $\leftarrow$ المشفر المرئي $\leftarrow$ SVC (الضغط) $\leftarrow$ الموصل (Projector) $\leftarrow$ النموذج اللمي (LLM). يتم توليد المخرج النهائي بواسطة النموذج اللغوي بناءً على الرموز المرئية عالية الضغط والمميزة.

3. المساهمات الرئيسية

مخطط مبتكر: تقديم خط سير متكامل يجمع بين أخذ العينات التكيفي القائم على كثافة المعلومات والضغط القائم على المشفر التلقائي، المصمم خصيصاً للفيديو طويل المدى.
كفاءة ضغط عالية: تحقيق نسبة ضغط تبلغ 64 ضعفاً (تقليل عدد الرموز بنسبة 80% مقارلة بأحدث التقنيات) مع الحفاظ على المعلومات المميزة الجوهرية.
تدريب مسبق (فيديو فقط): تطوير ضاغط يمكن تدريبه دون الحاجة إلى أزواج (فيديو-نص) مكلفة، بالاعتماد فقط على خسارة إعادة البناء وقيد متبقي مبتكر.
أداء رائد (SOTA): أثبتت الطريقة تفوقها على النماذج متعددة الوسائط الحالية ونماذج الفيديو طويلة المدى في عدة اختبارات مع استخدام موارد حوسبة أقل بكثير.

4. النتائج التجريبية

تم تقييم الطريقة على اختبارات متنوعة تشمل EgoSchema، وPerceptionTest، وActivityNet-QA، وNExTQA، وMVBench، وMLVU.

مكاسب الأداء:
- EgoSchema: تفوقت على LLaVA-OV بنسبة 2.6% (62.7% مقابل 60.1%) مع استخدام 80% أقل من الرموز المرئية.
- PerceptionTest: تفوقت على LLaVA-OV بنسبة 3.3%.
- ActivityNet-QA: تجاوزت LLaMA-VID وMovieChat بنسبة 4.8%.
- الاختبارات العامة: حققت نتائج رائدة (SOTA) أو مقاربة في 3 من أصل 6 اختبارات، بينما أظهرت الاختبارات الأخرى أداءً تنافسياً.
دراسات الاستئصال (Ablation Studies):
- AVS: أظهر تحسينات ملحوظة (تصل إلى 1%) في الفيديوهات الطويلة ذات تغيرات اللقطات (مثل MLVU) مقارنة بأخذ العينات الموحد، خاصة في مهام مثل اكتشاف الشذوذ واسترجاع "الإبرة في كومة القش".
- بنية SVC: تفوق الضاغط القائم على المشفر التلقائي (AE) على كل من التجميع المتوسط وتقليل العينات القائم على Perceiver عند نفس نسبة الضغط.
- التدريب المسبق: وفر التدريب المسبق باستخدام AE دفعة أداء ثابتة تتراوحت بين 2-4% عبر جميع الاختبارات.
- القيود: تفوق قيد "المتبقي + المتوسط" المقترح بشكل كبير على التدريب غير المقيد (الذي فشل في التقارب) وعلى قيود VAE.

5. الأهمية

تعالج هذه الورقة عقبة حرجة في نشر النماذج متعددة الوسائط الكبيرة لتحليل الفيديو طويل المدى. من خلال فصل عملية الضغط وأخذ العينات عن النموذج اللغوي وتدريبها بكفاءة على بيانات الفيديو فقط، يقدم المؤلفون حلاً قابلاً للتوسع:

يقلل التكلفة الحسابية: يتيح معالجة فيديوهات تصل مدتها لساعات على الأجهزة القياسية من خلال تقليل ميزانية الرموز بشكل جذري.
يحسن الاحتفاظ بالمعلومات: على عكس التجميع البسيط، يحافظ الضغط المتعلم على الميزات الزمانية-المكانية الأساسية.
يتعمم بشكل جيد: النهج قوي عبر مختلف أنواع الفيديوهات (من المقاطع القصيرة إلى فيديوهات بساعتين) وأنواع المهام (الأسئلة والأجوبة، الاستنتاج، الوصف).

تؤسس هذه الورقة لنموذج جديد لفهم الفيديو طويل السياق بكفاءة، مما يشير إلى أن الاختيار التكيفي جنباً إلى جنب مع الضغط المتبقي المتعلم يتفوق على استراتيجيات أخذ العينات الموحدة والتجميع الثابت.