💻 computer science

V-CAST: Video Curvature-Aware Spatio-Temporal Pruning for Efficient Video Large Language Models

تُعد V-CAST طريقة تقليم (pruning) جاهزة للاستخدام ولا تتطلب تدريباً لنماذج الفيديو اللغوية الكبيرة (VideoLLMs)، حيث تعالج فقدان المعلومات المكانية والزمانية في الاستدلال طويل السياق عبر نمذجة ضغط الرموز (token compression) كمسألة تقريب للمسار، مستخدمةً تخصيصاً زمنياً موجهاً بالانحناء واختياراً مكانياً مزدوج المرتكزات لتقليل الذاكرة وزمن الاستجابة بشكل كبير مع الحفاظ على 98.6% من الأداء الأصلي.

المؤلفون الأصليون: Xinying Lin, Xuyang Liu, Yiyu Wang, Teng Ma, Wenqi Ren

نُشر 2026-03-31

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xinying Lin, Xuyang Liu, Yiyu Wang, Teng Ma, Wenqi Ren

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح فيلم مدته ساعتان لصديق، ولكن ليس لديك سوى 5 دقائق لسرد القصة.

إذا حاولت تلخيص الفيلم بالقول: "حسناً، دقيقة واحدة للأكشن، دقيقة واحدة للحوار، دقيقة واحدة للمناظر الطبيعية..." (أي تعطي كل ثانية وقتاً متساوياً)، فستفقد أهم التحولات في الحبكة. قد تقضي وقتاً طويلاً في وصف رحلة سيارة مملة بدلاً من وصف الانفجار الذي يغير كل شيء.

هذه هي المشكلة التي يحلها V-CAST للذكاء الاصطناعي الذي يشاهد الفيديوهات.

المشكلة: الذكاء الاصطناعي يغرق في البيانات

نماذج الذاء الاصطناعي الحديثة (VideoLLMs) تشبه الطلاب الأذكياء جداً الذين يمكنهم مشاهدة الفيديوهات والإجابة على الأسئلة. لكن عندما يكون الفيديو طويلاً، يصاب الذكاء الاصطناعي بالإرهاق.

عنق الزجاجة: لفهم فيديو ما، يقوم الذكاء الاصطناعي بتفكيكه إلى آلاف القطع الصغيرة من الصور تسمى "الرموز" (tokens). فيديو مدته دقيقتان قد يحتوي على 10,000 رمز.
الانهيار: محاولة معالجة الـ 10,000 رمز دفعة واحدة تشبه محاولة الشرب من خرطوم حريق. إنها تستهلك الكثير من ذاكرة الكمبيوتر (RAM) والكثير من الوقت.
الحل القديم: حاولت الطرق السابقة إصلاح ذلك إما عن طريق:
1. القص المتساوي: إزالة نفس العدد من الرموز من كل إطار (مثل قص شريحة من كل صفحة في كتاب). وهذا يتجاهل "الانفجارات".
2. الدمج: دمج قطعتين من الصور معاً لتصبحا كتلة واحدة. هذا يشبه طمس وجهين متميزين ليصبحا وجهاً واحداً مشوشاً. عندها يرتبك الذكاء الاصطناعي بشأن أين تحدث الأشياء في الفيديو.

الحل: V-CAST (المحرر الذكي)

ابتكر المؤلفون V-CAST، وهو أداة تعمل مثل محرر أفلام ذكي للذكاء الاصطناعي. بدلاً من القص العشوائي أو الدمج، يستخدم V-CAST حيلتين ذكيتين:

1. بوصلة "الانحناء" (التوقيت هو كل شيء)

تخيل قصة الفيديو كخط مرسوم على ورقة.

الخطوط المستقيمة هي الأجزاء المملة (سيارة تسير على طريق سريع، غرفة ساكنة).
المنحنيات الحادة هي الأجزاء المثيرة (سيارة تصطدم، شخصية تلتفت، تغير المشهد).

الأساليب القديمة كانت تعامل الخطوط المستقيمة والمنحنيات الحادة بنفس الطريقة. أما V-CAST فينظر إلى "انحناء" القصة. عندما ينحني الخط بشكل حاد (بمعنى أن شيئاً مهماً قد حدث للتو)، يقول V-CAST: "توقف! امنح الذكاء الاصطناعي قوة عقلية إضافية هنا!" فهو يحتفظ بمزيد من الرموز للحظات المثيرة وأقل منها للأجزاء المملة.

2. شبكة "المرساة المزدوجة" (إيجاد أفضل البكسلات)

بمجرد أن يقرر V-CAST متى ينظر بدقة، عليه أن يقرر ماذا يحتفظ في ذلك الإطار المحدد.

المرساة 1 (تسليط الضوء): يبحث عن الأجزاء الأكثر سطوعاً ونشاطاً في الصورة (مثل شخص يتحرك أو جسم متوهج).
المرساة 2 (صانع الفرق): يبحث عن الأشياء التي تختلف عن الخلفية. إذا كانت الغرفة بأكملها زرقاء، ولكن هناك رجل يرتدي قبعة حمراء، فإن V-CAST يحتفظ بالقبعة الحمراء لأنها تبرز بوضوح.

باستخدام هاتين "المرساتين"، يحتفظ V-CAST بأهم التفاصيل دون دمجها معاً.

لماذا هذا مهم (النتيجة السحرية)

تظهر الورقة البحثية أن V-CAST يغير قواعد اللعبة لثلاثة أسباب:

إنه أسرع: يقلل الوقت الذي يستغرقه الذكاء الاصطناعي في "مشاهدة" الفيديو بنسبة تقارب النصف.
إنه أذكى: رغم أنه يتخلص من 75% من البيانات، إلا أن الذكاء الاصطناعي يفهم الفيديو في الواقع بشكل أفضل من ذي قبل لأنه ركز على الأجزاء الصحيحة. لقد سجل درجات أعلى في الاختبارات من أي طريقة أخرى.
لا يكسر الخريطة: نظرًا لأنه يقوم ببساطة بإزالة القطع غير المهمة بدلاً من دمجها معاً، فإن الذكاء الاصطناعي لا يرتبك أبداً بشأن مكان الأشياء في الفيديو. إنه يحافظ على "إحداثيات GPS" الخاصة بالفيديو سليمة.

الخلاصة

فكر في V-CAST كفرق بين سائح يلتقط صورة لكل شجرة على الطريق (وينسى الجبل)، وبين مصور محترف يعرف تماماً متى يقرب عدسته نحو الجبل ومتى يتخطى الأشجار.

يسمح V-CAST للذكاء الاصطناعي بمشاهدة فيديوهات طويلة، وتذكر الأجزاء المهمة، والإجابة على الأسئلة بشكل صحيح، كل ذلك مع استخدام قدر أقل بكثير من طاقة الكمبيوتر. إنه الفرق بين الغرق في البيانات والسباحة بهدف.

إليك ملخص تقني مفصل لورقة البحث بعنوان "V-CAST: تقليص الفراغ الزماني والمكاني المدرك للانحناء للفيديو من أجل نماذج اللغات الكبيرة للفيديو عالية الكفاءة."

1. بيان المشكلة

تواجه نماذج اللغات الكبيرة للفيديو (VideoLLMs) صعوبة في الاستدلال طويل السياق (long-context inference) بسبب العدد الهائل من الرموز البصرية (visual tokens) الناتجة عن الإطارات المتتالية للفيديو. وهذا يخلق عنق زجاجة في كل من الحوسبة (تعقيد الانتباه التربيعي) والذاكرة (حجم ذاكرة التخزين المؤقت KV cache).

بينما توجد طرق لضغط الرموز، حدد المؤلفون نمطين حرجين للفشل في النهج الحالية تحت ميزانيات الرموز الضيقة:

التغطية الزمانية والمكانية غير المستمرة:
- التخصيص الموحد: يخصص عدداً متساوياً من الرموز لكل إطار، مما يؤدي إلى الفشل في إعطاء الأولوية لـ "اللحظات الحاسمة" أو ذروات الحركة القصيرة ولكن المهمة.
- التقسيم القائم على المشاهد/التفرد العالمي: الطرق التي تقسم الفيديوهات إلى مشاهد أو تختار إطارات فريدة عالمياً غالباً ما تخلق "قفزات في الميزانية" عند الحدود أو تركز بشكل مفرط على عدد قليل من الإطارات، مما يترك المقاطع الانتقالية (حيث تحدث التحولات الدلالية) غير مغطاة بشكل كافٍ.
المعلومات الزمانية والمكانية غير المتوافقة:
- تستخدم نماذج الفيديو المتقدمة (مثل Qwen3-VL) تقنية MRoPE (ترميز الموضع الدوار متعدد الوسائط)، والتي تربط الرموز بإحداثيات $(t, h, w)$ منفصلة.
- دمج الرموز (مثل التجميع المتوسط/averaging pooling) يقوم بتجميع الرموز، مما يؤدي إلى إزاحتها عن الشبكة الأصلية. هذا يكسر الارتباط "واحد لواحد" المطلوب بواسطة MRoP، مما يؤدي إلى تدهور كبير في الأداء (على سبيل المثال، أداء HoliTom أقل من خطوط الأساس البسيطة للتقليص).

السؤال الجوهري: كيف يمكننا اختيار مجموعة مدمجة من الرموز البصرية ضمن ميزانية ثابتة مع الحفاظ على معلومات زمانية ومكانية مستمرة ومتوافقة جيداً؟

2. المنهجية: V-CAST

يقترح المؤلفون V-CAST (تقليص الفراغ الزماني والمكاني المدرك للانحناء)، وهو إطار عمل لا يتطلب تدريباً ويعمل بمبدأ "التوصيل والتشغيل" (plug-and-play). وهو يعامل ضغط الرموز كمسألة تقريب للمسار الدلالي.

أ. التخصيص الزماني الموجه بالانحناء

بدلاً من التخصيص الموحد أو العالمي الفريد، يخصص V-CAST ميزانية الرموز بناءً على انحناء المسار الدلالي عبر الزمن.

المسار الدلالي: يتم تلخيص كل إطار في متجه دلالي متوسط، يتم تطبيعه ليكون متجه وحدة على كرة فائقة (hypersphere).
حساب الانحناء: تحسب الطريقة التغير في الاتجاه بين الإطارات المتجاورة ( $\kappa_t = 1 - \cos(\mathbf{v}_{in}, \mathbf{v}_{out})$ ). يشير الانحناء العالي إلى انتقال دلالي حاد (مثل تغيير في المشهد، أو انفجار في الحركة، أو لحظة حاسمة).
توزيع الميزانية: يتم توزيع ميزانية الرموز العالمية باستخدام تحسين منظم بالإنتروبيا (entropy-regularized optimization). الإطارات ذات الانحناء الأعلى تحصل على عدد أكبر من الرموز بشكل أسي، مما يضمن التقاط التغيرات الدلالية السريعة دون انهيار الميزانية بالكامل على إطار واحد فقط.

ب. اختيار الرموز المكانية عبر المرساة المزدوجة

بمجرد تحديد ميزانية كل إطار، يختار V-CAST رموزاً محددة داخل كل إطار باستخدام آلية المرساة المزدوجة (Dual-Anchor) للحفاظ على التنوع والأهمية دون دمج:

مرساة التنوع السياقي: تقيس مدى ابتعاد الرمز عن متوسط السياق للإطار ( $1 - \cos(\mathbf{x}_{t,i}, \bar{\mathbf{x}}_t)$ ). هذا يحافظ على الموضوعات الفريدة أو التفاعلات مع تصفية الخلفيات غير الضرورية.
مرساة تنشيط الميزات: تستخدم معيار $L_2$ -norm لميزات الرموز كإشارة للأهمية، مفضلة المناطق ذات التنشيط القوي.

الاختيار: يتم اختيار أفضل $k$ من الرموز ذات أعلى درجات مشتركة. ومن الأهمية بمكان أن عملية التقليص (pruning) هي المستخدمة (أي استبعاد الرموز) بدلاً من الدمج، مما يضمن احتفاظ جميع الرموز المتبقية بـ إحداثياتها الأصلية $(t, h, w)$ ، مما يحافظ على التوافق مع MRoPE.

3. المساهمات الرئيسية

إعادة النظر في التغطية الزمانية والمكانية: تحدد الورقة أن الاختناق الأساسي في فهم الفيديو الطويل ليس مجرد عدد الرموز، بل استمرارية وتوافق تغطية المعلومات. كما تسلط الضوء على فشل استراتيجيات الدمج تحت نظام MRoPE.
إطار عمل V-CAST: سياسة تقليص مبتكرة لا تتطلب تدريباً وتعمل بمبدأ "التوصيل والتشغيل"، تجمع بين:
- تخصيص الميزانية المدرك للانحناء لتوجيه القدرة إلى التحولات الدلالية.
- الاختيار المكاني بالمرساة المزدوجة للحفاظ على الأدلة البصرية المتنوعة.
- الحفاظ على الإحداثيات للحفاظ على التوافق مع MRoPE.
أداء وكفاءة في مستوى الحالة الراهنة (SOTA): يحقق V-CAST توازناً فائقاً بين الدقة والكفاءة عبر بنيات متعددة لـ VideoLLM (مثل Qwen3-VL، LLaVA-OneVision، LLaVA-Video) وبمقاييس مختلفة (من 8B إلى 32B/30B MoE).

4. النتائج التجريبية

تم تقييم الطريقة على اختبارات تشمل MVBench, LongVideoBench, MLVU, VideoMME, و EgoSchema.

مكاسب الدقة:
- في نموذج Qwen3-VL-8B-Instruct مع 256 إطاراً، يتفوق V-CAST على ثاني أفضل طريقة بمتوسط +1.5 نقطة.
- يحافظ على 98.2% من أداء النموذج الأصلي غير المضغوط (بفارق +1.9% عن ثاني أفضل طريقة).
- في نموذج Qwen3-VL-32B، يتفوق على ثاني أفضل طريقة بمتوسط +1.3%.
- يتيح الاستدلال المستقر على Qwen3-VL-30B-A3B (MoE) حيث تفشل الطرق الأخرى (بما في ذلك النموذج الأصلي) بسبب نفاذ الذاكرة (OOM) عند 64 إطاراً.
تحسينات الكفاءة:
- الذاكرة: يقلل ذروة ذاكرة وحدة معالجة الرسومات إلى 86.7% من النموذج الأصلي.
- زمن الاستجابة (Latency): يقلل إجمالي زمن استجاء الاستدلال إلى 86.4% من النموذج الأصلي.
- الإنتاجية (Throughput): يحقق إنتاجية أعلى بمقدار يصل إلى 1.16× مقارنة بالنموذج الأساسي.
- التوافق: على عكس FlashVID (الذي يعتمد على درجات الانتباه ويتسبب في نفاذ الذاكرة OOM)، فإن V-CAST متوافق مع FlashAttention ولا يتطلب عبئاً إضافياً من التنشيط.
المتانة:
- يتوسع V-CAST بفعالية من 32 إلى 256 إطاراً مدخلاً، بينما تتدهور الطرق المرجعية أو تفشل (OOM) مع زيادة عدد الإطارات.
- يعمل بفعالية عبر مخططات ترميز الموضع المختلفة (MRoPE و RoMe القياسي).

5. الأهمية

حل مشكلة عدم توافق MRoPE: من خلال استخدام التقليص الصارم بدلاً من الدمج، يحل V-CAST مشكلة توافق حرجة مع نماذج VideoLLM الحديثة التي تعتمد على ترميز الموضع ثلاثي الأبعاد.
الضغط المدرك للدلالة: يتجاوز الاستدلالات الثابتة أو العالمية، حيث يخصص الموارد ديناميكياً للأماكن التي تتغير فيها دلالات الفيديو فعلياً (الانحناء)، محاكياً بذلك الانتباه البشري لـ "اللحظات الحاسمة".
النشر العملي: كونه وحدة لا تتطلب تدريباً وتعمل بمبدأ "التوصيل والتشغيل"، يقدم V-CAST حلاً فورياً لنشر نماذج VideoLLM ذات السياق الطويل على أجهزة محدودة، مما يسمح باستدلال فعال لفيديوهات تصل إلى 256 إطاراً دون التضحية بالأداء.
القدرة على التعميم: أظهرت استراتيجية الميزانية المدركة للانحناء أنها تحسين عام يمكنه تعزيز طرق الضغط الموجودة حالياً (مثل VisionZip و VidCom2) عند دمجها.