ملخص تقني: ST-GridPool لنماذج الفيديو اللغوية الكبيرة (Video LLMs)

بيان المشكلة

حققت النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) أبعاداً متقدمة في فهم الفيديو، ومع ذلك، فهي تواجه عقبة حرجة: الضغط الفعال للرموز البصرية (visual tokens) مع الحفاظ على التفاعلات الزمكانية المعقدة. تعتمد نماذج الفيديو اللغوية الحالية، مثل عائلة LLaVA، عادةً على عمليات تجميع ثنائية الأبعاد (2D pooling) أو استكمال (interpolation) بسيط لتقليل التعقيد التربيعي لآليات الانتباه الذاتي (self-attention). ومع ذلك، فإن هذه الطرق غالباً ما تعامل جميع الرموز المكانية والزمانية بالتساوي، متجاهلة الطبيعة غير المتجانسة لمحتوى الفيديو. يؤدي هذا إلى فقدان المناطق ذات المعلومات العالية (مثل الأجسام البارزة) والفشل في التقاط الديناميكيات الزمنية متعددة الحبيبات (التي تتراوح من الحركات الدقيقة السريعة إلى تطور المشهد التدريجي). علاوة على ذلك، تتطلب معظم استراتيجيات ضغط الرموز الحالية إعادة تدريب مكلفة أو تعديلات هيكلية محددة، مما يحد من قابليتها كحلول جاهزة للاستخدام (plug-and-play).

المنهجية: ST-GridPool

لمعالجة هذه القيود، يقترح المؤلفون ST-GridPool، وهو طريقة مبتكرة لتعزيز الرموز البصرية خالية من التدريب (training-free) مصممة خصيصاً لنماذج الفيديو اللغوية الكبيرة. تتكون الطريقة من مكونين متآزرين يعملان على تحسين الرموز البصرية عبر الأبعاد الزمنية والمكانية دون تغيير معلمات النموذج أو الحاجة إلى إعادة التدريب.

1. التجميع الزمني الهرمي (Pyramid Temporal Gridding - PTG)

يعالج PTG محدودية أخذ العينات الزمنية الموحدة من خلال تقديم استراتيجية تجميع هرمية.

• الآلية: يتم تقسيم تسلسل الفيديو إلى طبقات متعددة، حيث تقابل كل طبقة مقاطع ذات أطوال متفاوتة ($K_l = K \cdot 2^{l-1}$).
• العملية: لكل مقطع، يتم أخذ عينة فرعية من الإطارات بشكل موحد ودمجها مكانياً لتشكيل شبكة رموز وسيطة. يتم تغيير حجم هذه الشبكة مرة أخرى إلى الدقة الأصلية عبر الاستكمال الخطي الثنائي (bilinear interpolation) لتوليد "رمز ملخص" (summary token).
• التحديث: يتم تحديث الإطار الأخير من كل مقطع باستخدام هذا الرمز الملخص.
• الفائدة: يسمح هذا للنموذج بالتقاط الديناميكيات الزمنية دقيقة الحبيبات (قصيرة المدى) وخشنة الحبيبات (طويلة المدى) في آن واحد، مما يثري التمثيل الزمني دون إضافة معلمات قابلة للتدريب.

2. التجميع المكاني القائم على المعيار (Norm-based Spatial Pooling - NSP)

يعالج NSP مشكلة خفض العينات المكانية الموحدة من خلال الاستفيد من الارتباط بين معايير الرموز (token norms) والثراء الدلالي.

• الملاحظة: كشفت التجارب على مجموعة بيانات HKU-IS عن وجود ارتباط إيجابي قوي بين معيار L2 للرموز البصرية ووجود الأجسام البارزة. عادة ما تظهر مناطق الخلفية معايير منخفضة، بينما تظهر المناطق ذات المعلومات العالية معايير مرتفعة.
• الآلية: يستخدم NSP نهج تجميع ثنائي الأبعاد ديناميكي موزون. ضمن نافذة منزلقة، يتم حساب معيار L2 لكل رمز وتطبيقه باستخدام دالة softmax لتوليد أوزان تكيفية ($\alpha_{m,n}$).
• العملية: يتم حساب الرمز المجمع كمجموع موزون للميزات البصرية داخل النافذة، حيث يتم تحديد الأوزان بناءً على معيار الرمز.
• الفائدة: تعمل هذه الاستراتيجية على تضخيم المناطق الغنية دلالياً (الرموز ذات المعيار العالي) بشكل انتقائي مع تثبيط الخلفيات منخفضة المعلومات، مما يضمن الحفاظ على التفاصيل البصرية الحرجة أثناء الضغط.

المساهمات الرئيسية

يحدد البحث ثلاث مساهمات رئيسية:

1. أول تعزيز مخصص للفيديو خالٍ من التدريب: يقترح المؤلفون أول طريقة لتعزيز الرموز البصرية مصممة خصيصاً لنماذج الفيديو اللغوية الكبيرة تعمل دون إعادة تدريب. وهي تعمل على تحسين عملية الضغط لرفع الأداء مع الحفاظ على الكفاءة الحسابية.
2. مكونات هيكلية مبتكرة:
   • التجميع الزمني الهرمي: يقدم استراتيجية هرمية لالتقاط التفاعلات الزمكانية متعددة الحبيبات عبر أطوال زمنية متفاوتة.
   • التجميع المكاني القائم على المعيار: يستفيد من الارتباط الإيجابي بين معايير الرموز والأهمية الدلالية للحفاظ بفعالية على المعلومات البصرية عالية القيمة أثناء الضغط.
3. التحقق التجريبي: أظهرت التجارونات المكثفة عبر ست مجموعات بيانات لفهم الفيديو تحسينات مستمرة في مختلف النماذج الرائدة (LLaVA-Video, LLaVA-OneVision) وعبر مهام متنوعة.

النتائج التجريبية

تم تقييم الطريقة على نماذج فيديو لغوية كبيرة واسعة الانتشار (LLaVA-OneVision-7B و LLaVA-Video-7B) عبر اختبارات معايير لكل من فهم الفيديو الطويل (VideoMME, LongVideoBench, EgoSchema) وفهم الفيديو العام (NexT-QA, TempCompass, MVBench).

• مكاسب الأداء: حقق ST-GridPool تحسينات مستمرة عبر جميع مجموعات البيانات. على سبيل المثال، في نموذج LLaVA-Video-7B، حقق تحسناً بنسبة +0.9% في VideoMME، و+1.9% في LongVideoBench، و+1.2% في MVBench.
• كفاءة تقليل الرموز: في المقارنة مع طرق تقليل الرموز الرائدة تحت ميزانيات رموز صارمة (30% و 50%)، تفوق ST-GridPool على النماذج المرجعية مثل FastV و PruMerge و FrameFusion، لا سيية تحت ميزانية الـ 30% الأكثر صرامة حيث حقق أفضل النتائج في جميع اختبارات الفيديو الطويل الثلاثة.
• الكفاءة الحسابية: أظهرت الطريقة تحسيناً مزدوجاً، حيث قللت بشكل كبير من وقت الاستدلال (inference time) ومن ذروة استخدام ذاكرة وحدة معالجة الرسومات (GPU memory)، مع بروز هذه الوفورات كلما زاد عدد إطارات الإدخال.
• دراسات الاستئصال (Ablation Studies): أدى حذف أي من PTG أو NSP إلى انخفاض في الأداء، مما يؤكد أن كلا المكونين ضروريان ومتكاملان. وقد وُجد أن المعلمات المثلى هي درجة حرارة $\beta=1$ ومعيار L2 ($p=2$).

الأهمية والادعاءات

يضع البحث ST-GridPool كحل قابل للتوسع وجاهز للاستخدام (plug-and-play) يسد الفجوة بين ضغط الرموز الفعال والحفاظ على التفاعلات الزمكانية المعقدة. يدعي المؤلفون أن طريقتهم تقدم نموذجاً قوياً لتعزيز تمثيلات الرموز البصرية دون الحاجة إلى تعديلات هيكلية مكلفة أو إعادة تدريب. ومن خلال تعظيم الحفاظ على التفاصيل ذات المعنى الدلالي عبر التوزين القائم على المعيار والنمذجة الزمنية الهرمية، يمكّن ST-GridPool نماذج الفيديو اللغوية الكبيرة الحالية من تحقيق فهم أكثر قوة ودقة للفيديو، خاصة في السيناريوهات التي تتطلب تحليل التبعيات طويلة المدى والأنشطة الديناميكية. الكود متاح لتسهيل المزيد من البحث والاعتماد.