ملخص تقني: التدرج الخطي لنماذج الرؤية واللغة للفيديو لفهم الفيديو الطويل (StateKV)

1. بيان المشكلة

تعتبر نماذج الرؤية واللغة للفيديو (VLMs) حاسمة بشكل متزايد للتطبيقات طويلة الأمد والبث المستمر، مثل القيادة الذاتية والروبوتات المتجسدة، والتي تتطلب دمج الأدلة عبر دقائق أو ساعات. ومع ذلك، يوجد عائق أساسي: التكلفة الحسابية لمعالجة الفيديوهات الطويلة في نماذج VLMs القياسية تنمو بشكل تربيعي ($O(N^2)$) مع عدد الإطارات ($N$). يحدث هذا لأن البنى السائدة تعتمد على الانتباه الذاتي المكاني والزماني، حيث ينتبه كل إطار إلى جميع رموز الفيديو السابقة.

تحاول استراتيجيات الكفاءة الحالية التخفيف من حدة ذلك عن طريق:

1. أخذ عينات فرعية من الإطارات أو الرموز: غالباً ما يؤدي تقليل حجم المدخلات إلى تدهور الأداء بشكل كبير ما لم يتم الاحتفاظ بجزء كبير من الرموز (مثلاً ~60%).
2. ضغط ذاكرة التخزين المؤقت لـ KV (KV cache): يمكن أن يؤدي الضغط الشديد إلى فقدان الإشارات الزمانية والمكانية الضرورية للاستنتاج.
3. الاستدلال القائم على النافذة المنزلقة/الحداثة: تعالج طرق مثل ReKV الإطارات بالتتابع باستخدام نافذة ثابتة من الإطارات الأخيرة. وبينما تقلل هذه الطرق من تعقيد التعبئة المسبقة (prefill) لتصبح خطية ($O(N)$)، إلا أنها تعتمد على افتراضات عشوائية بأن المعلومات الأكثر صلة هي دائماً الأحدث، مما يؤدي غالباً إلى الفشل في التقاط الاعتمادات طويلة المدى المطلوبة للاستنتاج المعقد.

التحدي هو تحقيق تعبئة مسبقة للفيديو في زمن خطي (تكلفة ثابتة لكل إطار) دون التضحية بدقة الانتباه الذاتي الكامل أو اشتراط تغييرات هيكلية وإعادة ضبط (fine-tuning).

2. المنهجية: StateKV

يقدم المؤلفون StateKV، وهي طريقة تعمل في مرحلة الاستنتاج لتكييف نماذج VLMs سابقة التدريب وطويلة الفيديو مع التعبئة المسبقة للفيديو في زمن خطي. الرؤية الجوهرية هي أن الانتباه طويل المدى في نماذج VLMs سابقة التدريب مهيكل للغاية: بينما تتركز معظم التفاعلات داخل الإطار الواحد، فإن التفاعلات الزمنية طويلة المدى تتركز على مجموعة صغيرة من رموز "المصبات الزمنية" (temporal sink tokens) التي تتطور ببطء بمرال الوقت.

الافتراضات الأساسية

بُني StateKV على افتراضين تجريبيين فيما يتعلق بالانتباه في نماذج VLMs سابقة التدريب:

1. تركيز الانتباه بين الإطارات: لأي إطار معطى، تتركز معظم كتلة الانتباه المفيدة عبر الإطارات على مجموعة صغيرة من الرموز التاريخية ($K \ll N$)، بغض النظر عن إجمالي طول الفيديو.
2. التطور البطيء للحالة الزمنية: يمكن تقريب الحالة المفيدة للإطار $n+1$ بشكل جيد من خلال الحالة من الإطار $n$ مدمجة مع رموز الإطار $n+1$.

البنية والآلية

يعمل StateKV عبر هيكل ذاكرة تخزين مؤقت مزدوج لكل طبقة محول (transformer layer)، مع الحفاظ على نموذج أساسي مجمد:

1. الحالة التفصيلية ($D_n$): ذاكرة تخزين مؤقت كاملة الطول تخزن جميع الرموز المرئية من كل إطار تمت معالجته حتى الآن. لا يتم استعلام هذه الذاكرة أبداً خلال مرحلة التعبئة المسبقة، ولكن يتم الحفاظ عليها لمرحلة فك الترميز النصي النهائية لضمان عدم فقدان أي معلومات أثناء التوليد.
2. الحالة المضغوطة ($C_n$): حالة متكررة ذات سعة ثابتة (مثلاً 1024 رمزاً)، تُستخدم فقط خلال مرحلة التعبئة المسبقة للفيديو لتقريب التفاعلات عبر الإطارات.

العملية:

• التعبئة المسبقة المتدفقة: مع وصول الإطارات، يعالج النموذج الإطارات بشكل تدريجي. ينتبه الإطار $n$ إلى دمج رموز الإطار الحالي والحالة المضغوطة من الإطار $n-1$.
• الاختيار القائم على الأهمية: بعد معالجة الإطار $n$، يتم تحديث الحالة المضغوطة. يحسب النموذج درجات الانتباه (للفيديو فقط) لجميع الرموز المرشحة (الحالة المضغوطة السابقة + رموز الإطار الحالي). يختار النموذج أفضل $B$ من الرموز (حيث $B$ هي الميزانية الثابتة) لتشكيل الحالة المضغوطة الجديدة $C_n$، مع استبعاد المدخلات منخفضة الأهمية.
• فك الترميز: بمجرد معالجة جميع الإطارات، يبدأ توليد النص التكراري القياسي. ومن المهم أن عملية فك الترميز تشترط الحالة التفصيلية ($D_N$)، والتي تحتوي على جميع رموز الفيديو الأصلية، مما يضمن وصول مرحلة التوليد إلى السياق الكامل.

هذا التصميم يفصل تعقيد ترميز الفيديو (خطي، $O(N)$) عن دقة التوليد النهائي (السياق الكامل).

3. المساهمات الرئيسية

• تعبئة مسبقة خطية الزمن بدون إعادة ضبط (Fine-Tuning): يتيح StateKV لنماذج VLMs سابقة التدريب معالجة فيديوهات طويلة بتعقيد حسابي خطي ($O(N)$) وتكلفة ثابتة لكل إطار، دون الحاجة إلى تعديلات هيكلية أو إعادة تدريب.
• تقريب مبدئي للانتباه الكامل: على عكس طرق النافذة المنزلقة التي تعتمد على الحداثة، يستخدم StateKV آلية قائمة على الأهمية للحفاظ على "المصبات الزمنية". يوفر هذا تقريباً أكثر انضباطاً للانتباه الذاتي الكامل، مما يلتقط الاعتمادات طويلة المدى التي تفقدها الاستدلالات القائمة على الحداثة.
• المفاضلة بين الحوسبة والدقة: من خلال تقليل عمليات الفاصلة العائمة (FLOPs) المطلوبة لتعبئة الفيديو المسبقة بشكل جذري، يسمح StateKV للممارسين بتشغيل نماذج أكبر ضمن نفس ميزانية الحوسبة. توضح الورقة أن نموذجاً أكبر باستخدام StateKV يمكن أن يتفوق على نموذج أصغر يستخدم الانتباه الذاتي الكامل عند نفس التكلفة الحسابية أو أقل.
• التحقق التجريبي: تم التحقق من الطريقة عبر ثلاثة اختبارات معايير للفيديوهات الطويلة (VideoMME, MLVU, OVOBench) وسبعة نماذج تغطي ثلاث عائلات (InternVL3, Qwen-VL, Eagle2.5) ونطاقات متعددة (من 1 مليار إلى 8 مليار بارامتر).

4. النتائج

• الدقة مقابل الانتباه الذاتي الكامل: عبر جميع الاختبارات والمعايير والنماذج، يظل StateKV قريباً من أداء الانتباه الذاتي الكامل (Full SA). في المتوسط، يظل ضمن نطاق 1% تقريباً من دقة Full SA، متفوقاً بشكل ملحوظ على النماذج المرجعية للنافذة المنزلقة مثل ReKV (التي غالباً ما تتأخر بنحو 10 نقاط).
• التفوق على الطرق القائمة على الحداثة: يتفوق StateKV باستمرار على ReKV (وهي طريقة نافذة منزلقة مهيمنة) عبر VideoMME وMLVU وOVOBench. يعزو المؤلفون ذلك إلى حقيقة أن أنماط الانتباه طويلة المدى في نماذج VLMs ليست قائمة على الحداثة الصرفة؛ بل تعتمد غالباً على "مرتكزات" مستمرة من إطارات بعيدة يتخلص منها نظام النافذة المنزلقة.
• سلوك التدرج (Scaling Behavior): يتحسن الأداء بشكل رتيب مع زيادة سعة الحالة المضغوطة ($B$). تظهر النماذج الأكبر قدرة أقوى على التدرج مع حجم ذاكرة التخزين المؤقت، وغالباً ما تطابق دقة Full SA عند الميزانيات العالية.
• كفاءة الحوسبة:
  • يقلل StateKV من عمليات الفاصلة العائمة (FLOPs) المطلوبة لتعبئة الفيديو بشكل كبير.
  • تحليل نقطة التعادل: بالنسبة للفيديوهات الطويلة بما يكفي، فإن تشغيل نموذج أكبر (مثل InternVL3-8B) باستخدام StateKV هو أقل تكلفة حسابية من تشغيل نموذج أصغر (مثل InternVL3-1B) باستخدام الانتباه الذاتي الكامل.
  • مثال: يحقق نموذج StateKV-8B بميزانية تخزين 4096 دقة بنسبة 62.5% على VideoMME بتكلفة حوسبة مماثلة لنموذج Full SA-1B (الذي حقق 46.2% دقة)، مما يعني فعلياً كسب ~16 نقطة من الدقة لنفس الميزانية.

5. الأهمية والادعاءات

تضع الورقة بحث StateKV كـ خطوة عملية نحو فهم الفيديو الطويل القابل للتوسع. تكمن أهميته في:

• تمكين البث في الوقت الفعلي: من خلال تحقيق تكلفة ثابتة لكل إطار، يزيل StateKV العائق التربيعي الذي يحكم حالياً تطبيقات البث في الوقت الفعلي للفيديوهات الطويلة (على سبيل المثال، تصبح مراقبة سيارة تقود لمدة ساعة أصعب من مراقبة سيارة بدأت للتو).
• إعادة تعريف حدود الحوسبة: تنقل الطريقة النموذج من "الضغط من أجل التناسب" إلى "الضغط من أجل التقريب". وهي تثبت أن الاحتفاظ بالذاكرة القائم على الأهمية هو تقريب أقوى للانتباه الكامل من الحداثة الصارمة، مما يسمح بدقة أفضل عند ميزانيات حوسبة ثابتة.
• القدرة على التعميم: تنتقل الطريقة باستمرار عبر عائلات النماذج المختلفة ومقاييس البارامترات دون الحاجة إلى ضبط خاص بالنموذج، مما يشير إلى أن بنية الانتباه (المصبات الزمنية) هي خاصية قوية في نماذج VLMs الحالية.

يقر المؤلفون بوجود قيود، مشيرين إلى أن التحقق الآلي لا يزال محدوداً بالنماذج الحالية والمدخلات المختبرة. ويقترحون أن العمل المستقبلي يجب أن يستكشف ما إذا كانت أنماط الانتباه هذه ستصمد عبر بنيات ونظم فيديو أوسع. ومع ذلك، ضمن النطاق المختبر، يقدم StateKV حلاً قوياً وخالياً من التدريب لمشكلة التدرج في الفيديوهات الطويلة.