Sparse-to-Dense: A Free Lunch for Lossless Acceleration of Video Understanding in LLMs

ملخص تقني: من التناثر إلى الكثافة (STD) لتسريع نماذج الفيديو اللغوية الكبيرة (Video-LLM)

بيان المشكلة
تواجه نماذج الفيديو اللغوية الكبيرة (Video-LLMs) تأخراً كبيراً في زمن الاستجابة (Inference Latency) عند معالجة تسلسلات الفيديو الطويلة. يعود ذلك أساساً إلى آلية فك الترميز ذاتي التراجع (Auto-regressive decoding)، حيث يجب على كل رمز (Token) جديد الانتباه إلى جميع الرموز السابقة. وبما أن تسلسلات الفيديو تُمثل كتدفقات رموز طويلة للغاية (على سبيل المثال، يمكن لفيديو مدته ساعة واحدة أن يولد أكثر من 140,000 رمز بصري)، فإن ذاكرة المفتاح والقيمة (KV cache) المرتبطة بها تنمو بسرعة، مما يخلق طلباً هائلاً على عرض نطاق الذاكرة (Memory Bandwidth) ويقلل من معدل الإنتاجية (Throughput). وبينما توجد حلول حالية مثل ضغط ذاكرة الـ KV أو التكميم (Quantization)، إلا أنها غالباً ما تؤدي إلى تباينات بين التدريب والاستنتاج، مما يضعف أداء النموذج. علاوة على ذلك، فإن طرق فك الترميز التخميني (Speculative Decoding) القياسية تتطلب عادةً نموذج "مسودة" (Draft Model) إضافياً، وهو أمر مكلف حوسبياً وغير عملي لنماذج الفيديو اللغوية الكبيرة.

المنهجية: من التناثر إلى الكثافة (Sparse-to-Dense - STD)
يقترح المؤلفون استراتيجية Sparse-to-Dense (STD)، وهي استراتيجية فك ترميز جاهزة للتشغيل (Plug-and-play)، لا تتطلب تدريباً، وتحقق تسريعًا دون فقدان في الجودة عبر الاستفادة من التناثر المتأصل في آلية الانتباه لنماذج الفيديو اللغوية الكبيرة. تعمل هذه الطريقة دون تغييرات هيكلية أو ضبط دقيق (Fine-tuning).

1. الملاحظة الجوهرية: لاحظ المؤلفون أن درجات الانتباه (Attention Scores) في نماذج الفيديو اللغوية الكبيرة أثناء فك الترميز تكون متناثرة للغاية. وكشف التحليل التجريبي على نماذج مثل Qwen2-VL-7B أن الاحتفاظ فقط بأعلى $K$ من ذاكرة الـ KV يحافظ على دقة توقع الرموز الأصلية لحوالي 95% من الرموز. يشير هذا إلى أن معظم رؤوس الانتباه (Attention Heads) تساهم بشكل ضئيل في المخرجات النهائية، وأن ذاكرة الـ KV الكاملة ليست ضرورية تماماً لكل خطوة.
2. بنية النموذج المزدوجة: تستخدم STD نمطين متميزين من نفس معاملات النموذج:
   • النموذج المتناثر (The Sparse Model - $M_s$): يعمل كنموذج مسودة. وهو يستخدم انتباه top-$K$، حيث يختار فقط ذاكرات الـ KV الأكثر صلة بناءً على أوزان الانتباه من الرموز النصية إلى الرموز البصرية. وهذا يقلل بشكل كبير من عبء الإدخال/الإخراج (I/O overhead) خلال مرحلة المسودة.
   • النموذج الكثيف (The Dense Model - $M$): يعمل كنموذج تحقق (Verifier). وهو يستخدم ذاكرة الـ KV الكاملة (Standard Attention) للتحقق من الرموز التي اقترحها النموذج المتناثر.
3. إجراء فك الترميز:
   • بالنظر إلى تسلسل مدخل، يقوم النموذج المتناثر $M_s$ بتوليد $\gamma$ من الرموز التخمينية بشكل تلقائي تراجعي.
   • يقوم النموذج الكثيف $M$ بالتحقق من هذه الرموز $\gamma$ بالتوازي باستخدام عملية إدخال/إخراج واحدة لذاكرة الـ KV الكاملة.
   • تحدد عملية التحقق أطول بادئة (Prefix) من الرموز التي تطابق توقعات النموذج الكثيف ($n$ من الرموز) وتقبل رمزاً إضافياً "مكافأً".
   • يتم إلحاق التسلسل المقبول بالسياق للدورة التالية.
4. اختيار ذاكرة الـ KV: لتحسين الكفاءة، يتم إجراء اختيار أعلى $K$ من ذاكرات الـ KV البصرية خلال مرحلة التعبئة المسبقة (Prefilling Stage) بناءً على متوسط درجات الانتباه الموجهة من الرموز النصية إلى الرموز البصرية. وهذا يتجنب الاختيار الديناميكي عالي الحوسبة أثناء مرحلة فك الترميز. كما أن الاختيار يكون دقيقاً (Granular)، حيث يختلف عبر الطبقات ورؤوس الانتباه.

المساهمات الرئيسية

• تسريع بدون فقدان (Lossless Acceleration): توفر STD "وجبة مجانية" عبر تسريع الاستنتاج دون تغيير توزيع المخرجات أو الحاجة لإعادة تدريب النموذج.
• لا يوجد نموذج مسودة إضافي: على عكس فك الترميز التخميني التقليدي، تستخدم STD النموذج المستهدف نفسه كمسودة عبر مجرد التبديل من آلية الانتباه الكثيفة إلى المتناثرة، مما يلغي الحاجة إلى ذاكرة رسومية (GPU Memory) إضافية لتخزين نموذج مسودة منفصل.
• تنفيذ جاهز للتشغيل (Plug-and-Play): تتطلب الطريقة تعديلات طفيفة فقط في الكود (حوالي 20 سطراً) لتحويل نماذج الفيديو اللغوية الكبيرة القياسية إلى نظائر متناثرة.
• الكفاءة النظرية: قدم المؤلفون تحليلاً لتعقيد الإدخال/الإخراج (I/O complexity) يظهر أنه إذا كان معدل القبول ($\alpha$) مرتفعاً بما يكفي بالنسبة لنسبة أزواج الـ KV المحتفظ بها، فإن متوسط الإدخال/الإخراج لكل رمز سيكون أقل بكثير من فك الترميز العادي.

النتائج التجريبية
تم تقييم الطريقة على نماذج فيديو لغوية كبيرة حديثة (LLaVA-OneVision-7B و Qwen2-VL-7B-Instruct) باستخدام اختبارات MLVU و VideoMME (التي تغطي فيديوهات قصيرة، متوسطة، وطويلة).

• التسريع: حققت STD تسريعاً يصل إلى 1.94 ضعف في وقت التشغيل الفعلي (Wall-time speedup) على Qwen2-VL و 1.72 ضعف على LLaVA-OneVision-7B.
• الدقة: الطريقة لا تسبب أي فقدان (Lossless)، حيث حافظت على دقة مطابقة للنموذج الكثيف الأصلي عبر جميع الاختبارات.
• المقارنة: تفوقت STD على النماذج المرجعية مثل LayerSkip (الذي عانى من انزياحات في التوزيع ومعدلات قبول أقل) و Streaming (الذي يستخدم الانتباه المتدفق). على سبيل المثال، حققت STD تسريعاً قدره 1.94 ضعف على Qwen2-VL مقارنة بـ 1.61 ضعف لـ Streaming، مع معدل قبول أعلى.
• المعلمات الفائقة (Hyperparameters): أشارت دراسات الاستئصال (Ablation studies) إلى أن زيادة طول المسودة ($\gamma$) يحسن التسريع حتى نقطة معينة (حوالي $\gamma=9$)، والتي بعدها تنخفض احتمالية التوقعات الصحيحة المتتالية. وبالمثل، فإن قيمة $K$ المثلى توازن بين سرعة النموذج المتناثر ودقة المسودة.

الأهمية والادعاءات
يزعم البحث أن STD تقدم حلاً عملياً وفورياً للمعالجة الفعالة للفيديوهات الطويلة في النماذج اللغوية الكبيرة. ومن خلال استغلال الخاصية الهيكلية لتناثر الانتباه، فإنها تتيح التحويل السلس لنماذج الفيديو اللغوية الكبيرة القياسية إلى أنظمة فعالة دون التضحية بالدقة. ويؤكد المؤلفون أن هذا النهج يفتح المجال للمعالجة الفعالة لتسلسلات الفيديو الطويلة (مثل فيديوهات مدتها ساعة واحدة) التي كانت مقيدة سابقاً بزمن استجناء عالٍ، وكل ذلك دون الحاجة إلى تدريب إضافي أو تعديلات هيكلية. ويشير المؤلفون إلى أنه بينما يتم تخزين جميع ذاكرات الـ KV حالياً في ذاكرة الرسوميات (HBM)، فإن العمل المستقبلي قد يستكشف النقل إلى ذاكرة المعالج (CPU memory) لمعالجة اختناقات السعة.