Adaptive Two-Stage Visual Token Pruning for Efficient Inference in Video-Language Models
تقترح هذه الورقة استراتيجية تقليم رموز تكيفية من مرحلتين، لا تتطلب تدريباً وتتم بعد التدريب، حيث تعمل أولاً على إزالة الإطارات الزائدة ثم تضبط ديناميكياً الاحتفاظ بالرموز بناءً على الارتباطات بين الإطارات، مما يحقق تقليلاً بنسبة 95% في العمليات الحسابية مع تحسين دقة وصف الفيديو بنسبة 7% عند الاحتفاظ بـ 10% فقط من الرموز.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم العالم. تمنحه كاميرا وعقلاً، وتطلب منه مشاهدة فيديو وإخبارك بما يحدث. هذا هو عالم "نماذج الرؤية واللغة" (VLMs). فكر في هذه النماذج كفريق: جزء منها هو "العيون" (مشفر الرؤية) الذي ينظر إلى الصور ويقسمها إلى قطع صغيرة من أحجية تسمى "الرموز" (tokens). والجزء الآخر هو "العقل" (نموذج لغوي كبير) الذي يقرأ هذه الرموز ويكتب قصة أو يجيب على سؤال.
المشكلة هي أن الفيديوهات ضخمة للغاية. يمكن تقسيم صورة واحدة إلى مئات القطع من الأحجية، والفيديو ليس سوى مجموعة متراكمة من العديد من الصور. إذا حاولت تغذية عقل الروبوت بفيديو كامل، فسيصاب بالإرهاق. الأمر يشبه محاولة قراءة كتاب من ألف صفحة في ثانية واحدة؛ سيتباطأ الروبوت، ويتعب، ولن يتمكن من العمل على الأجهزة الصغيرة مثل الهواتف أو كاميرات المراقبة. لقد حاول العلماء إصلاح ذلك عن طريق رمي بعض قطع الأحجية، لكن معظم أساليبهم تشبه استخدام "قطاعة الكوكيز": فهي تقطع نفس القدر من القطع من كل فيديو، سواء كان الفيديو عبارة عن لقطة ثابتة مملة لجدار أو مطاردة سيارات مليئة بالإثارة. يسأل هذا البحث سؤالاً أفضل: ماذا لو كنا أكثر ذكاءً فيما نتخلص منه، فنقطع أكثر عندما تكون الأشياء متكررة ونقطع أقل عندما تكون مثيرة؟
قصة قاطع الفيديو الذكي
لاحظ مؤلفو هذا البحث، وهم فريق من أمازون، أن الأساليب الحالية لتسريع ذكاء الفيديو تبدو خرقاء نوعاً ما. فهي تعامل كل فيديو بنفس الطريقة، حيث تقطع عدداً ثابتاً من قطع الأحجية (الرموز) بغض النظر عما يحدث فعلياً على الشاشة. لكن الفيديوهات مميزة؛ فهي تمتلك "تكراراً زمنياً"، وهي طريقة منمقة للقول إنك إذا كان لديك فيديو لقطة نائمة، فإن الإطار رقم 10 سيبدو مطابقاً تقريباً للإطار رقم 11، والذي يبدو مطابقاً للإطار رقم 12. إن إضاعة قدرة عقل الروبوت على كل تلك الإطارات المتطابقة هو أمر سخيف.
ولإصلاح ذلك، ابتكر الفريق استراتيجية "تقليم الرموز البصرية التكيفي ثنائي المرحلة". فكر في الأمر كفريق تنظيف من مرحلتين لغرفة فوضوية.
المرحلة الأولى: مرشح الإطارات (The Frame Filter)
أولاً، تنظر الطريقة إلى الفيديو بأكمده وتسأل: "أي الإطارات جديدة حقاً؟" إذا كان لديك فيديو لشخص يمشي، فقد تكون الإطارات القليلة الأولى متطابقة. تعمل الخوارزمية هنا كمحرر انتقائي، حيث تتخلص من الإطارات المملة والمتكررة تماماً. هي تحتفظ فقط باللحظات الأكثر إثارة، مثل شريط اللقطات البارزة. هذا هو "التقليم على مستوى الإطار".
المرحلة الثانية: مروض الرموز (The Token Tamer)
الآن، أصبح لدى الروبوت فيديو أقصر، ولكن كل إطار متبقٍ لا يزال يتكون من آلاف الرموز الصغيرة. هنا يحدث السحر. فبدلاً من قطع عدد ثابت من الرموز (مثل "احتفظ دائماً بـ 50%")، تنظر الطريقة إلى محتوى الفيديو لتقرر مقدار ما يجب قطعه.
تخيل أن الرموز في إطار ما هي مجموعة من الناس يتحدثون. إذا كان الجميع يقولون الشيء نفسه تماماً (تكرار عالٍ)، فأنت تحتاج فقط للاستماع إلى شخص واحد لفهم المجموعة. ولكن إذا كان الجميع يقولون شيئاً مختلفاً تماماً (تنوع عالٍ)، فأنت بحاجة للاستماع إلى الجميع. تفعل طريقة البحث هذا بالضبط: فهي تحلل "الارتباط" بين الرموز. وتستخدم خدعة رياضية تسمى "تحليل القيم الذاتية" (eigen-decomposition) لقياس مدى تكرار الرموز لبعضها البعض.
إذا كان الفيديو ثابتاً ومتكرراً (مثل شخص يدحرج كرة على منحدر)، فإن الرياضيات تظهر "تلاشياً حاداً"، مما يعني أن الرموز متشابهة جداً. عندها يقول النظام: "حسناً، يمكننا رمي الكثير من هذه!" ويحتفظ بجزء ضئيل فقط. ولكن إذا كان الفيديو فوضووياً وديناميكياً (مثل مطاردة سيارات مع الكثير من حركة الكاميرا)، فإن الرياضيات تظهر "تلاشياً بطيئاً"، مما يعني أن الرموز كلها فريدة. عندها يقول النظام: "تمهل، نحن بحاجة للاحتفاظ بمعظم هذه الرموز!" ويقطع القليل جداً.
النتائج: السرعة دون تعثر
اختبر الفريق طريقتهم على عدة نماذج ذكاء اصطناعي شهيرة، بما في ذلك LLaVA-Video و InternVL3 و Qwen2.5VL. وقارنوا طريقتهم التكيفية الذكية مقابل الأساليب الأخرى "الخالية من التدريب" (الأساليب التي لا تتطلب إعادة تدريب الذكاء الاصطنا থেকেই).
كانت النتائج مبهرة. باستخدام نهجهم التكيفي ثنائي المرحلة، تمكنوا من تقليل كمية العمليات الحسابية التي يتعين على الكمبيوتر القيام بها بمقدار هائل — يصل إلى 95% — مع الحفاظ على ذكاء النموذج. في الواقع، في اختبار قياسي لوصف الفيديو (حيث يصف الذكاء الاصطناعي ما يراه)، حسنت طريقتهم الدقة بنسبة 7% عندما احتفظوا بـ 10% فقط من الرموز.
لوضع ذلك في الاعتبار: إذا كان لديك فيديو يستغرق عادةً ساعة من المعالج الفائق لمعالجته، فإن هذه الطريقة يمكن أن تجعله يعمل في دقائق، وقد يفهمه الروبوت بشكل أفضل لأن تركيزه ينصب على الأجزاء المهمة بدلاً من الضياع في الضجيج.
لماذا هذا مهم؟
يجادل البحث صراحة ضد نهج "مقاس واحد يناسب الجميع" المستخدم في الأساليب السابقة. فهم يوضحون أن استخدام نسبة ثابتة (مثل الاحتفاظ دائماً بـ 30% من البيانات) هو أمر غير مثالي لأن الفيديوهات المختلفة تحتاج إلى كميات مختلفة من البيانات. طريقتهم هي "بعدية" (post-hoc)، مما يعني أنها تعمل على النماذج الموجودة دون الحاجة لإعادة تدريبها، مما يجعلها ترقية جاهزة للتشغيل المباشر للتقنيات الحالية.
وجد المؤلفون أن هذه الاستراتيجية التكيفية تعمل باستمرار عبر مختلف أحجام النماذج وأنواع الفيديوهات. حتى أنهم اختبروا طرقاً رياضية مختلفة لقياس "تلاشي" المعلومات ووجدوا أن المنحنى الأسي (exponential curve) هو الأنسب للبيانات، مما يؤكد أن طريقتهم في قياس التكرار هي الأكثر دقة.
باختاً، يشير هذا البحث إلى أننا لسنا بحاجة لبناء عقول أكبر وأبطأ لفهم الفيديوهات. بدلاً من ذلك، نحتاج فقط لنكون أكثر ذكاءً فيما نغذي بها تلك العقول. من خلال العمل كمحرر بارع يعرف تماماً متى يقص الأجزاء المملة ومتى يحتفظ بالأجزاء المثيرة، يمكننا جعل ذكاء الفيديو سريعاً بما يكفي ليعمل على الأجهزة اليومية دون أن يفقد قدرته على رؤية العالم بوضوح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.