🤖 machine learning

Unified Spatio-Temporal Token Scoring for Efficient Video VLMs

تقدم هذه الورقة تقنية تسجيل الرموز الزماني والمكاني (STTS)، وهي وحدة تدريبية خفيفة الوزن وقابلة للتدريب من الطرف إلى الطرف توحد عملية تقليم رموز الرؤية عبر كل من نماذج ViT ونماذج LLM دون اشتراط النص، محققةً كفاءة بنسبة 62% مع حد أدنى من فقدان الأداء في مهام الرؤية واللغة للفيديو.

المؤلفون الأصليون: Jianrui Zhang, Yue Yang, Rohun Tripathi, Winson Han, Ranjay Krishna, Christopher Clark, Yong Jae Lee, Sangho Lee

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jianrui Zhang, Yue Yang, Rohun Tripathi, Winson Han, Ranjay Krishna, Christopher Clark, Yong Jae Lee, Sangho Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول مشاهدة فيلم مدته ساعتان للإجابة على سؤال واحد عنه. الآن، تخيل أنك بدلاً من مجرد مشاهدة الفيلم، يتعين عليك كتابة وصف تفصيلي لكل بكسل في كل إطار من إطارات ذلك الفيلم قبل أن تتمكن حتى من البدء في التفكير في السؤال.

هذا هو بالضبط ما تفعله نماذج الذكاء الاصطناعي للفيديو الحالية (نماذج الرؤية واللغة). إنها ذكية للغاية، لكنها بطيئة جداً وتستهلك طاقة حوسبة هائلة لأنها تحاول معالجة كل شيء في الفيديو، حتى الأجزاء المملة.

تقدم هذه الورقة البحثية حيلة ذكية تسمى STTS (التنقيط المكاني-الزماني). فكر فيها كأنها محرر فائق الكفاءة للذكاء الاصطناعي.

إليك كيف يعمل الأمر، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: "تراكم البكسلات"

عندما يشاهد الذكاء الاصطناعي فيديو، فإنه يقسم الفيديو إلى مربعات صغيرة تسمى "Tokens" (مثل قطع الأحجية).

المشكلة: إذا أظهر الفيديو شخصاً يمشي عبر غرفة، فإن الخلفية (الجدار، الأرضية) تظل كما هي تماماً لمئات الإطارات. الذكال الاصطناعي حالياً يهدر طاقته الذهنية في تحليل نفس الجدار مراراً وتكراراً.
النتيجة: يصاب الذكاء الاصطناعي بالارتباك، ويستغرق وقتاً طويلاً في التفكير، ويستهلك كل ذاكرة الحاسوب.

2. الحلول القديمة: المحررون "ذوو القوة الغاشمة"

حاولت الطرق السابقة إصلاح هذا بطريقتين، ولكن كلتاهما كانت تعاني من عيوب:

الطريقة (أ) (الخروج المبكر): حاولوا التوقف عن النظر إلى الفيديو مبكراً. لكن هذا كان يشبه طالباً يقرأ كتاباً بشكل سريع (Skimming) ويفوت حبكة الأحداث المهمة لأنه لم يكن يعرف ما هو المهم بعد.
الطريقة (ب) (المحرر المعتمد على النص): انتظروا حتى يقرأ الذكاء الاصطناعي السؤال، ثم حاولوا قص أجزاء الفيديو. لكن هذا كان يشبه طباخاً ينتظر طلب الزبون قبل أن يبدأ حتى في تقطيع الخضروات. كان الأمر بطيئاً ومعقداً للغاية.

3. الحل الجديد: STTS (المحرر "الذكي")

إن STTS عبارة عن وحدة خفيفة الوزن توضع داخل الذكاء الاصطناعي وتعمل كـ محرر ذكي في الوقت الفعلي. لديها قوتان خارقتان خاصتان:

القوة الخارقة الأولى: عين "رصد الحركة" (التنقيط المكاني)

تخيل مشاهدة مباراة كرة قدم. العشب أخضر وثابت. الكرة واللاعبون يتحركون.

الذكاء الاصطناعي القديم: ينظر إلى العشب، والكرة، واللاعبين، والجمهور بالتساوي.
STTS: ينظر إلى الفيديو ويقول: "مهلاً، العشب لم يتغير منذ 10 ثوانٍ. لست بحاجة لكتابة تقرير عنه. لكن الكرة تحركت للتو! يجب أن أحتفظ بها".
كيف يتعلم: يتعلم هذا من خلال مراقبة محاولات الذكاء الاصطناعي للإجابة على الأسئلة. إذا أجاب الذكاء الاصطناعي بشكل صحيح، يعلم STTS: "جيد، لقد احتفظت بالقطع الصحيحة". وإذا أخطأ، يتعلم STTS: "عذراً، لقد حذفت شيئاً مهماً".

القوة الخارقة الثانية: "المسافر عبر الزمن" (التنقيط الزماني)

هنا يصبح STTS ذكياً حقاً. إنه ينظر إلى الزمن.

إذا كان الإطار 1 والإطار 2 متطابقين بنسبة 99% (مثل خلفية ثابتة)، يقول STTS: "الإطار 2 هو مجرد نسخة من الإطار 1. دعونا نتخلص من الإطار 2".
يستخدم "درجة تشابه" خاصة ليعرف متى تكون لحظتان في الزمن متشابهتين بشكل ممل، بحيث يمكنه حذف البيانات المكررة قبل أن تصل إلى الدماغ الرئيسي.

4. خدعة التعبئة: ملء الحافلة

عندما تقوم بقص 50% من إطارات الفيديو، فإنك تترك وراءك كومة غير منتظمة ومتعرجة من البيانات. الحواسيب تكره البيانات الفوضوية؛ فهي تحب الكتل المستطيلة المنظمة.

المشكلة: إذا حذفت نصف البيانات فقط، فلا يزال على الحاسوب حمل "المساحة الفارغة" حيث كانت البيانات موجودة سابقاً.
حل STTS: يستخدم خوارزمية التعبئة (Packing Algorithm). تخيل أن لديك حافلة بها 100 مقعد. قمت بتقليل عدد الركاب إلى النصف. بدلاً من ترك 50 مقعداً فارغاً متناثرين هنا وهناك، يقوم STTS بتجميع الجميع في المقدمة بحيث تكون الـ 50 مقعداً الخلفية فارغة تماماً. يمكن للحافلة الآن أن تسير بشكل أسرع لأنها تحمل وزناً أقل.

5. النتائج: أسرع، أذكى، وأكثر رشاقة

اختبر المؤلفون هذا على 13 اختباراً مختلفاً للفيديو (من المقاطع القصيرة إلى الأفلام الطويلة التي تستغرق ساعة).

القص: نجحوا في حذف 50% من البيانات المرئية التي كان على الذكاء الاصطناعي معالجتها.
السرعة: نظرًا لأن الذكاء الاصطناعي كان عليه القيام بنصف العمل فقط، فقد أصبح أسرع بنسبة 62% في كل من التعلم والإجابة على الأسئلة.
الذكاء: للمفاجأة، لم يصبح الذكاء الاصطناعي غبياً. لقد فقد 0.7% فقط من دقته. في الواقع، بالنسبة للفيديوهات الطويلة جداً، أصبح أحياناً أفضل لأنه لم يعد مشتتاً بكل تلك البيانات الإضافية والمملة.

الصورة الكبيرة

فكر في STTS كأنه تعليم للذكاء الاصطناعي كيفية تجاهل الضجيج.

قبل ذلك، كان الذكاء الاصطناعي مثل طالب يحاول قراءة مكتبة كاملة من الكتب للعثور على حقيقة واحدة.
الآن، مع STTS، أصبح الذكاء الاصطناعي مثل محقق يعرف بالضبط الصفحات التي يجب قراءتها والفصول التي يجب تخطيها.

هذا يسمح لنا ببناء ذكاء اصطناعي يمكنه مشاهدة أفلام أطول، والإجابة على أسئلة أصعب، والعمل على أجهزة أرخص وأسرع دون فقدان ذكائه. إنها طريقة بسيطة وأنيقة لجعل الذكاء الاصطناوئي للفيديو عملياً في العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Unified Spatio-Temporal Token Scoring for Efficient Video VLMs" (STTS).

1. بيان المشكلة

تواجه نماذج الرؤية واللغة القائمة على الفيديو (Video-based VLMs) اختناقاً حوسبياً كبيراً بسبب الحجم الهائل لرموز الرؤية (Visual Tokens).

التعقيد التربيعي: يتطلب معالجة الفيديو تشفير العديد من الإطارات، حيث يتم تفكيك كل إطار إلى مئات من رموز الرقع (Patch Tokens) بواسطة محول الرؤية (ViT). ومع زيادة عدد الإطارات، تزدل تكلفة آلية الانتباه بشكل تربيعي ( $O(N^2)$ )، مما يؤدي إلى استهلاك عالٍ للذاكرة، وبطء في إنتاجية التدريب، وارتفاع زمن انتقال الاستدلال.
قصور الطرق الحالية:
- التقليم قبل/داخل الـ ViT: تركز الطرق الموجودة (مثل دمج الرموز أو الخروج المبكر) على التكرار المكاني في الصور الثابتة أو المهام أحادية النمط. وغالباً ما تفشل في معالجة التكرار الزمني عبر إطارات الفيديو أو لا تكون محسنة لأهداف نماذج VLM متعددة الوسائط في مرحلة ما بعد المعالجة.
- التقليم بعد الـ ViT: الطرق التي تقوم بتقليم الرموز بعد الـ ViT (قبل النموذج اللغوي الكبير LLM) تترك مشفر الـ ViT دون تغيير. وبما أن الـ ViT يعالج كل إطار، فإن الاختناق الحوسبي الأساسي يظل قائماً. علاوة على ذلك، تعتمد العديد من طرق ما بعد الـ ViT على آليات اختيار معقدة مشروطة بالنص أو خوارزميات دمج الرموز التي تعيق التدريب المتكامل (End-to-end).

2. المنهجية: تسجيل الرموز المكاني-الزماني (STTS)

يقترح المؤلفون STTS، وهو وحدة خفيفة الوزن وقابلة للتدريب المتكامل (End-to-end)، توحد عملية تقليم الرموز عبر كل من الـ ViT والـ LLM دون الحاجة إلى شرط نصي أو دمج الرموز.

البنية الأساسية

يتم إدراج STTS بعد طبقة محددة $l$ من الـ ViT (عادة الطبقة 3). وهي تعمل عبر ثلاث خطوات منسقة:

التسجيل ثنائي المحاور:
- البروز المكاني (Spatial Saliency): يقوم مسجل (يتكون من مجمع رموز MLP مكون من 3 طبقات) بالتنبؤ بأهمية الرموز بناءً على التدرجات اللاحقة من الـ LLM. وهذا يسمح للنموذج بتعلم أي الميزات البصرية ضرورية دلالياً للمهمة المحددة.
- التكرار الزمني: يأخذ المسجل الميزات المدمجة من الإطار الحالي والإطار السابق لالتقاط السياق بين الإطارات.
حقن الانحياز (Bias Injection):
- يتم توسيع الدرجات المتوقعة لتناسب دقة الرقعة الأصلية وتُحقن كـ انحياز انتباه (Attention Bias) في طبقة الـ ViT اللاحقة ( $l+1$ ).
- تجعل هذه الآلية قرار التقليم قابلاً للاشتقاق، مما يسمح للتدرجات من خسارة المهمة النهائية بالانتشار والعودة لتنقيح قدرة المسجل على تحديد الرموز البارزة.
تقليم الرموز والتعبئة (Token Pruning and Packing):
- التقليم الصلب (Hard Pruning): تُزال الرموز ذات الدرجات الأدنى (أدنى $k\%$ ) نهائياً.
- خوارزمية التعبئة: بما أن التقليم ينتج تسلسلات رموز ذات أطوال متغيرة (Ragged Tensors)، يستخدم STTS خوارزمية تعبئة تنازلية بنظام الملاءمة الأولى (First-fit descending packing). تقوم الخوارزمية بفرز الإطارات حسب عدد الرموز المتبقية وتعبئتها في مصفوفة كثيفة ومدمجة. هذا يضمن تسريعاً حقيقياً للأجهزة من خلال الحفاظ على عمليات ضرب المصفوفات المجمعة (Batched Matrix Multiplications) الفعالة، على عكس عملية القناع (Masking) البسيطة التي تترك فراغات (Sparsity).

هدف التدريب

يتم تدريب STTS باستخدام دالة خسارة مشتركة:
$L = L_{task} + \lambda L_{sim}$

$L_{task}$ : خسارة الاستدلال الأساسية لـ VLM (مثل التنبؤ بالرمز التالي في الأسئلة والأجوبة).
$L_{sim}$ (الخسارة المساعدة): هي خسارة متوسط مربع الخطأ (MSE) التي توجه المسجل لمواءمة تنبؤاته مع تشابه جيب التمام للإطارات المتجاورة. وتحديداً، تشجع المسجل على تخصيص درجات أهمية أقل للرقع التي تتشابه بشدة مع الإطار السابق (المكررة)، ودرجات أعلى للرقع المتغيرة أو الفريدة.

3. المساهمات الرئيسية

وحدة تقليم موحدة: يعد STTS أول طريقة تقوم بتقليم الرموز بسلاسة عبر كامل خط معالجة الـ VLM (الـ ViT والـ LLM) في إطار عمل واحد قابل للتدريب المتكامل دون تغييرات هيكلية معقدة أو منتقيات مشروطة بالنص.
آلية التسجيل ثنائية المحور: يجمع بشكل فريد بين البروز المكاني (الذي يتم تعلمه عبر تدرجات الـ LLM اللاحقة) والتكرار الزمني (الذي يتم تنظيمه عبر خسارة تشابه جيب التمام المساعدة).
الكفاءة عبر التعبئة: يحول تقديم خوارزمية التعبئة تسلسلات الرموز المتفرقة إلى مصفوفات كثيفة، مما يتيح تسريعاً حوسبياً فعلياً على الأجهزة.
التوافق مع توسيع وقت الاختبار (TTS): تسمح الطريقة بـ "توسيع" الاستدلال عن طريق معالجة المزيد من الإطارات ضمن نفس ميزانية الرموز، مما يستبدل التكرار المكاني بالكثافة الزمنية.

4. النتائج التجريبية

قام المؤلفون بتقييم STTS على 13 اختباراً مرجعياً للأسئلة والأجوبة في الفيديوهات القصيرة والطويلة (بما في ذلك VideoMME, MLVU, LongVideo, إلخ) باستخدام بنية قائمة على Molmo2.

الأداء مقابل الكفاءة:
- تقليم 50%: نجح STTS في تقليم 50% من رموز الرؤية مع انخفاض قدره 0.7% فقط في متوسط الأداء عبر جميع الاختبارات المرجعية.
- تقليم 30%: في بعض الحالات (مثل NextQA و VideoMME)، تحسن الأداء أو تساوى مع النموذج الأساسي، مما يشير إلى أن إزالة الرموز المشوشة تساعد في الاستدلال.
- المتانة: منحنى انخفاض الأداء أكثر استقراراً (Flatter) مقارنة بالتقليم العشوائي أو النماذج المرجعية القائمة على القواعد (Heuristics).
مكاسب الكفاءة:
- تسريع التدريب/الاستدلال: حقق تحسناً في الكفاءة يصل إلى 62%.
- تأثير التوسع: تزداد سرعات الاستدعاء مع زيادة عدد الإطارات التي يتم أخذ عينات منها. بالنسبة لإعداد يحتوي على 256 إطاراً، حقق STTS تسريعاً بمقدار 2.25 ضعف في التدريب و 2.22 ضعف في الاستدلال، مما يثبت أن الفوائد تتوسع بشكل إيجابي مع طول التسلسل بسبب الطبيعة التربيعية لآلية الانتباه.
دراسات الاستئصال (Ablation Studies):
- المتعلم مقابل القائم على القواعد: يتفوق STTS بشكل كبير على نموذج تشابه جيب التمام غير القابل للتعلم، خاصة في الفيديوهات الطويلة حيث تفشل القواعد في التمييز بين الأهمية الدلالية والتشابه البصري البسيط.
- عمق الطبقة: وُجد أن التقليم عند طبقة الـ ViT $l=3$ هو الأمثل؛ حيث أدى التقليم المبكر جداً ( $l=0, 1$ ) إلى تدهور الأداء بشكل كبير.
- توسيع وقت الاختبار (TTS): أدى تطبيق TTS (زيادة عدد الإطارات أثناء الاستدلال للنماذج المقلمة) إلى تحقيق زيادة إضافية في الأداء بنسبة 0.5%–1% فوق النموذج الأساسي، مما يثبت أن STTS يتيح معالجة سياقات زمنية أغنى ضمن ميزانيات حوسبية ثابتة.

5. الأهمية

يمثل STTS تحولاً جذرياً في فهم الفيديو الفعال:

التحسين الشامل: يحل مشكلة الاختناق من المصدر (الـ ViT) بدلاً من مجرد تصفية المخرجات، معالجاً السبب الجذري للتكلفة الحوسبية في نماذج الفيديو VLM.
البساية والتوافق: لا يتطلب منطق دمج معقداً أو اشتراطاً نصياً، مما يجعله سهل التكامل في بنيات VLM الحالية.
القابلية للتوسع: يتيح نشر نماذج الفيديو VLM على الأجهزة ذات الذاكرة المحدودة ويسهل معالجة مقاطع الفيديو طويلة المدى (ساعات طويلة) من خلال السماح بمعالجة المزيد من الإطارات ضمن نفس ميزانية الرموز.
القابلية للتفسير: تظهر التصورات أن STTS يحافظ بذكاء على الأجسام الأمامية الديناميكية (الشخصيات، المنصات المتحركة) بينما يقلم بقوة الخلفيات الثابتة، بينما تميل الطرق القائمة على القواعد إلى تقليم العناصر المهمة دلالياً ولكنها ثابتة بصرياً (مثل الوجوه).

في الختបញ្ចប់، يوفر STTS حلاً بسيطاً وقوياً لاختناق الكفاءة في نماذج الفيديو VLM، مما يتيح تدريباً أسرع، واستدلالاً بزمن انتقال أقل، والقدرة على التعامل مع سياقات فيديو أطول مع الحد الأدنى من الفقد في قدرة الاستدلال.