Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere
تقترح الورقة البحثية **ONCE**، وهو إطار عمل إضافي لضغط الرموز المرئية (video tokens) يقوم بنقل عملية الضغط المكلفة إلى مرحلة ما قبل التشغيل (offline) عبر تعلم كتاب رموز عالمي مدرك للتردد لمرة واحدة، مما يتيح ضغطاً فورياً (online) فعالاً ومستقلاً عن النموذج يقلل بشكل كبير من زمن انتقال الاستدلال مع الحفاظ على أداء تنافسي عبر معايير فهم الفيديو.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم الأفلام. للقيام بذلك، تقوم بتفكيك كل إطار من الفيلم إلى آلاف "البكسلات" الرقمية الصغيرة من المعنى، والتي تسمى "الرموز" (tokens). ثم يقرأ الروبوت هذه القائمة الضخمة من الرموز كأنها جملة ليفهم ما يحدث. المشكلة هي أن الأفلام طويلة، ومليئة بالتكرار. إذا كان هناك شخصية تقف ساكنة في غرفة لمدة عشر ثوانٍ، فسيُجبر الروبوت على قراءة نفس رمز "الوقوف في غرفة" آلاف المرات متتالية. الأمر يشبه قراءة كتاب حيث تتكرر كلمة "الـ" مليون مرة فقط لملء المساحة؛ هذا يهدر قدرة الروبوت الذهنية ويجعله بطيئاً للغاية في الإجابة على الأسئلة. لقد حاول العلماء إصلاح ذلك عبر تعليم الروبوت كيفية تخطي الأجزاء المملة أو دمج الأجزاء المتشابهة أثناء مشاهدة الفيلم، لكن هذا يتطلب عادةً من الروبوت القيام بعمليات حسابية إضافية لكل فيلم يراه، وهو أمر لا يزال بطيئاً ومكلفاً للغاية.
يقدم هذا البحث طريقة جديدة للتعامل مع هذا الأمر تسمى ONCE. بدلاً من جعل الروبوت يقوم بالعمل الشاق لفرز وتخطي الأجزاء في كل مرة يشاهد فيها فيديو جديداً، قرر الباحثون القيام بالعمل الثقيل قبل أن يرى الروبوت أي فيلم. لقد أنشأوا "كتيب رموز عالمي" (Global Codebook)، وهو في الأساس فهرس جاهز وضخم لأكثر الأنماط البصرية شيوعاً الموجودة في آلاف الساعات من الفيديو. فكر في الأمر كأنه مكتبة حيث تم ترتيب كل كتاب بالفعل على الرف المثالي. عندما يصل فيلم جديد، لن يحتاج الروبوت إلى اكتشاف كيفية تنظيمه من الصفر؛ بل سيبحث فقط عن الأنما patterns في فهرسه الجاهز، ويجلب "الأرفف" ذات الصلة، ثم يقوم بمتوسطها. هذا يسمح للروبوت بمعالجة الفيديوهات بسرعة أكبر لأن الأمر مجرد عملية بحث سريعة بدلاً من إجراء عملية حسابية معقدة في كل مرة. وقد وجد الباحثون أن هذه الطريقة تعمل بشكل رائع، خاصة عندما يُجبرون الروبوت على استخدام عدد قليل جداً من الرموز، مما يحافظ على سرعة الروبوت دون جعله ينسى ما يشاهده.
المشكلة: عقل الروبوت المنهك
نماذج اللغة الكبيرة للفيديو (Video-LLMs) تشبه المحققين ذوي القدرات الخارقة الذين يمكنهم مشاهدة فيديو والإجابة على أسئلة حوله. وللقيام بذلك، يحولون الفيديو إلى سلسلة طويلة من الرموز الرقمية. ولكن هنا تكمن العقبة: إذا قدمت للمحقق فيلماً مدته ساعتان، فستصبح سلسلة الرموز طويلة جداً لدرجة أنها ستنهك ذاكرة المحقق.
والأسوأ من ذلك، أن الأفلام مليئة بالتكرار. إذا أظهر مشهد ما قطة تجلس على أريكة لمدة خمس دقائق، فإن مشفر الفيديو سينتج آلاف الرموز التي تقول جميعها "قطة على أريكة". وعلى المحقق قراءة كل واحد منها، رغم أنها جميعاً متطابقة. تحاول الطرق الحالية إصلاح ذلك من خلال جعل المحقق "يقلّم" (prune) أو "يدمج" (merge) هذه الرموز أثناء مشاهدة الفيديو. لكن هذا يشبه مطالبة المحقق بالتوقف وإعادة تنظيم ملاحظاته لكل فيلم يراه. إنه يستغرق وقتاً وطاقة إضافيين في كل مرة، كما أن قواعد التنظيم تتغير بناءً على المحقق (النموذج) الذي تستخدمه.
الحل: ONCE و"الكتيب العالمي"
اقترح المؤلفون في هذا البحث، "جيانغ هي" وفريقه، نهجاً مختلفاً. فقد تساءلوا: "ماذا لو قمنا بالتنظيم مرة واحدة للجميع، بدلاً من مطالبة المحقق بالقيام بذلك في كل مرة؟"
لقد بنوا نظاماً يسمى ONCE (الضغط غير المتصل لرموز الفيديو - Offline-to-Online Video Token Compression). وإليك كيف يعمل، باستخدام تشبيه بسيط:
تخيل أنك أمين مكتبة وعليك فرز ملايين الكتب.
- الطريقة القديمة (الطرق الحالية): في كل مرة تصل فيها شحنة كتب جديدة، عليك التوقف، وقراءة كل كتاب، وتحديد الكتب المتشابهة، ثم تجميعها فعلياً قبل أن تتمكن من وضعها على الرفوف. هذا يستغرق وقتاً طويلاً لكل شحنة جديدة.
- طريقة ONCE: قبل وصول أي شحنة كتب جديدة، تقضي وقتاً في دراسة مجموعة ضخمة من الكتب التي تملكها بالفعل. تنشئ "فهرساً رئيسياً" (الكتيب العالمي) يسرد كل نوع شائع من الكتب التي رأيتها من قبل (مثل: "بطل أكشن"، "برنامج طبخ"، "وثائقي طبيعة"). كما تضع قاعدة: "إذا بدا الكتاب وكأنه 'وثائقي طبيعة'، ضعه في الصندوق (أ)".
الآن، عندما تصل شحنة كتب جديدة (فيديو جديد)، لست بحاجة لقراءتها جميعاً بعناية. يكفي أن تلقي نظرة سريعة على كل كتاب، وتتحقق من "الفهرس الرئيسي" لترى في أي صندوق ينتمي، ثم تضعه هناك. بعد ذلك، تأخذ جميع الكتب في الصندوق (أ) وتلخصها في ملاحظة واحدة. هذا سريع للغاية لأنك لا تعيد اختراع قواعد الفرز لكل شحنة جديدة؛ أنت فقط تستخدم القواعد التي تعلمتها مرة واحدة.
كيف يعمل بالتفصيل
- التعلم غير المتصل (جزء الـ "مرة واحدة"): أخذ الباحثون مجموعة بيانات ضخمة من الفيديوهات (LLaVA-Video-178K) وحللوا الأنماط البصرية. لم يختاروا أنماطاً عشوائية فحسب؛ بل تأكدوا من التقاط الأنماط من أوقات مختلفة في الفيديو (الطبقية الزمنية) ووزنوها حسب مدى تكرار ظهورها. ثم استخدموا تقنية رياضية تسمى "النقل الأمثل" (optimal transport) لتناسب كتيب رموز عالمي يحتوي على 8,192 "نموذجاً أولياً" (prototypes) أو (codewords) ممثلاً. يعمل هذا الكتيب كخريطة للعالم البصري.
- الضغط المتصل (جزء الـ "في كل مكان"): عندما يأتي فيديو جديد، لا يقوم النظام بتدريب أي شيء جديد. هو ببساطة ينظر إلى الرموز البصرية للفيديو ويسأل: "إلى أي من نماذجي الأولية الـ 8,192 يشبه هذا؟". يختار النماذج الأولية الأكثر تكراراً التي تظهر في الفيديو، ويعيد تعيين جميع رموز الفيديو لهذه النماذج، ثم يقوم بمتوسطها. هذا يحول آلاف الرموز إلى عدد أصغر بكثير ويمكن إدارته (مثل 256 أو 512) دون فقدان المعنى الجوهري.
ماذا وجدوا
اختبر الفريق نظام ONCE على أربعة معايير مختلفة لفهم الفيديو (MVBench، EgoSchema، Video-MME، وLongVideoBench) باستخدام نموذجين مختلفين من الذكاء الاصطناوي (LLaVA-OneVision-7B و Qwen3.5-9B).
- السرعة: كانت النتائج مذهلة. قلل ONCE من حجم العمل الذي يتعين على نموذج اللغة القيام به بنسبة تقارب 96% من حيث الحسابات المسبقة (prefill FLOPs). وبالتعبير الواقعي، جعل هذا النظام يعمل أسرع بمعدل 2.96 مرة مقارتشغيل النظام بدون ضغط.
- الدقة: عادةً، عندما تجعل النظام أسرع عن طريق حذف البيانات، يصبح أقل ذكاءً. لكن ONCE كان ذكياً بشكل مفاجئ. فعندما كانت ميزانية الرموز ضيقة جداً (السماح بـ 32 أو 64 أو 128 رمزاً فقط)، حقق ONCE في الواقع درجات أعلى من طرق الضغط الأخرى. وكان بارعاً بشكل خاص في مهام مثل عد الأحداث أو التعرف على تغيرات الحالة.
- الكفاءة: حقق النظام هذه السرعات دون الحاجة إلى إعادة تدريب نموذج الذكاء الاصطناعي الرئيسي. فقد تم تعلم كتيب الرموز مرة واحدة ثم استخدامه لكل شيء.
ما استبعدوه
يجادل البحث صراحةً ضد فكرة أن الضغط يجب أن يتم "أونلاين" (أثناء تشغيل الفيديو) لكل فيديو على حدة. لقد أظهروا أن القيام بالعمل الشاق أثناء الاستدلال (أثناء المشاهدة) هو أمر غير فعال ومكرر. كما أثبتوا أن مجرد اختيار رموز عشوائية أو استخدام مجموعة ثابتة من الرموز لكل فيديو لا يعمل بشكل جيد مثل طريقتهم، التي تختار ديناميكياً النماذج الأولية الصحيحة للفيديو المحدد مع الحفاظ على قواعد التجميع ثابتة.
علاوة على ذلك، وجدوا أن "الكتيب العالمي" لا يخزن فقط أمثلة تدريبية؛ بل يتعلم بنية قابلة لإعادة الاستخدام. حتى عند اختباره على فيديوهات لم يراها من قبل (اختبار جهد للفيديوهات العامة)، كان أداء الكتيب أفضل من التجميع العشوائي، مما يشير إلى أنه استوعب حقاً "قواعد" الأنماط البصرية.
الخلاصة
يشير المؤلفون إلى أن ONCE يقدم طريقة جديدة للتفكير في ذكاء الفيديو الاصطناعي: بدلاً من جعل الذكاء الاصطناعي يعمل بجهد أكبر لكل فيديو جديد، يمكننا تعليمه لغة عالمية من الأنماط البصرية مرة واحدة، ثم نتركه يتحدث تلك اللغة بطلاقة وسرعة كلما احتاج لذلك. وبينما لا تزال الطريقة تتطلب كتيب رموز منفصل لمختلف نماذج الذكاء الاصطناعي (لأن كل منها "يرى" الأشياء بشكل مختلف)، فإن النتائج تشير إلى أن نهج "تعلم مرة واحدة، واضغط في كل مكان" هو وسيلة قوية لجعل فهم الفيديو الطويل أسرع وأكثر كفاءة دون التضحية بقدرته على فهم ما يحدث على الشاشة. ويخلص البحث إلى أن هذه خطوة واعدة نحو جعل فهم الفيديو الطويل أمراً عملياً للاستخدام اليومي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.