💬 NLP

CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling

يُعد CoPE-VideoLM نموذج لغة فيديو فعالاً يستفيد من متجهات الحركة والمتبقيات من بدائيات ترميز الفيديو لتقليل العبء الحسابي وزمن الاستجابة بشكل جذري مع الحفاظ على الأداء أو تجاوزه عبر مختلف معايير فهم الفيديو.

المؤلفون الأصليون: Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

نُشر 2026-03-31

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sayan Deb Sarkar, Rémi Pautrat, Ondrej Miksik, Marc Pollefeys, Iro Armeni, Mahdi Rad, Mihai Dusmanu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية فهم فيلم سينمائي.

الطريقة المعتادة حالياً هي عرض الفيلم على الروبوت إطاراً تلو الآخر، كما لو كنت تريه كل إطار كصورة منفردة من بين 1,000 صورة عالية الدقة. حتى لو كان الفيلم مجرد شخص يجلس ويتحدث بهدوء، يتعين على الروبوت "النظر" إلى كل صورة، وتحليل البكسلات، وتذكرها جميعاً. هذا الأمر بطيء للغاية، ويستهلك كمية هائلة من ذاكرة الكمبيوتر، وغالباً ما يضطر الروبوت إلى تخطي بعض الإطارات لكي يتسع الفيلم داخل "عقله" (نافذة السياق). وإذا قام الروبوت بتخطي الإطارات، فقد يفقد إيماءة يد دقيقة أو نظرة خاطفة سريعة تغير معنى المشهد بالكامل.

CoPE-VideoLM هي طريقة جديدة وأكثر ذكاءً لتعليم الروبوت. فبدلاً من عرض كل صورة عليه، تعلمه كيفية قراءة "ملاحظات المخرج" للفيلم (بيانات ترميز الفيديو - video codec).

إليك شرح الفكرة باستخدام تشبيه بسيط:

"ألبوم الصور" مقابل "القصة المصورة"

الطريقة القديمة (نماذج VideoLM القياسية):
تخيل أن لديك ألبوماً لصور شخص يمشي عبر غرفة.

الصورة 1: الشخص على اليسار.
الصورة 2: الشخص في جهة اليمين قليلاً.
الصورة 3: الشخص في جهة اليمين أكثر.
الصورة 4: الشخص يقترب من المنتصف.

إذا عرضت هذا على روبوت باستخدام الطريقة القديمة، فأنت تسلمه أربع صور ملونة كاملة. يتعين على الروبوت معالجة الصورة الكاملة للغرفة، والأثاث، والشخص في كل صورة، رغم أن 90% من الصورة (الأثاث) لم يتغير على الإطلاق. هذا هدر للوقت والطاقة.

الطريقة الجديدة (CoPE-VideoLM):
الآن، تخيل أنك تعطي الروبوت قصة مصورة (Comic Book) بدلاً من ذلك.

اللوحة 1 (الإطار الرئيسي - Keyframe): رسم كامل ومفصل للشخص وهو على اليسار.
اللوحة 2 (الفرق - Delta): بدلاً من رسم كامل، تظهر له فقط سهم صغير يشير لليمين وخربشة صغيرة توضح مكان حركة قميصه.
اللوحة 3: سهم صغير آخر وخربشة صغيرة أخرى.

لا يحتاج الروبوت لإعادة رسم الغرفة بأكملها لكل لوحة. هو يحتاج فقط لمعرفة: "حسناً، الغرفة هي نفسها كما كانت، لكن الشخص تحرك بمقدار بوصتين نحو اليمين."

كيف يعمل CoPE-VideoLM

"الإطارات الرئيسية" (I-Frames):
تماماً مثل القصة المصورة، يقوم النظام كل بضع ثوانٍ بعرض صورة كاملة وعالية الجودة (إطار I). هذا يحدد المشهد، حيث ينظر إليها الروبوت بشكل طبيعي.
"الملاحظات" (P-Frames):
بالنسبة لجميع الإطارات التي تليها، بدلاً من إرسال صورة كاملة، يرسل النظام متجهات الحركة (أسهم توضح اتجاه وحجم الحركة) والبواقي/الفروقات (تصحيحات صغيرة للون أو الملمس).

التشبيه: إذا كنت تصف رقصة لصديق، فأنت لا تصف المسرح بأكمله في كل ثانية، بل تقول: "قفز لليسار، ثم دار حول نفسه". هذه هي "متجهات الحركة".

"المترجم" (المشفر $\Delta$ - The $\Delta$ -Encoder):
عقل الروبوت (نموذج الذكاء الاصطناعي) اعتاد على رؤية صور كاملة، وهو لا يفهم طبيعياً معنى "الأسهم والخربشات". لذا، قام الباحثون ببناء مترجم صغير وسريع جداً (المشفر $\Delta$ ).

يأخذ هذا المترجم "الأسهم والخربشات" ويحولها فوراً إلى صيغة يفهمها عقل الروبوت، ولكن في حزمة مضغوطة وصغيرة جداً.
بدلاً من استخدام 196 "توكن" (وحدة معلومات) للصورة الكاملة، فإنه يستخدم 8 توكنات فقط لملاحظات الحركة.

لماذا يعد هذا تغييراً جذرياً؟

السرعة (الوقت حتى ظهور أول توكن):
لأن الروبوت ليس مضطراً لمعالجة آلاف الصور الكاملة ليبدأ في الإجابة على سؤال، يمكنه البدء في التحدث بسرعة أكبر بنسبة 86%. إنه يشبه الفرق بين انتظار وصول مكتبة كاملة قبل أن تتمكن من قراءة كتاب، وبين الحصول على الفصل الأول فوراً.
الكفاءة (استخدام التوكنات):
يستخدم الروبوت ذاكرة أقل بنسبة 93% لمشاهدة نفس الفيديو. الأمر يشبه إرسال رسالة نصية تحتوي على رابط لفيديو بدلاً من إرفاق ملف الفيديو نفسه.
فهم أفضل:
من المثير للدهشة أن الروبوت أصبح يفهم الفيديو بشكل أفضل في بعض الجوانب. ولأنه ليس مضطراً لتخطي الإطارات لتوفير المساحة، فإنه يرى تدفق الحركة بالكامل. هو لا يفقد "التفاصيل الدقيقة" (مثل حركة العين الخفيفة) لأنه يقرأ "ملاحظات المخرج" المستمرة بدلاً من التخمين بين لقطات متباعدة.

الخلاصة

CoPE-VideoLM يتوقف عن معاملة الفيديو كمجموعة من الصور الثابتة ويبدأ في معاملته كـ فيلم سينمائي. فهو يستفيد من حقيقة أن الأفلام هي في معظمها مجرد "ما الذي تغير منذ الثانية الماضية". ومن خلال استخدام "الملاحظات" المدمجة التي يوفرها ضغط الفيديو بالفعل، يجعل فهم الذكاء الاصطنا للفيديو أسرع، وأرخص، وأذكى، مما يسمح للروبوتات بمشاهدة ساعات من الفيديو دون أن يصيبها الارتباك أو التشتت.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "CoPE-VideoLM: الاستفادة من بدائيات الترميز (Codec Primitives) لنماذج لغة الفيديو الفعالة."

1. بيان المشكلة

تهدف نماذج لغة الفيديو (VideoLMs) إلى فهم الديناميكيات الزمنية في الفيديوهات، لكنها تواجه عقبتين حرجتين:

قيود نافذة السياق (Context Window Constraints): تعتمد نماذج لغة الفيديو الحالية على أخذ عينات من الإطارات الرئيسية (مثل أخذ العينات الزمني الموحد) لتناسب نوافذ السياق المحدودة. هذا الأخذ المتباعد للعينات غالبًا ما يؤدي إلى فقدان الأحداث الكلية (macro-level events) والتفاصيل الدقيقة (micro-level details).
التكرار الحسابي (Computational Redundancy): معالجة صور RGB كاملة لكل إطار يتم أخذ عيناته يتسبب في عبء حسابي هائل. حتى عند معدلات إطارات منخفضة (مثل 1 إطار في الثانية)، تحتوي الإطارات المتتالية على تكرار عالٍ.
مشكلات زمن الاستجابة (Latency Issues): يؤدي ترميز الصور الكاملة لكل إطار إلى زيادة كبيرة في زمن الوصول إلى أول توكن (TTFC)، وهو أمر ضار بالتطبيقات التي تتطلب استجابة فورية مثل الروبوتات أو تجربة المستخدم.

تعتمد الطرق الموجودة إما على التخلص من البنية الزمنية أو محاولة ضغط توكنات RGB الكثيفة بعد عملية الترميز، مما يفشل في الاستفادة من التباين والبنية المتأصلة الموجودة بالفعل في برامج ترميز الفيديو القياسية.

2. المنهجية: CoPE-VideoLM

يقترح المؤلفون إطار عمل CoPE-VideoLM، الذي يستبدل ترميز إطارات RGB الكثيفة بتمثيلات خفيفة الوزن ومنظمة مستمدة مباشرة من بدائيات ترميز الفيديو (متجهات الحركة والمخلفات/Residuals).

المفاهيم الأساسية

بدائيات الترميز (Codec Primitives): بدلاً من فك تشفير كل إطار إلى RGB، يستخدم النموذج البيانات الأصلية لضغط الفيديو (مثل H.264 و HEVC):
- إطارات I (Intra-coded): صور RGB كاملة، تتم معالجتها بواسطة مشفر رؤية قياسي مجمد (frozen).
- إطارات P (Predictive): تحتوي فقط على الفرق عن الإطار السابق، وتكون مشفرة كـ متجهات حركة ( $\tau$ ) و مخلفات ( $\delta$ ).
استراتيجية التقطيع (Tokenization Strategy):
- إطارات I: تُشفر إلى توكنات كثيفة ( $M \approx 196$ ) عبر مشفر رؤية قياسي (مثل SigLIP).
- إطارات P: تُشفر إلى توكنات $\Delta$ مدمجة للغاية ( $N \approx 8$ ) عبر مشفر $\Delta$ ( $\Delta$ -Encoder) خفيف الوزن.
- التداخل (Interleaving): التسلسل النهائي للمدخلات إلى النموذج اللغوي الكبير (LLM) هو تدفق متداخل من توكنات إطارات I وتوكنات $\Delta$ ، مما يحافظ على الترتيب الزمني الطبيعي.

تفاصيل البنية الهيكلية

مشفر $\Delta$ ( $\Delta$ -Encoder): مشفر يعتمد على Transformer ثنائي المسار وخفيف الوزن:
- مسار الحركة (Motion Branch): يعالج متجهات الحركة عبر طبقة MLP و Transformer للحركة لضغط بيانات الإزاحة المكانية.
- مسار المخلفات (Residual Branch): يعالج إطارات المخلفات عبر ResNet-18 خفيف الوزن و Residual Transformer لالتقاط تغيرات النسيج/الشدة.
- يتم دمج المخرجات لتشكيل توكنات $\Delta$ المدمجة.
نموذج التدريب على مرحلتين:
- المرحلة 1 (ما قبل التدريب - Pre-training): يتم تدريب مشفر $\Delta$ لمواءمة بدائيات الترميز مع مساحة التضمين (embedding space) الخاصة بمشفر الرؤية المجمد. يستخدم "ترانسفورمر مرجعي" (Reference transformer) (لتحريف توكنات الإطار السابق بناءً على الحركة) و "ترانسفورمر مُحرف" (Warped transformer) (لإضافة المخلفات) لإعادة بناء تمثيل توكن الإطار المستهدف. يضمن ذلك أن تكون توكنات $\Delta$ متوافقة دلاليًا مع توكنات RGB.
- المرحلة 2 (الضبط الدقيق من طرف إلى طرف - End-to-End Fine-tuning): يتم دمج مشفر $\Delta$ المدرب مسبقًا في نموذج VideoLM (مثل LLaVA-Video-7B) وضبطه بدقة على بيانات تعليمات الفيديو. يتم التخلص من وحدات ما قبل التدريب المساعدة، تاركةً فقط مشفر $\Delta$ الفعال.

دمج إطارات P (P-Frame Fusion)

للموازنة بين الدقة الزمنية وعدد التوكنات، يمكن للنموذج دمج $s$ من إطارات P المتتالية. بدلاً من ترميز كل إطار P على حدة، يقوم بترميز التغيير التراكمي بالنسبة لإطار مرجعي، مما يسمح لميزانية التوكنات بالتوسع بشكل طبيعي مع مدة الفيديو دون الاصطدام بحدود السياق.

3. المساهمات الرئيسية

التقطيع الواعي بالترميز (Codec-Aware Tokenization): نهج مبتكر يتخطى معالجة RGB الكثيفة لإطارات P، مما يقلل من استخدام التوكنات بنسبة تصل إلى 93% ويقلل من زمن الوصول إلى أول توكن (TTFF) بنسبة تصل إلى 86%.
مشفر $\Delta$ خفيف الوزن: بنية ثنائية المسار تضغط بفعالية بيانات الحركة والمخلفات إلى مجموعة صغيرة من التوكنات ( $N=8$ ) مع الحفاظ على المواءمة مع سمات الصورة.
استراتيجية ما قبل التدريب: هدف مواءمة محدد يربط بدائيات الترميز بمساحة مشفر الرؤية، مما يتيح تقاربًا أسرع وأداءً أفضل أثناء الضبط الدقيق النهائي.
القابلية للتوسع (Scalability): تفصل الطريقة بين معدل الإطارات وميزانية التوكنات، مما يمكن النماذج مفتوحة المصدر من معالجة فيديوهات تصل مدتها إلى ساعات (مثل 8 ساعات بمعدل 1 إطار في الثانية) ضمن سياق 1 مليون توكن، وهو أمر كان مستحيلاً للنماذج مفتوحة الأوزان سابقاً.

4. النتائج التجريبية

تم تقييم النموذج على 14 اختبارًا متنوعًا تغطي الأسئلة العامة، والاستدلال الزمني، والفهم طويل المدى، وفهم المشهد المكاني.

الأداء مقابل الكفاءة:
- الدقة: يضاهي CoPE-VideoLM أو يتفوق في الأداء على نماذج VideoLM مفتوحة المصدر الرائدة (مثل LLaVA-Video-7B) رغم استخدامه لجزء ضئيل من التوكنات.
- الاختبارات المرجعية: يحقق أفضل النتائج (SOTA) بين النماذج مفتوحة المصدر في PerceptionTest (بزيادة 2.4% عن النموذج الأساسي)، و NextQA، ومهام الاستدلال الزمني مثل TempCompass و TOMATO.
- كفاءة التوكنات: في إعداد يتضمن إطارًا رئيسيًا واحدًا لكل مجموعة صور (GOP)، يحقق دقة مقاربة لأخذ العينات الكثيفة مع استخدام حوالي 6.9% فقط من التوكنات.
مكاسب زمن الاستجابة (Latency Gains):
- زمن الوصول إلى أول توكن (TTFT): انخفض بنسبة 86.2% (من 2.39 ثانية إلى 0.33 ثانية) مقارنة بالنموذج الأساسي المكون من 64 إطارًا.
- زمن الاستجابة من الطرف إلى الطرف: انخفض بنسبة 56.1%.
القدرة على الفهم طويل المدى: يمكن للنموذج معالجة فيديوهات تصل مدتها إلى 8 ساعات ضمن سياق 1 مليون توكن، بينما تشبع طرق أخذ العينات الكثيفة التقليدية نافذة السياق بعد دقائق معدودة.
الفهم المكاني ثلاثي الأبعاد: في مهام الأسئلة والأجوبة المكانية (ScanQA, SQA3D)، يؤدي النموذج أداءً تنافسيًا مع النماذج المتخصصة في 3D باستخدام 25% فقط من التوكنات.

5. الأهمية والتأثير

تحول في النموذج المعرفي (Paradigm Shift): ينقل CoPE-VideoLM نماذج لغة الفيديو من معاملة الفيديو كسلسلة من الصور المستقلة إلى معاملته كتدفق مضغوط ومتماسك زمنيًا.
القابلية للتطبيق في العالم الحقيقي: إن الخفض الهائل في زمن TTFT واستهلاك الذاكرة يجعل نماذج لغة الفيديو قابلة للاستخدام في الروبوتات التي تعمل في الوقت الفعلي والتطبيقات التفاعلية حيث يكون زمن الاستجاء أمرًا بالغ الأهمية.
كفاءة الموارد: من خلال الاستفادة من معايير ضغط الفيديو الموجودة، تلغي هذه الطريقة الحاجة إلى فك تشفير وتشفير إطارات RGB كاملة مكلفة، مما يقلل بشكل كبير من البصمة الكربونية والمتطلبات العتادية للتدريب والاستدلال.
التوسع المستقبلي: مع توسع النماذج نحو نوافذ سياق أكبر، توفر هذه الطريقة مسارًا مستدامًا لفهم الفيديو طويل السياق دون الانفجار الحسابي التربيعي المرتبط بتسلسلات التوكنات الكثيفة.

باخت-صار، يثبت CoPE-VideoLM أن بدائيات الترميز هي مصدر متفوق للمعلومات الزمنية لنماذج لغة الفيديو، حيث تقدم بديلاً عالي الكفاءة، وقابلاً للتوسع، وعالي الأداء لتقنيات توكنات RGB الكثيفة التقليدية.