🤖 AI

OTT-Vid: Optimal Transport Temporal Token Compression for Video Large Language Models

تقدم الورقة البحثية OTT-Vid، وهو إطار عمل لضغط الرموز الزمني لا يتطلب تدريباً لنماذج اللغة الكبيرة الخاصة بالفيديو، والذي يستفيد من النقل الأمثل مع كتلة رموز غير منتظمة وتكاليف مدركة للمحلية لتخصيص ميزانيات الضغط ديناميكياً بناءً على قابلية ضغط أزواج الإطارات، محققاً أداءً هو الأفضل في فئته مع الاحتفاظ بـ 10% فقط من الرموز المرئية.

المؤلفون الأصليون: Minseok Kang, Minhyeok Lee, Jungho Lee, Minjung Kim, Donghyeong Kim, Dayeon Lee, Heeseung Choi, Ig-jae Kim, Sangyoun Lee

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Minseok Kang, Minhyeok Lee, Jungho Lee, Minjung Kim, Donghyeong Kim, Dayeon Lee, Heeseung Choi, Ig-jae Kim, Sangyoun Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث OTT-Vid، مقسمة إلى مفاهيم بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبيرة: الكثير من الفيديو، وقدر ضئيل من طاقة الدماغ

تخيل أنك تحاول مشاهدة فيلم مدته 10 دقائق، لكن دماغك (نموذج الذكاء الاصطناعي) لا يمكنه استيعاب سوى كمية ضئيلة جداً من المعلومات في المرة الواحدة. لفهم الفيلم، يقوم الذكاء الاصطناعي بتفكيك كل إطار (Frame) إلى آلاف القطع الصغيرة التي تشبه قطع الأحجية (Puzzle) وتسمى "الرموز" (Tokens).

إذا كان لديك فيديو طويل، فإن عدد قطع الأحجية هذه ينفجر بشكل هائل. الأمر يشبه محاولة حمل جبل من الطوب في عربة يد صغيرة؛ سيشعر الذكاء الاصطناعي بالارتباك، ويصبح بطيئاً، ويكلف ثروة لتشغيله.

الحل القديم: "إذا بدا الشيء متشابهاً، تخلص منه"

لحل هذه المشكلة، حاول الباحثون التخلص من الطوب الزائد. كانت قاعدتهم القديمة بسيطة: "إذا بدت قطعة في الإطار رقم 5 مطابقة تماماً لقطعة في الإطار رقم 6، فاحذف القطعة الموجودة في الإطار رقم 6".

العيب: هذا يشبه مشاهدة فيديو لشخص يقف ساكناً ثم القول: "إنه لم يتحرك، لذا سأحذفه". لكن هذا الشخص هو الشخصية الرئيسية! إذا حذفته، سينسى الذكاء الاصطناعي وجوده.

النتيجة: يفقد الذكاء الاصطناعي القدرة على تتبع الأشياء التي تبقى كما هي (مثل جسم ثابت أو شخص ينتظر) لأنه يعتقد أنها مكررات مملة. كما أنه يواجه صعوبة في الإجابة على أسئلة حول مدة حدوث شيء ما أو متى حدث.

الحل الجديد: OTT-Vid (أمين المكتبة الذكي)

يقترح مؤلفو هذه الورقة البحثية OTT-Vid، وهي طريقة جديدة لضغط الفيديو لا تعتمد فقط على ما إذا كانت الأشياء تبدو متشابهة، بل تسأل: "هل هذه القطعة مهمة؟"

إنهم يستخدمون مفهوماً رياضياً يسمى النقل الأمثل (Optimal Transport) (فكر فيه كمنسق لوجستي فائق الذكاء) ليقرر ما الذي يجب الاحتفاظ به وما الذي يجب التخلص منه. إليك كيف يعمل ذلك في ثلاث خطوات:

1. "قلم التحديد" (التقليم المكاني - Spatial Pruning)

أولاً، ينظر الذكاء الاصطناعي إلى إطار واحد ويسلط الضدة على الأجزاء الأكثر إثارة للاهتمام.

التشبيه: تخيل معلماً يصحح اختباراً. هو لا يقرأ كل كلمة بنفس القدر من الانتباه، بل يحدد الجمل الرئيسية. يقوم OTT-Vid بهذا لكل إطار في الفيديو، حيث يحتفظ فقط بـ "الرموز المحددة" ويتجاهل ضوضاء الخلفية المملة.

2. "درجة الأهمية" (توزيع الكتلة - Mass Assignment)

هذا هو السر وراء نجاح النظام. يقوم الذكاء الاصطناعي بتخصيص "كتلة" (وزن) لكل رمز متبقٍ.

التحول الجوهري: في هذا النظام، المهم = وزن خفيف و غير المهم = وزن ث heavy.
لماذا؟ فكر في الأمر كشاحنة توصيل. أنت تريد الحفاظ على العناصر الثمينة والهشة (الرموز المهمة) بأمان، ولا تريد سحقها. لذا، تعطيها حالة "خفيفة" ليعرف النظام عدم رميها. أما الأشياء المملة في الخلفية فتأخذ حالة "ثقيلة"، مما يعني أنه من السهل إسقاطها أو دمجها.
النتيجة: حتى لو وقف شخص ما دون حراك لمدة 10 ثوانٍ، يدرك الذكاء الاصطناعي أنه مهم (وزن خفيف) ويرفض حذفه، حتى لو بدا متطابقاً تماماً مع الإطار السابق.

3. "الخطة اللوجستية" (النقل الأمثل - Optimal Transport)

الآن يتعين على الذكاء الاصطناعي تحديد كيفية ضغط الفيديو بين الإطار 1 والإطار 2، وبين الإطار 2 والإطار 3، وهكذا.

التشبيه: تخيل أنك تنتقل من منزل إلى آخر. لديك عدد محدود من الصناديق (ميزانية).
- الطريقة القديمة: تقوم ببساطة برمي المكررات.
- طريقة OTT-Vid: يحسب الذكاء الاصطناعي "صعوبة النقل".
  - إذا كان الإطاران متشابهين جداً ومليئين بالأشياء المملة، تكون "الصعوبة" منخفضة. يقول الذكاء الاصطناعي: "رائع، يمكننا وضع هذه في صندوق واحد وتوفير المساحة!".
  - إذا كان هناك تغييرات مهمة بين الإطارين (مثل بدء سيارة في التحرك)، تكون "الصعوبة" عالية. يقول الذكاء الاصطناعي: "لا تلمس هذا! نحتاج لتوفير صناديقنا لهذه اللحظات".
الميزانية الديناميكية: لا يعطي الذكاء الاصطناعي نفس عدد الصناديق لكل زوج من الإطارات. فهو يعطي صناديق أكثر للأجزاء المثيرة في الفيديو وصناديق أقل للأجزاء المملة.

لماذا هو أفضل؟ (النتائج)

اختبر الباحثون هذا النظام في ستة تحديات مختلفة للفيديو، بما في ذلك:

الإجابة على أسئلة الفيديو: "ماذا حدث في الفيديو؟"
التحديد الزمني (Temporal Grounding): "متى قام الشخص بقطع الكعكة بالضبط؟"

النتيجة:

تخلصوا من 90% من بيانات الفيديو (الاحتفاظ بـ 10% فقط من الرموز).
أسئلة الفيديو: أجاب الذكال الاصطناعي على 95.8% من الإجابات بشكل صحيح مقارنة بمشاهدة الفيديو كاملاً.
أسئلة التوقيت: حافظ الذكاء الاصطناعي على 73.9% من دقته في مهام التوقيت.

الاستنتاج الرئيسي:
فشلت الطرق السابقة في مهام التوقيت لأنها حذفت الأجزاء "المملة" والثابتة التي تثبت في الواقع مدة وقوع الحدث. أما OTT-Vid فيحتفظ بهذه الأجزاء لأنه يفهم أهميتها، وليس مجرد تشابهها.

الملخص

OTT-Vid يشبه المحرر الذكي الذي لا يكتفي بقص المشاهد المتكررة لمجرد أنها تبدو متشابهة. بدلاً من ذلك، يسأل المحرر: "هل هذا المشهد مهم للقصة؟". إذا كان هناك شخص يقف ساكناً ولكنه ضروري للحبكة، فإن المحرر يبقيه. أما إذا كانت الخلفية مملة ومتكررة، فإن المحرر يحذفها. هذا يسمح للذكاء الاصطناعي بمشاهدة فيديوهات طويلة بسرعة دون نسيان التفاصيل المهمة.

ملخص تقني: OTT-Vid

بيان المشكلة

مع توسع نماذج اللغات الكبيرة للفيديو (Video-LLMs) للتعامل مع مقاطع فيديو أطول وأكثر تعقيدًا، تواجه هذه النماذج اختناقًا حرجًا في عملية الاستدلال: حيث يؤدي تراكم الرموز المرئية (visual tokens) عبر الإطارات إلى زيادة طول التسلسل والتكلفة الحسابية بشكل هائل. ورغم أن طرق ضغط الرموز الخالية من التدريب (training-free) تقدم حلًا عمليًا، إلا أن طرق الضغط الزمني الحالية تعاني من قصورين رئيسيين:

الاعتماد المفرط على التشابه: تعتمد الطرق الحالية بشكل أساسي على تشابه الرموز بين الإطارات أو قواعد التجزئة الاستدلالية. وهي تفشل في التمييز بين تكرار الخلفية غير المعلوماتي واستمرار المحتوى ذي الأهمية الدلالية (مثل الأشياء الثابتة). وبناءً على ذلك، غالبًا ما يؤدي التشابه العالي إلى ضغط عدواني للأدلة الزمنية الجوهرية، مما يؤدي إلى تدهور الأداء في المهام التي تتطلب معرفة المدة، والاستمرارية، وكشف حدود الأحداث، مثل تحديد المواقع الزمنية (temporal grounding).
تخصيص الميزانية الثابت: لا تتعامل النهج الحالية مع الضغط صراحة كمسألة تخصيص. فهي تطبق عتبات ضغط موحدة أو حدودًا صارمة تفشل في التكيف مع قابلية الضغط المتغيرة لأزواج الإطارات المختلفة. وينتج عن ذلك ضغط غير كافٍ للمناطق شديدة التكرار، وضغط مفرط للإطارات التي تحتوي على أدلة زمنية حرجة.

المنهجية: OTT-Vid

يقترح المؤلفون OTT-Vid، وهو إطار عمل خالٍ من التدريب يصيغ الضغط الزمني للرموز كمسألة نقل أمثل (Optimal Transport - OT) مع تخصيص ميزانية تكيفي. تعمل الطريقة عبر مرحلتين متصلتين:

1. التقليم المكاني وتعيين الكتلة

قبل الضغط الزمني، يخضع كل إطار لعملية تقليم مكاني مستقلة لإزالة التكرار داخل الإطار الواحد.

الاختيار: يستخدم هدف تغطية مرجح بالبروز (saliency-weighted coverage) لاختيار رموز ممثلة بشكل جشع. وهذا يوازن بين الأهمية الدلالية (البروز) والتمثيلية (التغطية) لمنع انهيار الرموز إلى مجموعات مكررة.
تعيين الكتلة: تستخدم استراتيجية "ترك واحد خارج الحساب" (leave-one-out) لقياس المساهمة التي لا يمكن تعويضها لكل رمز متبقٍ. إذا أدى حذف رمز ما إلى تدهور كبير في تمثيل الإطار الأصلي، فإنه يُعتبر مهمًا.
الكتلة العكسية: من الناحية الجوهرية، يتم تعيين كتلة النقل $m_t$ عكسيًا لأهمية الرمز. فالرموز ذات الأهمية الدلالية العالية تتلقى كتلة أصغر (مما يقاوم الضغط)، بينما تتلقى الرموز الأقل أهمية كتلة أكبر (مما يسهل النقل). وهذا يدمج أولوية الحفاظ على المحتوى مباشرة في قيود الهامش لعملية النقل الأمثل.

2. النقل الأمثل للضغط الزمني

يتم حل الضغط الزمني بين الإطارات المتجاورة ( $t$ و $t+1$ ) كمسألة نقل أمثل منتظمة إنتروبيًا (entropically regularized OT).

دالة التكلفة: تجمع تكلفة النقل بين عدم التشابه الدلالي (المسافة الجيب تمام - cosine distance) والمسافة المكانية. ويقوم معامل خلط $\alpha_t$ بالتكيف ديناميكيًا بناءً على حركة المشهد: في المشاهد الثابتة، يتم وزن المحلية المكانية بشكل أعلى لمنع مطابقة الأشياء المتشابهة بصريًا ولكنها متباعدة مكانيًا؛ وفي المشاهد الديناميكية، تسود عدم الدلالية لتسمح بالمطابقة عبر إزاحات كبيرة.
خطة النقل: يؤدي حل مسألة النقل الأمثل إلى الحصول على مصفوفة اقتران $P_t$ تصنف ارتباطات الرموز. تشير قيم الاقتران العالية إلى المرشحين للضغط (الدمج أو التقليم).
صعوبة النقل: تعمل التكلفة الإجمالية لخطة النقل ( $W_t$ ) كمقياس لـ "قابلية الضغط" لزوج من الإطارات. تعني $W_t$ المنخفضة تكرارًا عاليًا (سهولة الضغط)، بينما تعني $W_t$ العالية وجود أدلة زمنية فريدة.

3. تخصيص الميزانية التكيفي

يقوم إطار العمل بتوزيع ميزانية الضغط العالمية بشكل غير موحد عبر جميع أزواج الإطارات المتجاورة بناءً على $W_t$ .

التخصيص العكسي: باستخدام "softmax" سالبة، تحصل أزواج الإطارات ذات صعوبة النقل المنخفضة (التكرار العالي) على ميزانيات ضغط أكبر، بينما تحصل الأزواج ذات الصعوبة العالية (التكرار المنخفض) على ميزانيات أصغر.
التنفيذ: يتم تنفيذ الضغط بالتوازي. يتم إما دمج الرموز المصدر المختارة مع الوجهة (إذا كانت التكلفة أقل من العتبة $\tau_c$ ) أو تقليمها. ويتم حل سلاسل الدمج عبر الإطارات المتتالية عبر خوارزمية "البحث عن الاتحاد" (union-find) لضمان الاتساق العالمي.

المساهمات الرئيسية

الضغط الزمني المدرك للأهمية: على عكس الطرق السابقة القائمة على التشابه، يدمج OTT-Vid أهمية الرموز داخل الإطار في عملية الضغط الزمني. ومن خلال تعيين كتلة عكسية للرموز المهمة، فإنه يحافظ على الأدلة اللازمة للمدة والاستمرارية التي عادة ما تتجاهلها الطرق القائمة على التشابه.
تخصيص الميزانية المشتق من النقل: تقدم الورقة طريقة مبدئية لتقدير قابلية الضغط لكل زوج من الإطارات عبر صعوبة النقل ( $W_t$ ). وهذا يسمح بتخصيص ميزانية ديناميكي وغير موحد يتكيف مع خصائص التكرار المحددة لمحتوى الفيديو.
إطار عمل موحد: يوحد OTT-Vid قرارات ضغط مستوى الرمز (عبر خطة النقل) وتخصيص الميزانية على مستوى الزوج (عبر صعوبة النقل) ضمن صيغة نقل أمثل واحدة.

النتائج التجريبية

قام المؤلفون بتقييم OTT-Vid على ستة معايير: أربعة من مجموعات بيانات الأسئلة والأجوبة للفيديو (VQA) وهي (MVBench, VideoMME, LongVideoBench, MLVU) واثنان من مجموعات بيانات التحديد الزمني للفيديو (VTG) وهي (Charades-STA, ActivityNet-Captions مع تعليقات TimeLens).

الحفاظ على الأداء: باستخدام نموذج Qwen2.5-VL-7B كقاعدة، يحتفظ OTT-Vid بـ 95.8% من أداء الـ VQA غير المضغوط و 73.9% من أداء الـ VTG مع الاحتفاظ بـ 10% فقط من الرموز الأصلية.
المقارنة: يتفوق باستمرار على أفضل الطرق المرجعية الخالية من التدريب (HoliTom, FastVID, FlashVID, UniComp). وتكون فجوة الأداء أكثر وضوحًا في مهام VTG، حيث تعاني الطرق القائمة على التشابه من تدهور شديد (تنخفض نسبة الاحتفاظ إلى حوالي 50-60%) بسبب فقدان الأدلة الزمنية.
التعميم: يظهر المنهج قوة عبر مختلف نماذج Video-LLM (مثل LLaVA-OneVision, LLaVA-Video) ومختلف نسب الاحتفاظ بالرموز.
الكفاءة: يحقق OTT-Vid تسريعًا بمقدار 2.0× في زمن الوصول لأول رمز (TTF) مع استخدام ذروة ذاكرة مماثل للطرق الفعالة الأخرى، مما يؤكد أن عبء الضغط لا يلغي مكاسب الاستدلال.

الأهمية والادعاءات

يزعم البحث أن الأهمية الأساسية لـ OTT-Vid تكمن في قدرته على فك الارتباط بين الاستمرارية الدلالية والتشابه البصري. فمن خلال التعامل مع الضغط الزمني كمسألة نقل مع كتلة مدركة للأهمية، ينجح المنهج في الحفاظ على "الأدلة" المطلوبة لمهام الاستدلال الزمني المعقدة، والتي فشلت طرق الاستدلال القائمة على التشابه السابقة في القيام بها.

يؤكد المؤلفون أن نهجهم خالٍ من التدريب، مما يضمن التوافق مع نماذج Video-LLM المدربة مسبقًا دون الحاجة لإعادة التدريب. ويشيرون إلى أنه بينما يقوم منهجهم حاليًا بحساب خطط النقل بالتوازي من مجموعات تم تقليمها مكانيًا أولًا (متجاهلين التغييرات التمثيلية الناتجة عن الضغط السابق)، فإن هذا الخيار التصميمي يعطي الأولوية لانخفاض العبء وكفاءة المرور الواحد. قد تستكشف الأعمال المستقبلية التنفيذ المتسلسل لتنقية خطط النقل، رغم أن هذا سيزيد من التكاليف الحسابية.

باختصار، يعالج OTT-Vid الاختناق الحرج لاستدلال الفيديو الطويل من خلال توفير آلية تكيفية قائمة على أسس نظرية توازن بين أهمية الرموز والتكرار عبر الإطارات، متفوقًا بشكل كبير على الطرق الحالية في الحفاظ على الدقة الزمنية تحت الضغط الشديد.