One Trajectory, One Token: Grounded Video Tokenization via Panoptic Sub-object Trajectory
تقدم الورقة البحثية TrajViT، وهي طريقة لترميز الفيديو المرتكز على الأرض (grounded video tokenization) تستبدل الرقع الزمكانية غير الفعالة بمسارات الأجسام الفرعية البانوبتيكية (panoptic sub-object trajectories) لتقليل التكاليف الحسابية بشكل كبير مع تحقيق أداء متفوق في مهام استرجاع وفهم الفيديو مقارنة بمشفرات ViT3D التقليدية.
تخيل أنك تحاول وصف فيلم لصديق، لكن يُسمح لك فقط باستخدام عدد محدود من الكلمات.
الطريقة القديمة: نهج "الشبكة" حالياً، تشاهد معظم نماذج الذكاء الاصطناي مشاهدة الفيديو مثل حارس أمن ينظر إلى شبكة ضخمة من المربعات الصغيرة (البكسلات) على الشاشة. في كل مرة يعمل فيها الفيديو، يتعين على الذكاء الاصطناعي كتابة ملاحظة لكل مربع من تلك المربعات في كل إطار.
المشكلة: إذا كان الفيديو طويلاً، أو إذا كانت الكاميرا تتحرك فقط عبر جدار ثابت، فإن الذكاء الاصطناعي يكتب آلاف الملاحظات عن المساحات الفارغة أو عن نفس الجدار مراراً وتكراراً. الأمر يشبه كتابة "جدار، جدار، جدار، جدار" لدقيقة من الفيديو حيث لا يحدث شيء. هذا يهدر كمية هائلة من ذاكرة الكمبيوتر والطاقة.
الخلل: حتى لو حاول الذكاء الاصطناعي حذف "الملاحظات المملة"، فإنه غالباً ما يرتبك عندما تتحرك الكاميرا، لأنه لا يزال ينظر إلى مربعات فقط، وليس إلى الأجسام الفعلية.
الطريقة الجديدة: "مسار واحد، رمز واحد" ابتكر الباحثون وراء هذه الورقة البحثية (TrajViT) طريقة أكثر ذكاءً لمشاهدة الأفلام. فبدلاً من النظر إلى شبكة من المربعات، هم ينظرون إلى قصص الحركة.
إنهم يعاملون الفيديو كمجموعة من الشخصيات (الأجسام) التي تتحرك عبر مشهد ما.
التشبيه: تخيل مباراة كرة قدم.
الذكاء الاصطناعي القديم: يعد كل نصل عشب، وكل ذرة تراب، وكل بقعة من السماء في كل إطار. إذا تحركت الكاميرا، فإنه يعد العشب مرة أخرى.
TrajViT: يقول: "حسناً، أنا أرى كرة قدم تتحرك من اليسار إلى اليمين، ولاعباً يركض خلفها". هو ينشئ ملاحظة واحدة فقط لمسار الكرة بالكامل وملاحظة واحدة فقط لمسار اللاعب.
النتيجة: بدلاً من آلاف الملاحظات لدقيقة من الفيديو، قد يحتاج الذكاء الاصطناعي فقط إلى بضع عشرات من الملاحظات — ملاحظة واحدة لكل رحلة جسم.
كيف فعلوا ذلك (خطوات "المحقق") لجعل هذا الأمر ممكناً، قاموا ببناء عملية مكونة من ثلاث خطوات:
رصد البداية: يقومون بمسح الفيديو للعثور على "اللحظات الرئيسية" حيث تظهر أشياء جديدة (مثل دخول كرة إلى الإطار).
تتبع الأثر: يستخدمون نظام تتبع لملاحقة تلك الأجسام أثناء حركتها، حتى لو اختفت مؤقتاً أو اهتزت الكاميرا.
تلخيص الرحلة: يأخذون المسار الكامل للجسم (المسار/الترجكتوري) ويضغطونه في "رمز" (Token) واحد ذكي (ملخص رقمي) يخبر الذكاء الاصطناعي كيف كان شكل الجسم وأين ذهب.
لماذا يعد هذا أمراً هاماً تزعم الورقة البحثية أن هذه الطريقة الجديدة تعد نقطة تحول لسببين رئيسيين:
إنها أسرع وأخف بكثير: لأنهم يلخصون حركات كاملة بدلاً من عد البكسلات، فهم يستخدمون رموزاً (Tokens) أقل بـ 10 مرات من الطريقة القديمة. وهذا يعني أن الكمبيوتر يستخدم طاقة وذاكرة أقل بكley.
إنها أكثر ذكاءً بالفعل: على الرغم من استخدام عدد أقل من الرموز، إلا أن الذكاء الاصطناعي يفهم الفيديو بشكل أفضل. في الاختبارات، كان أفضل في:
العثء على الفيديوهات بناءً على أوصاف نصية (مثلاً: "ابحث عن الفيديو الذي يطارد فيه الكلب الكرة").
الإجابة على أسئلة حول ما حدث في الفيديو.
التعرف على الأفعال، حتى في الفيديوهات الطويلة.
اختبار "نموذج اللغة الكبير للفيديو" (VideoLLM) قام الباحثون أيضاً بدمج هذا النظام الجديد في "نموذج لغة كبير للفيديو" (وهو ذكاء اصطناعي يمكنه الدردشة حول الفيديوهات).
النتيجة: كان الذكاء الاصطناعي الذي يستخدم نظامهم أسرع بـ 4 مرات في التدريب وتطلب قدرة حوسبة أقل بـ 18 مرة للتشغيل مقارنة بالنظام القياسي. ومع ذلك، فقد أجاب على الأسئلة حول الفيديوهات بدقة أكبر.
باختصار فكر في الطريقة القديمة على أنها محاولة لفهم كتاب عن طريق عد كل حرف في كل صفحة. أما الطريقة الجديدة (TrajViT) فهي تقرأ الجمل وتفهم الحبكة. إنها تتجاهل المساحات الفارغة وتركز على الشخصيات ورحلاتهم، مما يجعلها أسرع، وأرخص، وأكثر دقة في فهم ما يحدث فعلياً في الفيديو.
ملخص تقني: مسار واحد، رمز واحد (One Trajectory, One Token)
بيان المشكلة تواجه طرق ترميز الفيديو الحالية، التي تعتمد على تقسيم الفيديوهات إلى رقع مكانية-زمانية ثابتة (مثل ViT3D)، تحديات كبيرة في التوسع. فمع زيادة مدة الفيديو، ينمو عدد الرموز (tokens) بشكل خطي، مما يؤدي إلى اختناقات في الذاكرة وعدم كفاءة في الحوسبة. علاوة على ذلك، يتجاهل نموذج الرقع هذا تعقيد المشهد؛ حيث ينتج عن مشهد ثابت وتسلسل حركة ديناميكية بنفس المدة عدد متماثل من الرموز. كما أن استراتيجيات تقليل الرموز الموجودة، مثل إسقاط الرقع أو دمجها، غالباً ما تؤدي إلى تدهور أداء النموذج أو تفشل في الحفاظ على التماسك الزمني عند وجود حركة للكاميرا. بالإضافة إلى ذلك، تواجه هذه الطرق صعوبة في دمج بيانات الصور بسلاسة بسبب الاعتماد الهيكلي على الالتفافات ثلاثية الأبعاد (3D convolutions) أو خرائط الرقع المكانية-الزمانية.
المنهجية: ترميز الفيديو المرتكز (Grounded Video Tokenization) يقترح المؤلفون TrajViT، وهو مشفر فيديو يعتمد على نموذج جديد يسمى ترميز الفيديو المرتكز. بدلاً من الرقع الثابتة، ينظم TrajViT الرموز حول مسارات الأجسام الفرعية البانوبتيكية (panoptic sub-object trajectories). يتوافق هذا النهج مع المبادئ الإدراكية (مبادئ سبيلكي المعرفية الأساسية ومبدأ غيستالت للقدر المشترك)، حيث يعامل أجزاء الأجسام ككيانات متماسكة تستمر بمرور الوقت.
يتكون النظام من مكونين رئيسيين:
خط معالجة استخراج المسارات البانوبتيكية للأجسام الفرعية:
كشف الإطارات الرئيسية: يتم تقسيم الفيديو إلى مقاطع عبر كشف الإطارات الرئيسية التي يُحتمل ظهور أجسام جديدة فيها. ويتم ذلك من خلال مقارنة المدرجات اللونية (color histograms) وكثافة السطوع بين الإطارات المتتالية باستخدام خوارزمية قابلة للتوازي.
التقسيم والتتبع: داخل كل مقطع، يستخدم الخط المعالجي DirectSAM (مقسم خفيف الوزن) لتقسيم جميع الأجسام في الإطارات الرئيسية. ثم يستخدم SAM2 (متتبع) لنشر هذه الأقنعة عبر الإطارات اللاحقة داخل المقطع.
الدمج: للتعامل مع الأجسام التي تمتد عبر مقاطع متعددة، يقوم النظام بخطوة تتبع إضافية بين الإطار الأخير من مقطع ما والإطار الأول من المقطع التالي. ويتم دمج القطاعات ذات التقاطع العالي (Io-U) للحفاظ على هوية الجسم عبر الفيديو بأكمله.
المخرجات: تولد هذه العملية مجموعة من المسارات، حيث يمثل كل مسار جسماً أو جزءاً من جسم متميزاً بمرور الوقت.
مشفر المسار (Trajectory Encoder):
ترميز المظهر: لكل مسار، يستخرج النموذج ميزات بصرية هرمية من شبكة تلافيفية خفيفة (ResNet-18). ويطبق تجميع القناع (mask pooling) لتجميع الميزات داخل قناع التقسيم لكل إطار.
ترميز الموقع الزمني: يتم رسم إحداثيات المربع المحيط للمسار في كل إطار وتحويلها إلى ناقلات عالية الأبعاد باستخدام التضمينات الجيبية (sinusoidal embeddings).
التجميع: يتم معالجة كل من تسلسلات المظهر والموقع الزمني (التي تختلف في الطول) بواسطة Perceiver Resampler. تستخدم هذه الوحدة استعلاماً واحداً قابلاً للتعلم للارتباط بتسلسل الميزات على مستوى الإطار، مما يضغطها في تضمين واحد ثابت الحجم.
الرمز النهائي: يتشكل رمز المسار عن طريق جمع تضمينات المظهر والموقع الزمني. وتعمل هذه الرموز كمدخلات لمشفر Transformer قياسي.
المساهمات الرئيسية
نموذج ترميز جديد: يقدم البحث "ترميز الفيديو المرتكز"، حيث يرتبط عدد الرموز بعدد مسارات الأجسام المتميزة بدلاً من مدة الفيديو أو عدد الإطارات. وهذا يعكس بطبيعته تعقيد المشهد.
بنية TrajViT: مشفر مبتكر يستخرج المسارات البانوبتيكية للأجسام الفرعية ويحولها إلى رموز ذات حجم ثابت ومعنى دلالي، دون تعديل بنية الـ Transformer الأساسية.
تكامل سلس بين الصور والفيديو: على عكس طرق الرقع المكانية-الزمانية التي تتطلب خطوط تدريب مسبق منفصلة للصور والفيديوهات، يعامل TrajViT أجزاء الصور كمسارات بطول واحد، مما يسمح بالتدريب المشترك على بيانات الصور والفيديو في مرحلة واحدة.
الكفاءة: تقلل هذه الطريقة عدد الرموز بشكل كبير (على سبيل المثال، تقليل بمقدار 10 أضعاف في مجموعة بيانات Panda) مع الحفاظ على التماسك الزمني والمتانة تجاه تغيرات الإضاءة، والانسدادات، وحركة الكاميرا.
النتائج التجريبية تم تقييم TrajViT مقابل ViT3D القياسي وأفضل نماذج دمج الرموز (مثل ToMe وAutoMerge وRLT) عبر عدة اختبارات مرجعية:
استرجاع الفيديو والنص: في مجموعات بيانات مثل ActivityNet وVATEX وMSR-VTT وCharades، تفوق TrajViT على ViT3D بفارق كبير (على سبيل المثال، +6% في استدعاء top-5 في المتوسط) بينما استخدم رموزاً أقل بـ 10 أضعاف.
تصنيف الأفعال: حقق TraVIt أداءً فائقاً في Kinetics-400 وUFC-101. وفي Something-Something V2 (SSV2)، تفوق على طرق دمج الرموز لكنه تراجع قليلاً عن ViT3D، وهو ما عزاه المؤلفون إلى ضغط النموذج المفرط للحركات المعقدة في المشاهد البسيطة من منظور الشخص الأول.
المهام الدقيقة: أظهر TraVIt مكاسب كبيرة في كشف الأفعال المكانية-الزمانية (AVAv2) واسترجاع المقاطع الزمنية، ويعزى ذلك إلى اتساق مسارات الأجسام بمرور الوقت.
أداء نماذج الفيديو اللغوية الكبيرة (VideoLLM): عند دمجه كمشفر فيديو لنماذج VideoLLM (باستخدام Llama-3)، تفوق Traj-LLM على ViT3D-LLM بمتوسط دقة قدره 5.24% عبر ستة اختبارات مرجعية لأسئلة الفيديو (VideoQA). وقد حقق ذلك بـ سرعة تدريب أكبر بـ 4 مرات و عدد عمليات حسابية (FLOPs) أقل في الاستدلال بمقدار 18 مرة.
التوسع: أظهر TraVIt سلوك توسع فائق مع زيادة عدد الإطارات المدخلة (وصولاً للفيديوهات الطويلة) ومجموعات التدريب المسبق الأكبر (من 2 مليون إلى 8 مليون فيديو). كما استفاد أكثر من إضافة بيانات الصور (DataComp-50M) مقارنة بـ ViT3D.
الأهمية والادعاءات يزعم المؤلفون أن TraVIt هو أول مشفر فعال يتفوق باستمرار على ViT3D عبر مهام تحليل الفيديو المتنوعة دون التضحية بالدقة مقابل الكفاءة. ومن خلال ربط الرموز بمسارات الأجسام، يعالج هذا النهج عدم الكفاءة الجوهري في ترميز الرقع، مما يوفر حلاً قوياً وقابلاً للتوسع لفهم الفيديوهات الطويلة. ويؤكد البحث أن هذا النهج يسمح للنماذج بالتركيز على التعقيد الدلالي للمشهد بدلاً من مدته، مما يجعله فعالاً بشكل خاص للمهام التي تركز على الأجسام وتحليل الفيديو طويل المدى. كما يشير المؤلفون إلى أنه على الرغم من أن خط معالجة توليد المسارات يضيف بعض العبء، إلا أن النظام الإجمالي يظل أكثر كفاءة للفيديوهات التي تزيد مدتها عن 64 إطاراً.