Versatile Video Representation via Feed-Forward 2D Gaussian Splatting Tokenization
تقدم الورقة البحثية "Gaussian Video Transformer" (GVT)، وهو إطار عمل متعدد الاستخدامات لتمثيل الفيديو يعتمد على ترميز "Gaussian Splatting" ثنائي الأبعاد بنظام التغذية الأمامية مع قابلية التكيف المكاني-الزماني وفصل صريح بين العناصر الثابتة والديناميكية، وذلك لتحقيق أداء رائد في مجالات إعادة بناء الفيديو، والضغط، والتعرف على الأفعال، والتوليد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول إرسال فيلم إلى صديق عبر اتصال إنترنت بطيء. لا يمكنك ببساطة إرسال الفيلم كاملاً؛ بل يجب عليك تفكيكه إلى قطع صغيرة، وضغطه، ثم إرساله كـ "رموز" (tokens) (وهي عبارة عن حزم معلومات رقمية صغيرة). هذا هو عالم ترميز الفيديو (video tokenization)، وهو خدعة رئيسية في الرؤية الحاسوبية تساعد الحواسيب على فهم الفيديوهات وتخزينها وإنشائها. لفترة طويلة، كانت الطريقة القياسية للقيام بذلك تشبه التقاط صورة وتقطيعها إلى شبكة صلبة من المربعات متساوية الحجم، بغض النظر عما تحتويه. فإذا كان لديك مربع يظهر جداراً فارغاً ومملاً، وآخر يظهر انفجاراً سريع الحركة، فإن الكمبيوتر سيعاملهما بنفس الطريقة تماماً، مما يعني إعطاءهما نفس القدر من البيانات. وهذا كان أمراً هدراً وغير فعال، وغالباً ما يفقد التفاصيل المهمة.
الآن، تخيل أنه بدلاً من الشبكة الصلبة، يمكنك استخدام فرشاة رسم سحرية قادرة على تغيير شكلها، تعرف تماماً أين تضع المزيد من الطلاء للانفجار وأين تضع القليل للجدار. هذه هي فكرة "التشتت الغاوسي" (Gaussian Splatting). في الأصل، استُخدمت هذه التقنية لجعل المشاهد ثلاثية الأبعاد تبدو واقعية، وهي تستخدم "كتلًا" صغيرة (Gaussians) يمكنها التمدد والتقلص والدوران لتناسب شكل الجسم تماماً. السؤال الكبير الذي طرحه الباحثون هو: هل يمكننا استخدام أسلوب الرسم المرن القائم على الكتل هذا لتمثيل فيديوهات كاملة، وليس مجرد صور مفردة؟ إذا تمكنا من ذلك، فقد نتمكن من تخزين الفيديوهات بكفاءة أكبر بكثير وجعلها تبدو أفضل، مع تعليم الحواسيب في الوقت نفسه ما الذي يتحرك وما الذي يظل ثابتاً.
صانع الفيديو "الكتلي" الجديد
في هذه الورقة البحثية، يقدم المؤلفون نظاماً جديداً يسمى "محول غاوس للفيديو" (Gaussian Video Transformer - GVT). فكر فيه كمحرر فيديو ذكي لا يقوم فقط بتقطيع الفيديو إلى مربعات ضمن شبكة، بل يحوله إلى مجموعة من "الكتل" (Gaussians) ثنائية الأبعاد المرنة التي يمكنها التمدد والتحرك تماماً حيث يحدث الحدث.
إليك كيف جعلوا الأمر يعمل، باستخدام بعض الحيل الذكية:
1. مولد "الكتل الذكية" (STGE)
معظم الأنظمة القديمة للفيديو هي أنظمة جامدة؛ فهي تنظر إلى الفيديو وتقول: "حسناً، أحتاج إلى 1,000 رمز لهذا المشهد"، بغض النظر عما إذا كان المشهد عبارة عن مكتبة هادئة أو مباراة كرة قدم صاخبة. نظام المؤلفين الجديد، المسمى "تضمين الغاوس المكاني-الزماني" (Spatio-Temporal Gaussian Embedding - STGE)، مختلف تماماً. فهو ينظر إلى الفيديو ويقول: "مهلاً، هذا الجزء ممل، فلنستخدم كتلًا أقل. وهذا الجزء جنوني، فلنستخدم المزيد!". إنه يولد هذه الكتل في تمريرة واحدة سريعة (تسمى "feed-forward")، مما يعني أنه لا يحتاج لقضاء ساعات في تعديل الفيديو ليجعله يبدو جيداً، بل يقوم بإنشاء المجموعة المثالية من الكتل فوراً.
2. الفصل بين "الثابت والمتحرك" (GSP)
هنا يصبح النظام ذكياً حقاً. في الفيديو، هناك أشياء لا تتحرك أبداً (مثل الجدار الخلفي)، بينما تتحرك أشياء أخرى بسرعة (مثل كلب يركض). كانت الأنظمة القديمة تعيد رسم الجدار في كل إطار، مما يهدر كمية هائلة من البيانات. قدم المؤلفون استراتيجية تسمى "تقسيم مجموعة الغاوس" (Gaussian Set Partitioning - GSP). تعمل هذه الاستراتيجية كفرز ذكي يفصل الفيديو إلى مجموعتين:
- المجموعة الثابتة: الكتل الخلفية التي تظل كما هي. يقوم النظام برسمها مرة واحدة ويقول: "انسخ هذا لبقية الفيديو".
- المجموعة الديناميكية: الكتل المتحركة التي تتغير كل ثانية.
من خلال تحديث الأجزى المتحركة فقط وإعادة استخدام الأجزاء الثابتة، يوفر النظام مساحة ووقتاً هائلين. الأمر يشبه رسم صورة لغرفة مرة واحدة، ثم مجرد تحريك الشخصيات التي تسير عبرها، بدلاً من إعادة رسم الغرفة بأكملها في كل إطار.
3. النتائج: أفضل، أصغر، وأسرع
اختبر الفريق نظام GVT الجديد على عدة مجموعات بيانات فيديو شهيرة (مثل UCF101 وKinetics) وقارنه بأفضل الطرق الحالية.
- إعادة البناء (Reconstruction): عندما حاولوا إعادة بناء الفيديوهات من هذه الكتل، أدى نظام GVT مهمة أفضل من الأبطال السابقين، حيث أنشأ صوراً أكثر وضوحاً مع أخطاء أقل.
- الضغط (Compression): نظرًا لأن النظام بارع جداً في تحديد ما هو ثابت وما هو متحرك، يمكنه تقليص ملفات الفيديو بشكل كبير. وجدوا أنه يمكنه تقليل حجم الملف بنسبة تقارب 54.8% مقارنة بأحدث معايير ضغط الفيديو (H.266/VVC) مع الحفاظ على جودة الصورة العالية.
- الفهم والصنع: لم يكن النظام جيداً في تخزين الفيديوهات فحسب، بل كان أيضاً أفضل في مساعدة الحواسيب على التعرف على الأفعال (مثل "عزف التشيلو") وحتى إنشاء فيديوهات جديدة ومبتكرة من الصفر.
ما لم يفعلوه (ولماذا)
كان المؤلفون حذرين في الإشارة إلى ما لا يستطيع نظامهم فعله بعد. فبينما يمكنه صنع فيديوهات من العدم (التوليد غير المشروط)، إلا أنه ليس بجودة أفضل مولدات الفيديو بالذكاء الاصطناعي الموجودة حالياً. ويوضحون أن ذلك يعود إلى أنهم يستخدمون نوعاً جديداً من تمثيل "الكتل" لم يتم تدريبه بعد على مجموعات بيانات ضخمة وموجودة مسبقاً. هم لا يدعون أنهم حلوا مشكلة توليد الفيديو تماماً، بل يوضحون أن نهج "الكتل" هذا هو اتجاه واعد جداً ويعمل بشكل جيد بشكل مدهش للتخزين والفهم.
الخلاصة
تشير الورقة البحثية إلى أنه من خلال استبدال الشبكات الجامدة بـ "كتل" مرنة وذكية تعرف كيف تفصل بين الأجسام المتحركة والخلفيات الثابتة، يمكننا جعل تمثيل الفيديو أكثر تنوعاً وقوة. الأمر يشبه الانتقال من لعبة فيديو ذات بكسلات ومربعات إلى رسوم متحركة سلسة وانسيابية حيث يعرف كل جزء من الشاشة بالضبط مقدار الاهتمام الذي يحتاجه. وتظهر النتائج أن هذا النهج يؤدي إلى فيديوهات أكثر حدة، وأحجام ملفات أصغر، وطريقة أذكى لرؤية الحواسيب للعالم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.