💻 computer science

VeGaS: Video Gaussian Splatting

تقدم الورقة البحثية VeGaS، وهو نموذج تمثيل فيديو مبتكر يستخدم عائلة من توزيعات "غاوس" المطوية لترميز الفيديوهات كـ "غاوس" ثنائية الأبعاد، محققاً جودة إعادة بناء إطارات هي الأفضل في فئتها مع تمكين قدرات تحرير فيديو واقعية تتفوق على أساليب "تشتت غاوس ثلاثي الأبعاد" الحالية.

المؤلفون الأصليون: Weronika Smolak-Dyżewska, Dawid Malarz, Kornel Howil, Jan Kaczmarczyk, Marcin Mazur, Przemysław Spurek

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Weronika Smolak-Dyżewska, Dawid Malarz, Kornel Howil, Jan Kaczmarczyk, Marcin Mazur, Przemysław Spurek

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مقطع فيديو، مثل لقطة فيلم لكلب يركض في حديقة. تقليديًا، يخزن الكمبيوتر هذا الفيديو كمجموعة من الصور الفردية (الإطارات) التي تُعرض واحدة تلو الأخرى. إذا أردت تعديل الفيديو — كأن تجعل الكلب أكبر بمرتين أو تبطئ سرعته — عليك تعديل كل صورة يدويًا، وهو أمر بطيء وغالبًا ما يبدو غير واقعي.

تستخدم الطرق الأحدث "الشبكات العصبية" (أدمغة الذكاء الاصطناعي) لتعلم الفيديو كتدفق مستمر وسلس. هذا رائع لضغط البيانات (جعل حجم الملف صغيرًا)، لكنه يشبه محاولة تعديل "سموذي"؛ لا يمكنك بسهولة اختيار قطعة الفراولة وحدها لتكبيرها دون إفساد المشروب بأكمله.

VeGaS (Video Gaussian Splatting) هي طريقة جديدة للتعامل مع الفيديوهات تجمع بين أفضل ما في العالمين: فهي تحافظ على صغر حجم الفيديو وسلاسته، ولكنها تسمح لك بتعديله كأنه مجموعة من الأشياء المنفصلة والقابلة للتحريك.

إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة:

1. الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (3D Gaussian Splatting): تخيل أنك تحاول وصف مشهد ثلاثي الأبعاد باستخدام آلاف الكرات الضبابية المتوهلة (Gaussians). إذا كان المشهد ثابتًا (مثل تمثال)، فما عليك سوى وضع كرات الضباب وانتهى الأمر.
المشكلة في الفيديوهات: إذا بدأ التمثال بالرقص، يجب أن تتحرك كرات الضباب. الطريقة الأفضل السابقة (VGR) كانت تعامل الفيديو كدمية صلبة. كان بإمكانها مط أو سحب كرات الضباب، لكن لم يكن بإمكانها جعلها تلتوي، أو تنحني، أو تغير شكلها بطرق معقدة. كان الأمر يشبه محاولة الرقص مع تمثال خشبي صلب.

2. المكون السري: "الغاوس المطوي" (Folded-Gaussians)

اخترع مؤلفو VeGaS نوعًا جديدًا من كرات الضباب يسمى الغاوس المطوي (Folded-Gaussian).

التشبيه: تخيل ورقة مرسوم عليها خط مستقيم. هذا هو "الغاوس" العادي. الآن، تخيل أنك تجعد تلك الورقة، تطويها، وتلويها لتصبح بشكل معقد. هذا هو الغاوس المطوي.
لماذا يهم هذا؟ الحياة الواقعية فوضوية. عندما يلوح شخص بيده، فإن ذراعه لا تتحرك في خط مستقيم فحسب؛ بل تنحني وتدور. "الغاوس" العادي لا يمكنه التقاط ذلك الانحناء. أما "الغاوس المطوي" فهو مرن بما يكفي لـ "ينثني" مع منحنى الحركة.
الخدعة السحرية: على الرغم من أن الشكل العام ملتوٍ ومعقد، إلا أنه إذا قمت بـ "قطع" (Slice) هذا الشكل عند لحظة زمنية محددة (مثل النظر إلى إطار واحد محدد من الفيديو)، فإنه يعود فورًا إلى شكل دائرة بسيطة ومثالية. هذا يسمح للكمبيوتر بعرض صورة حادة وواضحة لكل إطار من إطارات الفيديو مع فهم الحركة المعقدة فيما بينها.

3. كيف يقوم VeGaS بتعديل الفيديوهات

لأن VeGaS يعامل الفيديو كمجموعة من كرات الضباب ثلاثية الأبعاد المرنة هذه بدلاً من كونه كومة من الصور ثنائية الأبعاد، يصبح التعديل سهلاً للغاية وواقعيًا.

التغييرات الشاملة: هل تريد جعل الفيديو بأكم له يعمل بالحركة البطيئة؟ ما عليك سوى إبطاء متغير "الزمن"، وستتدفق كرات الضباب بشكل طبيعي.
التحكم في الأشياء: هل تريد جعل الكلب في الفيديو يقفز أعلى؟ يمكنك الإمساك بكرات الضباب المحددة التي تمثل الكلب وسحبها للأعلى. ولأن "الطيّات" في الرياضيات تفهم الحركة، فإن الكلب يتمدد وينكمش بشكل واقعي، تمامًا مثل أي جسم حقيقي.
استكمال الإطارات (Frame Interpolation): إذا أردت إضافة إطار جديد بين إطارين موجودين (لجعل الفيديو أكثر سلاسة)، فإن VeGaS لا يخمن؛ بل يقوم ببساطة بـ "قطع" الغاوس المطوي عند النقطة الزمنية الوسطى بالضبط. والنتيجة هي إطار جديد مثالي وطبيعي المظهر.

4. النتائج

اختبر الباحثون VeGaS على فيديوهات عديدة (مثل دب، أبقار، وأشخاص يرقصون الـ breakdancing).

الجودة: أعاد إنتاج الفيديوهات بوضوح أعلى (تفاصيل أكثر حدة) من طرق الذكاء الاصطناعي السابقة.
التعديل: سمح لهم بمضاعفة الأشياء (صنع كلبين من كلب واحد)، أو تغيير حجمها، أو تغيير إطارات معينة دون أن يبدو الفيديو مشوشًا أو ضبابيًا.

الملخص

فكر في VeGaS على أنه ترقية من كومة من قصاصات الورق المقوى الصلبة (طرق الفيديو القديمة) إلى مجموعة من كتل الطين السحرية متغيرة الشكل (الغاوس المطوي).

الطريقة القديمة: جيدة للتخزين، سيئة للتعديل.
VeGaS: جيد للتخزين، ويمكنك أيضاً مط، لوي، وإعادة تشكيل محتوى الفيديو بشكل طبيعي لأن الرياضيات الكامنة وراءه مرنة بما يكفي للتعامل مع "طيّات" الحركة في العالم الحقيقي.

إنه يشبه منح محرر الفيديو قدرات خارقة للتحكم في الزمان والمكان داخل الفيديو، كل ذلك مع الحفاظ على حجم ملف صغير وجودة صورة عالية.

إليك ملخص تقني مفصل لورقة البحث "VeGaS: Video Gaussian Splatting".

1. بيان المشكلة

تتناول الورقة البحثية القيود التي تواجه طرق تمثيل الفيديو الحالية، وتحديداً فيما يتعلق بالمفاضلة بين جودة إعادة البناء (reconstruction quality) وقابلية التعديل (editability):

التمثيلات العصبية الضمنية (INRs): رغم فعاليتها في ضغط الفيديو وتوليد تمثيلات مستمرة (ربط الإحداثيات + الزمن بـ RGB)، إلا أن الـ INRs غير مناسبة عموماً للتعديل. فهي تعامل الفيديو كدالة "صندوق أسود"، مما يجعل من الصعب عزل أو تعديل كائنات أو إطارات محددة.
نهج Gaussian Splatting (3DGS) الحالي: المحاولات السابقة لتطبيق 3D Gaussian Splatting على الفيديو، مثل Video Gaussian Representation (VGR)، تسمح بالتعديل. ومع ذلك، يعتمد VGR على التحويلات الخطية والإزاحات لنمذجة الحركة. وهذا يحد من قدرته على التقاط الديناميكيات غير الخطية المعقدة (مثل التشوهات السريعة، أو التفاعلات المعقدة بين الأجسام) التي توجد غالباً في تدفقات الفيديو الواقعية.

2. المنهجية: VeGaS

يقترح المؤلفون Video Gaussian Splatting (VeGaS)، وهو إطار عمل ينمذج بيانات الفيديو كفضاء ثلاثي الأبعاد حيث يمثل الزمن البعد الثالث. يكمن الابتكار الجوهري في تقديم الغاوسيات المطوية (Folded-Gaussians).

أ. توزيعات الغاوسيات المطوية (Folded-Gaussian Distributions)

للتغلب على قيد الخطية في توزيعات غاوس القياسية، قدم المؤلفون عائلة جديدة من التوزيعات تسمى الغاوسيات المطوية.

المفهوم: ينمذج توزيع Gaussian القياسي الهياكل الخطية. أما الـ Folded-Gaussian فيعمم هذا المفهوم عبر تطبيق تحويل يعتمد على الزمن على المتغيرات المكانية.
الآلية:
- لنفترض أن $x = (s, t)$ يمثل المكان والزمان.
- يقوم التوزيع بتكييف المتغير المكاني $s$ بناءً على المتغير الزمني $t$ .
- يتم تعريف التوزيع الشرطي $s|t$ كتوزيع غاوسي بمتوسط مُزاح بواسطة دالة $f(t)$ وتباين مُقاس بواسطة دالة $a(t)$ .
- الصيغة الرياضية:
  $s|t \sim \mathcal{N}(m_s + f(m_t - t), a(t)\Sigma_s)$
- هنا، $f$ هي عادةً دالة متعددة الحدود (polynomial function) (معاملات يتم تعلمها) لالتقاط الإزاحات غير الخطية، و $a(t)$ هي دالة قياس تعتمد على الاحتمالية (مشتقة من التوزيع الزمني الهامشي) للتعامل مع العناصر التي تظهر فقط في نوافذ زمنية محددة (مثل الأجسام التي تدخل وتخرج من الإطار).
النتيجة: بينما يكون التوزيع الهامشي للزمن والتوزيع الشرطي للمكان كلاهما توزيعاً غاوسياً، فإن التوزيع المشترك الناتج يكون غير غاوسي (non-Gaussian)، مما يسمح بنمذجة مسارات منحنية ومعقدة وديناميكيات غير خطية.

ب. بنية VeGaS

التمثيل: يُعامل الفيديو كسلسلة من الإطارات داخل حجم ثلاثي الأبعاد (مكان-زمان).
النمذجة: بدلاً من تخزين توزيعات غاوس مستقلة لكل إطار، يقوم VeGaS بتخزين مجموعة من الغاوسيات الثلاثية الأبعاد المطوية (3D Folded-Gaussians).
رندرة الإطارات (Frame Rendering): لرندرة إطار محدد عند الزمن $t_i$ ، يتم تكييف الـ 3D Folded-Gaussian مع $t_i$ . ينتج عن ذلك توزيع غاوسي ثنائي الأبعاد يمثل محتوى ذلك الإطار المحدد.
ملاءمة الإطارات الديناميكية (Dynamic Frame Fitting): على عكس الطرق التي تفترض فترات زمنية ثابتة، يتعلم VeGaS وقت الحدوث الدقيق للإطارات ( $t_k$ ) عبر دالة ملاءمة ديناميكية $f_t(k) = \sum \sigma(w_i)$ ، مما يحسن المحاذاة الزمنية لتحقيق إعادة بناء أفضل.
التكامل مع MiraGe: يستخدم النموذج تمثيل MiraGe (امتداد 2D لـ 3DGS للصور) للإطارات الفردية. يتيح ذلك استخدام "الغاوسيات المسطحة" (المثلثات) لتمثيل المستوى الصوري ثنائي الأبعاد، مما يسهل عملية الرندرة والتعديل بكفاءة.

ج. قدرات التعديل

بما أن الفيديو يتم تمثيله بواسطة عناصر هندسية صريحة (Gaussians) بدلاً من أوزان الشبكة العصبية، فإن VeGaS يدعم:

التعديلات العالمية (Global Modifications): تغيير الحجم، الضرب، أو تحريك الأجسام عبر الفيديو بأكمله.
التعديلات المحلية (Local Modifications): اختيار إطار واحد أو أجسام محددة لتعديلها دون التأثير على بقية التسلسل.

3. المساهمات الرئيسية

الغاوسيات المطوية (Folded-Gaussians): عائلة رياضية جديدة من التوزيعات قادرة على نمذجة الهياكل غير الخطية في تدفقات الفيديو مع الحفاظ على خاصية أن التوزيعات الشرطية (الإطارات) تظل توزيعات غاوسية قياسية.
نموذج VeGaS: إطار عمل كامل لمعالجة الفيديو يدمج الـ Folded-Gaussians في مسار عمل 3DGS، مما يتيح إعادة بناء عالية الدقة وتعديلاً واقعياً.
ملاءمة الإطارات الديناميكية: إجراء تحسين يتعلم التوقيت الدقيق للإطارات بدلاً من افتراض مسافات منتظمة، مما يحسن دقة إعادة البناء.
أداء يتفوق على المعايير الحالية (State-of-the-Art): أظهر تفوقاً على نماذج الفيديو الحالية القائمة على INR و Gaussian من حيث مقاييس إعادة البناء ومرونة التعديل.

4. النتائج التجريبية

قام المؤلفون بتقييم VeGaS على مجموعتي بيانات DAVIS و Bunny، ومقارنته بالنماذج المرجعية الرائدة بما في ذلك Omnimotion، و CoDeF، و VGR، ونماذج متنوعة تعتمد على NeRF (مثل NeRV، E-NeRV، HNeRV، DNeRV).

إعادة بناء الإطارات:
- حقق VeGaS أعلى درجات PSNR عبر جميع الفيديوهات المختبرة في مجموعة بيانات DAVIS.
- في اختبار DAVIS (الجدول 1)، حقق VeGaS-Full متوسط PSNR قدره 31.08، متفوقاً على VGR (28.44) و CoDeF (27.75).
- في مقارنة NeRF (الجدول 2)، تفوق VeGaS بشكل كبير على جميع النماذج المرجعية القائمة على NeRF، حيث حقق متوسط PSNR قدره 32.42 مقارنة بـ 29.66 لـ DNeRV.
استكمال الإطارات (Frame Interpolation):
- تُظهر النتائج النوعية (الشكل 5) أن VeGaS ينتج إطارات مستكملة أكثر سلاسة ودقة بين $t$ و $t+1$ مقارنة بـ VGR، وذلك بفضل قدرته على نمذجة مسارات الحركة غير الخطية.
التعديل:
- توضح الورقة نجاح عمليات تغيير الحجم العالمي، والضرب، والتلاعب بالأجسام محلياً (الشكلين 2 و 4)، وهي مهام يصعب أو يستحيل تنفيذها مع الـ INRs ومحدودة مع VGR.
دراسات الاستئصال (Ablation Studies):
- وُجد أن الأداء الأمثل يتحقق مع حجم دفعة (batch size) قدره 3، ودرجة متعددة حدود (polynomial degree) قدرها 7 للدالة $f$ ، و0.50 مليون Gaussian أولية.

5. الأهمية

يمثل نموذج VeGaS تقدماً كبيراً في مجال تعلم تمثيل الفيديو. فمن خلال النجاح في تكييف إطار عمل 3D Gaussian Splatting للتعامل مع الديناميكيات غير الخطية عبر الـ Folded-Gaussians، فإنه يسد الفجوة بين ضغط الفيديو عالي الجودة والتعديل المرن على مستوى الكائنات.

الأثر العملي: يتيح تطبيقات مثل تحرير الفيديو عالي الجودة، واستكمال الإطارات، والتلاعب بالمحتوى دون الحاجة إلى استخراج شبكات معقدة (mesh extraction) أو افتراضات خطية جامدة.
الأثر النظري: يقدم توزيعاً احتمالياً جديداً (Folded-Gaussian) يوسع قدرات Gaussian Splatting لتتجاوز المشاهد الثابتة أو التي تتشوه خطياً، مما يوفر أداة جديدة لنمذجة البيانات المكانية-الزمانية المعقدة.

الكود متاح للعموم على: https://github.com/gmum/VeGaS.