ViVo: A Dataset for Volumetric Video Reconstruction and Compression
تقدم الورقة البحثية ViVo، وهو مجموعة بيانات فيديو حجمي جديدة متنوعة وواقعية صُممت لمعالجة أوجه القصور في البيانات الحالية من خلال تضمين سمات بصرية دلالية وديناميكية معقدة، وتتحقق من فائدتها من خلال اختبار خوارزميات إعادة البناء والضغط المتطورة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد بناء نسخة رقمية مثالية، بحجم الإنسان الحقيقي، لشخص يرقص، أو يلعب بالكرات، أو يعزف على آلة موسيقية. تريد أن تتمكن من التجول حوله في عالم افتراضي، ورؤيته من أي زاوية، وحتى مشاهدته وهو يتفاعل مع أشياء مثل النار، أو الماء، أو البالونات اللامعة.
هذا هو حلم الفيديو الحجمي (Volumetric Video). ولكن لتعليم الحواسيب كيفية القيام بذلك، أنت بحاجة إلى مكتبة ضخمة من بيانات التدريب. وهنا يأتي دور هذه الورقة البحثية.
إليك قصة ViVo، وهي مجموعة البيانات الجديدة التي أنشأها المؤلفون، مشروحة ببساطة.
١. المشكلة: "صالة التدريب" القديمة كانت سهلة للغاية
فكر في مجموعات بيانات الفيديو السابقة (مثل ZJU MoCap أو CMU Panoptic) كأنها صالة ألعاب رياضية تحتوي فقط على نوع واحد من أجهزة التمرين.
- كانت تعتمد غالباً على أشخاص يقفون بلا حراك أو يتحركون بطرق بسيطة.
- تم تصويرها في غرف "معقمة" حيث كانت الخلفية نظيفة تماماً.
- تجنبت الأشياء الصعبة مثل الزجاج الشفاف، أو المعدن اللامع، أو الماء المتدفق، أو النار.
إذا دربت حاسوباً على التعرف على شخص باستخدام تلك الصالة البسيطة فقط، فسيفشل فشلاً ذريعاً عندما تخرجه إلى العالم الحقيقي. الحياة الواقعية فوضوية! فهي تحتوي على أزياء لامعة، وأشخاص بلهجات بشرة وشعر مختلفة، وخلفيات تتحرك فيها طواقم التصوير من حولهم.
٢. الحل: "صالة التدريب الخارقة" (ViVo)
بنى المؤلفون مكتبة تدريب جديدة وضخمة تسمى ViVo (وهي اختصار لـ VolumetrIc VideO). فكر في هذا كأنه استوديو تصوير سينمائي احترافي وعالي التقنية حيث قاموا بتصوير ٣٢ مشهداً مختلفاً.
ما الذي يجعل ViVo مميزاً؟
- العين "الكلية الرؤية": بدلاً من استخدام كاميرا واحدة فقط، استخدموا ١٤ كاميرا موزعة في كرة ضخمة حول الممثلين. الأمر يشبه وجود ١٤ حارساً أمنياً يراقبون راقصاً من كل زاوية على حد المستويات في وقت واحد.
- فوضى العالم الحقيقي: لم يكتفوا بتصوير أشخاص بملابس عادية. بل صوروا:
- شخصاً بزي وحيد قرن (يونيكورن) منفوخ ضخم.
- شخصاً يفجر بالونات لامعة.
- مهرجاً بطلاء الوجه.
- أشخاصاً يلعبون بالكرات مع النار والسوائل.
- كلباً يلعب مع صاحبه.
- "المكونات الخام": معظم مجموعات البيانات القديمة كانت تعطيك "الكعكة" الجاهزة فقط (النموذج ثلاثي الأبعاد). أما ViVo فيعطيك الدقيق، والبيض، والسكر (الفيديو الخام من جميع الكاميرات الـ ١٤، ومستشعرات العمق، والصوت، وإعدادات الكاميرا الدقيقة). وهذا يسمح للباحثين بتجربة طرق مختلفة لخبز الكعكة.
٣. "الأدوات السحرية" المضمنة
لجعل حياة الباحثين أسهل، لم يكتفِ المؤلفون بصب الملفات الخام فحسب، بل أرفقوا معها "سكين سويسري" من الأدوات:
- أداة "القص": برنامج يرسم تلقائياً خطاً حول الممثل، ليفصله عن الخلفية (مثل مقص رقمي).
- أداة "بناء السحابة": أداة تحول الفيديو إلى سحابة ضخمة من النقاط الملونة (نقاط ثلاثية الأبعاد). يمكنهم توليد ١٥٥ مليون نقطة في كل ثانية. تخيل سحابة من الغبار كثيفة جداً لدرجة أنها تبدو كمادة صلبة؛ هذا ما تصنعه هذه الأداة.
٤. اختبار الضغط: وضع أفضل الحواسيب للعمل
لم يكتفِ المؤلفون بجمع البيانات فحسب، بل وضعوها قيد الاختبار. أخذوا ثلاثة من أذكى وأكثر برامج الكمبيوتر تقدماً (نماذج الذكاء الاصطناعي) المتاحة حالياً وحاولوا استخدامها لإعادة إنشاء هذه الفيديوهات.
كانت النتائج مفاجئة:
- مشكلة "الضبابية": حتى أفضل نماذج الذكاء الاصطناعي واجهت صعوبة. فعندما يتحرك الممثل بسرعة، أو عند وجود بالون لامع، غالباً ما يرتبك الذكاء الاصطناعي؛ فإما أن يجعل الحركة تتجمد أو يجعل الشخص يبدو كأنه شبح.
- مشكلة "الوقت": كان الذكاء الاصطناعي جيداً في الثواني الأولى، لكنه بدأ ينهار بعد مرور ٥٠ ثانية. الأمر يشبه طالباً يمكنه حفظ خطاب ببراعة في الدقيقة الأولى، ثم يبدأ في نسيان الكلمات مع شعوره بالتعب.
- مشكلة "الضغط": اختبروا أيضاً كيفية تقليص حجم هذه الفيديوهات الضخمة لإرسالها عبر الإنترنت. كانت طرق الضغط الجديدة القائمة على الذكاء الاصطناعي أفضل بكثير من الطرق القياسية القديمة، حيث وفرت الكثير من المساحة مع الحفاظ على وضوح الصورة.
٥. لماذا هذا مهم؟
فكر في مجموعة البيانات هذه كأنها "مدينة نيويورك" للسيارات ذاتية القيادة.
- مجموعات البيانات القديمة كانت تشبه القيادة في موقف سيارات هادئ وفارغ.
- أما ViVo فهو يشبه القيادة في مدينة مزدحمة بها أمطار، ومشاة، وسيارات لامعة، ومناطق بناء.
من خلال إجبار الباحثين على حل المشكلات في هذه "المدينة المزدحمة"، توضح لنا الورقة البحثية بالضبط أين تفشل التكنولوجيا الحالية. إنها تثبت أنه بينما نصبح أفضل في إنشاء عوالم ثلاثية الأبعاد، لا يزال أمامنا طريق طويل قبل أن نتمكن من التقاط الواقع المزدحم، واللامع، والسريع الحركة بشكل مثالي.
باختصار: بنى المؤلفون ساحة التدريب القصوى للفيديو ثلاثي الأبعاد، المليئة بفوضى العالم الحقيقي، ليظهروا لنا أن حواسيبنا الحالية ليست مستعدة تماماً بعد لدخول دوري المحترفين، وليعطونا الأدوات اللازمة لإصلاح ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.