M3ISR: A Multi-Modal Multi-View Benchmark for 3D/4D Gaussian Splatting and Feedforward Compression
تقدم الورقة البحثية M3ISR، وهو معيار مرجعي اصطناعي منضبط يضم ٢٥ مشهداً مع تعليقات توضيحية دقيقة للحقائق الأرضية وخمسة مسارات متخصصة مصممة لتقييم ومقارنة أداء إعادة البناء والضغط والبث لتقنيات Gaussian Splatting ثلاثية ورباعية الأبعاد بشكل منهجي من أجل فيديو عالي الدقة بلمحة نظر حرة.
تخيل أنك تحاول التقاط لحظة زمنية بدقة متناهية لدرجة أنه يمكنك الخطو داخل الصورة، والتجول حول الموضوع، ومشاهدة المشهد وهو يتكشف من أي زاوية تختارها. هذا هو الوعد الذي تقدمه تقنية الفيديو ذي منظور الرؤية الحرة (free-viewpoint video)، وهي تقنية تهدف إلى تحويل التسجيلات المسطحة إلى عوالم ثلاثية الأبعاد غامرة. لسنوات، كافح الباحثون مع مقايضة جوهرية: فبناء هذه العوالم بتفاصيل عالية يتطلب عادةً كميات هائلة من البيانات، مما يجعلها ثقيلة للغاية لإرسالها عبر الإنترنت أو تخزينها على الهاتف. مؤخراً، ظهرت طريقة جديدة تسمى "التشتت الغاوسي" (Gaussian Splatting) كوسيلة لبناء هذه المشاهد باستخدام الملايين من النقاط ثلاثية الأبعاد الصغيرة والضبابية التي يمكن عرضها فوراً. وبينما أظهر هذا النهج إمكانات كبيرة لكل من الصور الثابتة ومقاطع الفيديو المتحركة، افتقر العلماء إلى طريقة معيارية لاختبار مدى كفاءة هذه الأنظمة عند مواجهة تحديات العالم الحقيقي، مثل زوايا الكاميرا المحدودة، والأجسام المتحركة، والحاجة إلى ضغط البيانات لتوصيلها.
ولحل هذه المشكلة، قدم فريق من الباحثين M3ISR، وهو ساحة اختبار جديدة صُممت لقياس مدى أداء أنظمة "غاوس" ثلاثية ورباعية الأبعاد (3D and 4D Gaussian). أنشأ الفريق مجموعة من خمسة وعشرين مشهداً متميزاً، تتراوح من غرف النوم والمطابخ الدافئة إلى البيئات الخارجية. وخلافاً للاختبارات السابقة التي اعتمدت على لقطات فيديو حقيقية فوضوية حيث تختلف الإضاءة وزوايا الكاميرا بشكل غير متوقع، يستخدم هذا المعيار الجديد بيئة اصطناعية محكومة. لقد قاموا بتصوير كل مشهد باستخدام ست كاميرات متزامنة مرتبة على شكل مروحة، جميعها تنظر إلى نقطة مركزية واحدة. يسمح هذا الإعداد للباحثين بعزل متغيرات محددة، مثل كيفية تعامل النظام مع الفجوة بين الكاميرات، أو كيفية إدارته للفرق بين غرفة ثابتة وغرفة يتحرك فيها الأشخاص. وتعد مجموعة البيانات هذه غنية للغاية، فهي لا توفر صور الفيديو فحسب، بل توفر أيضاً معلومات مثالية وخالية من الضجيج حول عمق الأجسام، وماهية تلك الأجسام، وتحدد بدقة الأجزاء المتحركة والثابتة في المشهد.
نظم الباحثون مجموعة البيانات هذه في خمسة تحديات متميزة لتغطية دورة حياة الفيديو ثلاثي الأبعاد بالكامل، من الإنشاء إلى التوصيل. يركز التحديان الأولان على بناء المشهد: أحدهما للبيئات الثática (الثابتة) والآخر للبيئات الديناميكية حيث تتحرك الأجسام. وكشفت نتائج هذه الاختبارات عن رؤية مفاجئة؛ فبينما أنتجت الطرق المختلفة صوراً ذات جودة بصرية متقاربة جداً، تباينت كمية مساحة التخزين التي تطلبتها تلك الطرق بشكل هائل. فقد استخدمت بعض الطرق أكثر من ثلاثة آلاف ميجابايت لتخزين مشهد واحد، بينما تمكنت طرق أخرى من تحقيق الجودة نفسها باستخدام خمسمائة ميجابايت فقط. يشير هذا إلى أن العقبة الأكبر حالياً ليست في جعل الصور تبدو جيدة، بل في جعل الملفات صغيرة بما يكفي لتكون عملية. أما التحدي الثالث فقد نظر في بث هذه المشاهد الديناميكية في الوقت الفعلي، وهي مهمة ثبت أنها أصعب بكثير. فقد تطلبت الطرق المختبرة للبث مئات الثواني من المعالجة مقابل ثانيتين فقط من الفيديو، وانخفضت الجودة البصرية بشكل ملحوظ مقارنة بالاختبارات الثابتة، مما يسلط الضوء على أن التعامل مع الكاميرات المتحركة والأجسام المتحركة في آن واحد لا يزال يمثل مشكلة صعبة.
وعالج التحديان الأخيران قضية الضغط الحرجة، حيث تساءلا عن كيفية تقليص أحجام هذه النماذج ثلاثية الأبعاد الضخمة دون فقدان التفاصيل. وبدلاً من اختبار طريقة جديدة محددة بأنفسهم، حدد الفريق مهام ضغط "التغذية الأمامية" (feedforward compression) وقدموا صيغ مرجعية لنسبة المعدل إلى التشوه (rate–distortion) مع تقييمات أولية للقواعد الأساسية لتوجيه المشاركين المستقبليين. هذا النهج ضروري للتطبيقات الواقعية حيث تهم السرعة، إذ يضع معياراً للأنظمة التي تضغط البيانات في تمريرة واحدة دون الحاجة إلى إعادة تعلم أو إعادة تحسين المشهد المحدد في كل مرة. وأظهرت الاختبارات أنه بينما يمكن لطرق الضغط هذه تقليل أحجام الملفات بنجاح، إلا أن هناك فجوة كبيرة بين الأداء الحالي وما هو مطلوب للاستخدام على نطاق واسع. ووجد الباحثون أن الطبيعة الاصطناعية لمعيارهم سمحت لهم برؤية حالات عدم الكفاءة هذه بوضوح، بعيداً عن ضجيج أخطاء الكاميرا في العالم الحقيقي. لقد أثبتوا أن مجموعة الاختبار الجديدة الخاصة بهم يمكنها تقييم كل من تقنيات الضغط القياسية والأساليب الأحدث القائمة على التعلم بفعالية، مما يوفر مساراً واضحاً للتحسينات المستقبلية.
في نهاية المطاف، لا يدعي هذا العمل أنه حل مشكلة توصيل الفيديو ثلاثي الأبعاد، بل يوفر الأدوات اللازمة لقياس التقدم بدقة. ومن خلال تقديم بيئة محكومة مع معلومات أرضية دقيقة، يتيح معيار M3ISR للعلماء مقارنة النهج المختلفة بشكل عادل، مما يضمن أن التحسينات في السرعة أو التخزين لا تتم على حساب الجودة البصرية. وتشير النتائج إلى أنه بينما تنضج التكنولوجيا الخاصة بعرض هذه المشاهد، فإن الأنظمة المخصصة لتخزينها ونقلها لا تزال في مراحل التطوير الأولى. يعمل هذا المعيار كمسطرة صارمة، تساعد المجتمع العلمي على فهم مكان وجود الاختناقات بالضبط، وتوجه البحث المستقبلي نحو حلول ليست مبهرة بصرياً فحسب، بل وفعالة أيضاً بما يكفي ليستخدمها الجميع.
ملخص تقني: M3ISR
بيان المشكلة
تعتمد الرؤية من منظور حر (FVV) عالية الدقة والتحريك التفاعلي بشكل متزايد على تمثيلات غاوس الصريحة، مثل "التجسيم الثلاثي الأبعاد لغاوس" (3DGS) وامتداداته الديناميكية (4DGS). ومع ذلك، يظل النشر العملي مقيدًا بحجم التمثيل، وتعقيد التحديثات الديناميكية، والتكاليف الحسابية. تعاني المعايير المرجعية الحالية لمقاطع الفيديو متعددة المناظر والتمثيلات المشهدية العصبية من قيود محددة:
البيانات الساكنة (مثل Mip-NeRF 360) تركز على إعادة البناء من منظور جديد ولكنها تفتقر إلى المحتوى الزمني.
الموارد الديناميكية (مثل D-NeRF، ومجموعات البيانات الملتقطة واقعيًا متعددة المناظر) تُدخل محتوى زمنيًا ولكنها غالبًا ما تفشل في استهداف التقييم المشترك لتوليد الرؤية من منظور حر (FVV) وكفاءة التسليم بشكل صريح.
معايير ضغط الفيديو (مثل Vimeo-90K) تركز على المقايضة بين معدل البت والدقة دون توفير هندسة مشهد ثلاثية الأبعاد صريحة، أو ملاحظات متعددة المناظر متزامنة، أو معايرة للكاميرا.
وبناءً على ذلك، هناك نقص في بيئة محكومة لعزل آثار هندسة الكاميرا، وكفاءة التمثيل، والتكرار الزمني للدراسة المنهجية.
المنهجية: معيار M3ISR المرجعي
يقدم المؤلفون M3ISR، وهو معيار مرجعي اصطناعي، متعدد الوسائط، ومتعدد المناظر مصمم للتقييم المنهجي لـ "تجسيم غاوس" ثلاثي/رباعي الأبعاد (3D/4D Gaussian Splatting) وضغط التغذية الأمامية (feedforward compression).
بناء مجموعة البيانات
المحتوى: تتكون مجموعة البيانات من 25 مشهدًا عبر خمس فئات (غرفة نوم، مطبخ، غرفة معيشة، خارجي 1، خارجي 2).
التكوينات: يتم رصد كل مشهد في تكوينين:
MovingCameraStaticScene (كاميرا متحركة ومشهد ساكن): حركة كاميرا مع محتوى ثابت.
MovingCameraDynamicScene (كاميرا متحركة ومشهد ديناميكي): حركة متزامنة للكاميرا والكائن.
الاستحواذ: يتم رصد المشاهد بدقة 1080p (1920×1080) مع 1024 عينة لكل بكسل. التسلسلات مدتها ثانيتان بمعدل 15 إطارًا في الثانية (30 طابعًا زمنيًا).
هندسة الكاميرا: ميزة تصميمية حاسمة هي منصة الكاميرات ذات المركز المشترك. تم ترتيب ست كاميرات متزامنة في مروحة أفقية بزاوية 120 درجة (زوايا الانحراف: من -60 درجة إلى +60 درجة بفاصل 20 درجة). هذا التصميم يهدف عمدًا إلى إزالة اختلاف التزيح (parallax) الانتقالي لعزل التباين الزاوي.
التعليقات التوضيحية: بالإضافة إلى صور RGB ومعايير الكاميرا المعايرة، يوفر M3ISR حقائق أرضية كثيفة تشمل العمق الخالي من الضوضاء، والتقسيم الدلالي، وتقسيم المثيل (instance segmentation)، وأقنعة العناصر الثابتة والديناميكية.
مسارات التحدي
ينقسم المعيار المرجعي إلى خمسة مسارات متكاملة تغطي كامل خط إنتاج الرؤية من منظور حر (FVV):
المسار 1 (توليد 3DGS): توليد FVV للمشاهد الساكنة باستخدام ملاحظات متعددة المناظر متفرقة.
تقدم الورقة نتائج مرجعية ممثلة لتوصيف صعوبة المعيار ووضع نقاط مرجعية:
إعادة البناء الساكن (المسار 1): تظهر النماذج المرجعية (3DGS، CoR-GS، FSGS، DropGaussian) اختلافات طفيفة في جودة الرؤية (تباين PSNR < 0.16 ديسيبل) ولكن اختلافات جوهرية في التخزين. يحقق FSGS مدمجًا (508 ميجابايت) مشابهًا لـ 3DGS الأصلي (1331 ميجابايت) بجودة مماثلة، بينما يتطلب CoR-GS تخزينًا أكبر بكثير (3174 ميجابايت) مقابل مكاسب ضئيلة. يشير هذا إلى وجود تكرار كبير في التمثيل في إعداد الست كاميرات واسع مجال الرؤية.
البث مقابل التشغيل دون اتصال (المسارات 2 و3): تظهر نماذج البث (QUEEN، Octree-LoD) قيم PSNR أقل بكثير (16 ديسيبل) مقارنة بطرق إعادة البناء الديناميكية دون اتصال (22.5 ديسيبل). علاوة على ذلك، تسجل طرق البث أوقات تدريب/إعادة بناء عالية (>350 ثانية لمقطع مدته 2 ثانية) وبصمات تخزين كبيرة (1.4–1.7 جيجابايت)، مما يسلط الضوء على تحدي إعادة البناء التدريجي.
إعادة البناء الديناميكي (المسار 2): تحقق طرق 4DGS دون اتصال (Deformable 3DGS، 4DGS) دقة عالية (22.57–22.79 ديسيبل PSNR) ومدمجًا أفضل (200–257 ميجابايت) من نماذج البث. ومع ذلك، حتى هذه التمثيلات المحسنة تترك مجالًا للضغط (حوالي 8–10 ميجابايت لكل تسلسل مدته 2 ثانية).
الضغط (المسارات 4 و5): يقيم المؤلفون طرق الضغط الأمامي (FCGS لـ 3DGS، وD-FCGS لـ 4DGS). تظهر النتائج أن M3ISR يعكس بفعالية المقايضات بين المعدل والتشويه. ومن الجدير بالذكر أن D-FCGS، المدرب على بيانات واقعية، يعمل بشكل جيد على M3IRS الاصطناعي دون تعديل، مما يشير إلى أن الطبيعة الاصطناعية للمعيجع لا تمنع فائدته في تقييم الطرق المخصصة للنشر في العالم الحقيقي.
الأهمية والادعاءات
تضع الورقة M3ISR كـ بيئة اختبار محكومة ومتكاملة وليس كبديل للتحقق من العالم الحقيقي. تكمن أهميته في:
عزل المتغيرات: من خلال استخدام منصة كاميرات اصطناعية ذات مركز مشترك، يعزل M3ISR التباين الزاوي والتكرار الزمني، مما يسمح للباحثين بدراسة عوامل محددة (مثل تقليم اعتماد المنظور، وتناثر المنظور المتقاطع) دون ضجيج أخطاء المعايرة الواقعية أو عيوب المستشعرات.
التقييم الموحد: يجسّر الفجوة بين التوليد والتقديم الفعال، مما يوفر بروتوكولًا مشتركًا لتقييم 3DGS/4DGS عبر مهام التوليد، والبث، والضغط.
التحفيز للعمل المستقبلي: تكشف النتائج المرجعية عن فجوات كبيرة في كفاءة التخزين والتكلفة العالية لإعادة البناء عبر الإنترنت، مما يحفز البحث في التحسين المشترك للجودة، ومعدل التمثيل، وكفاءة النظام.
يصرح المؤلفون صراحةً أن المعيار المرجعي يهدف إلى تسهيل المقارنة المنهجية وتشجيع طرق جديدة لتمثيلات غاوس الواعية للمنظور، والزمنية، والموفرة للمعدل، ليكون بمثابة نقطة انطلاق لتقييمات لوحة الصدارة الصارمة في المستقبل.