يعد إنشاء نموذج ثلاثي الأبعاد للعالم الحقيقي من مجموعة من الصور ثنائية الأبعاد تحدياً أساسياً في مجال الرؤية الحاسوبية. لعقود من الزمن، اعتمد العلماء على نهجين رئيسيين لحل هذه المعضلة. النهج الأول، المعروف باسم "الرؤية المجسمة متعددة المناظير" (multi-view stereo)، يعمل مثل الدماغ البشري: حيث ينظر إلى نفس الجسم من زوايا مختلفة، ويجد نقاطاً متطابقة، ويحسب مسافاتها لبناء سحابة كثيفة من النقاط تمثل السطح. أما النهج الثاني، وهو طريقة أحدث تسمى "تشتت غاوس ثلاثي الأبعاد" (3D Gaussian Splatting)، فهي لا تمثل المشهد كجسم صلب، بل كسرب من الأشكال البيضاوية الصغيرة الملونة والشفافة التي تطفو في الفضاء. وعندما تنظر الكاميرا إلى هذا السرب، تندمج هذه الأشكال البيضاوية معاً لتكوين صورة حادة وواقعية. ورغم أن هذه الطريقة الجديدة سريعة للغاية وتنتج نتائج بصرية مذهلة، إلا أنها تعاني من خلل كبير عندما يتعلق الأمر ببناء أشكال ثلاثية الأبعاد فعلية. ففي المناطق التي تتوفر فيها زوايا رؤية قليلة للكاميرا، أو حيث تكون الأجسام محجوبة خلف أشياء أخرى، يمكن لهذه الأشكال البيضاوية العائمة أن تتباعد أو تشكل هياكل شبحية غير مستقرة تبدو جيدة في الصورة ولكنها لا تمثل سطحاً حقيقياً صلباً.

قام باحثون من جامعة ووهان وجامعة هانغتشو ديانزي بتطوير إطار عمل جديد يسمى CoMVS-GS لمعالجة هذه المشكلة. كان هدفهم هو الجمع بين السرعة والجودة البصرية للأشكال البيضاوية العائمة وبين الموثوقية الهندسية للطريقة التقليدية القائمة على النقاط. وبدلاً من معاملة هاتين التقنيتين كأدوات منفصلة، قاموا بدمجهما معاً في عملية واحدة. والنتيجة هي نظام يمكنه إعادة بناء نماذج ثلاثية الأبعاد دقيقة وصلبة لكل من الأجسام الصغيرة والبيئات الخارجية الكبيرة، حتى في ظروف الإضاءة الصعبة أو عندما تكون أجزاء من المشهد مخفية. ووجد الفريق أنه من خلال استخدام نقاط القوة في الطريقة القديمة الأبطأ لتوجيه الطريقة الجديدة الأسرع، استطاعوا القضاء على الشوائب العائمة وإنتاج أسطح مقنعة بصرياً ودقيقة هندسياً في آن واحد.

تبدأ العملية بخطوة حاسمة قبل بدء التحسين الرئيسي. غالباً ما تبدأ الطرق التقليدية بمجموعة متفرقة من النقاط، مما يترك فجوات كبيرة يجب على الكمبيوتر تخمين كيفية ملئها. بدلاً من ذلك، استخدم الباحثون سحابة كثيفة من النقاط الناتجة عن خوارزمية معيارية للرؤية المجسمة متعددة المناظير لتهيئة نموذجهم. لقد أخذوا هذه النقاط وشكّلوا الأشكال البيضاوية العائمة لتتطابق مع اتجاه السطح المحلي وسُمكه منذ اللحظة الأولى تماماً. تخيل محاولة بناء جدار عن طريق نثر بعض الطوب في الهواء أولاً والأمل في أن يستقر في خط مستوٍ؛ هذه الطريقة الجديدة تضع الطوب بالضبط حيث يجب أن يكون، ومحاذياً لسطح الجدار، قبل بدء عملية البناء. وقد منح هذا النظام دفعة هندسية قوية، مما منع الأشكال البيضاوية من تكوين هياكل غير مستقرة في المراحل الأولى من التدريب.

بمجرد تهيئة النموذج، أدخل الباحثون حلقة تغذية راجعة مستمرة بين التقنيتين. يقوم النظام بإنشاء خريطة عمق، وهي في الأساس صورة توضح مدى بعد كل نقطة في المشهد، ويستخدم تلك الصورة لتحسين خوارزمية الرؤية المجسمة متعددة المناظير. وفي المق المقابل، تقوم خوارزمية الرؤية المجسمة المحسنة بإنتاج خريطة عمق أكثر دقة، والتي تُستخدم بدورها لتصحيح الأشكال البيضاوية العائمة. هذا الإشراف المتبادل يعني أن النظام كان يتحقق باستمرار من عمله؛ فإذا انحرفت الأشكال البيضاوية إلى مكان لا ينبغي أن تكون فيه، فإن بيانات الرؤية المجسمة ستعيدها إلى مسارها. وإذا كانت بيانات الرؤية المجسمة غير متأكدة بسبب نقص التفاصيل أو الملامح، فإن سحابة الأشكال البيضاوية الكثيفة ستوفر دليلاً مستقراً. سمح هذا الصقل المتبادل للنموذج بملء الفجوات وتنعيم الأسطح التي عانت الطرق السابقة في التعامل معها.

تضمنت الخطوة النهائية تحويل هذه الأشكال البيضاوية المصقولة إلى "شبكة" (mesh) صلبة، وهي الهيكل السلكي المستخدم لتمثيل الجسم ثلاثي الأبعاد. تحاول العديد من الطرق الحالية القيام بذلك عن طريق تقسيم الفضاء ثلاثي الأبعاد بالكامل إلى شبكة من المكعبات الصغيرة وحساب السطح داخل كل مكعب. هذا النهج حساس لحجم المكعبات؛ فإذا كانت المكعبات كبيرة جداً، تضيع التفاصيل الدقيقة، وإذا كانت صغيرة جداً، يستهلك الكمبيوتر ذاكرة ضخمة، خاصة في المشاهد الخارجية الكبيرة. تجنب الباحثون هذا الفخ باستخدام تقنية مختلفة تسمى "تجزئة مخطط ديلاوني" (Delaunay graph-cut meshing). وبدلاً من الاعتماد على شبكة جامدة، يقوم هذا النهج بربط نقاط السطح مباشرة ويستخدم خط رؤية الكاميرا لتحديد أي أجزاء من الفضاء تقع داخل الجسم وأيها تقع خارجه. سمح لهم ذلك بإنشاء سطح نظيف وكامل دون عبء الذاكرة أو فقدان التفاصيل المرتبط بالنهج القائم على الشبكات.

اختبر الفريق طريقتهم على عدة مجموعات بيانات، بما في ذلك معيار DTU القياسي لإعادة بناء مستوى الأجسام، بالإضافة إلى مجموعات فرعية جديدة من المشاهد الخارجية واسعة النطاق من مجموعتي بيانات GauU-Scene V2 وMatrixCity. في اختبار DTU، حققت طريقتهم معدل خطأ متوسط ينافس أفضل التقنيات الموجودة، بل وتفوقت عليها غالباً في دقة الهندسة المعاد بناؤها. وفي المشاهد الخارجية، كان الفرق أكثر وضوحاً؛ فبينما أنتجت الطرق الأخرى نماذج تحتوي على شظايا عائمة أو ثقوب كبيرة في مناطق مثل المياه أو واجهات المباني، أنتج CoMVS-GS أسطحاً نظيفة ومتصلة. لاحظ الباحثون أن طريقتهم أنتجت شبكات بعدد أقل بكثير من الأوجه (بمتوسط 8.76 مليون وجه مقارنة بأكثر من 50 مليون وجه لبعض المنافسين)، مع الحفاظ على دقة هندسية أعلى. يشير هذا التراص إلى أن النموذج التقط الشكل الحقيقي للمشهد بكفاءة أكبر، دون إضافة تعقيدات غير ضرورية لملء الفجوات.

تضمنت الدراسة أيضاً اختبارات لمعرفة أي أجزاء من نظامهم كانت الأكثر أهمية. فعندما أزالوا التهيئة بسحابة النقاط الكثيفة، واجه النموذج صعوبة في الاستقرار على الأسطح المستوية، خاصة في واجهات المباني التي تُرى من زوايا حادة. وعندما أزالوا حلقة الإشراف المتبادل، انخفضت الدقة الهندسية وأصبحت الأسطح أقل نعومة. وأخيراً، عندما أعادوا استخدام تقنية الشبكات التقليدية بدلاً من تقنيتهم الجديدة، أظهرت النماذج الناتية ثقوباً ومناطق غير مكتملة، مما أكد أن نهج "القطع عبر المخطط" (graph-cut) كان ضرورياً للتعامل مع تعقيد المشاهد الخارجية الكبيرة. وخلص الباحثون إلى أنه من خلال دمج الرؤية المجسمة متعددة المناظير ليس فقط كخطوة نهائية، بل كمصدر للتهيئة، والإشراف المستمر، واستخراج السطح، تمكنوا من تحقيق مستوى من الاستقرار الهندسي لم تستطع أي من الطريقتين الوصول إليه بمفردها.

ورغم أن هذه الطريقة تمثل خطوة كبيرة للأمام، إلا أن المؤلفين يقرون بأنها لا تزال تواجه تحديات مع الأسطح شديدة الانعكاس أو الشفافة، حيث يصعب العثور على نقاط متطابقة عبر زوايا كاميرا مختلفة. بالإضافة إلى ذلك، فإن عملية تحسين خرائط العمق بشكل دوري تضيف بعض التكلفة الحسابية، وهو ما قد يكون عاملاً مؤثراً في المشاهد ذات الدقة العالية جداً. ومع ذلك، فإن النتائج تثبت أن الجمع بين الصرامة الهندسية للتصوير الفوتوغرافي التقليدي وكفاءة الرندرة العصبية الحديثة هو مسار قابل للتطبيق نحو إعادة بناء ثلاثي الأبعاد أكثر قوة ودقة. ويشير هذا العمل إلى أن مستقبل النمذجة ثلاثية الأبعاد قد لا يكمن في الاختيار بين التقنيات المختلفة، بل في إيجاد طرق لجعلها تعمل معاً، والاستفادة من نقاط القوة في كل منها للتغلب على نقاط ضعف الأخرى.