تخيل أنك تحاول بناء نموذج ثلاثي الأبعاد مثالي لسيارة لعبة، ولكن ليس لديك سوى صورة فوتوغرافية مسطحة واحدة لها. هذا هو الصراع اليومي لعلماء الرؤية الحاسوبية: تحويل صورة ثنائية الأبعاد واحدة إلى كائن ثلاثي الأبعاد. وللقيام بذلك، غالبًا ما تلعب الحواسيب لعبة تخمين؛ فهي تحاول تخيل كيف تبدو السيارة من الخلف، ومن الجانب، ومن الأعلى، مما ينشئ مجموعة كاملة من الصور "المزيفة" الجديدة. ثم يستخدمون أداة رقمية خاصة تسمى "حقل الإشعاع العصبي" (أو NeRF) لدمج هذه الصور معًا في شكل ثلاثي الأبعاد صلب. فكر في NeRF كفنان ذكي للغاية يمكنه رسم منحوتة ثلاثية الأبعاد بناءً على مجموعة من الرسومات الثنائية الأبعاد. تكمكن المشكلة في أن الكمبيوتر، عندما يخمن الزوايا الأخرى، غالبًا ما يرتكب أخطاءً؛ فقد يبدو الجزء الخلفي من السيارة مختلفًا قليلاً عن الجزء الأمامي، أو قد تكون العجلات في مكان خاطئ. وعندما يحاول الفنان لصق هذه الرسومات غير المتطابقة معًا، ينتهي الأمر بالمنحوتة النهائية بشكل ضبابي، أو متذبذب، أو مشوه.

هنا يأتي دور الباحثين في هذه الورقة البحثية بتقديم خدعة جديدة وذكية. لقد أدركوا أنه بدلاً من إجبار الكمبيوتر على التظاهر بأن جميع الصور المزيفة مثالية، يجب عليهم تعليم الكمبيوتر توقع الأخطاء وإصلاحها فور حدوثها. لقد بنوا نظامًا يعمل مثل فريق من المحررين المتخصصين؛ فبينما يتولى محرر رئيسي التعامل مع الشكل العام للسيارة، يقف فريق من المحررين "المتكيفين مع زاوية الرؤية" (view-adaptive) في الانتظار، حيث يتم تعيين كل منهم لزاوية محددة. إذا رأى محرر "المنظر الخلفي" خللاً ما، فإنه يقوم بإصلاح ذلك الجزء فقط دون العبث ببقية السيارة. كما يستخدمون آلية "الانتباه الذاتي" (self-attention)، وهي تشبه مديرًا ذكيًا يستمع إلى جميع المحررين، ويتجاهل المزعجين منهم، ويمزج أفضل أفكارهم لإنشاء نموذج ثلاثي الأبعاد واحد ومثالي. والنتيجة هي طريقة تنتج أشكالاً ثلاثية الأبعاد أكثر حدة ودقة من صورة واحدة، حتى عندما تكون تخمينات الكمبيوتر الأولية فوضوية بعض الشيء، وتفعل ذلك دون الحاجة إلى قوة الحوسبة الثقيلة والبطيئة التي تتطلبها عادةً عملية إصلاح هذه الأخطاء.

المشكلة: كبينة التصوير "المعيبة"

تخيل أنك تدخل كبينة تصوير تعدك بالتقاط صورة لك ثم إنشاء هولوغرام ثلاثي الأبعاد لك فورًا. تدخل الخطوة، تلتقط صورة، ويبدأ الجهاز في إنتاج صور جديدة لك من اليسار، واليمين، والأمام، والخلف. لكن هنا تكمن المشكلة: نظرًا لأن الآلة تخمن كيف تبدو من زوايا لم ترها من قبل، فإن الصور الجديدة ليست مثالية. قد تظهر الصورة اليسرى أذنك أكبر قليلاً، بينما تظهر الصورة اليحية أذنك أصغر قليلاً. قد يتغير الخلف أيضًا.

عندما تحاول بناء نموذج ثلاثي الأبعاد من هذه الصور المعيبة، تكون النتيجة فوضوية. الأمر يشبه محاولة بناء بيت من ورق اللعب حيث نصف البطاقات ملتوية؛ الهيكل بأكمله ينهار ليصبح كتلة ضبابية. تحاول طرق الرؤية الحاسوبية التقليدية إجبار هذه الصور غير المتطابقة على الاتفاق، لكنها غالبًا ما تنتهي بتنعيم كل التفاصيل الرائعة، تاركة إياك أمام كتلة بلا شكل أو متذبذبة بدلاً من سيارة لعبة حادة أو تمثال مفصل.

الحل: فريق من المحررين المتخصصين

اقترح مؤلفو هذه الورقة، وهم أوتشي (U-Chae Jun)، وجايون كو (Jaeeun Ko)، وجي وو كانج (Jiwoo Kang)، طريقة جديدة للتعامل مع هذه الفوضى. فبدلاً من استخدام عقل واحد ضخم لمحاولة فهم جميع الزوايا في وقت واحد، أنشأوا نظامًا يحتوي على "عمود فقري مشترك" (Shared Backbone) و"رندرات متكيفة مع الزاوية" (View-Adaptive Renderers).

فكر في العمود الفقري المشترك كمهندس معماري رئيسي يعرف القواعد العامة لكيفية بناء السيارة؛ فهو يرسم الهيكل الأساسي الذي يكون ثابتًا لكل زاوية. ثم تخيل فريقًا من المحررين المتخصصين (الرندرات المتكيفة مع الزاوية). يتم تعيين كل محرر لزاوية محددة:

• محرر المنظر الأمامي: ينظر إلى الصورة الأمامية. إذا بدت العجلات غريبة نوعًا ما، يقوم هذا المحرر بإصلاح العجلات فقط.
• محرر المنظر الجانبي: ينظر إلى الصورة الجانبية. إذا كان مقبض الباب في المكان الخاطئ، يقوم هذا المحرر بإصلاحه فقط.

الأمر الجوهه أن هؤلاء المحررين لا يتصارعون مع بعضهم البعض؛ فهم جميعًا يتشاركون المخطط الرئيسي للمهندس المعماري، لذا لن يغيروا حجم السيارة أو شكلها عن طريق الخطأ. هم فقط يصلحون الأخطاء الصغيرة الخاصة بزاوية رؤيتهم. وهذا يعني أن النظام يمكنه التعامل مع الصور المدخلة "المعيبة" دون أن يصاب بالارتباك.

الغراء: مدير الانتباه الذاتي

بمجرد أن ينتهي جميع المحررين من عملهم، يحتاج النظام إلى دمج إصلاحاتهم في نموذج ثلاثي الأبعاد نهائي. وهنا يأتي دور وحدة دمج الانتباه الذاتي (Self-Attention Fusion Module). تخيل مدير مشروع يجلس في منتصف الغرفة؛ ينظر هذا المدير إلى عمل جميع المحررين. إذا كان "محرر المنظر العلوي" يصرخ بشأن مشكلة غير موجودة، يتجاهله المدير. وإذا كان لدى "محرر المنظر الجانبي" إصلاح جيد حقًا، فإن المدير يسلط الضوء عليه.

يستخدم هذا المدير أداة رياضية تسمى "الانتباه الذاتي" لوزن أهمية كل زاوية. إنه يضمن أن يكون النموذج ثلاثي الأبعاد النهائي متسقًا وسلسًا، حيث يمزج أفضل أجزاء كل زاوية مع تصفية الضجيج. وتظهر الورقة أن هذا المدير بارع جدًا في عمله لدرجة أنه يمكنه حتى التعامل مع الحالات التي يكون فيها عدد الصور المدخلة قليلًا جدًا.

ما وجدوه: السرعة والحدة

اختبر الباحثون نظامهم الجديد مقابل الطرق القديمة باستخدام مجموعة بيانات مكونة من 50 جسمًا ثلاثي الأبعاد (من مجموعة بيانات Google Scanned Objects). وقاسوا مدى دقة النماذج ثلاثية الأبعاد باستخدام درجات معيارية مثل PSNR (مدى تقارب الألوان)، وSSIM (مدى تشابه الهياكل)، وChamfer Distance (مدى قرب الشكل ثلاثي الأبعاد من الواقع).

كانت النتائج مبهرة. فعندما استخدموا نظامهم "المتكيف مع الزاوية" فوق أداة إعادة بناء ثلاثية الأبعاد قياسية تسمى NeuS، ارتفدت الجودة بشكل كبير:

• ارتفع معدل PSNR من 19.76 إلى 22.74.
• تحسن معدل SSIM من 0.790 إلى 0.833.
• انخفضت مسافة Chamfer Distance (حيث الأقل أفضل) من 0.0168 إلى 0.0122.
• ارتفع معدل IoU (التقاطع فوق الاتحاد، حيث الأعلى أفضل) من 0.6268 إلى 0.7015.

باللغة البسيطة، بدت النماذج ثلاثية الأبعاد أكثر حدة، وكانت تحتوي على بقع ضبابية أقل، وطابقت الأجسام الحقيقية بشكل أوثق بكثير.

"السر الخاص": لا حاجة للجهد الشاق

كانت إحدى النتائج الأكثر إثارة للدهشة هي مدى كفاءة هذه الطريقة. عادةً، لإصلاح هذا النوع من العيوب، تحتاج الحواسيب إلى استخدام تقنية ثقيلة وبطيئة تسمى "أخذ عينات استخلاص الدرجة" (SDS). هذا يشبه استخدام مطرقة ثقيلة لكسر حبة جوز؛ إنها تعمل، لكنها تستغرق وقتًا طويلاً وتستهلك الكثير من الطاقة.

وجد المؤلفون أن نظامهم المتكيف مع الزاوية كان جيدًا جدًا في إصلاح العيوب بمفرده، لدرجة أنه لم يحتج تقريبًا إلى تلك المطرقة الثقيلة.

• عندما استخدموا فقط خسارة الرندرة القياسية (الرياضيات الأساسية التي تتحقق مما إذا كانت الصورة تبدو صحيحة)، استغرق نظامهم 7 دقائق فقط للتدريب وحقق مسافة Chamfer قدرها 0.0122.
• وعندما أضافوا خسارة SDS الثقيلة، قفز وقت التدريب إلى 54 دقيقة، وتحسنت الدقة بشكل طفيف فقط (إلى 0.0109).

يشير هذا إلى أنه بالنسبة للعديد من التطبيقات في العالم الحقيقي، لست بحاجة إلى الطرق البطيئة والمكلفة. فالنهج "المتكيف مع الزاوية" يمنحك نتيجة عالية الجودة تقريبًا في جزء بسيط من الوقت.

لماذا هذا مهم؟

تشير هذه الورقة إلى أننا لسنا بحاجة إلى مدخلات مثالية للحصول على نماذج ثلاثية الأبعاد مثالية. من خلال الاعتراف بأن الصور المولدة بالحاسوب ستكون دائمًا بها أخطاء صغيرة، ومن خلال بناء نظام يمكنه رصد وإصلاح تلك الأخطاء بشكل فردي، يمكننا إنشاء محتوى ثلاثي الأبعاد أفضل بكثير.

اختبر الباحثون فكرتهم مع أعداد مختلفة من زوايا الرؤية المدخلة (4، 8، 12، و16). ووجدوا أن طريقتهم كانت قوية بشكل خاص عندما كانت الزوايا قليلة جدًا (مثل 4 زوايا فقط). في هذه المواقف الصعبة، أنتجت الطرق القديمة نتائج ضبابية للغاية، لكن النظام الجديد ظل حادًا. وهذا أمر بالغ الأهمية لأننا في العالم الحقيقي، غالبًا ما يكون لدينا عدد قليل جدًا من الصور للعمل بها.

كما لاحظ المؤلفون أن طريقتهم تعمل جيدًا مع أنواع مختلفة من "مولدات الصور" (مثل Zero-1-to-3 وWonder3D)، مما يشير إلى أنها أداة مرنة يمكن دمجها في أنظمة حالية متنوعة. وبينما يعترفون بأن طريقتهم لا تزال تواجه صعوبة إذا كانت الصور المدخلة مليئة بالضجيج الشديد أو إذا كان الخلفية فوضوية للغاية، إلا أن النتائج تظهر مسارًا واضحًا للمستقبل: طريقة أسرع وأذكى لتحويل لقطة واحدة إلى عالم ثلاثي الأبعاد مفصل.