Efficient 3D Content Reconstruction and Generation
تُقدم هذه الأطروحة تقدماً في مجال إنشاء المحتوى ثلاثي الأبعاد آلياً من خلال تقديم Instant3D، وهو نظام توليد سريع للأصول عالية الجودة، وFastMap، وهو مسار هيكلي من الحركة عالي التسريع يحسن سرعة إعادة البناء بشكل كبير مع الحفاظ على الدقة.
تخيل أنك تريد بناء عالم ثلاثي الأبعاد للعبة فيديو أو تجربة واقع افتراضي. تقليديًا، يشبه هذا الأمر توظيف فريق من النحاتين والمصورين؛ إذ يتعين عليك نمذجة كل كائن يدويًا أو التقاط مئات الصور من كل زاوية وقضاء أيام في دمجها معًا. تقترح هذه الأطروحة، التي كتبها جياهاو لي، أداتين جديدتين "فائقتا السرعة" لاستبدال هذه العملية البطيئة والمجهدة: واحدة لـ إنشاء كائنات ثلاثية الأبعاد جديدة من الصفر، وأخرى لـ إعادة بناء كائنات ثلاثية الأبعاد من صور موجودة بالفعل.
إليك تفصيل للاختراعات الأربعة الرئيسية في الورقة البحثية، مشروحة عبر تشبيهات من الحياة اليومية.
الجزء الأول: إنشاء الكائنات ثلاثية الأبعاد (الجانب "التوليدي")
الهدف هنا هو تحويل وصف نصي بسيط (مثل "سيارة مصنوعة من السوشي") أو صورة واحدة إلى نموذج ثلاثي الأبعاد كامل بشكل فوري.
1. Instant3D: سحر "الالتقاط إلى ثلاثي الأبعاد"
المشكلة: كانت طرق الذكاء الاصطناعي السابقة تشبه محاولة نحت تمثال عن طريق تفتيت كتلة من الحجر ببطء مع التحقق المستمر من رسم ثنائي الأبعاد. كان الأمر يستغرق ساعاتًا لكل كائن، وغالبًا ما ينتج عنه أشكال غريبة ومشوهة (مثل وجه بـأنفين).
الحل: Instant3D يشبه خدعة سحرية من خطوتين.
الخطوة 1: يأخذ الوصف النصي الخاص بك ويستخدم ذكاءً اصطناعيًا ذكيًا لإنشاء أربع صور مختلفة للكائن فورًا (أمام، خلف، يسار، يمين) دفعة واحدة، مما يضمن اتساق مظهرها.
الخطوة 2: يقوم بتغذية تلك الصور الأربع في "مترجم ثلاثي الأبعاد" (شبكة عصبية ضخمة) ليربطها معًا فورًا في نموذج ثلاثي الأبعاد.
النتيجة: بدلًا من استغرق ساعات، فإنه ينشئ أصلًا ثلاثي الأبعاد عالي الجودة في حوالي 20 ثانية. إنه يشبه الانتقال من مجرد رسم تخطيطي إلى منحوتة نهائية في طرفة عين.
2. Carve3D: مدرب "ضبط الجودة"
المشكلة: حتى مع Instant3D، قد يرتبك الذكاء الاصطناعي أحيانًا. فقد يرسم عجلة سيارة على الجانب الأيسف في صورة ما وعلى الجانب الأيمن في صورة أخرى. وعندما تحاول بناء النموذج ثلاثي الأبعاد، تتسبب هذه التناقضات في تعطل النموذج أو ظهوره بشكل مشوه.
الحل: يعمل Carve3D كمدرب صارم يستخدم التعلم التعزيزي (Reinforcement Learning). فهو لا يكتفي بعرض المزيد من الصور على الذكاء الاصطناعي، بل يلعب معه لعبة:
يقوم الذكاء الاصطناعي بتوليد أربعة مناظر.
يحاول النظام بناء نموذج ثلاثي الأبعاد منها.
إذا بدا النموذج ثلاثي الأبعاد معطلًا (بسبب عدم تطابق المناظر)، يعطي النظام للذكاء الاصطناعي "درجة سيئة" (عقوبة).
إذا بدا النموذج ثلاثي الأبعاد متماسكًا، يحصل الذكاء الاصطناعي على "درجة جيدة".
النتيسة: يتعلم الذكاء الاصطناعي التوقف عن صنع رسومات متناقضة. فهو ينتج نماذج ثلاثية الأبعاد أكثر اتساقًا وواقعية دون فقدان الإبداع أو التفاصيل الموجودة في الصور الأصلية.
3. DMV3D: الفنان "الشامل"
المشكلة: كانت الطرق السابقة (Instant3D وCarve3D) تشبه سباق التتابع: حيث يقوم أحد العدائين برسم الصور، ثم يسلم العصا لعداء ثانٍ يقوم ببناء النموذج ثلاثي الأبعاد.
الحل: DMV3D هو رياضي واحد يقوم بكلتا الوظيفتين في وقت واحد. إنه نموذج ذكاء اصطناعي واحد يأخذ مدخلات مشوشة وغير منظمة ويخرج مباشرة نموذجًا ثلاثي الأبعاد نظيفًا.
النتيجة: يتخطى عملية سباق التتابع تمامًا. يمكنه تحويل صورة واحدة أو وصف نصي إلى كائن ثلاثي الأبعاد في أقل من دقيقة، حيث يعالج "الضجيج" و"الفوضى" في المدخلات داخليًا لإنتاج نتيجة نظيفة.
الجزء الثاني: إعادة بناء الكائنات ثلاثية الأبعاد (جانب "إعادة البناء")
الهدف هنا هو أخذ مجموعة من الصور (مثل ألبوم صور العطلة) ومعرفة موقع الكاميرا بدقة لكل صورة وشكل المشهد ثلاثي الأبعاد. هذا الأمر ضروري لتدريب نماذج الذكاء الاصطناعي المذكورة أعلاه.
4. FastMap: المساح "فائق السرعة"
المشكلة: الأداة القياسية الحالية لهذه المهمة (تسمى COLMAP) تشبه مسّاحًا يتجول في مدينة، يقيس كل مبنى، ويعيد التحقق من كل قياس باستخدام آلة حاسبة معقدة. إنها دقيقة للغاية ولكنها تستغرق أيامًا لمعالجة مدينة كبيرة.
الحل: FastMap يشبه طائرة بدون طيار (درون) مجهزة بخوارزمية مبسطة وسريعة للغاية.
بدلًا من استخدام آلة حاسبة ثقيلة ومعقدة (رياضيات من الدرجة الثانية) تبطئ كل شيء، يستخدم نهجًا انسيابيًا من "الدرجة الأولى" وهو أسرع بكثير.
كما أنه يعيد كتابة كود الكمبيوتر ليعمل مباشرة على بطاقة الرسوميات (GPU) دون أي تأخير، مثل الانتقال من ناقل حركة يدوي إلى محرك كهربائي عالي السرعة.
النتيجة: يمكن لـ FastMap معالجة نفس المدينة في دقائق بدلًا من أيام (أسرع بـ 10 مرات من الطرق القديمة). إنه دقيق تقريبًا مثل المساح البطيء، لكنه ينجز المهمة قبل أن تنتهي من شرب قهوتك.
ملخص
تتمحور هذه الأطروحة حول السرعة والاتساق في عالم الإنشاء ثلاثي الأبعاد.
Instant3D وCarve3D وDMV3D هي طرق جديدة لـ صنع كائنات ثلاثية الأبعاد من النصوص أو الصور في ثوانٍ، مع ضمان ظهورها بشكل واقعي وعدم انهيارها.
FastMap هي طريقة جديدة لـ رسم خرائط العالم الحقيقي من الصور في دقائق، مما يوفر البيانات اللازمة لتدريب نماذج الذكاء الاصطنا هذه.
تهدف هذه الأدوات معًا إلى تحويل عملية إنشاء المحتوى ثلاثي الأبعاد البطيئة والمكلفة إلى عملية سريعة، رخيصة، ومتاحة للجميع.
ملخص تقني: إعادة بناء وتوليد المحتوى ثلاثي الأبعاد بكفاءة
بيان المشكلة
يهدف التوليد التلقائي للمحتوى ثلاثي الأبعاد إلى استبدال النمذجة والمسح اليدوي بأنظمة قادرة على تخليق أو استعادة الأصول ثلاثية الأبعاد مباشرة من النصوص أو الصور. تعد هذه القدرة بالغة الأهمية لتطبيقات الألعاب، والواقع الافتراضي، والروبوتات، والمحاكاة، وكذلك لتوليد مجموعات بيانات ثلاثية الأبعاد واسعة النطاق لتدريب النماذج التأسيسية. ومع ذلك، تواجه النهج الحالية عقبتين رئيسيتين:
التوليد ثلاثي الأبعاد: تتبع الطرق الحالية عموماً نموذجين. الأسال विध (Methods) القائمة على التحسين (مثل تقطير تشتت الدرجات - Score Distillation Sampling) تستفيد من أولويات الانتشار ثنائية الأبعاد القوية ولكنها تعاني من بطء أوقات الاستدلال (ساعات لكل أصل) وعيوب مثل مشكلة "يانوس" (Janus problem). أما الأساليب الأمامية (Feed-forward) فهي سريعة ولكنها غالباً ما تكافح في اتباع التعليمات، والدقة البصرية، والاتساق الهندسي بسبب ندرة بيانات التدريب عالية الجودة ثلاثية الأبعاد مقارنة بالبيانات ثنائية الأبعاد.
إعادة البناء ثلاثي الأبعاد: تُعد أنظمة "بنية الحركة من الصور" (SfM) مثل COLMAP هي المعيار لتوليد وضعيات الكاميرا والهندسة المتفرقة، لكنها مكلفة حاسوبياً، وغالباً ما تستغرق ساعات أو أياماً للمشاهد الكبيرة. وبينما تقدم طرق SfM العالمية (مثل GLOMAP) تحسينات، إلا أنها لا تزال تعتمد على التحسين من الدرجة الثانية (خوارزمية ليفينبرج-ماركوارت)، والتي تتوسع بشكل سيئ مع حجم المشهد والاتصال، مما يحد من القدرة على وسم البيانات الواقعية بالمقياس المطلوب للأنظمة التعلمية الحديثة.
المنهجية
تقدم الأطروحة تقدماً في كل من التوليد وإعادة البناء من خلال أربع مساهمات متميزة:
1. Instant3D: توليد سريع للنصوص إلى ثلاثي الأبعاد (Text-to-3D)
إن Instant3D هو خط معالجة مكون من مرحلتين مصمم لتوليد أصول ثلاثية الأبعاد عالية الجودة في غضون 5 إلى 20 ثانية.
المرحلة 1 (توليد المنظر المتفرق): يتم ضبط نموذج انتشار (Diffusion) ثنائي الأبعاد (SDXL) خفيف الوزن لإنتاج شبكة 2×2 منظمة من أربع صور متعددة المناظر متسقة. ويتم تحقيق ذلك باستخدام تنسيق شبكة صور، وبيانات منسقة، و"كتلة غاوسية" (Gaussian blob) للتهيئة أثناء الاستدلال لضمان خلفيات نظيفة.
المرحلة 2 (إعادة البناء من منظور متفرق): يأخذ نموذج إعادة بناء ضخم يعتمد على المحولات (أكثر من 500 مليون معلمة) هذه المناظر الأربعة ويقوم مباشرة باسترجاع حقل إشعاع عصبي (NeRF) قائم على "المستوى الثلاثي" (Triplane). يقوم النموذج بتشفير الصور متعددة المناظر إلى رموز مدركة للوضعية باستخدام ViT مدرب مسبقاً، ثم يفك تشفيرها إلى معلمات المستوى الثلاثي عبر طبقات الانتباه المتقاطع والذاتي.
2. Carve3D: التعلم التعزيزي لاتساق تعدد المناظر
يعالج Carve3D مشكلات عدم الاتساق في نماذج الانتشار متعددة المناظر دون التضحية بالتنوع والواقعية المكتسبة من التدريب المسبق ثنائي الأبعاد.
مقياس اتساق إعادة البناء متعدد المناظر (MRC): مقياس مبتكر يقيم اتساق الصور المولدة متعددة المناظر عن طريق إعادة بناء NeRF منها وقياس عدم تشابه الصور (LPIPS) بين المناظر المدخلة ومناظر NeRF المُصيرة عند نفس وضعيات الكاميرا.
خوارزمية RLFT: يتم ضبط نموذج الانتشار باستخدام مبادئ "التعلم من التغذية الراجعة البشرية" (RLFT)، ولكن مع استخدام درجة MRC كمكافأة. توظف الخوارزمية طريقة تدرج السياسة (Policy Gradient) الصرفة (REINFORCE) لضمان الاستقرار، وتنظيم تباعد KL لمنع انزياح التوزيع (للحفاظ على محاذاة المطالبة/Prompt)، وقوانين القياس لتحسين الحوسبة وحجم البيانات.
3. DMV3D: انتشار مرحلة واحدة لثلاثي الأبعاد
يستكشف DMV3D نهج المرحلة الواحدة الذي يوحد التوليد وإعادة البناء.
البنية: مزيل ضجيج (Denoiser) ضخم يعتمد على المحولات يأخذ صوراً متعددة المناظر مشوشة (ويمكن اختيارياً مطالبة نصية أو صورة واحدة نظيفة) كمدخلات.
الآلية: يقوم النموذج بمهام التخلص من الضجيج في الانتشار ثنائي الأبعاد وإعادة البناء ثلاثي الأبعاد بشكل مشترك. فهو يعيد بناء NeRF (المستوى الثلاثي) نظيف من المدخلات المشوشة، ويقوم بتصيير صور منزوعة الضجيج عند نقاط النظر المدخلة ونقاط نظر جديدة. تهدف دالة التدريب إلى تقليل خسارة التصيير في كل من المناظر المدخلة والمناظر الجديدة، مما ينقل مهمة التنبؤ بـ x0 ثنائية الأبعاد فعلياً إلى مهمة تنبؤ بـ S0 ثلاثية الأبعاد مخفية.
الاشتراط (Conditioning): يدعم اشتراط النص عبر تضمينات CLIP، واشتراط الصورة الواحدة عبر استراتيجية "ترميم المنظر" (View-inpainting) حيث يتم الإبقاء على منظر واحد خالٍ من الضجيج.
4. FastMap: نظام SfM عالمي من الدرجة الأولى
Fast-Map هو خط معالجة SfM عالمي يركز على السرعة والبساية، محققاً تسريعاً يصل إلى 10 أضعاف مقارنة بالطرق الرائدة.
التحسين من الدرجة الأولى: بدلاً من استخدام طرق الدرجة الثانية (Levenberg-Marquardt)، يستخدم FastMap تدرج الدرجة الأولى. وللتغلب على مشكلات التوسع التي تواجه طرق الدرجة الأولى (التي تعتمد عادةً على عدد النقاط ثلاثية الأبعاد)، تم تصميم خط المعالجة بحيث تكون التعقيدات الحسابية لكل خطوة تحسين (محاذاة الدوران، محاذاة الإزاحة، ضبط القطع الناصف) مستقلة عن عدد النقاط ثلاثية الأبعاد.
دمج النواة (Kernel Fusion): لمعالجة اختناقات استهلاك وحدة معالجة الرسومات الناتجة عن عبء إطلاق النواة وتحرك الذاكرة في تطبيقات Autograd القياسية، يستخدم FastMap نوى CUDA مدمجة مخصصة. تقوم هذه النوى بإجراء عمليات التمرير الأمامي والخلفي في عملية واحدة، مما يقلل الهدر بشكل كبير.
خط المعالجة: يقدر النظام الخصائص الداخلية (التشويه والبعد البؤري) عبر البحث الفتري، ويقوم بمحاذاة الدوران والإزاحة العالمية، ويكمل المسارات لتعزيز المطابقات، ويصقل الوضعيات عبر ضبط القطع الناصف الموزون.
النتائج الرئيسية
Instant3D: يولد أصولاً ثلاثية الأبعاد متنوعة وعالية الجودة في حوالي 20 ثانية، وهو ما يعد أسرع بـ 200 مرة من الطرق القائمة على التحسين (مثل DreamFusion و ProlificDreamer) مع تحقيق درجات CLIP وجودة بصرية مماثلة أو أفضل.
Carve3D: يحسن نهج RLFT الاتساق متعدد المناظر بشكل كبير (مقاساً بـ MRC) مقارنة بالنموذج الأساسي ونماذج الضبط الدقيق الخاضعة للإشراف (SFT) المكثفة. تشير الدراسات المستخدمة إلى تفضيل غالب للاتساق ثلاثي الأبعاد في Carve3D مقارنة بالنموذج الأساسي، دون تدهور ملحوظ في محاذاة المطالبة أو تفاصيل الملمس.
DMV3D: يحقق نتائج رائدة في إعادة البناء ثلاثي الأبعاد من صورة واحدة على مجموعات بيانات ABO و GSO، متفوقاً على نماذج الانتشار ثلاثية الأبعاد السابقة والطرق القائمة على التحسين. كما يقدم نتائج قوية في التوليد من نص إلى ثلاثي الأبعاد دون الحاجة لتحسين لكل أصل.
FastMap: في ثماني مجموعات بيانات متنوعة (بما في ذلك MipNeRF360 و Tanks and Temples والمشاهد الحضرية واسعة النطاق)، يعد FastMap أسرع بـ 10 أضعاف من COLMAP و GLOMAP المسرعين بواسطة وحدة معالجة الرسومات. وبينما يظهر دقة أقل قليلاً في مقاييس الوضعية الصارمة (RTA@1) في بعض السيناريوهات الصعبة، فإنه يحافظ على جودة تصيير مناظر جديدة (PSNR) مماثلة وينجح في إعادة بناء المشاهد الكبيرة التي قد تفشل فيها الطرق الأخرى أو يتوقف زمنها.
الأهمية والادعاءات
تدعي الأطروحة أنها تدفع مجال إنشاء المحتوى ثلاثي الأبعاد تلقائياً نحو مرحلة يمكن فيها توليد أو إعادة بناء أصول عالية الجودة بكفاءة وعلى نطاق واسع.
في التوليد: يثبت العمل أن الجمع بين أولويات الانتشار ثنائية الأبعاد ونماذج إعادة البناء الأمامية الضخمة يمكن أن يتجاوز عقبة البيانات ثلاثية الأبعاد، مما يوفر سرعة وجودة لم يكن من الممكن تحقيقهما معاً من قبل. إن تقديم RLFT لاتساق تعدد المناظر يوفر مساراً جديداً لتحسين نماذج الانتشار دون الانزياح التوزيعي المرتبط بـ SFT الثقيل.
في إعادة البناء: يتحدى العمل الافتراض القائل بأن التحسين من الدرجة الثانية ضروري لـ SfM دقيق. ومن خلال إظهار أن التحسين من الدرجة الأولى، عندما يقترن بتصميم نظام دقيق (صيغ خالية من النقاط ودمج النواة)، يمكن أن يؤدي إلى نتائج قابلة للتوسع ودقيقة، فإن الأطروحة تقدم قطعة بنية تحتية حاسمة لتوليد البيانات ثلاثية الأبعاد واسعة النطاق اللازمة لتدريب النماذج التأسيسية المستقبلية.
يخلص المؤلف إلى أن هذه المساهمات تقلل مجتمعة من تكلفة إنشاء المحتوى ثلاثي الأبعاد وتجعل الوصول إلى الذكاء الاصطناعي ثلاثي الأبعاد متاحاً للجميع، مما يمهد الطريق لأنظمة متعددة الوسائط موحدة يمكنها توليد وإعادة بناء وتحرير المحتوى ثلاثي الأبعاد بشكل مشترك.