Extend3D: Town-Scale 3D Generation
تُعد Extend3D مسار عمل لا يتطلب تدريباً يقوم بتوليد مشاهد ثلاثية الأبعاد بمقياس مدينة من صورة واحدة عبر توسيع الفضاء الكامن لنموذج توليدي متمحور حول الأشياء، وذلك باستخدام أولويات السحابة النقطية واستراتيجية صقل مبتكرة قائمة على "تقليل الضجيج" لضمان المحاذاة المكانية والاتساق الهندسي عبر الرقع المتداخلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك صورة فوتوغرافية واحدة جميلة لساحة مدينة صاخبة، مثل ساحة الفاتيكان. تريد تحويل هذه الصورة ثنائية الأبعاد المسطحة إلى عالم ثلاثي الأبعاد كامل، يمكنك فيه التجول والمشي، والنظر حولك، ورؤية خلفيات المباني، واستكشاف الأزقة المخفية.
هذا هو بالضبط ما يحاول بحث Extend3D القيام به. ومع ذلك، فإن بناء مدينة كاملة من صورة واحدة أمر صعب للغاية على الذكاء الاصطناعي الحالي. إليك شرح مبسط لكيفية حلهم لهذه المشكلة، باستخدام تشبيهات من الحياة اليومية.
المشكلة: قيد "الصندوق الصغير"
معظم نماذج الذكاء الاصطناعي التي تنشئ كائنات ثلاثية الأبعاد تشبه النحاتين المهرة الذين لا يملكون سوى صندوق طين صغير. هم بارعون في صنع تمثال واحد أو كوب قهوة داخل هذا الصندوق. ولكن إذا طلبت منهم بناء مدينة كاملة، فإنهم يحاولون حشر المدينة بأكملها داخل ذلك الصندوق الصغير. والنتيجة؟ تصبح المدينة ضبابية، وتندمج المباني مع بعضها البعض، وتختفي التفاصيل. الأمر يشبه محاولة رسم جدارية ضخمة على طابع بريدي.
أيضًا، هذه الأنظمة من الذكاء الاصطناعي "مركزة على الأشياء"، مما يعني أنها مدربة على رؤية الأشياء كأجسام معزولة (كرسي، سيارة) بدلاً من كونها عالماً متصلاً. إذا طلبت منهم بناء شارع، فقد يضعون المباني في مكانها الصحيح لكنهم قد ينسون الأرض، أو قد يديرون مبنى بشكل جانبي لأنهم لا يفهمون "تدفق" الشارع.
الحل: Extend3D
ابتكر الباحثون في جامعة سيول الوطنية مسار عمل "لا يتطلب إعادة تدريب" (بمعنى أنهم لم يضطروا لإعادة تدريب الذكاء الاصطناعي من الصفر) لحل هذه المشكلة. وقد استخدموا ثلاث حيل رئيسية:
1. استراتيجية "قطع الأحجية" (الرقع المتداخلة)
بدلاً من محاولة بناء المدينة بأكملها دفعة واحدة في ذلك الصندوق الصغير، قاموا بمد الصندوق ليكون ضخماً. لكن الصندوق الضخم كبير جداً بحيث لا يستطيع الذكاء الاصطناعي التعامل معه دفعة واحدة.
لذا، قاموا بتقطيع الصندوق العملاق إلى العديد من قطع الأحجية الصغيرة والمتداخلة.
- التشبيه: تخيل مجموعة من الفنانين يرسمون جدارية ضخمة. بدلاً من شخص واحد يرسم العمل بأكمله، يتم تخصيص قسم صغير لكل فنان. ولكن السحر يكمكمن هنا: هذه الأقسام تتداخل.
- لماذا التداخل؟ إذا كان الفنان (أ) يرسم شجرة تمتد لتتقاطع مع قسم الفنان (ب)، فيمكنهما التحدث معاً. يمكن للفنان (ب) أن يقول: "مهلاً، هذا الغصن يحتاج للاتصال بجذعي". هذا يضمن بقاء المشهد بأكره متسقاً ومفصلاً، بدلاً من وجود فواصل متعرجة حيث تلتقي القطع.
2. "الهيكل العظمي" و"الشبح" (التهيئة والتقليل من الضجيج)
عندما يبدأ الذكاء الاصطناعي بالرسم، فإنه غالباً ما يصاب بالارتباك. قد ينسى رسم الأرض، أو يترك فجوات كبيرة حيث ينبغي أن تكون المباني (لأن الصورة الأصلية لا تظهر خلف المباني).
- الهيكل العظمي: قبل أن يبدأ الذكاء الاصطناعي، يعطيه الباحثون "هيكلاً عظمياً" مكوناً من سحابة نقاط (خريطة ثلاثية الأبعاد من النقاط) مستمدة من عمق الصورة. هذا يخبر الذكاء الاصطناعي: "الأرض موجودة هنا، والمباني موجودة هناك". إنه يشبه إعطاء النحات هيكلاً سلكياً حتى لا يبدأ من صفحة بيضاء.
- خدعة "التقليل من الضجيج" (Under-noising): هذا هو الجزء الأروع. عادةً، عندما يحاول الذكاء الاصطناعي إصلاح خطأ ما، فإنه يضيف "ضجيجاً" (تشويشاً عشوائياً) لجعل الصورة ضبابية ثم يحاول تنظيفها. وجد الباحثون أنه بالنسبة للنماذج ثلاثية الأبعاد، يجب عليهم فعل العكس: إضافة ضجيج أقل من المعتاد.
- التشبيه: تخيل أن لديك رسماً تخطيطياً لغرفة، لكن الجدار الخلفي مفقود. إذا أضفت الكثير من التشويش، سيرتبك الذكاء الاصطناعي. ولكن إذا أضفت القليل فقط من التشويش (التقليل من الضجيج)، فسيعامل الذكاء الاصطناعي الجدار المفقود كـ "لغز يجب حله" بدلاً من كونه فراغاً فارغاً. سيقوم بملء الأجزاء المفقودة بشكل طبيعي، مثل المحقق الذي يملأ الفجوات في قصة ما.
3. "قلم المحرر" (التحسين)
حتى مع قطع الأحجية والهيكل العظمي، قد يضل الذكال الاصطناعي طريقه. قد يجعل مبنى يبدو كأنه سحابة عائمة أو أرضية تتلاشى.
لإصلاح ذلك، أضافوا خطوة حيث يقومون باستمرار بمراجعة عمل الذكاء الاصطناعي مقابل الصورة الأصلية والهيكل العظمي ثلاثي الأبعاد أثناء عمله.
- التشبيه: فكر في الأمر كمخرج سينمائي يراقب مشهداً يتم تصويره. إذا بدأ الممثل (الذكاء الاصطناعي) في الارتجال والخروج عن المشهد، يصرخ المخرج "قطع!" ويوجهه للعودة إلى النص. الباحثون يقومون بـ "توجيه" رياضيات الذكاء الاصطناعي في كل خطوة لضمان بقاء المباني على الأرض وظهور الأنسجة بشكل واقعي.
النتيجة
من خلال الجمع بين هذه الخطوات الثلاث، يمكن لـ Extend3D أن يأخذ صورة واحدة لمدينة ويولد عالماً ثلاثي الأبعاد ضخماً ومفصلاً يمكنك استكشافه.
- أفضل مما سبق: كانت الطرق السابقة غالباً ما تنتج كتلًا ضبابية أو أجزاء غير متصلة. هذه الطريقة تنشئ مشاهد حادة ومتماسكة.
- أمين للصورة: العالم ثلاثي الأبعاد يبدو تماماً مثل الصورة التي بدأت بها، مع إضافة عمق العالم الحقيقي.
باختصار
Extend3D يشبه إعطاء نحات ماهر - يعرف فقط كيفية صنع تماثيل صغيرة - لوحة ضخمة، وتقسيم اللوحة إلى أقسام متداخلة لكي يتمكنوا من التعاون، وإعطائه هيكلاً عظمياً ليتبعه، ووجود محرر صارم يصحح أخطاءه باستمرار. والنتيجة هي مدينة ثلاثية الأبعاد مذهلة وقابلة للتجول، تم إنشاؤها من لقطة واحدة فقط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.