ExCellGen: Fast, Controllable, Photorealistic 3D Scene Generation from a Single Real-World Exemplar
يُعد ExCellGen إطار عمل سريعًا وقائمًا على النماذج المثالية، يقوم بتوليد مشاهد ثلاثية الأبعاد واقعية للغاية وقابلة للتحكم من مدخل عارض واحد عبر الجمع بين إعادة بناء التشتت الغاوسي ثلاثي الأبعاد و"أوتوماتون خلوي توليدي" خاص بكل مشهد، مما يتيح الابتكار التفاعلي في ثوانٍ معدودة مع حد أدنى من وقت التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مقطع فيديو قصير وجميل لحديقة التقطته بهاتفك. أنت تحب الأشجار، وضوء الشمس، وكيف يبدو العشب، لكنك تتمنى لو كان بإمكانك سحرياً إنشاء نسخ جديدة من تلك الحديقة—ربما واحدة بها بركة بدلاً من مقعد، أو واحدة حيث تترتب فيها الأشجار على شكل حلزوني.
عادةً، يكون القيام بذلك في عالم ثلاثي الأبعاد مثل محاولة نحت تحفة فنية من طين مبلل وأنت ترتدي قفازات ملاكمة. الأمر بطيء، ويتطلب برامج باهظة الثمن، ويحتاج منك أن تكون فناناً محترفاً.
ExCellGen هي أداة جديدة تغير قواعد اللعبة. فكر فيها كأنها "آلة تصوير ثلاثية الأبعاد سحرية تمتلك عقلاً". فهي تأخذ الفيديو البسيط الخاص بك، وتتعلم "روح" ذلك المشهد المحدد، وتسمح لك فوراً بإنشاء عوالم ثلاثية الأبعاد جديدة واقعية للغاية بناءً على تعليماتك.
إليك كيف تعمل، مقسمة إلى خطوات بسيطة:
1. "الغبار الرقمي" (3D Gaussian Splatting)
أولاً، تنظر الأداة إلى الفيديو الخاص بك. وبدلاً من بناء نموذج ثلاثي الأبعاد صلب مكون من مثلثات (مثل شخصية في لعبة فيديو)، فإنها تحول المشهد إلى ملايين النقاط الصغيرة الضبابية والمتوهجة التي تسمى "الغاوسيات ثلاثية الأبعاد" (3D Gaussians).
- التشبيه: تخيل أن المشهد مكون من قطع "جليتر" (بريق). كل ذرة من هذا البريق تعرف مكانها بالضبط، ولونها، ومدى لمعانها. ولأنها "ضبابية" وليست ذات حواف حادة، فإنها تندمج معاً بشكل مثالي لتبدو مثل أوراق الشجر الحقيقية، أو العشب، أو السحب. هذا يجعل المشهد يبدو واقعياً بشكل لا يصدق ويسمح للكمبيوتر بالتعامل معه بسرعة كبيرة.
2. "مخطط المهندس المعماري" (Sparse Voxels)
إن توليد ملايين من قطع البريق واحدة تلو الأخرى عملية بطيئة جداً. لذا، يقوم ExCellGen أولاً ببناء "هيكل عظمي" خشن أو "مخطط" منخفض الدقة للمشهد.
- التشبيه: فكر في هذا الأمر كعالم "ماينكرافت" المكون من مكعبات كبيرة وضخمة. لا يحتوي على التفاصيل الدقيقة بعد، لكنه يعرف أين يجب أن تكون الأشجار وكيف يجب أن يكون حجم البركة. يُسمى هذا "شبكة فوكسل متفرقة" (Sparse Voxel Grid). إنه عبارة عن خريطة مبسطة لهيكل المشهد.
3. "الروبوت الحالم" (Generative Cellular Automata)
هذا هو العقل السحري. يستخدم النظام ذكاءً اصطناعياً صغيراً يسمى "الأتمتة الخلوية التوليدية" (Generative Cellular Automaton - GCA).
- كيف يتعلم: تعرض عليه الفيديو الخاص بك مرة واحدة. يقضي حوالي 10 دقائق في دراسته، ويتعلم الأنماط (على سبيل المثال: "الأشجار عادة ما تنمو في مجموعات"، "العشب يغطي الأرض").
- كيف يبدع: عندما تريد مشهداً جديداً، تعطي الروبوت رسماً تخطيطياً تقريبياً (المخطط من الخطوة 2). ثم يقوم الروبوت بـ "تخيّل" ترتيب جديد للكتل يتناسب مع رسمك ولكنه يبدو مختلفاً.
- التشبيه: تخيل روبوتاً قد حفظ قواعد كيفية نمو الغابة. تعطيه مخططاً تقريبياً لتلة، وسيقوم هو فوراً بملئها بالأشجار والشجيرات والصخور بطريقة تبدو طبيعية ولكنها فريدة في كل مرة. وهو يفعل ذلك في أقل من ثانيتين.
4. "نقل الأنسجة" (Patch-Based Remapping)
الآن لدينا هيكل عظمي ضخم ومنخفض الدقة. نحن بحاجة لتحويله مجدداً إلى مشهد "الجليتر" الجميل عالي الدقة.
- المشكلة: إذا قمنا فقط بنسخ ولصق "الجليتر" من الفيديو الأصلي على الكتل الجديدة، فقد يبدو الأمر فوضوياً أو غير متناسق.
- الحل: يستخدم النظام تقنية "خياطة" ذكية. فهو ينظر إلى الهيكل العظمي الجديد منخفض الدقة ويبحث عن أفضل القطع المطابقة من الفيديو الأصلي لتغطيته.
- التشبيه: تخيل أن لديك منحوتة طينية جديدة وخشنة. بدلاً من طلاءها، تأخذ صورة عالية الجودة لشجرة حقيقية، وتقص قطعة مثالية من لحائها، وتلصقها على منحوتتك. ثم تفعل الشيء نفسه مع الأوراق، والعشب، والسماء. يقوم النظام بهذا ملايين المرات فوراً، مما يضمن أن المشهد الجديد يبدو تماماً مثل الفيديو الأصلي.
لماذا يعد هذا أمراً مذهلاً؟
- السرعة: كان صنع مشهد ثلاثي الأبعاد يستغرق ساعات أو أياماً. هذا يستغرق من 0.5 إلى 2 ثانية.
- التحكم: أنت لا تخمن فحسب. يمكنك رسم شكل تقريبي، أو اختيار جزء معين من الفيديو الخاص بك لنسخه، أو حتى استخدام نموذج ثلاثي الأبعاد (Mesh) صنعته بنفسك كدليل.
- الواقعية: بما أنه "يسرق" الـ "جليتر" (البكسلات الفعلية) من الفيديو الواقعي الخاص بك، فإن الإضاءة والظلال والأنسجة تكون مثالية. إنه لا يبدو كرسوم متحركة؛ بل يبدو كمكان حقيقي.
باختصار: ExCellGen يشبه امتلاك جني في زجاجة. تعرض عليه فيديو لمكان حقيقي، وتخبره "اصنع لي نسخة جديدة من هذا"، وسيقوم فوراً ببناء عالم ثلاثي الأبعاد جديد تماماً وواقعي للغاية يمكنك التجول فيه، وتعديله، واللعب به.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.