SphericalDreamer: Generating Navigable Immersive 3D Worlds with Panorama Fusion
تُعد SphericalDreamer طريقة مبتكرة تولد بيئات خارجية ثلاثية الأبعاد غامرة بالكامل، وقابلة للتنقل، وبعيدة المدى من خلال نصوص وصفية، وذلك عبر إنشاء صور بانورامية متعددة، ورفعها إلى البعد الثالث، ودمجها مع ضمان الاتساق البصري والهندسي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تريد بناء عالم ثلاثي الأبعاد ضخم وقابل للتجول فيه من جملة واحدة فقط، مثل "غابة بها جدول مائي". قبل هذه الورقة البحثية، كانت الأدوات الموجودة تعاني من مشكلة محبطة تتمثل في "اختر واحداً، لتفقد الآخر":
- نهج "الفقاعة": استطاعت بعض الأدوات إنشاء عرض مثالي بزاوية 360 درجة (يمكنك النظر للأعلى، والأسفل، واليسار، واليمين)، لكنك تظل عالقاً في مكان واحد. إذا حاولت المشي للأمام، سيتعطل العالم أو يختفي لأن الأداة لا تعرف سوى ما هو موجود أمام الكاميرا مباشرة.
- نهج "النفق": سمحت لك أدوات أخرى بالمشي للأمام لأميال، لكنها لم تعرض لك سوى ما هو أمامك فقط. لم يكن بإمكانك الالتفات للخلف لترى ما وراءك، لذا شعرت وكأنك تمشي داخل نفق بلا جوانب.
SphericalDreamer هو الطريقة الجديدة التي تحل هذه المعضلة. فهو ينشئ عالماً يمكنك فيه المشي لمسافات طويلة والنظر في كل الاتجاهات دون أن يتفكك العالم.
إليك كيف يعمل، باستخدام بعض التشبيهات البسيطة:
1. لبنات البناء: "الكرات المجوفة"
بدلاً من محاولة بناء العالم بأكبره دفعة واحدة، يبدأ الذكاء الاصطناعي بإنشاء عدة "كرات" (أجرام كروية) منفصلة بناءً على النص الذي قدمته.
- فكر في كل كرة كأنها فقاعة بزاوية 360 درجة تحتوي على جزء من العالم (مثل غابة، أو صحراء، أو غابة استوائية).
- داخل كل فقاعة، يكون الذكاء الاصطناعي ذكياً بما يكفي لفصل المقدمة (الأشجار، الصخور القريبة منك) عن الخلفية (السماء، الجبال البعيدة). هذا أمر بالغ الأهمية لأنه إذا مشيت متجاوزاً شجرة، فستحتاج لرؤية ما كان خلفها. يقوم الذكاء الاصطناعي بإنشاء "طبقة خلفية" لملء تلك الفجوات حتى لا تظهر ثغرات في العالم عند حركتك.
2. الربط: "القص والملء"
في الوقت الحالي، لديك صف من الفقرات المنفصلة تطفو بجانب بعضها البعض. لا يمكنك الانتقال من واحدة إلى أخرى لأنها كرات صلبة.
- القص: يقوم الذكاء الاصطناعي بـ "قص" جانب الفقاعة الأولى وجانب الفقاعة التالية، مما يخلق فجوة بينهما.
- الفجوة: الآن لديك كرتان مفتوحتان تواجه كل منهما الأخرى مع وجود مساحة فارغة في المنتصف.
- الملء السحري: هذا هو الجزء الذكي. يخطو الذككاء الاصطناعي داخل تلك الفجوة الفارغة، ويأخذ لقطة لما "يجب" أن يكون هناك، ثم يستخدم أداة "رسم" (تسمى inpainting) لتوليد المشهد المفقود. هو لا يخمن فحسب؛ بل يستخدم تقنية خاصة تسمى الدمج التوافقي (Harmonic Blending).
- تشبيه: تخيل أنك تحاول لصق قطعتين مختلفتين من القماش معاً. إذا قمت بلصقهما بشريط لاصق فقط، فستظهر حافة خشنة وواضحة. أما الدمج التوافقي فهو يشبه شد القماش بحيث يتدفق النمط بسلاسة من قطعة إلى أخرى، مما يجعل الوصلة غير مرئية.
3. التجميع: "الممر اللانهائي"
بمجرد أن يملأ الذكاء الاصطناعي الفجوة بين أول فقاعتين، يفعل الشيء نفسه للزوج التالي، ثم الذي يليه.
- يقوم بربطها جميعاً في سلسلة واحدة سلسة.
- النتيجة هي عالم واحد ضخم وثلاثي الأبعاد. يمكنك البدء من طرف والمشي حتى الطرف الآخر، وفي أي نقطة، يمكنك الدوران حول نفسك بزاوية 360 درجة ورؤية بيئة كاملة وعالية الجودة دون أي قطع مفقودة.
لماذا يعد هذا أمراً مهماً؟
تزعم الورقة البحثية أن هذه هي المرة الأولى التي تنجح فيها طريقة في الجمع بين الانغماس (رؤية كل شيء حولك) والقابلية للتنقل (المشي لمسافات طويلة).
- الطرق السابقة كانت تشبه كونك ذبابة على جدار (يمكنك رؤية كل شيء، لكن لا يمكنك الحركة) أو شخصاً يمشي في نفق مظلم (يمكنك الحركة، لكن لا يمكنك رؤية الجدران).
- SphericalDreamer يشبه بناء منزل حقيقي قابل للسكن حيث يمكنك فتح كل باب والنظر من كل نافذة، بغض النظر عن المسافة التي تمشيها.
اختبر الباحثون طريقتهم في مشاهد متنوعة مثل الغابات، والعوالم تحت الماء، وصحاري المريخ. ووجدوا أن طريقتهم تنتج صوراً ذات جودة أعلى وتسمح باستكشاف أطول وأكثر سلاسة من المحاولات السابقة، وكل ذلك يتم توليده من وصف نصي بسيط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.