MeSS: City Mesh-Guided Outdoor Scene Generation with Cross-View Consistent Diffusion
تقدم هذه الورقة MeSS، وهو إطار عمل مبتكر يستفيد من نماذج الشبكات المدنية كأولويات هندسية، ويستخدم مسار انتشار صور متعدد المراحل مع وحدات اتساق عبر الرؤى لتوليد مشاهد خارجية عالية الجودة ومتسقة الأسلوب للملاحة الافتراضية والقيادة الذاتية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول بناء توأم رقمي مثالي وقابل للمشي لمدينة حقيقية. لديك المخططات—الأشكال ثلاثية الأبعاد لكل مبنى وطريق وشجرة—لكنها جميعًا مطلية باللون الرمادي الباهت والممل. تبدو وكأنها نماذج طينية تنتظر لمسة طلاء. هذا هو عالم "نماذج الشبكات" (mesh models)، التي أصبحت شائعة للمدن، لكنها تفتقر إلى الأنسجة الواقعية (مثل الطوب، والزجاج، والجرافيتي) التي تجعل المدينة تنبض بالحياة. وبدون هذه الأنسجة، لا يمكنك استخدامها في جولات الواقع الافتراضي أو لتدريب السيارات ذاتية القيادة، لأن هذه الأنظمة تحتاج لرؤية العالم تمامًا كما يبدو في الواقع، وليس مجرد مجموعة من الأشكال.
ولإصلاح ذلك، حاول العلماء استخدام "الذكاء الاصطناعي التوليدي"، وتحديدًا نوع من النماذج يسمى "نموذج الانتشار" (diffusion model). فكر في هذه النماذج كفنانين موهوبين للغاية يمكنهم رسم لوحة من وصف بسيط. ومع ذلك، عندما تطلب من هؤلاء الفنانين رسم شارع مدينة كامل بينما تسير فيه، غالبًا ما يصابون بالارتباك. فقد يرسمون بابًا على الجانب الأيسه من مبنى في إطار واحد، ثم فجأة يرسمون الباب على الجانب الأيمن في الإطار التالي، أو يغيرون لون السماء بينما تتحرك للأمام. يُعرف هذا بـ "الانجراف" (drift). المشكلة الكبيرة الأخرى هي أن هؤلاء الفنانين غالبًا ما يتجاهلون المخططات تمامًا، فيرسمون مبانٍ تطفو في الهواء أو لا تتطابق مع الشكل الفعلي للمدينة. لذا، فإن الهدف هو تعليم فنان الذكاء الاصطناعي رسم مدينة تبدو واقعية، وتظل متسقة بينما تسير عبرها، وتلتصق تمامًا بالأشكال ثلاثية الأبعاد للمباني.
هنا يأتي دور MeSS (تخليق المشاهد الموجه بالشبكة)، وهي طريقة جديدة طورها باحثون من هواوي، والجامعة التقنية في ميونيخ، وآخرين. فكر في MeSS كطاقم بناء فائق الذكاء لا يكتفي برسم لوحة فحسب، بل يبني عالمًا ثلاثي الأبعاد يمكنك السير فيه فعليًا. فبدلاً من التخمين أين توجد المباني، تبدأ MeSS بـ "هيكل" المدينة—وهو النموذج الشبكي الخالي من الأنسجة—وتستخدمه كدليل صارم.
السر وراء MeSS هو مفهوم يسميه المؤلفون "مطابقة التوزيع والتحكم" (control-distribution match). تخيل أنك تعلم روبوتًا الرسم؛ إذا دربت الروبوت باستخدام صور لمدن حقيقية، فسيتعلم الرسم بناءً على كيفية رؤية الكاميرات الحقيقية للعالم. ولكن إذا طلت منه بعد ذلك رسم نموذج ثلاثي الأبعاد تم إنشاؤه بواسطة الكمبيوتر، فسيصاب بالارتبال لأن "العمق" و"الظلال" تبدو مختلفة. تحل MeSS هذه المشكلة عن طريق تدريب "ControlNet" الخاص بها (كتيب تعليمات الروبوت) مباشرة على العمق والأشكال المولدة بالحاسوب لشبكة المدينة. وهذا يعني أن الروبوت أصبح خبيرًا في قراءة اللغة المحددة للمخططات ثلاثية الأبعاد. وعندما يبدأ في الرسم، فإنه لا يخمن؛ بل يعرف بالضبط أين يجب أن تكون الجدران والنوافذ لأنه تدرب على نفس نوع البيانات التي يستخدمها للرسم.
وللحفاظ على مظهر المدينة متسقًا أثناء سفرك عبر شارع طويل (لتجنب مشكلة "الانجراف" تلك)، تستخدم MeSS عملية ذكية من خطوتين. أولاً، تعمل مثل رسام ماهر ينشئ سلسلة من "الإطارات الرئيسية"—وهي لقطات مهمة للشارع كل 20 مترًا. يقوم برسمها واحدًا تلو الآخر، مستخدمًا اللوحة السابقة كمرجع لضمان عدم تغير الأسلوب. ثم يملأ الفراغات بين هذه اللقطات باستخدام تقنية تسمى "الترميم الموجه بالمظهر" (Appearance Guided Inpainting). تخيل أن لديك صورة ضبابية لزاوية شارع؛ هذه الأداة تنظر إلى الأجزاء الواضحة والحادة من الصورة حول المنطقة الضبابية وتستخدمها لإصلاح البقع الضبابية، مما يضمن تطابق الأنسجة (مثل نمط جدار الطوب) تمامًا.
أخيرًا، يضيف الفريق خطوة "محاذاة الاتساق العالمي" (Global Consistency Alignment). أحيانًا، حتى مع التخطيط الجيد، قد يبدو جزء من الشارع أكثر سطوعًا أو قتامة من الجزء التالي، مثل صورة تم تعديلها في قطع منفصلة. تعمل هذه الخطوة كأخصائي تلوين في استوديو سينمائي، حيث تقوم بتنعيم هذه الاختلافات لتشعر أن الرحلة بأكملها عبارة عن فيديو واحد مستمر وسلس.
النتائج مبهرة. في اختبار باستخدام مسار مدينة ضخم بطول 200 متر، قللت MeSS من التناقضات البصرية بنسبة 31% وحسنت الجودة العامة للصور المولدة بشكل كبير مقارنة بأفضل الطرق الموجودة. والأكثر إثارة للاهتمام، هو أن الباحثين اختبروا MeSS على نموذج مدينة حقيقية في ميونيخ (شبكة LoD3) دون إعادة تدريب الذكاء الاصطناعي على الإطلاق. نجح النظام في رسم واجهات واقعية تتوافق تمامًا مع أبواب ونوافذ المباني الحقيقية، مما أثبت أن هذا النهج "الموجه بالشبكة" يعمل حتى على المدن الحقيقية، وليس فقط على المحاكاة الحاسوبية.
باختصار، تُظهر MeSS أنه إذا أعطيت فنان الذكاء الاصطناعي المخططات الصحيحة وعلمته كيفية قراءتها، فيمكنه بناء مدينة افتراضية ليست جميلة فحسب، بل دقيقة هندسيًا ومتسقة أيضًا، مما يفتح الباب لجولات افتراضية أفضل وتدريب أكثر أمانًا للسيارات ذاتية القيادة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.