ملخص تقني: الكود كغرفة (Code-as-Room)

تعريف المشكلة

يعد تصميم غرف داخلية ثلاثية الأبعاد واقعية ووظيفية أمراً بالغ الأهمية لتطبيقات التصميم الداخلي، والواقع الافتراضي، والألعاب، والذكاء الاصطناعي المتجسد. ومع ذلك، فإن البناء اليدوي يتطلب جهداً مكثفاً، وتواجه الطرق المؤتمتة الحالية قيوداً كبيرة. فالطرق الإجرائية التقليدية مقيدة بقواعد مصممة يدوياً وفئات محددة مسبقاً، مما يجعلها عاجزة عن استيعاب العلاقات المكانية المعقدة في العالم الحقيقي. وقد أظهرت نهج النماذج اللغوية الكبيرة متعددة الوسائط (MLLM) الحديثة إمكانات واعدة، لكنها تعاني من صعوبة في تحديد المعلومات المكانية الدقيقة عند الاعتماد فقط على الأوصاف النصية. علاوة على ذلك، فإن الوكلاء المعتمدين على الصور والمكلفين بتوليد غرف شاملة من منظور علوي (top-down) غالباً ما يعانون من عدم الاستقرار، والتكرار اللانهائي، وعدم القدرة على استعادة التفاصيل المكانية الدقيقة.

التحدي الجوهري الذي يعالجه هذا العمل هو توليد مشهد داخلي ثلاثي الأبعاد كامل، قابل للتعديل، وقابل للتنفيذ من صورة واحدة بمنظور علوي. الهدف هو إنتاج كود "بلندر" (Blender code) يمثل بدقة هيكل الغرفة، وتوزيع الأشياء، والهندسة، والمواد، والإضاءة، بما يتوافق تماماً مع المسبقات البصرية للصورة المدخلة.

المنهجية: الكود كغرفة (CaR)

يقترح المؤلفون Code-as-Room، وهو إطار عمل وكيل (agentic framework) يعتمد على النماذج اللغوية الكبيرة متعددة الوسائط (MLLM) ومجهز بـ هيكل تنفيذ مهيكل. وخلافاً لطرق التوليد المباشرة، يقوم CaR بتفكيك المهمة المعقدة إلى مسار عمل مبدئي متعدد المراحل يحول الصورة ذات المنظور العلوي إلى كود بلندر قابل للتنفيذ.

1. مسار التنفيذ المهيكل

يعمل إطار العمل من خلال خمس مراحل متميزة، منظمة في عشر مراحل متخصصة:

• هيكلة المشهد القائم على الصورة:

  • المرحلة 1 (التحليل الدلالي المكاني): يقوم نموذج الرؤية واللغة (VLM) بتحليل الصورة ذات المنظور العلوي لاستخراج المناطق الوظيفية، والتسلسلات الهرمية للأشياء، والعناصر المعمارية (الجدران، الأبواب، النوافذ)، مع تعيين المعرفات وأنواع التوزيع.
  • المرحلة 2 (بناء مخطط المشهد): يتم اشتقاق هيكل عظمي حتمي، وبناء مخطط مشهد متمحور حول الأشياء يحدد العلاقات بين الميزات المعمارية، والأثاث الرئيسي، والأشياء الثانوية (التي تُخزن في "جانب مساعد" لاستخدامها لاحقاً).

• توليد كود التخطيط:

  • المرحلة 3 (التخطيط الرئيسي مع التغذية الراجعة البصرية): يولد النظام كود التخطيط الأولي للأثاث الرئيسي. ويستخدم حلقة (رندرة–نقد–مراجعة) حيث يتم رندرة الكود الحالي إلى صورة علوية، وتقييمه بواسطة ناقد يعتمد على VLM للتحقق من التداخل، واتساق الحدود، والعلاقات المكانية، ثم مراجعته. تعمل هذه الحلقة لعدد محدد من التكرارات (مثلاً 5) لضمان استقرار التخطيط.
  • المرحلة 4 (التخطيط المساعد): يتم إضافة الأشياء المثبتة على الجدران والأشياء الثانوية البارزة بصرياً (مثل السجاد، والنباتات) إلى التخطيط، بينما يتم تأجيل العناصر الصغيرة جداً المرتبطة بالأسطح.

• توصيف الأشياء القائم على التخطيط:

  • المرحلة 5: يقوم النظام بتحليل التخطيط الثابت لتوجيه الـ VLM، وتوليد أوصاف دقيقة للأشياء (اللون، المادة، النمط) ووصف عام لنمط الغرفة، مما يضمن توافق التفاصيل البصرية مع الهيكل المكاني المقرر.

• توليد كود مستوى الأشياء:

  • المرحلة 6 (استبدال الهندسة): يتم استبدال نماذج التخطيط الأولية الخشنة بهندسة ثلاثية الأبعاد تفصيلية بناءً على ملفات تعريف الأشياء المستنتجة. تُستخدم استراتيجية هجينة للأشياء الصغيرة: يتم إنشاء نماذج هندسية بسيطة أولاً، تليها عملية استرجاع الأصول من مكتبة لاستبدالها بنماذج ثلاثية الأبعاد مطابقة.

• توليد كود الديكور الداخلي:

  • المرحلة 8 (تعيين المواد): يتم تعيين مواد PBR لكل جزء بناءً على قاموس الأشياء والنمط العام.
  • المرحلة 9 (توليد الأنسجة): تقوم نماذج توليد الصور عالية القدرة بتخليق خرائط الأنسجة للأرضيات والجدرات والعناصر الزخرفية، والتي يتم حقنها في المشهد.
  • المرحلة 10 (الإضاءة والتحسين اللاحق): يستنتج النظام أنماط الإضاءة (الطبيعية والاصطناعية) ويضبط معايير الرندرة. وتعمل مرحلة تصحيح حتمية على إصلاح المشكلات الشائعة في التنفيذ (مثل المواد المفقودة، أو المسارات غير الصالحة) وتحل انتهاكات الحدود أو التداخل عبر البحث المحلي.

2. نظام الذاكرة عبر المراحل

المكون الحاسم في إطار العمل هو وحدة الذاكرة عبر المراحل (Cross-Stage Memory Module). تحافظ هذه الذاكرة المشتركة على الحالة المستمرة لمسار العمل، وتخزن المصنوعات (artifacts) المصنفة من كل مرحلة. تقرأ المراحل اللاحقة فقط رؤى محددة مسبقاً من هذه الذاكرة. يقلل هذا التصميم من مشكلة "نسيان السياق" المتأصلة في مسارات العمل الوكيلية الطويلة، مما يضمن الحفاظ على المعلومات المكانية وتفاصيل الأشياء المستمدة في المراحل المبكرة واستخدامها بدقة في المراحل اللاحقة.

المساهمات الرئيسية

1. نموذج التوجيه بالصورة ذات المنظور العلوي: يقدم البحث نموذجاً جديداً حيث تعمل صورة واحدة ذات منظور علوي كمسبق مكاني عالمي لتوجيه التوليد الكامل لغرفة داخلية، متجاوزاً المدخلات النصية فقط أو صور المنظور.
2. هيكل التنفيذ المهيكل: يقترح المؤلفون مسار عمل وكيل مهيكل ينظم النماذج اللغوية الكبيرة متعددة الوسائط عبر مسار من الخشن إلى الدقيق. يضمن هذا الهيكل تخليق غرفة ثلاثية الأبعاد مستقرة ومتماسكة من خلال تفكيك المهمة إلى مراحل يمكن إدارتها مع حلقات تغذية راجعة بصرية.
3. اختبار مرجعي مخصص: تم تقديم اختبار مرجعي جديد لتوليد الغرف ثلاثية الأبعاد القائم على الكود، يشمل بروتوكولات تقييم متنوعة لفهم المحتوى البصري، والاستدلال المكاني، وتوليد الكود من الرؤية، وجودة المشهد الشاملة.

النتائج التجريبية

قام المؤلفون بتقييم Code-as-to-Room باستخدام ثلاثة نماذج خلفية رائدة لـ VLM وهي: Gemini-1.5 Flash، و Gemini-1.5 Pro، و GPT-4o.

• أداء الاختبار المرجعي: مقارنة بالتوليد المباشر في تمريرة واحدة وإطار عمل VIGA الحالي، أظهر Code-as-Room أداءً متفوقاً عبر جميع المقاييس.
  • الاستدلال المكاني: حسن CaR بشكل كبير من نسبة تقاطع التخطيط (Layout IoU) (بنسبة تصل إلى 73.2% مقابل 16.8% لـ Gemini المباشر)، ودقة الدوران، ودقة الدعم.
  • توليد الكود: حقق إطار العمل معدلات تنفيذ عالية (تصل إلى 100% لمتغيرات Gemini)، في حين فشل التوليد المباشر غالباً في إنتاج كود قابل للتشغيل.
  • الجودة البصرية: أظهر التقييم البشري أن المشاهد التي ولدها CaR كانت أكثر تشابهاً مع الصور المدخلة، وأفضل من حيث قابلية الاستخدام، وأعلى من حيث القبول (تطلبت تصحيحات يدوية أقل) مقارنة بالنماذج المرجعية.
• دراسات الاستئصال (Ablation Studies):
  • الذاكرة: أدى إزالة الذاكرة عبر المراحل إلى انخفاض كبير في Layout IoU (من 73.2% إلى 58.0%) وفي استدعاء الأشياء (Object Recall)، مما يؤكد ضرورتها للحفاظ على الاتساق المكاني.
  • التغذية الراجعة البصرية: تحسن الأداء مع ما يصل إلى 5 تكرارات من التغذية الراجعة. ومع ذلك، أدى زيادة التكرارات إلى 10 إلى انخفاض في المقاييس، مما يشير إلى أن المراجعة المفرطة قد تسبب انحرافاً في التخطيط.

الأهمية والادعاءات

يزعم البحث أن Code-as-Room يعالج عدم الاستقرار ونقص الدقة في عمليات توليد الغرف ثلاثية الأبعاد من الصور الحالية. ومن خلال تمثيل الغرف ثلاثية الأبعاد كـ كود بلندر قابل للتنفيذ، يتيح إطار العمل مشاهد ليست فقط متوافقة بصرياً مع الصور المدخلة، بل أيضاً قابلة للتعديل، والرندرة، ومهيكلة.

يؤكد المؤلفون أن نجاح النظام لا يعتمد فقط على قدرات الـ VLM الأساسية، بل على مسار العمل الوكيل المهيكل الذي ينظم التحليل البصري، والاستدلال المكاني، وتوليد الكود. ويتم تسليط الضوء على وحدة الذاكرة عبر المراحل كابتكار رئيسي للتخفيف من نسيان السياق في مهام التوليد المعقدة متعددة المراحل.

يضع هذا العمل نفسه كخطوة نحو أدوات أكثر موثوقية وعملية لإنشاء المحتوى ثلاثي الأبعاد المؤتمت، لا سيما في السيناريوهات التي تتطلب محاذاة مكانية دقيقة مع المخططات الأرضية أو الرسومات ذات المنظور العلوي. ويشير المؤلفون إلى القيود، مثل التركيز الحالي على المناظير العلوية والاعتماد على استرجاع الأصول للتفاصيل الهندسية المعقدة للغاية، مما يقترح أعمالاً مستقبلية في توليد الفيديو للرندرة العصبية والتعامل مع مدخلات ذات زوايا رؤية عشوائية.