Generative Blocks World: Moving Things Around in Pictures

إليك ملخص تقني مفصل لورقة البحث "Generative Blocks World: Moving Things Around in Pictures" (ICLR 2026).

1. بيان المشكلة

تواجه طرق تحرير الصور الحالية، وخاصة تلك القائمة على نماذج الانتشار (diffusion models)، صعوبة في تحقيق الاتساق ثلاثي الأبعاد (3D consistency) والتحكم الهندسي.

• محدودية الواجهات ثنائية الأبعاد: تعمل طرق مثل DragGAN أو DragDiffusion في فضاء البكسل ثنائي الأبعاد. وهي تفتقر إلى فهم صريح للبعد الثالث، مما يؤدي إلى ظهور عيوب عند تحريك الأشياء (مثل: التدرج غير الصحيح في الحجم، تشوه الشكل، أو فقدان هوية النسيج/Texture)، كما يجعل التحكم في حركات الكاميرا أمراً صعباً.
• محدودية إعادة البناء الصريح ثلاثي الأبعاد: الطرق التي تعيد بناء شبكات ثلاثية الأبعاد كاملة (مثل Image Sculpting أو OMG3D) غالباً ما تكون مقيدة بجودة إعادة البناء الأولية وتتطلب عمليات معقدة متعددة المراحل لا تتمتع بالمرونة تجاه الصور الواقعية ("in-the-wild").
• الفجوة: هناك حاجة لنموذج تحرير يوفر تحكماً صريحاً ثلاثي الأبعاد (ثبات الشكل، اتساق التلامس، إكمال الشكل) مع الحفاظ على كونه مدمجاً وقابلاً للتحرير، دون الحاجة إلى ضبط دقيق (fine-tuning) مكثف للنماذج التوليدية أو إعادة بناء مثالية للشبكات ثلاثية الأبعاد.

2. المنهجية: عالم الكتل التوليدي (Generative Blocks World)

يقوم الأسلوب المقترح بتفكيك المشهد إلى مجموعة متفرقة من الأشكال الأولية المحدبة ثلاثية الأبعاد (convex 3D primitives) (متعددات السطوح) والتي تعمل كتمثيل وسيط قابل للتحرير. يتكون المسار من أربع مراحل رئيسية:

أ. استخراج الأشكال الأولية (التفكيك المحدب)

• التمثيل: يتم تمثيل المشاهد كمجموعات من متعددات السطوح المحدبة الممزوجة ثلاثية الأبعاد (بناءً على CVXNet). يُعرف كل شكل أولي بمجموعة من المستويات نصف المستوية (half-planes).
• التعلم: يقوم شبكة مشفر-فك تشفير خفيفة الوزن (ResNet-18 + طبقات FC) بالتنبؤ بمعلمات هذه الأشكال من صورة RGB-D مدخلة.
• التحسين: يتم تحسين التنبؤ الأولي باستخدام التحسين القائم على التدرج (gradient-based optimization) لمحاذاة الأشكال الأولية مع خريطة العمق المرصودة (بإشراف من DepthAnythingv2).
• المقياس المتغير: يدعم النظام عدداً متغيراً من الأشكال الأولية ($K$)، مما يسمح للمستخدمين بالاختيار بين التحرير الخشن (أشكال أولية قليلة) أو التحرير الدقيق (أشكال أولية كثيرة).

ب. التوليد المشروط بالعمق

• النموذج الأساسي: يستخدم النظام نموذج تدفق مستقيم (Rectified Flow - RF) مدرب مسبقاً (تحديداً FLUX.1 Depth)، وهو مشروط بخرائط العمق.
• الرندرة (Rendering): يتم رندرة الأشكال الأولية المعدلة إلى خريطة عمق من منظور الكاميرا المطلوب. تعمل خريطة العمق هذه كشرط هندسي أساسي للنموذج التوليدي.
• بدون ضبط دقيق: على عكس طرق مثل LooseControl، لا يتطلب هذا النهج ضبط النموذج التوليدي بدقة على بيانات قائمة على الأشكال الأولية؛ فالأشكال الأولية دقيقة بما يكفي للعمل مع النماذج الجاهزة المشروطة بالعمق.

ج. توليد تلميح النسيج (الابتكار الجوهري)

للحفاظ على هوية الكائن والنسيج أثناء التحرير (خاصة عند تحريك الكاميرا أو ترجمة الأشياء)، قدم المؤلفون تلميح نسيج يعتمد على الإسقاط (projection-based texture hint):

1. تطابق السحابة النقطية: ينشئ النظام تطابقات بين النقاط ثلاثية الأبعاد في العرض الأصلي والعرض المعدل باستخدام تحويلات الأشكال الأولية (الإزاحة، الدوران، القياس).
2. صورة التلميح ($x_{hint}$): يتم إسقاط بكسلات الصورة المصدر على العرض الجديد بناءً على هذه التطابقات. هذا ينشئ تقريباً تقريبياً لما يجب أن تبدو عليه الصورة المعدلة.
3. قناع الثقة ($m$): يتم إنشاء قناع لتحديد المناطق التي يكون فيها التلميح موثوقاً (مثل الأسطح المرئية) والمناطق التي لا يكون فيها كذلك (مثل حالات الحجب/Occlusions، أو الانقطاعات في العمق، أو الحدود).
4. التكامل: خلال عملية إزالة الضجيج (denoising) للانتشار (وتحديداً ضمن نافذة زمنية محددة $[t_{start}, t_{end}]$)، يتم تحديث التمثيل الكامن كتركيبة موزونة بين التلميح المشوش والكمون الحالي:
   $$x_t = (1 - m) \cdot x_{hint, t} + m \cdot x_t$$
   هذا يضمن أن الصورة المولدة تحترم الهندسة الجديدة مع الاحتفاظ بنسيج المصدر حيث يكون التلميح صالحاً.

د. سير عمل التحرير

يتفاعل المستخدمون مع المشهد عبر التلاعب بالأشكال الأولية ثلاثية الأبعاد (تحريكها، تغيير حجمها، تدويرها، أو حذفها) وتعديل الكاميرا. بعد ذلك، يقوم النظام بإعادة توليد الصورة بناءً على خريطة العمق الجديدة وتلميح النسيج المولد.

3. المساهمات الرئيسية

1. مسار عالم الكتل التوليدي: إطار عمل مبتكر يدمز تجريدات الأشكال الأولية المحدبة مع النماذج التوليدية القائمة على التدفق لتمكين التفاعل ثلاثي الأبعاد الطبيعي لتحرير الصور.
2. إجراء تلميح النسيج: خوارزمية لا تتطلب تدريباً تقوم بتوليد تلميحات نسيج قائمة على الإسقاط وأقنعة ثقة. يسمح هذا بتحركات كاميرا دقيقة وترجمات للأشياء مع الحفاظ على هوية الكائن وتفاصيل النسيج عالية التردد، متفوقاً على طرق حقن المفتاح-القيمة (مثل StableFlow) في السيناريوهات الهندسية.
3. التحكم في الدقة المتغيرة: القدرة على تفكيك المشاهد إلى أعداد متفاوتة من الأشكال الأولية ($K$)، مما يتيح تعديلات هيكلية خشنة وتلاعبات دقيقة على مستوى الأجزياء داخل نفس الإطار.
   القدرة على استخدام النماذج القوية المشروطة بالعمق (FLUX) دون الحاجة لإعادة التدريب أو ضبط LoRA للتمثيل الخاص بالأشكال الأولية، بشرما كانت الأشكال الأولية دقيقة.

4. النتائج والتقييم

قيم المؤلفون طريقتهم مقابل النماذج المرجعية (Baselines) مثل DragDiffusion وLooseControl وStableFlow، بناءً على مقاييس الاتساق الهندسي والحفاظ على النسيج.

• الاتساق الهندسي:
  • المقياس: الخطأ النسبي المطلق (AbsRel) بين عمق الشكل الأولي المطلوب والعمق المصنع في الصورة.
  • النتيجة: حقق "عالم الككتل التوليدي" أخطاء AbsRel أقل بكثير (0.072 مقابل 0.143 لـ LooseControl)، مما يثبت الالتزام الفائق بالهندسة المطلوبة.
• اتساق النسيج:
  • المقياس: نسبة الإشارة إلى الضجيج (PSNR) ومعامل التشابه الهيكلي (SSIM) بعد إعادة إسقاط الصورة المعدلة إلى العرض الأصلي.
  • النتيجة: حققت الطريقة PSNR أعلى بكثير (18.7 مقابل 6.65) وSSIM أعلى (0.874 مقابل 0.670) مقارنة بـ LooseControl.
• المقارنات النوعية:
  • حركات الكاميرا: على عكس LooseControl، الذي غالباً ما يتخيل أشياء جديدة أو يغير محتوى المشهد (مثل تغيير عدد التفاحات) أثناء تحريك الكاميرا، يحافظ "عالم الكتل التوليدي" على اتساق المشهد.
  • التلاعب بالأشياء: مقارنة بـ DragDiffusion، الذي يعاني في الحفاظ على الحجم والشكل، يحافظ النهج القائم على الأشكال الأولية على المنظور الصحيح وهوية الكائن.
  • حالات الفشل: تواجه الطريقة صعوبة مع الأشكال غير المحدبة (مثل أسفل الكراسي)، والدوران الكبير (أكبر من 50 درجة)، وتأثيرات الإضاءة المعقدة (الظلال/الانعكاسات) التي لا تلتقطها هندسة الأشكال الأولية.

5. الأهمية

• الربط بين التقنيات ثلاثية الأبعاد والذكاء الاصه التوليدي: نجحت الورقة في سد الفجوة بين التمثيلات الصريحة للمشاهد ثلاثية الأبعاد والنماذج التوليدية الحديثة. لقد أثبتت أن التجريدات الهندسية المحدبة البسيطة كافية لدفع تخليق الصور عالي الدقة.
• تحرير ثلاثي الأبعاد بديهي: يقدم واجهة أكثر سهولة للتحرير ثلاثي الأبعاد من سحب النقاط (الذي يتسم بالغموض) أو إعادة بناء الشبكة الكاملة (التي تتسم بهشاشة البناء). يمكن للمستخدمين "تحريك الأشياء حولهم" بنتائج ثلاثية الأبعاد يمكن التنبؤ بها (الحجم، الحجب، المنظور).
• الكفاءة: من خلال تجنب الحاجة لتدريب نماذج انتشار جديدة لأنواع محددة من الأشكال الأولية واستخدام أدوات التحكم في العمق الجاهزة، يعد النهج فعالاً حوسبياً وقابلاً للتكيف مع مشاهد متنوعة.
• الاتجاه المستقبلي: يشير العمل إلى مسار نحو جعل "عالم الكتل التوليدي" معياراً لتحرير الصور القابل للتحكم، حيث يعمل التمثيل الهندسي كإشارة التحكم الأساسية للتخليق التوليدي.