💻 computer science

SceneForge: Structured World Supervision from 3D Interventions

يُعد SceneForge إطار عمل قائمًا على التدخل، يقوم بتوليد إشراف متعدد الوسائط مهيكل ومتسق من خلال نمذجة المشاهد كعوالم ثلاثية الأبعاد قابلة للتعديل ذات تبعات دلالية وهندسية وفيزيائية، مما يتيح إنشاء بيانات مضادة للواقع ومتعددة الزوايا متوافقة تعمل على تحسين الأداء في مهام إزالة الأشياء والمشاهد.

المؤلفون الأصليون: Jizhizi Li, Jiayang Ao, Danny Wicks, Petru-Daniel Tudosiu

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jizhizi Li, Jiayang Ao, Danny Wicks, Petru-Daniel Tudosiu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية تعديل الصور. إذا عرضت على الروبوت فقط صورة "قبل" وصورة "بعد"، فسيتعين عليه تخمين ما حدث في المنتصف. هل تحرك الظل لأن الضوء تغير؟ هل ظهرت الخلفية لأن جسماً ما قد أُزيح؟ دون معرفة "قواعد" العالم ثلاثي الأبعاد، غالباً ما يرتكب الروبوت أخطاءً، مثل ترك ظل عائم خلفه أو ملء الخلفية بنسيج (texture) خاطئ.

SceneForge هو نظام جديد صُمم لإصلاح ذلك عبر تعليم الروبوت باستخدام عالم افتراضي ثلاثي الأبعاد بدلاً من مجرد صور مسطحة.

إليك كيف يعمل، باستخدام تشبيهات بسيية:

1. "عالم الليغو" مقابل "الصورة الفوتوغرافية"

بيانات تدريب الذكاء الاصطناعي الحالية هي أشبه بمجموعة من الصور الفوتوغرافية. لديك صورة لغرفة، وصورة أخرى لنفس الغرفة مع إزالة كرسي منها. يتعين على الذكاء الاصطناعي تخمين كيف يبدو الأرض تحت الكرسي.

SceneForge مختلف عن ذلك. فهو يبني عالم ليغو رقمي.

في هذا العالم، كل جسم (كرسي، طاولة، جدار) هو قطعة حقيقية ثلاثية الأبعاد لها قواعدها.
النظام يعرف أن الكرسي يجلس على الأرض، ويُلقي ظلاً، وقد يعكس الضوء.
عندما تريد "تعديل" المشهد، لا تقوم بمجرد الطلاء فوق الكرسي في صورة؛ بل تقوم فعلياً بإمساك كرسي الليغو وإزالته من العالم.

2. "تأثير الدومينو" (التدخلات)

يطلق المؤلفون على هذا اسم "التدخل" (Intervention). فكر في الأمر كإسقاط صف من قطع الدومينو.

الطريقة القديمة: أنت تمسح قطعة دومينو من صورة. المساحة التي كانت فيها تصبح مجرد فراغ.
طريقة SceneForge: أنت تزيل قطعة الدومينو. ولأن النظام يعرف فيزياء العالم، فإنه يقوم بتحديث كل شيء آخر تلقائياً.
- الأرض الموجودة تحت قطعة الدومينو تظهر.
- الظل الذي كانت تلقيه قطعة الدومو يختفي.
- الانعكاس في مرآة قريبة يتغير.
- الإضاءة تتعدل لتملأ المساحة الفارغة.
  لأن النظام يحدث حالة العالم بأكره في وقت واحد، فإن كل نتيجة (الأرض الجديدة، الظل الجديد، الانعكاس الجديد) تكون متسقة تماماً مع الأخرى. جميعها "متوافقة" بفضل قواعد العالم ثلاثي الأبعاد، وليس عبر التخمين من قبل الذكاء الاصطناعي.

3. "المخطط الرئيسي"

قام المؤلفون بإنشاء مكتبة ضخمة من هذه العوالم ثلاثية الأبعاد (أكثر من 2000 غرفة) باستخدام أدوات مثل Infinigen و Blender.

لم يكتفوا بالتقاط الصور فحسب؛ بل بنوا مخططاً رئيسياً لكل مشهد.
من هذا المخطط الواحد، يمكنهم إنشاء:
- صورة "قبل".
- صورة "بعد" (مع إزالة جسم ما).
- "القناع" (Mask) (الذي يوضح بالضبط ما تمت إزالته).
- "طبقة الظل" (التي تظهر الظلال فقط).
- زوايا رؤية مختلفة (مثل النظر إلى الغرفة من السقف أو من الزاوية).

كل هذه المناظر والطبقات المختلفة تنبع من مصدر واحد للحقيقة. وهذا يعني أن بيانات تدريب الذكاء الاصطناعي متزامنة تماماً.

4. النتائج: طالب أفضل

اختبر الباحثون ذلك عبر تعليم ذكاء اصطناعي كيفية إزالة الأجسام من الصور. وقارنوا بين ثلاثة طلاب:

الطالب (أ): تدرب على 30,000 زوج من صور "قبل/بعد" القياسية الموجودة عبر الإنترنت.
الطالب (ب): تدرب على مزيج من تلك الصور عبر الإنترنت وبعض بيانات SceneForge.
الطالب (ج): تدرب فقط على بيانات SceneForge (صور أقل إجمالاً، ولكن بجودة أعلى).

النتيجة:
الطالب (ج) (الذي تدرب فقط على بيانات "عالم الليغو") كان الأفضل أداءً. على الرغم من أنه رأى أمثلة أقل، إلا أنه تعلم قواعد كيفية سلوك الظلال والخلفيات بشكل أفضل من الطالب الذي رأى آلاف الصور غير المترابطة والفوضوية.

عندما طُلب منه إزالة كرسي، قام الطالب (ج) بإزالة الظل الموجود تحته بشكل صحيح.
أما الطالب (أ) فغالباً ما ترك الظل خلفه أو ملأ الخلفية بلون خاطئ.

الملخص

SceneForge هو أداة تمنع الذكاء الاصطناعي من التخمين حول كيفية عمل العالم. بدلاً من إعطائه كومة من الصور غير المترابطة، فإنه يمنحه عالماً ثلاثي الأبعاد قابلاً للعب. ومن خلال السماكن للذكاء الاصطناعي بالممارسة على إزالة الأجسام في هذا العالم الافتراضي، يتعلم الذكاء الاصطناعي كيفية التعامل مع التأثيرات المعقدة مثل الظلال، والانعكاسات، والخلفيات المخفية بشكل طبيعي. يؤدي هذا إلى تعديل صور أكثر ذكاءً وواقعية.

ملخص تقني: SceneForge

بيان المشكلة

تتطلب أنظمة التعلم متعدد الوسائط الحديثة إشرافاً لا يقتقتصر على كونه واسع النطاق فحسب، بل يجب أن يكون مهيكلاً، وقابلاً للتحكم، ومتسقاً عبر التعديلات، ووجهات النظر، والوسائط المختلفة. توفر مجموعات البيانات الحالية عادةً لقطات على مستوى الملاحظة (مثل أزواج الصور قبل وبعد) التي تعرض المخرجات المصورة بدلاً من حالة المشهد الأساسية. وبناءً على ذلك، تفشل هذه المجموعات في توفير التدخلات المتطابقة، أو التناقضات الواقعية المتسقة فيزيائياً، أو التفكيك الطبقي، أو الإشارات متعددة الوسائط المتوافقة لنفس المشهد. وبينما توفر مجموعات البيانات الاصطناعية التشخيصية (مثل CLECLR) توليداً قابلاً للتحكم، إلا أنها تركز على مهام استدلال ثابتة بدلاً من الإشراف القائم على التدخل للنماذج التوليدية ونماذج التحرير. وبالمثل، غالباً ما تعامل خطوط أنابيب التصوير ثلاثي الأبعاد الاصطناعية الحالية المشاهد كإعدادات رندرة (Rendering) ثابتة بدلاً من كونها عوالم مستمرة يمكن التلاعب بانتقالات حالتها لإحداث تحديثات متسقة عبر الكيانات والمشاهد.

المنهجية: إطار عمل SceneForge

إن SceneForge هو إطار عمل متمحور حول العالم يقوم بتوليد إشراف مهيكل عبر التعامل مع المشاهد كحالات عالم قابلة للتحرير بدلاً من مجرد مجموعات من الصور المستقلة. يمر خط الأنابيب عبر أربع مراحل رئيسية:

1. تمثيل حالة العالم

بدلاً من إعدادات الرندرة المسطحة، يمثل SceneForge المشهد عند الزمن $t$ كزوج مرتب مهيكل $w_t = (S_t, D_t, A_t, R_t, E_t)$ :

$S_t$ (العناصر الهيكلية): المكونات المستقرة مثل الأرضيات، الجدران، والهندسة الثابتة.
$D_t$ (الأجسام الديناميكية): الكيانات الخاضعة للتدخل (الإدخال، الإزالة، أو تغيير الموقع).
$A_t$ (السمات): الخصائص الدلالية، الهندسية، والفيزيائية (الفئة، الوضعية، المادة، حالة الدعم).
$R_t$ (العلاقات): التبعيات مثل الدعم، الاحتواء، الحجب، والوضوح.
$E_t$ (العوامل البيئية): ظروف الإضاءة والرندرة.

يضمن هذا التمثيل التعامل مع المشهد كنظام مستمر حيث تنتشر التغييرات في الأجسام الديناميكية عبر القيود الهيكلية والعلائقية.

2. نموذج التدخل

يُعرف التدخل $\iota$ كعملية صريحة على الأجسام الديناميكية أو متغيرات البيئة (مثل إزالة جسم، أو تعديل الإضاءة). يطبق النظام تعديلاً مؤقتاً $\tilde{w}_{t+1} = I(w_t, \iota)$ . ومن الأهمية بمكان أن تتضمن هذه المرحلة وحدات استعلام عن المشهد للتحقق من الصلاحية، مما يضمن أن التعديلات معقولة فيزيائياً (على سبيل المثال، وضع الأجسام على أسطح دعم صالحة، وعدم وجود تصادمات) ومتسقة دلالياً قبل عملية الرندرة.

3. انتشار الحالة المدرك للتبعية

للتعامل مع العواقب غير المحلية للتعديلات المحلية، يطبق SceneForge عامل انتشار $P$ لتحديث حالة العالم: $w_{t+1} = P(\tilde{w}_{t+1})$ . تقوم هذه الخطوة بإعادة حساب الوضوح، والحجب، وعلاقات الدعم، وتأثيرات الإضاءة (الظلال، الانعكاسات) بناءً على الحالة الجديدة. يضمن ذلك بقاء جميع إشارات الإشراف اللاحقة متسقة دلالياً وفيزيائياً مع العالم المعدل، مما يميز هذا النهج عن توليد صور "قبل وبعد" الساذج.

4. توليد الإشراف متعدد الوسائط

من خلال انتقال حالة العالم المتسق، يقوم إطار العمل برندرة إشراف متوافق عبر وسائط متعددة ( $y_m = G_m(w_t, w_{t+1}, c)$ ). ولأن جميع المخرجات مشتقة من نفس الرسم البياني للمشهد، فهي متوافقة بالبناء. تشمل المخر terj المولدة ما يلي:

ملاحظات RGB ورندرة متعددة الزوايا.
تعديلات التناقض (إزالة الأجسام).
طبقات التفكيك (أقنعة الأجسام، الإكمال غير الكامل/Amodal completion).
قنوات مدركة للتأثيرات (الظلال، الانعكاسات، الإضاءة).
تعليقات دلالية وعلاقية.

تجسيد مجموعة البيانات

قام المؤلفون بتجسيد SceneForge باستخدام Infinigen و Blender لإنشاء مورد خالٍ من مشاكل التراخيص. تتضمن مجموعة البيانات:

SceneForge (S): مجموعة بيانات لكاميرا واحدة تضم 2,369 غرفة و25,688 طبقة مرتبطة بالأجسام.
SceneForge (M): مجموعة بيانات لكاميرات متعددة تضم 517 غرفة و2,772 حالة متعددة المشاهد مسجلة تحت 8 إعدادات للكاميرا.
المهام المشتقة: مجموعات بيانات مصفاة لإزالة الأجسام (SceneForge-Removal) وإزالة الهياكل على مستوى المشهد (SceneForge-IndoorDynamicRemoval)، بإجمالي أكثر من 13,000 حالة معدلة أحادية المنظر و4,000 حالة متعددة المشاهد.

النتائج التجريبية

تم تقييم إطار العمل باستخدام مهام الإزالة على مستوى الجسم والمستوى المشهدي باستخدام هيكل Qwen-Image-Edit-2509 مع ضبط LoRA. تمت مقارنة ثلاثة إعدادات تدريب تحت ميزانيات متطابقة:

OpenData-30K: 30 ألف عينة تدريب عامة.
OpenData+SceneForge-30K: بيانات عامة ممزوجة بعينات SceneForge.
SceneForge-16K: 16 ألف عينة فقط من SceneForge.

النتائج الرئيسية:

مكاسب الأداء: تفوقت النماذج المدربة باستخدام إشراف SceneForge (OpenData+SceneForge-30K) بشكل كبير على تلك المدربة حصرياً على البيانات العامة (OpenData-30K) عبر جميع الاختبارات المرجعية (OpenData-30K, RORem, RemovalBench) والمقاييس (PSGI, SSIM, LPIPS).
كفاءة البيانات: حقق إعداد SceneForge-16K أفضل النتائج في كل مقياس عبر جميع مجموعات الاختبار الأربع، رغم استخدامه لعدد إجمالي أقل من العينات مقارنة بإعدادات الـ 30 ألف. يشير هذا إلى أن الإشراف عالي الجودة والمتسق مع التدخل يفوق في أهميته مجموعات التدريب الأكبر والأقل هيكلة.
التحسينات النوعية: في السيناريوهات الصعبة التي تتضمن ظلال وانعكاسات معقدة (Removal-HardEffects)، أظهرت النماذج المدربة بـ SceneForge قدرة فائقة على إزالة الآثار البصرية المرتبطة واستعادة الخلفيات المتسقة مقارنة بالنماذج الأساسية.
الاتساق متعدد المشاهد: في إعداد تعدد المشاهد (SceneForge-Removal M)، حافظ إطار العمل على الاتساق المكاني عبر وجهات نظر متنوعة (تداخل عالٍ وزوايا متنوعة) لأن جميع عمليات الرندرة مشتقة من نفس العالم ثلاثي الأبعاد المستمر.

الأهمية والادعاءات

يزعم البحث أن SceneForge يوفر أساساً عملياً وقابلاً للتوسع للتعلم متعدد الوسائط المتسق مع التدخل. من خلال نمذجة الإشراف كتحولات حالة مهيكلة في عوالم قابلة للتحرير، يحل إطار العمل مشكلة التوافق المتأصلة في مجموعات البيانات القائمة على الملاحظة. يؤكد المؤلفون أن هذا النهج:

يولد مخرجات متوافقة (التناقضات، التفكيك، التأثيرات) دون الحاجة لمطابقة لاحقة في مساحة الصورة.
يوفر محركاً مرناً يمكنه التوسع ليشمل إشرافاً لغوياً أغنى وتنوعاً أوسع في الأصول.
يثبت أن "الإشراف الأنظف والأكثر اتساقاً مع التدخل" يمكن أن يؤدي إلى فائدة أدنى أفضل مقارنة بمجموعات البيانات الأكبر والأقل هيكلة.

يضع المؤلفون SceneForge ليس كبديل لمجموعات البيانات الحقيقية أو الهجينة، بل كمحرك تكميلي يعالج الحاجة المحددة للاتساق تحت تأثير التعديلات، ووجهات النظر، والتدخلات على مستوى المشهد.