💻 computer science

VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction

يُعد VGGT-Edit إطار عمل بنظام التغذية الأمامية لتحرير المشاهد ثلاثية الأبعاد الأصلية المشروطة بالنص، حيث يستخدم حقنًا نصيًا متزامنًا مع العمق ورأس تحويل متبقي للتنبؤ المباشر بالإزاحات الهندسية، مما يتغلب على عدم الاتساق والضبابية في طرق الرفع ثنائية الأبعاد الحالية مع تحقيق نتائج عالية الدقة ومتسقة عبر لقطات متعددة وبسرعة استنتاج تقارب اللحظية.

المؤلفون الأصليون: Kaixin Zhu, Yiwen Tang, Yifan Yang, Renrui Zhang, Bohan Zeng, Ziyu Guo, Ruichuan An, Zhou Liu, Qizhi Chen, Delin Qu, Jaehong Yoon, Wentao Zhang

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kaixin Zhu, Yiwen Tang, Yifan Yang, Renrui Zhang, Bohan Zeng, Ziyu Guo, Ruichuan An, Zhou Liu, Qizhi Chen, Delin Qu, Jaehong Yoon, Wentao Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك نموذجًا ثلاثي الأبعاد عالي الجودة لغرفة، مثل توأم رقمي لغرفة معيشتك. تريد أن تقول للكمبيوتر: "انقل الكرسي إلى النافذة"، أو "حوّل الأريكة الرمادية إلى واحدة بيضاء".

قبل هذه الورقة البحثية، كان القيام بذلك يشبه محاولة تحرير فيلم ثلاثي الأبعاد عبر تحرير كل إطار (كل زاوية كاميرا) على حد ของه على شاشة مسطحة، ثم محاولة لصقهم معًا مرة أخرى. كان الأمر بطيئًا، وغالبًا ما يؤدي إلى نتائج ضبابية أو مشوهة، وقد يبدو الكرسي مختلفًا بناءً على الزاوية التي تشاهده منها.

يقترح مؤلفو هذه الورقة، VGGT-Edit، طريقة جديدة للقيام بذلك، تكون سريعة، حادة، وتحدث مباشرة في الفضاء ثلاثي الأبعاد. إليك كيف فعلوا ذلك، مقسمًا إلى مفاهيم بسيطة:

1. المشكلة: فوضى "الرفع من 2D إلى 3D" (2D-Lifting)

فكر في الأساليب الحالية كفريق من الفنانين يحاولون إعادة بناء منحوتة. بدلًا من العمل على المنحوتة نفسها، يلتقطون صورًا لها من 10 زوايا مختلفة. يرسلون كل صورة إلى فنان مختلف يقوم بالرسم فوق الكرسي في صورته الخاصة. ثم يحاولون تكديم تلك الصور العشر الملونة مرة أخرى لتشكيل مجسم ثلاثي الأبعاد.

النتيجة: لم يتواصل الفنانون مع بعضهم البعض. أحدهم رسم الكرسي باللون الأحمر، والآخر بالأزرق. الحواف لا تتطابق. المجسم ثلاثي الأبعاد النهائي يبدو ضبابيًا وغير متسق. يستغرق الأمر ساعات (أو حتى دقائق) للقيام بذلك لغرفة واحدة فقط.

2. الحل: النحات "المتبقي" (The Residual Sculptor)

يغير VGGT-Edit قواعد اللعبة. بدلًا من الرسم فوق الصور، يعامل الغرفة ثلاثية الأبعاد ككتلة صلبة من الطين موجودة بالفعل.

العمود الفقري المجمد (The Frozen Backbone): تخيل أن لديك تمثالًا مثاليًا ومعدًا مسبقًا للغرفة. لا يحاول الكمبيوتر إعادة بناء الغرفة بأكملها من الصصف. إنه يبقي الجدران، والأرضية، والأثاث غير المعدل كما هي تمامًا.
الحقل المتبقي (The Residual Field): يركز الكمبيوتر فقط على التغيير. إذا قلت "انقل الكرسي"، فسيحسب الكمبيوتر بالضبط مقدار دفع ذلك الكرسي المحدد دون غيره. إنه مثل نحات لا ينحت إلا في المكان المحدد الذي يحتاج فيه الكرسي للتحرك، تاركًا بقية التمثال دون مساس. هذا يضمن بقاء الخلفية مثالية ومستقرة.

3. الخلطة السرية: ثلاث أدوات ذكية

لجعل هذا يعمل بشكل مثالي، أضاف المؤلفون ثلاث "أدوات" محددة إلى نظامهم:

حقن النص المتزامن مع العمق (الـ "GPS" للكلمات):
عندما تكتب "انقل الكرسي"، يحتاج الكمبيوتر إلى معرفة أين يوجد الكرسي في الفضاء ثلاثي الأبعاد، وليس فقط ما هو شكل كلمة "كرسي" على شاشة مسطحة. لقد بنوا نظامًا يربط كلماتك مباشرة بالإحداثيات ثلاثية الأبعاد. إنه مثل إعطاء الكمبيوتر إحداثيات GPS للأمر، مما يضمن وصول الأمر إلى مكان الكائن بالضبط، بغض النظر عن حركة الكاميرا.
الوزن المدرك للمشهد (فلتر الثقة):
في بعض الأحيان، قد تكون زاوية الكاميرا محجوبة بجدار أو مقطوعة عند حافة الصورة. إذا استمع الكمبيوتر إلى تلك الزاوية السيئة، فسوف يرتبك. تعمل هذه الأداة كفلتر يقول: "أنا أثق في زاوية الكاميرا هذه لأنني أرى الكرسي بالكامل بوضوح"، و"أتجاهل تلك الزاوية لأن الكرسي مخفي". إنها تستمع فقط للرؤى الأكثر وضوحًا لتجنب الأخطاء.
الرأس المتبقي (الملقط الدقيق):
بدلًا من محاولة إعادة رسم الغرفة بأكملها، يعمل هذا الجزء من النظام كملقط يحرك فقط البكسلات التي تحتاج إلى التغيير. إنه يتنبأ بـ "الإزاحة" (الدفع أو السحب) الصغيرة المطلوبة للتعديل، مما يحافظ على كل شيء آخر ثابتًا تمامًا.

4. النتيجة: سريع وحاد

لأنهم لا يعيدون رسم العالم بأكمله، بل يقومون فقط بتعديل جزء صغير منه:

السرعة: يستغرق تعديل المشهد حوالي 5 ثوانٍ. الأساليب السابقة كانت تستغرق دقائق أو حتى ساعات.
الجودة: تبدو الكائنات المعدلة حادة ومتسقة من كل زاوية. لا مزيد من الأنسجة الضبابية أو "كراسي الشبح".
الاتساق: إذا تحركت حول الكرسي المعدل، فإنه سيبدو كما هو من جميع الجوانب.

5. بيانات التدريب: "DeltaScene"

لتعليم كمبيوترهم كيفية القيام بذلك، لم يكن بإمكانهم مجرد العثور على بيانات موجودة. كان عليهم بناء مجموعة بيانات جديدة ضخمة تسمى DeltaScene.

استخدموا خط إنتاج آلي (مثل مصنع روبوتات) لإنشاء 100,000 مثال لمشاهد ثلاثية الأبعاد "قبل" و"بعد".
استخدموا الذكاء الاصطناعي للتحقق من أن مشاهد "بعد" كانت متسقة بالفعل في الفضاء ثلاثي الأبعاد (وليس فقط صور 2D)، مما أدى إلى تصفية أي أمثلة سيئة. ضمن هذا للكمبيوتر تعلم الطريقة الصحيحة لتحريك الكائنات ثلاثية الأبعاد.

الملخص

VGGT-Edit يشبه الترقية من تطبيق تحرير صور بطيء ومشوه إلى أداة نحت ثلاثية الأبعاد عالية السرعة. إنه يستمع لأوامرك الصوتية، ويفهم تمامًا أين توجد الأشياء في الفضاء ثلاثي الأبعاد، ويجري تغييرات دقيقة وفورية على المشهد دون إفساد بقية الغرفة. إنه يحول عملية كانت تستغرق ساعات وتبدو ضبابية إلى مهمة مدتها 5 ثوانٍ تبدو مثالية.

ملخص تقني: VGGT-Edit

بيان المشكلة

بينما مكنت التطورات الأخيرة في البنى العامة ذات التغذية الأمامية (feed-forward) من إعادة بناء مشاهد ثلاثية الأبعاد عالية الجودة من مدخلات شحيحة في تمريرة واحدة، إلا أن هذه النماذج تظل محدودة في قدرتها على الاستجابة للتعليمات البشرية الديناميكية. تعتمد طرق تحرير المشاهد ثلاثية الأبعاد الحالية عادةً على استراتيجية "الرفع من 2D إلى 3D" (2D-lifting)، حيث يتم تحرير المناظر الفردية ثنائية الأبعاد بشكل مستقل باستخدام محررات الصور ومن ثم رفعها مرة أخرى إلى الفضاء ثلاثي الأبعاد. تعاني هذه العملية غير المباشرة من عيوب جوهرية:

عد الاتساق الهندسي: غالبًا ما يؤدي التحرير المستقل في 2D إلى كسر الاتساق الهندسي متعدد المناظر، مما يؤدي إلى نسيج ضبابي وهياكل ثلاثية الأبعاد غير مستقرة.
الافتقار إلى الوعي المكاني: تفتقر محررات 2D إلى الفهم المكاني المتأصل المطلوب للحفاظ على البنية عبر وجهات نظر مختلفة.
زمن الاستجابة (Latency): تعتبر الطرق القائمة على التحسين (optimization-based) وخطوط أنابيب الرفع من 2D مكلفة حوسبيًا، حيث تستغرق غالبًا دقائق أو ساعات لكل مشهد، مما يحول دون التطبيقات التفاعلية في الوقت الفعلي.

المنهجية

يقترح المؤلفون VGGT-Edit، وهو إطار عمل ذو تغذية أمامية مصمم لـ تحرير المشاهد ثلاثية الأبعاد الأصيل المشروط بالنصوص. بدلاً من إعادة تعلم المشهد بالكامل أو تحرير المناظر ثنائية الأبعاد، يعامل VGGT-Edit التحرير كعملية تحديث تدريجي لمسبق هندسي قوي، حيث يتنبأ بإزاحات هندسية دقيقة مباشرة داخل المجال ثلاثي الأبعاد.

يتكون إطار العمل من ثلاثة مكونات تقنية متآزرة:

حقن النص المتزامن مع العمق (Depth-Synchronized Text Injection):
للمواءمة بين التوجيه الدلالي (semantic guidance) والوضعيات المكانية للعمود الفقري (backbone)، يقوم النموذج بحقن تضمينات النصوص مباشرة في ميزات إعادة البناء في طبقات متزامنة مع مراحل تعديل الوضعية للعمود الفقدي. يضمن ذلك دمج التعليمات الدلالية عند نفس أعماق الميزات حيث تتشكل الهندسة المكانية تدريجيًا. بالإضافة إلى ذلك، تعمل آلية وزن واعية للمنظر (view-aware weighting mechanism) على منح الأولوية ديناميكيًا للمناظر ذات الملاحظات الأكثر وضوحًا (بناءً على مساحة القناع، ونسبة الحدود، ودرجات الثقة)، مما يقلل الضوضاء من المناظر المحجوبة أو الحدودية.
رأس التحويل المتبقي (Residual Transformation Head):
على عكس رؤوس إعادة البناء القياسية التي تتنبأ بهندسة المشهد الكاملة، يستخدم VGGT-Edit رأسًا متبقيًا مخصصًا للتنبؤ بـ حقل إزاحة كثيف ( $\Delta P$ ). يتم حساب الهندسة المحررة النهائية كـ $P_{edit} = P_{base} + \Delta P \odot M$ ، حيث $P_{base}$ هي الهندسة الأساسية المجمدة و $M$ هو قناع التحرير. يحافظ هذا التصميم على السلامة الهيكلية للخلفية مع تركيز القدرة النمذجة على منطقة التحرير المستهدفة.
هدف التدريب الموجه للمتبقي (Residual-Oriented Training Objective):
يتم الإشراف على النموذج بواسطة دالة خسارة متعددة المصطلحات لضمان الدقة الهندسية والاتساق:

محاذاة المقياس المقنع (Masked Scale Alignment): تعالج غموض المقياس العالمي.
إعادة بناء التحرير والحفاظ عليه: تقلل الخطأ في المناطق المحررة مع تقييد المناطق غير المحررة لتبقى قريبة من الهندسة الأساسية المجمدة.
اتساق الناظم (Normal) وإطار الكاميرا: يفرض هندسة سطح دقيقة واتساقًا متعدد المناظر في فضاء الكاميرا.
تنظيم المتبقي (Residual Regularization): يمنع التشوهات الكبيرة غير الضرورية.

المساهمات الرئيسية

إطار عمل VGGT-Edit: إطار عمل أصيل لتحرير 3D يعمل مباشرة في المجال الهندسي، مما يلغي عدم الاتساق متعدد المناظر وزمن الاستجابة العالي المتأصل في أساليب الرفع من 2D.
الدمج المتزامن والموزون: استراتيجية حقن ميزات متزامنة مع العمق ومدمجة مع وزن واعي للمنظر، مما يتيح تحريرًا ثلاثي الأبعاد مستقرًا ومدفوعًا بالتعليمات.
مجموعة بيانات DeltaScene: بناء مجموعة بيانات واسعة النطاق (~100,000 زوج) تم إنشاؤها عبر خط أنابيب مؤتمت يتميز بفلترة الاتفاق ثلاثي الأبعاد. تتضمن هذه المجموعة عمليات متنوعة (إضافة، حذف، تعديل، نقل) عبر مختلف المشاهد الداخلية والخارجية.
أداء متفوق: يحقق الأسلوب نتائج هي الأفضل في حالتها (state-of-the-art) من حيث الدقة الهندسية والاتساق متعدد المناظر مع تمكين الاستدلال الفوري تقريبًا.

النتائج التجريبية

عند تقييمه على مجموعة اختبار DeltaScene (500 عينة عالية الجودة)، أظهر VGGT-Edit تحسنات كبيرة مقارنة بالنماذج المرجعية الحالية (بما في ذلك GaussCtrl، وEditSplat، وOmni-3DEdit، وEdit3r، وNoPoSplat):

المواءمة الدلالية: حقق درجة CLIP تبلغ 30.2، بزيادة قدرها 1.3 نقطة عن أفضل طريقة موجودة.
الاتساق الهندسي: قلل من C-FID إلى 122.4 ومن C-KID إلى 0.048، مما يشير إلى اتساق فائق متعدد المناظر وتقليل العيوب مقارنة بنماذج الرفع من 2D.
الكفاءة: قلل وقت تحرير المشهد الواحد إلى حوالي 5 ثوانٍ (لوحظ تحديدًا أنه ~2 ثانية في مناقشات الاستئصال)، مما يمثل تسريعًا بمقدار 2x إلى 120x مقارنة بالأساليب القائمة على التحسين والرفع من 2D.
التعميم: أظهر النموذج قدرات صفرية (zero-shot)، حيث نجح في تنفيذ تعليمات غير مرئية (مثل دورات محددة) من خلال تعلم الخريطة بين القصد الدلالي والإزاحات على مستوى النقاط.

الأهمية

يزعم البحث أن VGGT-Edit يوفر أساسًا عمليًا وفعالًا لـ التلاعب التفاعلي بالمشاهد ثلاثية الأبعاد في الحوسبة المكانية والروبوتات. من خلال الانتقال من التعديلات المعتمدة على 2D إلى التعلم المتبقي الأصيل ثلاثي الأبعاد، يعالج إطار العمل بفعالية العمليات التركيبية المعقدة (مثل تحريك أو حذف عدة أشياء في وقت واحد) مع ضمان الاستقرار الهندسي الصارم. إن القدرة على إجراء تحويلات دقيقة للمشهد في تمريرة أمامية واحدة تعالج الفجوة الحرجة بين إعادة البناء السريعة وفهم المشهد القابل للتحرير، مما يتيح تطبيقات في الوقت الفعلي كانت تعيقها سابقًا مشكلات زمن الاستجابة وعدم الاتساق في خطوط الأنابيب الحالية.