🤖 AI

VecSet-Edit: Unleashing Pre-trained LRM for Mesh Editing from Single Image

يُعد VecSet-Edit أول مسار معالجة يستفيد من نماذج إعادة البناء الضخمة (VecSet Large Reconstruction Models) المدربة مسبقاً للتحرير المباشر للشبكات ثلاثية الأبعاد (3D mesh) من صورة واحدة، وذلك عبر استخدام تقنيات مبتكرة للتحديد المعتمد على الرموز (token-based localization)، والتقليم المدرك للانجراف (drift-aware pruning)، وخبز الأنسجة المحافظ على التفاصيل (detail-preserving texture baking) للتغلب على قيود النهج القائمة على الفوكسل (voxel-based) والنهج متعدد الرؤى (multi-view).

المؤلفون الأصليون: Teng-Fang Hsiao, Bo-Kai Ruan, Yu-Lun Liu, Hong-Han Shuai

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Teng-Fang Hsiao, Bo-Kai Ruan, Yu-Lun Liu, Hong-Han Shuai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك نموذجًا ثلاثي الأبعاد لقطة، وتريد تغيير أذنيها إلى شرائح بطيخ دون إفساد بقية جسدها. أو ربما تريد تحويل عجلات سيارة إلى قطع دونات عملاقة مع الحفاظ على هيكل السيارة كما هو تمامًا.

كان القيام بذلك في الماضي يشبه محاولة نحت تمثال من كتلة من الجليد باستخدام مطرقة ثقيلة: فغالبًا ما كنت ستكسر الأجزاء التي تريد الحفاظ عليها، أو كنت ستضطر لقضاء ساعات في النحت يدويًا في المنطقة المحددة التي تريد تغييرها.

VecSet-Edit هي أداة جديدة تجعل هذه العملية أكثر ذكاءً، وسرعةً، ودقة. وإليك كيف تعمل، مقسمة إلى مفاهيم بسيطة:

1. المشكلة: "حقيبة رخام غير مرتبة"

تستخدم معظم الأدوات ثلاثية الأبعاد الحديثة التي تولد الأجسام من صورة واحدة طريقة تسمى VecSet. فكر في الـ VecSet ليس كنموذج ثلاثي الأبعاد صلب، بل كـ حقيبة من الرخام غير المرئي. كل رخامة تمثل قطعة صغيرة من شكل الجسم وملمسه.

المشكلة هي أن هذه الرخامات غير مرتبة. إنها مجرد قطع عائمة في حقيبة. إذا أردت تغيير أذني القطة عن طريق إخبار الكمبيوتر بتغيير "بعض الرخامات"، فقد تغير الذيل بالخطأ أيضًا، أو قد يذوب القط بالكامل ليصبح كتلة هلامية.

2. الاكتشاف: الرخامات تمتلك "ذاكرة"

اكتشف الباحثون شيئًا مذهلاً: على الرغم من أن الرخامات موجودة في حقيبة، إلا أنها في الواقع تتذكر أين تنتمي. إذا نظرت بتمعن إلى كيفية "تفكير" الكمبيوتر (آليات الانتباه الداخلية الخاصة به)، فإن الرخامات التي تشكل الأذنين تولي اهتمامًا مستمرًا لجزء "الأذن" في الصورة ثنائية الأبعاد التي قدمتها لها.

هذه هي الرؤية الجوهرية: يمكنك العثًا الرخامات الصحيحة بمجرد النظر إلى الصورة ثنائية الأبعاد.

3. الحل: عملية تحرير من ثلاث خطوات

تستخدم VecSet-Edit عملية تحرير ذكية من ثلاث خطوات لتعديل النموذج ثلاثي الأبعاد باستخدام صورة ثنائية الأبعاد فقط وقناع بسيط (رسم يوضح أين تريد تغيير الأشياء).

الخطوة أ: إيجاد الرخامات الصحيحة (بذر التوكنات والبوابة)

التشبيه: تخيل أنك تبحث عن أشخاص محددين في غرفة مزدحمة لإيصال رسالة إليهم.
الطريقة:
1. البذر (Seeding): ينظر النظام إلى رسمك ثنائي الأبعاد (القناع) ويسأل الكمبيوتر: "أي من الرخامات تنظر إلى هذا الجزء المحدد من الصورة؟" فيختار مجموعة تقريبية من الرخامات التي قد تكون هي الأذنين.
2. البوابة (Gating): قد تكون هذه المجموعة التقريبية كبيرة جدًا أو تتضمن رخامات خاطئة. يقوم النظام بعد ذلك بالتحقق من كيفية تواصل هذه الرخامات مع بعضها البعض. إذا كانت الرخامة (أ) تتحدث مع الرخامة (ب)، وكانت الرخامة (ب) هي بالتأكيد أذن، فإن الرخامة (أ) هي أيضًا أذن على الأرجح. هذا يعمل على تضييق المجموعة بحيث لا تشمل إلا الرخامات الدقيقة المطلوبة للتغيير.

الخطوة ب: رقصة "RePaint" (VecSet-Edit)

التشبيه: تخيل أنك ترسم جدارية، لكنك تريد إعادة طلاء السماء فقط، وليس الأشجار.
الطريقة: يبدأ الكمبيوتر بنسخة مشوشة وضبابية من النموذج ثلاثي الأبعاد. ثم يقوم ببطء بتنقية الضجيج (denoising).
- بالنسبة لـ الرخامات التي تريد تغييرها (الأذنين)، فإنه يستمع إلى صورتك الجديدة ثنائية الأبعاد (شرائح البطيخ) ويعيد تشكيلها.
- بالنسبة لـ الرخامات التي تريد الحفاظ عليها (الجسم)، فإنه يتجاهل صورتك الجديدة ويجبرها على البقاء تمامًا كما كانت.
- يحدث هذا في حلقة متكررة، حيث يتم صقل الشكل ببطء حتى تبدو الأذنان مثل شرائح البطيخ، بينما يظل الجسم دون مساس.

الخطوة ج: شبكة الأمان "الانجراف" (تقليم التوكنات)

التشبيه: تخيل أنك تعيد ترتيب الأثاث في غرفة. أحيانًا، أثناء تحريك كرسي، تصطدم بالخطأ بطاولة، مما يؤدي إلى انزلاق الطاولة نحو الممر.
الطريقة: نظرًا لأن الرخامات تتحرك أثناء عملية التحرير، فإن بعض رخامات "الجسم" قد تنزح إلى منطقة "الأذن"، أو العكس، مما يسبب أخطاء غريبة.
- يحتوي النظام على فحص أمان في منتصف العملية. يبحث عن الرخامات التي انجرفت إلى الحي الخاطئ. إذا كانت رخامة "جسم" تتسكع في منطقة "الأذن"، فيتم طردها (تقليمها) حتى لا تفسد الشكل.

4. اللمسة النهائية: الحفاظ على الملمس المثالي

بمجرد تغيير الشكل، يحتاج الكمبيوتر إلى طلاء السطح الجديد.

المشكلة: إذا أعدت طلاء القطة بالكامل، فقد يبدو الفراء على الجسم ضبابيًا أو مختلفًا عن الأصلي.
الحل: يستخدم النظام تقنية "الحفاظ على التفاصيل". فهو يعيد طلاء الأجزاء التي تغير شكلها بالفعل (أذني البطيخ) فقط. أما بالنسبة لبقية الجسم، فإنه ببسا আসে نسخ نسيج الفراء عالي الجودة الأصلي. هذا يضمن أن القطة المعدلة تبدو كقطة حقيقية بأذني بطيخ، وليس ككتلة ضبابية.

لماذا يعد هذا أمرًا مهمًا؟

لا حاجة لأقنعة ثلاثية الأبعاد: لست بحاجة لتكون فنانًا ثلاثي الأبعاد لرسم قناع في الفضاء ثلاثي الأبعاد. أنت فقط ترسم على صورة ثنائية الأبعاد.
جودة عالية: على عكس الطرق القديمة التي استخدمت "الفوكسل" (بكسلات ثلاثية الأبعاد، مثل عالم مكعبات ماينكرافت)، والتي تجعل الأشياء تبدو مربعة، تحافظ هذه الطريقة على المنحنيات الناعمة وعالية الجودة للنموذج الأصلي.
الحفاظ على الهوية: إنها بارعة في الحفاظ على "روح" الشيء. إذا غيرت عجلات سيارة، فستظل السيارة تبدو مثل تلك السيارة تحديدًا، ولكن مع عجلات جديدة.

باختصار، VecSet-Edit تشبه امتلاك عصا سحرية تسمح لك بتحرير أجزاء محددة من جسم ثلاثي الأبعاد باستخدام رسم ثنائي الأبعاد بسيط، مع معرفة تلقائية دقيقة بالقطع التي يجب تحريكها وتلك التي يجب تركها كما هي، مما يضمن أن تكون النتيجة احترافية وواقعية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VecSet-Edit: إطلاق العنان لنماذج إعادة البناء الضخمة (LRM) القائمة على VecSet لتحرير الشبكات ثلاثية الأبعاد من صورة واحدة".

1. بيان المشكلة

بينما تقدمت عمليات توليد الأصول ثلاثية الأبعاد آلياً بشكل سريع، لا يزال التحرير الموضعي للشبكات ثلاثية الأبعاد (3D mesh editing) يمثل عقبة كبيرة. تواجه الأساليب الحالية عدة قيود:

مشكلات التمثيل: تعمل معظم الطرق على تمثيلات وسيطة مثل "النقاط السحابية الغاوسية ثلاثية الأبعاد" (3DGS) أو "حقول الإشعاع العصبية" (NeRF)، والتي تفتقر إلى الطوبولوجيا الصريحة المطلوبة للرسوم المتحركة والمحاكاة الفيزيائية.
الدقة والوضوح: تعاني طرق تحرير الـ Voxel (مثل VoxHammer) من دقة محدودة وتكاليف حوسبة عالية عند المستويات الدقيقة.
عبء الإشراف: تتطلب تقنيات تحرير الشبكات الحالية غالباً أقنعة ثلاثية الأبعاد (3D masks) أو صناديق محيطة (bounding boxes) مجهدة يدوياً لتحديد مناطق التحرير، مما يعيق القدرة على التوسع.
الحفاظ على الهوية: غالباً ما تؤدي إعادة توليد الأصول بناءً على نصوص أو صور إلى تغيير هوية الكائن الأصلي أو تدهور التفاصيل الدقيقة في المناطق غير المحررة.

يقترح المؤلفون حلاً يتيح تحريراً موضعياً للشبكات ثلاثية الأبعاد دون الحاجة لتدريب، مسترشداً فقط بـ صورة ثنائية الأبعاد واحدة و قناع ثنائي الأبعاد، وذلك عبر الاستفادة من نماذج إعادة البناء الضخمة (LRMs) عالية الدقة القائمة على VecSet.

2. المنهجية

يعمل إطار العمل المقترح، VecSet-Edit، مباشرة في الفضاء الكامن (latent space) لنموذج VecSet LRM مدرب مسبقاً (تحديداً TripoSG). يتكون خط الإنتاج من أربعة مكونات أساسية:

أ. تحليل خصائص هندسة VecSet

لاحظ المؤلفون أنه على الرغم من أن رموز (tokens) الـ VecSet غير مرتبة، إلا أنها تظهر محلية مكانية (spatial locality). حيث يتوافق مجموعة فرعية من الرموز باستمرار مع مناطق هندسية محددة في الشبكة. وهذا يسمح بصياغة مشكلة التحرير كـ مشكلة اختيار رموز: تحديد مجموعة فرعية من الرموز ( $V_E$ ) المسؤولة عن منطقة التحرير مع الحفاظ على بقية الرموز ( $V_P$ ).

ب. اختيار الرموز (التحديد الموضعي)

لرسم خريطة من قناع الصورة ثنائية الأبعاد إلى الرموز ثلاثية الأبعاد الصحيحة دون إشراف ثلاثي الأبعاد، تستخدم الطريقة عملية اختيار من مرحلتين:

بذر الرموز الموجه بالقناع (Mask-guided Token Seeding):
- تستخدم خرائط الانتباه المتقاطع (cross-attention maps) بين رموز VecSet وميزات الصورة ثنائية الأبعاد.
- تقوم بتجميع درجات الانتباه عبر المنطقة المغطاة بالقناع في الصورة المدخلة.
- تقوم بتصفية الطبقات بناءً على تباعد KL (KL-divergence) لاختيار طبقات الانتباه الأكثر معلوماتية فقط، مما يحدد مجموعة أولية من رموز البذر ( $V_I$ ) التي تتوافق مع القناع ثنائي الأبعاد.
بوابات الرموز المتوافقة مع الانتباه (Attention-aligned Token Gating):
- توسع مجموعة البذر باستخدام خرائط الانتباه الذاتي (self-attention maps) داخل نموذج VecSet DiT (محول الانتشار).
- بما أن الانتباه الذاتي يلتقط التقارب الهندسي والتجاور الطوبولوجي، فإن هذه الخطوة تسترجع الرموز المرتبطة بقوة بمجموعة البذر، مما يضمن أن المنطقة المختارة متماسكة مكانياً وتغطي الهيكل الكامل للكائن المستهدف.

ج. إطار عمل VecSet-Edit (الانتشار والتقليم)

بمجرد تحديد مجموعة الرموز القابلة للتحرير ( $V_E$ )، يقوم إطار العمل بعملية انتشار مقيدة:

تقنية VecSet RePaint: تكييف استراتيجية RePaint لتناسب فضاء الرموز الكامن. يتم تنقيح الرموز القابلة للتحرير ( $V_E$ ) بشكل تكراري بتوجيه من الصورة المعدلة المستهدفة ( $I_E$ )، بينما يتم تقييد الرموز المحفوظة ( $V_P$ ) لتتبع مسار الانتشار الأصلي للحفاظ على الهوية.
تقليم الرموز المدرك للانجراف (Drift-aware Token Pruning): ابتكار حاسم للتعامل مع الحركة المكانية لرموز VecSet. خلال مراحل التنقيح المبكرة، قد "تنجرف" الرموز القابلة للتحرير إلى مناطق يجب أن تظل محفوظة، مما يسبب تداخلات هندسية. تتدخل الطريقة في لحظة زمنية محددة ( $T_{pruning}$ $T_{p r u nin g}$ ) من أجل:
- تحديد الرموز التي انجرفت إلى المنطقة المحفوظة ( $V_{conflict}$ ).
- إزالة هذه الرموز المتعارضة ما لم تكن ضرورية تماماً للتحرير (مدعومة بشرط الصورة المستهدفة).
- يضمن ذلك حدوداً نظيفة ويمنع العيوب الهندسية.

د. خبز الأنسجة المحافظ على التفاصيل (Detail-Preserving Texture Baking)

لتحديث الأنسجة دون طمس التفاصيل الأصلية:

تحسب الطريقة قناع الفرق الهندسي بين الشبكات المصدر والمعدلة.
تستخدم MV-Adapter (مكيف متعدد الرؤى) لتوليد أنسجة متعددة الرؤى.
من الضروري أن يكون توليد النسيج مقيداً فقط بالمناطق التي تغيرت فيها الهندسة. هذا النهج القائم على "الترميم الداخلي" (in-painting) يضمن الحفاظ التام على التفاصيل عالية التردد في المناطق غير المحررة من الشبكة الأصلية.

3. المساهمات الرئيسية

أول تحرير لشبكات VecSet بدون تدريب: يقدم أول إطار عمل لإجراء تحرير موضعي لشبكات Vec ست ثلاثية الأبعاد مباشرة في الفضاء الكامن لنموذج VecSet LRM عالي الدقة، متجنباً اختناقات الدقة التي تعاني منها طرق الـ Voxel.
آليات مبتكرة لاختيار الرموز: يقترح بذر الرموز الموجه بالقناع و بوابات الرموز المتوافقة مع الانتباه لتحديد مناطق التحرير بدقة باستخدام إشراف ثنائي الأبعاد فقط، مما يحل تحدي رسم خريطة من الأقنعة ثنائية الأبعاد إلى رموز ثلاثية الأبعاد غير مرتبة.
تقليم الرموز المدرك للانجراف: استراتيجية فريدة لإزالة القيم الهندسية الشاذة أثناء عملية الانتشار، مما يضمن الاتساق الهيكلي ويمنع "نزيف" التعديلات إلى المناطق المحفوظة.
خبز الأنسجة المحافظ على التفاصيل: وحدة تركيب نسيج تقوم بتحديث الهندسة المعدلة فقط، مما يحافظ على المظهر عالي التردد للأصل في المناطق غير المعدلة.

4. النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات Edit3D-Bench (300 عينة) ومقارنتها مع أساليب SOTA مثل VoxHammer و Trellis و MVEdit و Instant3DiT.

جودة الحفاظ: حققت VecSet-Edit أدنى مسافة تشامفر (Chamfer Distance - CD) (0.011) بين جميع طرق التحريد، متفوقة بشكل كبير على VoxHammer (0.018) و Trellis (0.014). يشير هذا إلى قدرة فائقة على الحفاظ على الهندسة غير المحررة.
المقاييس البصرية: حققت أعلى قيم PSNR (29.63) و SSIM (0.97) في المناطق غير المحررة، مما يثبت الدقة العالية.
الكفاءة: الطريقة أسرع بحوالي مرتين من Trellis و VoxHammer (حوالي 200 ثانية مقابل 600 ثانية) بسبب كفاءة هيكل VecSet.
دراسة المستخدمين: في دراسة شملت 12 متخصصاً في المجال ثلاثي الأبعاد، حصلت VecSet-Edit على 59.17% من الأصوات لـ "الحفاظ على المنطقة" و 58.33% لـ "التوافق مع الشرط"، متفوقة بشكل كبير على جميع النماذج المرجعية.
النتائج النوعية: تظهر المقارنات النوعية أن VecSet-Edit تنجح في التعامل مع الطوبولوجيا المعقدة (مثل الأيدي، والمراوح) وتحافظ على التفاصيل الدقيقة التي غالباً ما تشوهها أو تفقدها الطرق الأخرى.

5. الأهمية

يسد VecSet-Edit الفجوة بين النماذج التوليدية ثلاثية الأبعاد وسير العمل الإنتاجي القابل للتحكم. من خلال تمكين التحرير الموضعي الدقيق للشبكات الصريحة باستخدام صورة واحدة وقناع ثنائي الأبعاد فقط، فإنه يلغي الحاجة إلى تسميات توضيحية ثلاثية الأبعاد مكلفة وأقنعة ثلاثية الأبعاد يدوية. إن القدرة على الحفاظ على هوية الأصل والتفاصيل الدقيقة مع تعديل مناطق محددة تجعل هذا النهج ذا قيمة عالية في صناعات مثل الألعاب، والرسوم المتحركة، والواقع الافتراضي، حيث تتطلب الأصول المولدة غالباً عمليات صقل قبل الاستخدام. كما يضع هذا العمل نموذجاً جديداً لمعالجة التمثيلات الكامنة غير المرتبة في نماذج الانتشار.