💻 computer science

Seed3D 2.0: Advancing High-Fidelity Simulation-Ready 3D Content Generation

يُعد Seed3D 2.0 نظاماً متطوراً لتوليد المحتوى ثلاثي الأبعاد يعزز بشكل كبير من دقة الهندسة والقدرات الجاهزة للمحاكاة من خلال مسار عمل من الخشن إلى الناعم، ونمذجة موحدة لمواد PBR، ومجموعة نماذج شاملة لتخطيط المشاهد والتمفصل، متفوقاً بذلك على النماذج التجارية الرائدة في دراسات التفضيل البشري.

المؤلفون الأصليون: Diandian Gu, Jing Lin, Gaohong Liu, Jiahang Liu, Su Ma, Guang Shi, Jun Wang, Qinlong Wang, Qianyi Wu, Zhongcong Xu, Xuanyu Yi, Zihao Yu, Jianfeng Zhang, Zhuolin Zheng, Yifan Zhu, Rui Chen, Hengkai Guo

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Diandian Gu, Jing Lin, Gaohong Liu, Jiahang Liu, Su Ma, Guang Shi, Jun Wang, Qinlong Wang, Qianyi Wu, Zhongcong Xu, Xuanyu Yi, Zihao Yu, Jianfeng Zhang, Zhuolin Zheng, Yifan Zhu, Rui Chen, Hengkai Guo, Xiaoyang Guo, Mingcong Han, Xu Han, Xiu Li, Yixun Liang, Weiqiang Lou, Junzhe Lu, Guan Luo, Minghan Qin, Shuguang Wang, Yuang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تريد بناء عالم ثلاثي الأبعاد واقعي للعبة فيديو أو لمحاكاة روبوت. في الماضي، كانت أدوات الذكاء الاصطعي يمكنها إنشاء كائنات ثلاثية الأبعاد، لكنها غالبًا ما كانت تبدو مثل منحوتات طينية ناعمة وضبابية؛ حيث كانت تفتقر إلى الحواف الحادة، ولم تكن المواد تبدو حقيقية تحت الأضواء المختلفة، وكانت الكائنات مجرد "كتل صلبة" لا يمكن أن تحتوي على أجزاء متحركة مثل الأبواب أو العجلات.

Seed3D 2.0 هو التحديث الجديد من ByteDance المصمم لإصلاح هذه المشكلات. فكر فيه كالانتقال من مجموعة "صلصال اللعب" الخاصة بالأطفال إلى طابعة ثلاثية الأبعاد احترافية للمهندسين المعماريين يمكنها أيضًا بناء آلات متحركة.

إليك كيف يعمل، مقسمًا إلى أجزاء بسيطة:

1. بناء الشكل: "المسودة الأولية" و"التلميع"

حاولت نماذج الذكاء الاصطناعي القديمة بناء الشكل بالكامل في خطوة واحدة، مما أدى غالبًا إلى تفاصيل فوضوية. يستخدم Seed3D 2.0 عملية مكونة من خطوتين، مثل النحات الذي يعمل على مراحل:

المرحلة 1 (المسودة الأولية): يقوم الذكاء الاصطناعي بسرعة ببناء الهيكل الأساسي والشكل العام للكائن. إنه يضبط الصورة الكبيرة، لكن السطح يكون ناعمًا وضبابيًا بعض الشيء.
المرحلة 2 (التلميع): يأخذ الذكاء الاصطناعي تلك المسودة الأولية ويعود لإضافة التفاصيل الدقيقة عالية التردد. إنه يشحذ الحواف، ويضيف الخدوش، ويصلح المنحنيات.
السر الخفي: لجعل هذه العملية سريعة وفعالة، استخدموا "أداة ضغط" خاصة (Locality-Aware VAE). تخيل أنك تحزم حقيبة سفر: بدلًا من طي كل قميص بشكل فردي، تقوم هذه الأداة بتجميع العناصر المتشابهة بذكاء بحيث تظل الحقيبة (ذاكرة الكمبيوتر) صغيرة، ولكن عند فتحها، تظل الملابس مثالية وحادة التفاصيل.

2. طلاء السطح: "الرسام الذكي"

في الماضي، كان الذكاء الاصطناعي يلون الكائن أولاً بالألوان، ثم يحاول تخمين ماهية المادة (هل هي معدن؟ أم بلاستيك؟) في خطوة منفصلة. أدى هذا غالبًا إلى أخطاء، مثل ظهور لعبة بلاستيكية لامعة وكأنها معدن مبلل.

نهج Seed3D 2.0: يستخدم رسامًا موحدًا (Unified Painter). فهو يلون اللون (albedo) وخصائص المادة (مدى لمعانها أو خشونتها) في الوقت نفسه تمامًا.
"المساعد الذكي": لمساعدة الذكاء الاصطناعي على فهم ماهية المادة التي يجب أن تكون عليها، فإنه يستشير "مساعدًا ذكيًا" (نموذج لغوي بصري). إذا طلبت منه "روبوت بخاري صدئ"، سيخبر المساعد الرسام: "حسنًا، هذا يجب أن يبدو مثل النحاس العتيق والمعدن المتآكل، وليس مجرد طلاء بني". هذا يمنع الذكاء الاصطناعي من ارتكاب أخطاء تخالف قوانين الفيزياء، مثل جعل كرة مطاطية تبدو كمرآة.

3. جعله "جاهزًا للمحاكاة": "باني الليغو"

هذه هي القفزة الأكبر. كانت النماذج السابقة تصنع تماثيل صلبة وثابتة. إذا كنت تريد كرسيًا بمسند ذراع متحرك، فإن الذكاء الاصطناعي القديم لم يكن يستطيع فعل ذلك. يقدم Seed3D 2.0 ثلاث أدوات جديدة لجعل الكائنات قادرة بالفعل على التفاعل في عالم فيزيائي:

مخطط المشهد (Scene Planner): بدلًا من مجرد صنع كائن واحد، يمكنه النظر إلى وصف نصي أو فيديو وتحديد كيفية ترتيب غرفة كاملة. هو يقرر أين توضع الأريكة، وما هو حجم الطاولة، وكيف يتناسبان معًا دون الاصطدام ببعضهما البعض.
مفكك الأجزاء (Part Decomposer): يمكنه النظر إلى كائن صلب (مثل محمصة خبز) ومعرفة أي الأجزاء منفصلة (الباب، الرافعة، القاعدة). إنه يفكك الكائن إلى "قطع ليغو" وظيفية.
صانع "المفصلات" (Hinge Maker): بمجرد فصل الأجزاء، يحدد الذكاء الاصطناعي كيفية حركتها. يسأل: "هل يتأرجح هذا الباب على مفصلة؟ هل تدور هذه العجلة؟" ثم يبني المفاصل غير المرئية والقيود (مدى انفتاح الباب) حتى يعمل الكائن بشكل صحيح في محرك الفيزياء.

4. النتائج

اختبر الفريق Seed3D 2.0 مقابل خمسة من أفضل نماذج الذكاء الاصطنا التجاري. طلبوا من خبراء بشريين اختيار أفضل كائن ثلاثي الأبعاد من بين زوجين.

النتيجة: فاز Seed3D 2.0 في معظم المرات. في الاختبارات المتعلقة بإنشاء كائنات ثلاثية الأبعاد كاملة الملامح، تم تفضيله بنسبة 69% إلى 90% على منافسيه.
لماذا هذا مهم: الكائنات التي ينشئها ليست مجرد صور جميلة؛ بل هي "جاهزة للمحاكاة". وهذا يعني أنها دقيقة بما يكفي لاستخدامها في تدريب الروبوتات، أو الواقع الافتراضي، أو الطباعة ثلاثية الأبعاد، حيث يجب أن يتصرف الكائن تمامًا مثل كائن في العالم الحقيقي.

باختصار: يأخذ Seed3D 2.0 الكائنات ثلاثية الأبعاد الفوضوية والضبابية والثابتة من الماضي، ويحولها إلى أصول حادة وواقعية وتفاعلية جاهزة للاستخدام في التطبيقات المعقدة في العالم الحقيقي.

ملخص تقني: Seed3D 2.0

بيان المشكلة

بينما أرست النسخة 1.0 من Seed3D الأساس لتوليد أصول ثلاثية الأبعاد جاهزة للمحاكاة، إلا أن فجوتين حرجتين أعاقتا نشرها في بيئات الإنتاج عالية الدقة (الواقع الممتد XR، الروبوتات، والطباعة ثلاثية الأبعاد):

فجوة الجودة: تعاني النماذج الحالية، بما في ذلك Seed3D 1.0، من صعوبة في إنتاج أشكال منتظمة هندسياً ذات حواف حادة ومواد قائمة على الفيزياء (PBR) تظل متسقة تحت ظروف إضاءة متنوعة. غالباً ما تفشل خطوط أنابيب التوليد أحادية المرحلة في الموازنة بين تعلم البنية العالمية واستعادة التفاصيل عالية التردد.
فجوة القدرة: تتطلب التطبيقات اللاحقة بشكل متزايد مشاهد متعددة الكائنات متماسكة، وكائنات مفككة وظيفياً، وأصولاً تدعم التفاعل الفيزيائي على مستوى الأجزاء. كانت النسخة 1.0 من Seed3D محدودة بالأشكال الساكنة والكلية دون قدرات التفكيك إلى أجزاء أو القدرة على الحركة (Articulation).

المنهجية

تعالج Seed3D 2.0 هذه الفجوات من خلال ترقية شاملة للنظام تشمل الهندسة، والنسيج، والقدرات الجاهزة للمحاكاة، مدعومة بخط معالجة بيانات صارم.

1. توليد الهندسة (Geometry Generation)

يستخدم النظام خط أنابيب ثنائي المرحلة من "الخشن إلى الناعم" لفصل تعلم البنية العالمية عن استعادة التفاصيل عالية التردد:

Seed3D-VAE: مشفر تلقائي تبايني (VAE) مدرك للمحلية يقوم بضغط الهندسة ثلاثية الأبعاد المستمرة إلى تمثيل VecSet مدمج. يستخدم تجميعاً كامناً مدركاً للمحلية لتركيز القدرة التمثيلية في المناطق المعقدة هندسياً، وآلية توجيه متناسبة مع المحتوى لتقليل زمن تأخير فك التشفير مع الحفاظ على دقة إعادة البناء.
Seed3D-DiT: محول انتشار (Diffusion Transformer) يعتمد على التدفق المصحح (Rectified Flow) يعمل في مرحلتين:
- المرحلة 1 (البنية الخشنة): توليد أساس هندسي من التكييف الصوري، مما يؤسس الطوبولوجيا العالمية.
- المرحلة 2 (صقل التفاصيل): صقل مخرجات المرحلة الأولى لاستعادة التفاصيل عالية التردد. يتم تنظيم هذه المرحلة بواسطة أولويات الأشكال الخشنة (الكمونات المنتشرة جزئياً من المرحلة 1) وترميزات موضعية مكسلة (Voxelized Positional Encodings) مستمدة من الهندسة الخشنة، مما يضمن الانتظام الهيكلي واستعادة الحواف الحادة.

2. توليد النسيج والمواد (Texture and Material Generation)

تستبدل Seed3D 2.0 خط الأنابيب المتتالي لسابقتها بـ نموذج PBR موحد:

التوليد المباشر: يقوم النموذج بتوليد خرائط اللون الأساسي (Albedo) والمعدنية والخشونة (Metallic-Roughness - MR) مباشرة من الصور المرجعية والهندسة ثلاثية الأبعاد، مما يلغي تراكم الأخطاء المتوسطة الناتج عن تخليق RGB متعدد المناظر.
خليط الخبراء (MoE): تتيح بنية MoE توليداً عالي الدقة وأنماطاً بصرية أغنى (بما في ذلك النصوص والنسيجات الدقيقة) دون زيادة متناسبة في التكاليف الحسابية.
التكييف القائم على نماذج الرؤية واللغة (VLM): لحل الطبيعة غير محددة المعالم لتقدير المواد تحت إضاءة مجهولة، يوفر نموذج الرؤية واللغة (Vlem) أولويات دلالية (أنواع المواد، خصائص السطح) كرموز تكييف، مما يعمل على استقرار التوليد وتحسين المعقولية الفيزيائية.

3. مجموعات نماذج التوليد الجاهزة للمحاكاة

لسد الفجوة بين التوليد الساكن والمحاكاة التفاعلية، تقدم Seed3D 2.0 ثلاث وحدات لا تتطلب تدريباً أو تتطلب ضبطاً دقيقاً:

تخطيط تخطيط المشهد (Scene Layout Planning): يستنتج تخطيطات كائنات متسقة مكانياً من المدخلات النصية أو الصورية أو الفيديو. بالنسبة للمدخلات البصرية، يستفيد من تقدير العمق ونماذج VLM لاستعادة البنية العالمية؛ وبالنسبة للمدخلات النصية، يتعامل نموذج لغوي كبير (LLM) مضبوط بدقة مع الاستدلال المكاني لتوليد أوصاف وتخطيطات الكائنات.
توليد مستوى الأجزاء (Part-Level Generation): خط أنابيب "الإدراك ثم التوليد" باستخدام Seed3D-PartSeg (لتقسيم السطح) وSeed3D-PartDiT (لإعادة البناء المدرك للأجزاء) يقوم بتفكيك الأصول إلى مكونات ذات معنى وظيفي (مثل الأبواب، المقابض).
توليد الأصول المتحركة (Articulated Asset Generation): يستنتج البنية الحركية (أنواع المفاصل، المحاور، نطاقات الحركة) عبر الجمع بين الأولويات الدلالية من نماذج VLM، والأولويات الهندسية من النماذج المفككة، والأولويات الديناميكية من نماذجين لتحويل الصورة إلى فيديو. يتم تصدير المخرجات إلى تنسيقات قياسية (مثل URDF) لمحركات الفيزياء.

4. البيانات والتدريب

خط معالجة البيانات: يضمن إطار عمل المعالجة المسبقة المكون من ست مراحل جودة البيانات، بما في ذلك توحيد التنسيقات، وإزالة التكرار البصري حسب الفئة، والتقييم/الوصف عبر VLM، وتنسيق الأصول، وإعادة بناء الشبكة (Remeshing) حافظة للحدة باستخدام صيغة مستوحاة من $L_\infty$ ، ورندرة الشروط.
استراتيجية التدريب:
- الهندسة: خط أنابيب هرمي تصاعدي يتضمن التدريب المسبق (PT)، والتدريب المستمر (CT) مع زيادة الدقة، والضبط الدقيق الخاضع للإشراف (SFT). تتضمن المرحلة الثانية تحديداً التنظيم عبر الترميزات المكسلة.
- النسيج: استراتيجية ثنائية المرحلة حيث يتم تدريب نموذج PBR القائم على MoE مسبقاً على بيانات متنوعة، يليه ضبط دقيق (SFT) باستخدام أوصاف المواد المولدة بواسطة VLM لتحسين تقدير المواد تحت الإضاءة المعقدة.
كفاءة الاستدلال: يتم استخدام خط أنابيب تقطير تصاعدي لتقليل تكاليف الاستدلال. يقوم أولاً بتقطير آلية التوجيه الخالي من التصنيف (CFG) ثم يطبق تقطير الخطوات التصاعدي لتقليل خطوات أخذ العينات إلى النصف بشكل متكرر، مع الحفاظ على الدقة البصرية والاتساق.

المساهمات الرئيسية

هندسة محسنة: خط أنابيب DiT ثنائي المرحلة مع VAE مدرك للمحلية يحقق دقة هندسية وحِدّة هيكلية فائقة مقارنة بالنهج أحادي المرحلة.
نسيج PBR موحد: نموذج موحد مع توسع MoE وتكييف VLM يقدم نسيجاً عالي الدقة، وحدود مواد دقيقة، وتحسيناً في دقة رندرة النصوص.
قدرات جاهزة للمحاكاة: تقديم تخطيط مشهد، وتفكيك مدرك للأجزاء، وتوليد حركة (Articulation) لا يتطلب تدريباً، مما يسمح ببناء مشاهد متماسكة وتفاعل فيزيائي على مستوى الأجزاء.
قابلية التوسع للإنتاج: تقلل استراتيجية التقطير التصاعدي من تكاليف الاستدلال بشكل كبير مع الحفاظ على الجودة، مما يسهل النشر على نطاق الإنتاج.

النتائج

أجريت دراسة واسعة النطاق لتفضيلات البشر قارنت Seed3D 2.0 بخمسة نماذج تجارية حديثة (Hunyuan3D-2.5, Hunyuan3D-3.1, Tripo 3.0, Rodin Gen2 v1.9, و HiTem v2.0):

توليد الشكل فقط: حققت Seed3D 2.0 معدلات فوز تترا-وح بين 55.2% (مقابل Hunyuan3D-3.1) و 98.3% (مقابل Seed3D 1.0).
توليد الأصول المنسجة بالكامل: حققت Seed3D 2.0 معدلات فوز متسقة بين 69.0% و 89.9% عبر جميع النماذج المرجعية.
تؤكد المقارنات النوعية أن Seed3D 2.0 تنتج هندسة عالية الدقة مع تفاصيل هيكلية حادة وتفكيك نسيجي متفوق، بما في ذلك رندرة النصوص الموثوقة.

الأهمية

تمثل Seed3D 2.0 تقدماً منهجياً في توليد المحتوى ثلاثي الأبعاد، حيث تتجاوز مجرد إنشاء الأصول الساكنة نحو مخرجات جاهزة للإنتاج والمحاكاة. ومن خلال سد فجوات الجودة والقدرة، يجسّر النظام الانقسام بين النمذجة ثلاثية الأبعاد التوليدية ومتطلبات النشر في العالم الحقيقي في مجالات الواقع الممتد (XR)، والروبوتات، والذكاء الاصطناعي المتجسد. إن دمج التكييف الدلالي، والتفكيك على مستوى الأجزاء، واستنتاج الحركة، يوفر أساساً موحداً لإنشاء بيئات ثلاثية الأبعاد تفاعلية وواقعية فيزيائياً.