← أحدث الأبحاث
🤖 AI

VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?

تقدم الورقة البحثية VibeWorlding، وهو إطار عمل موحد يتكون من معيار التقييم VWE-BENCH وبيئة تدريب التعلم التعزيزي VibeWorlding-Gym، لتقييم وتعزيز قدرة الوكلاء متعددي الوسائط على بناء عوالم ثلاثية الأبعاد تفاعلية ومفتوحة ذاتياً بناءً على استعلامات المستخدم، مما يثبت أن التعلم التعزيزي يمكن أن يمكّن النماذج مفتوحة المصدر من التفوق على الأنظمة المغلقة الرائدة في هذه المهمة المعقدة.

المؤلفون الأصليون: Yansong Ning, Jingwen Ye, Zhongkai Wu, Yang Sun, Yiqin Zhu, Xingyi Li, Weidong Zhang, Hao Liu

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Yansong Ning, Jingwen Ye, Zhongkai Wu, Yang Sun, Yiqin Zhu, Xingyi Li, Weidong Zhang, Hao Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقف في غرفة رقمية فارغة وتطلب من حاسوب بناء شارع مدينة صاخب، أو فسحة غابة هادئة، أو محطة فضاء مستقبلية، ببساطة عبر وصف ما تريد رؤيته. هذا هو الوعد الذي يقدمه "الذكاء الاصطناعي المتجسد"، وهو مجال تتعلم فيه الآلات كيفية التفاعل مع المساحات ثلاثية الأبعاد وبنائها تماماً كما يفعل البشر. لسنوات، حاول الباحثون تعليم الحواسيب كيفية ترتيب الأشياء الرقمية مثل الأثاث والأشجار والمباني بناءً على تعليمات نصية. ومع ذلك، فإن معظم المحاولات السابقة كانت تعمل فقط مع طلبات بسيطة ومثالية، مثل "ضع كرسياً هنا". لقد عانت هذه المحاولات عندما واجهت الطبيعة الفوضوية والمفتوحة للمحادثات البشرية الحقيقية، حيث قد يطلب المستخدم "غرفة دراسة دافئة ومزدحمة قليلاً" بإضاءة ومزاج محددين. علاوة على على ذلك، ولأن الأدوات لبناء هذه العوالم كانت مشتتة وطرق الاختبار غير متسقة، كان من الصعب معرفة ما إذا كان الذكاء الاصطناعي يفهم الطلب حقاً أم أنه مجرد يخمن.

لقد تصدى فريق من الباحثين الآن لهذا التحدي باستخدام إطار عمل جديد يسمى "VibeWorlding". لقد أنشأوا نظاماً شاملاً يسمح لوكيل اصطناعي ليس فقط بالاستماع إلى وصف المستخدم، بل بالتخطيط النشط، والبحث عن الأشياء الرقمية المناسبة، ووضعها في مساحة ثلاثية الأبعاد، ثم النظر إلى النتيجة ليرى ما إذا كانت تطابق الرؤية. بنى الباحثون ساحة اختبار ضخمة تحتوي على أكثر من 2600 جسم ثلاثي الأبعاد عالي الجودة، تتراوح من الأدوات الصغيرة إلى المباني الكبيرة، واستخدموها لإنشاء مئات المشاهد المعقدة. ثم قاموا بتوليد آلاف الطلبات الفريدة من المستخدمين، بعضها يتضمن تعليمات دقيقة والبعض الآخر رغبات غامضة ومفتوحة، لمعرفة مدى قدرة مختلف أنواع الذكاء الاصطناعي على التعامل مع المهمة. يعمل النظام كحكم صارم، لا يتحقق فقط مما إذا كانت الأشياء في مكانها الصحيح، بل إذا كانت منطقية من الناحية الفيزيائية — لضمان، على سبيل المثال، ألا تكون الطاولة عائمة في الهواء أو ألا تنمو شجرة داخل جدار.

عندما اختبر الباحثون أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة اليوم، بما في ذلك تلك التابعة لشركات تكنولوجية كبرى، وجدوا فجوة كبيرة بين القدرات الحالية والهدف المتمثل في بناء هذه العوالم تلقائياً. فحتى النماذج الأكثر قوة، والتي يمكنها كتابة الأكواد والإجابة على أسئلة معقدة، فشلت في بناء المشاهد المطلوبة بنجاح في أكثر من 60 بالمائة من الحالات. وكان السبب الرئيسي لهذا الفشل ليس نقصاً في فهم كلمات المستخدم، بل صعوبة في الفعل الفيزيائي الدقيق لتعديل العالم ثلاثي الأبعاد. فغالباً ما كانت النماذج تفهم أن المستخدم يريد تحريك رف كتب، لكنها كانت تحسب المسافة بشكل خاطئ أو تحرك الشيء في الاتجاه الخاط، مما يؤدي إلى اصطدامه بأشياء أخرى أو جعله يطفو بشكل غير واقعي.

ولسد هذه الفجوة، طور الفريق طريقة تدريب متخصصة تعلم الذكاء الاصطناعي من خلال التجربة والخطأ، تماماً كما يتعلم الطفل البناء بالمكعبات. يسمح النظام للوكيل بمحاولة بناء مشهد، ثم التحقق من النتيجة مقابل قواعد صارمة حول الفيزياء ونية المستخدم، ثم يكافئ الوكيل فقط عندما ينجح في المهمة. هذه العملية، المعروفة باسم التعلم التعزيزي، سمحت للباحثين بتدريب نموذج مفتوح المصدر يمكنه في النهاستقبل التفوق على أفضل النماذج مغلقة المصدر المتاحة. حقق أفضل نموذج تم تدريبه لديهم، والذي بدأ بقاعدة من 30 مليار معلمة، أعلى معدل نجاح من بين جميع الأنظمة المختبرة. لقد تعلم استرجاع الأشياء الصحيحة، ووضعها دون تصادمات، واحترام القيود الفيزيائية للبيئة، مما مكنه فعلياً من إتقان "جو" (vibe) العالم الذي أراد المستخدم إنشاءه.

كما كشفت الدراسة أنه بينما تتحسن هذه النماذج في فهم الصورة الكبيرة، فإن الجزء الأصعب يظل هو التفاصيل الدقيقة للاستدلال المكاني. فلا تزال الوكلاء تعاني مع القياسات الدقيقة، مثل تحريك جسم مسافة سبعة أمتار للأمام بالضبط دون تجاوز المسافة أو عدم الوصول إليها. ومع ذلك، وجد الباحثون أن طريقة التدريب حسنت بشكل كبير قدرة الوكلاء على الاستدلال في الفضاء ثلاثي الأبعاد، محولةً نقطة ضعف رئيسية إلى نقطة قوة. ومن خلال إطلاق بياناتهم وأدواتهم ونماذجهم المدربة للجمهور، يأمل الفريق في تسريع تطوير الأنظمة التي يمكنها يوماً ما بناء عوالم تفاعلية ثلاثية الأبعاد للألعاب، والمحاكاة، والواقع الافتراضي بنفس السهولة والإبداع الذي يتمتع به المصمم البشري.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →