Qwen-3D: A Generalist 3D Vision-Language Model for Spatial Understanding
يُعد Qwen-3D نموذجاً لغوياً متعدد الوسائط جديداً مدركاً للهندسة، حيث يستفيد من تضمينات الموضع الدورانية ثلاثية الأبعاد ومفكك ترميز تجزئة قائم على الاستعلام لتوحيد الاستدلال المكاني، والتأصيل المرجعي، وتجزئة الكائنات عبر الصور ومقاطع الفيديو، مما يجسّر بفعالية الفجوة بين اللغة والتنبؤات الهندسية ثلاثية الأبعاد الكثيفة مع التفوق على النماذج المتخصصة والمملوكة الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يرى العالم. لفترة طويلة، كانت هذه الروبوتات تشبه السياح الذين يحملون كاميرا: يمكنهم التقاط صورة لغرفة وإخبارك: "هذا كرسي"، أو "هناك ثلاثة أشخاص". هذا يعمل بشكل رائع للصور المسطحة أو مقاطع الفيديو القصيرة. ولكن إذا طلبت من الروبوت أن يسير عبر منزل كامل، وينظر إلى نفس الكرسي من المطبخ، والممر، وغرفة النوم، ثم يخبرك بالضبط أين يقع الكرسي في الفضاء ثلاثي الأبعاد، تصبح الأمور فوضوية. يصاب الروبوت بالارتباك لأنه يحاول تجميع آلاف الصور ثنائية الأبعاد المنفصلة، وهو أمر يشبه محاولة بناء منزل عن طريق لصق آلاف البطاقات البريدية المسطحة معاً. إنه أمر بطيء، ويستهلك الكثير من طاقة الدماغ، وغالباً ما يفقد تتبع مكان الأشياء بالفعل في العالم الحقيقي.
هذا هو تحدي "نماذج الرؤية واللغة ثلاثية الأبعاد". يسعى العلماء لبناء ذكاء اصطناعي لا يتعرف على الأشياء فحسب، بل يفهم شكلها، وموقعها، وعلاقتها بكل شيء آخر في بيئة ثلاثية الأبعاد، كل ذلك مع الاستماع إلى التعليمات البشرية. السؤال الكبير هو: كيف يمكننا صنع ذكاء اصطناي يمكنه النظر إلى غرفة من كل زاوية، وتذكر التخطيط، والإشارة إلى الكائن الصحيح دون أن يضيع في بحر من البيانات؟ إذا تمكنا من حل هذا، يمكن للروبوتات أخيراً التنقل في منازلنا، أو مساعدتنا في العثور على المفاتيح المفقودة، أو حتى مساعدتنا في مهام البناء المعقدة، لتنتقل من مجرد "الرؤية" إلى "فهم" المساحة المحيطة بها حقاً.
هنا يأتي دور Qwen-3D، وهو نوع جديد من الذكاء الاصطناعي طوره باحثون في جامعة كارنيجي ميلون، يعمل كمهندس معماري بارع لهذه العوالم الرقمية. بدلاً من معاملة كل إطار فيديو كصورة مسطحة منفصلة، يقوم Qwen-3D بشيء ذكي: يأخذ كل تلك المشاهد المختلفة و"يصهرها" معاً في خريطة ثلاثية الأبعاد واحدة ومستمرة. تخيل لو كان بإمكانك أخذ مجموعة من الصور لتمثال من زوايا مختلفة ودمجها فوراً في تمثال صلب ودوار في مخيلتك. هذا ما يفعله هذا النموذج مع البيانات المرئية. فهو يستخدم معلومات العمق (مدى بعد الأشياء) ومواقع الكاميرا لضغط تدفق فيديو طويل ومتعرج إلى تمثيل ثلاثي الأبعاد مدمج. وهذا يسم يسمح للذكاء الاصطناعي بالتفكير في المشهد ككل، بدلاً من التعثر في النظر إلى إطار واحد في كل مرة.
تجادل الورقة البحثية بأن المحاولات السابقة لتعليم مهارات ثلاثية الأبعاد للذكاء الاصطناعي واجهت عقبة رئيسية. حاولت النماذج القديمة وصف المواقع ثلاثية الأبعاد عن طريق كتابتها كنص (مثل "الكرسي عند الإحداثيات 1.2، 0.8، 0.9") أو عن طريق الاختيار من قائمة جاهزة من الأشياء الممكنة. يقترح المؤلفون أن هذه الأساليب تشبه محاولة وصف لوحة معقدة باستخدام مجموعة محدودة فقط من الرموز التعبيرية (الإيموجي) أو من خلال التخمين أي ملصق مطبوع مسبقاً يناسبها. إنها طريقة ركيكة وغير فعالة للتواصل. يعالج Qwen-3D هذه المشكلة من خلال ربط "دماغ" الذكاء الاصطناعي (تفكيره اللغوي) مباشرة بـ "يد" (مفكك ترميز تجزئة) يمكنه الإشارة إلى أجزاء محددة من المشهد ثلاثي الأبعاد. فبدلاً من تخمين الإحداثيات، يتعلم كيفية تسليط الضوء على الشكل الدقيق للكائن الذي يتحدث عنه المستخدم، سواء كان وسادة على سرير أو إشارة مرور في مشهد شارع.
النتائج مثيرة للإعجاب حقاً. فعند اختباره على مجموعة متنوعة من المعايير، تفوق Qwen-3D على نماذج الذكاء الاصطناعي ثلاثية الأبعاد الحالية، بل وهزم العديد من النماذج الضخمة المملوكة لشركات في فهم المساحات ثلاثية الأبعاد. وتحديداً، وجد الباحثون أن Qwen-3D حسن عملية التأسيس البصري ثلاثي الأبعاد (إيجاد الأشياء بناءً على الأوصاف) بنسبة 4%، وعزز التجزئة النوعية ثلاثية الأبعاد (فصل الكائنات الفردية عن المشهد) بنسبة 13% مقارنة بأفضل الطرق السابقة. ومن المثير للاهتمام أنه فعل كل هذا دون أن يفقد قدرته على فهم الصور ومقاطع الفيديو ثنائية الأبعاد القياسية، مما يثبت أنه يمكنك تعليم نموذج الرؤية ثلاثية الأبعاد دون جعله ينسى كيف يرى في الأبعاد الثنائية.
ومع ذلك، يوضح المؤلفون بحذر أن هذا ليس حلاً سحرياً لكل المواقف بعد. يفترض النموذج حالياً أن العالم ثابت في الغالب؛ فهو يواجه صعوبة في البيئات الديناميكية حيث تتحرك الأشياء أو يتغير شكلها بسرعة، مثل شارع مزدحم بالسيارات المسرعة. كما أنه يعتمد على أدوات خارجية لتقدير العمق ومواقع الكاميرا، مما يعني أنه إذا كانت هذه القياسات الأولية خاطئة، فقد يكون فهم الذكاء الاصطناعي منحرفاً قليلاً. وبينما يمثل هذا خطوة كبيرة للأمام في سد الفجوة بين اللغة والإدراك ثلاثي الأبعاد، يشير الباحثون إلى أن العمل المستقبلي سيحتاج إلى معالجة هذه الأهداف المتحركة وربما تعلم تقدير الهندسة بمفرده. في الوقت الحالي، يقف Qwen-3D كأداة قوية جديدة تشير إلى أن مفتاح الذكاء الاصطناعي ثلاثي الأبعاد الأفضل ليس مجرد بيانات أفضل، بل طريقة أذكى لربط ما يراه الذكاء الاصطناعي بكيفية حديثه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.