← أحدث الأبحاث
🤖 AI

SPARGen: Unifying Spatial Perception and Reasoning through Native Multimodal Generation

يُعد SPARGen إطار عمل توليدي موحد متعدد الوسائط وأصيل يدمج إعادة البناء ثلاثي الأبعاد، والارتباط الكثيف، والاستدلال المكاني في مهام التوليد المشروطة بالتعليمات، مما يتيح أداءً تنافسيًا عبر هذه المهام المكانية غير المتجانسة من خلال تمثيلات مشتركة.

المؤلفون الأصليون: Jinsheng Quan, Jianhua Li, Siyi Xie, Xuanke Shi, Kewang Deng, Zukai Chen, Feifei Shao, Lei Yang, Quan Wang, Yawei Luo

نُشر 2026-08-17
📖 6 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Jinsheng Quan, Jianhua Li, Siyi Xie, Xuanke Shi, Kewang Deng, Zukai Chen, Feifei Shao, Lei Yang, Quan Wang, Yawei Luo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تنظر إلى صورة لغرفة معيشة فوضوية. بالنسبة لعينيك، هي مجرد صورة مسطحة من الألوان والأشكال. لكن بالنسبة لحاسوب يحاول فهم العالم، فإن هذه الصورة هي لغز. عليه أن يكتشف كم يبعد الأريكة، وأين كان يقف الكاميرا عندما التُقطت الصورة، وكيف ستتحرك الأشياء إذا مشيت حولها. هذا المجال من العلوم يسمى "الإدراك المكاني"، وهو الفرق بين روبوت يصطدم بالجدر walls وروبوت يمكنه التنقل في الغرفة ببراعة. لفترة طويلة، عامل العلماء الأجزاء المختلفة من هذا اللغز كمهام منفصلة. فقد بنى فريق نموذجًا لآلات بارعة في قياس المسافات (الهندسة)، بينما بنى فريق آخر نماذج ممتازة في الإجابة على أسئلة مثل "ماذا يوجد على يسار المصباح؟" (الاستنتاج المنطقي). ولكن تماماً كما لا يمتلك الدماغ البشري مراكز منفصلة لـ "المسافة" و"المنطق" لا تتحدث مع بعضها البعض أبداً، كانت هذه النماذج الحاسوبية تفتقر إلى فرصة التعلم من بعضها البعض.

هنا يأتي دور SPARGen، وهو نهج جديد يحاول تعليم نموذج حاسوبي واحد القيام بكل ذلك في آن واحد. فكر فيه كفنان موهوب للغاية لا يكتفي برسم لوحة فحسب، بل يكتب أيضاً قصة عنها ويحسب الفيزياء الدقيقة لكيفية سقوط الأشياء في الرسم إذا تغيرت الجاذبية. بدلاً من استخدام أدوات مختلفة لقياس العمق، أو تتبع الحركة، أو الإجابة على الأسئلة، يستخدم SPARGen "عقلاً" موحداً يتعلم توليد كل هذه الإجابات في وقت واحد. إنه يعامل العالم ليس كمجموعة من المهام المنفصلة، بل كقصة واحدة متصلة حيث الهندسة واللغة مجرد طرق مختلفة لوصف المشهد نفسه.

المشكلة: عنق زجاجة "المتخصص"

لسنوات، كانت الطريقة القياسية لتعليم الحواسيب عن المساحة هي توظيف "متخصص" لكل وظيفة. إذا كنت تريد معرفة مدى عمق المشهد، تسأل نموذجاً يقيس العمق. إذا كنت تريد معرفة أين كانت الكاميرا، تسأل نموذجاً لتقدير الوضعية. وإذا كنت تريد معرفة ما الذي يوجد خلف الأريكة، تسأل نموذجاً لغوياً.

المشكلة في هذا النهج هي أن هؤلاء المتخصصين نادراً ما يتحدثون مع بعضهم البعض. فالنموذج الذي يعرف عمق الغرفة لا يساعد بالضرورة النموذج الذي يحاول الإجابة على سؤال حول الغرفة. الأمر يشبه امتلاك طاهٍ بارع جداً في تقطيع الخضروات ولكنه لم يلتقِ قط بالخباز الذي يصنع الخبز؛ فلا يمكنهما التعاون لصنع وجبة مثالية. علاوة على ذلك، اعتمدت العديد من هذه النماذج على إضافات خارجية معقدة للقيام بعملياتها الحسابية، مما جعلها بطيئة ومعقدة.

الحل: "الحكواتي الشامل"

يغير SPARGen قواعد اللعبة من خلال العمل كـ مولد متعدد الوسائط أصيل (native multimodal generator). بدلاً من أن يكون متخصصاً، هو عامّ يتحدث لغتين بطلاقة: الصور والنصوص.

إليك الخدعة السحرية: يعامل SPARGen كل شيء كـ "مهمة توليد".

  1. بالنسبة لـ "الأشياء المتعلقة بالصور": عندما يحتاج إلى تحديد العمق، أو السحب النقطية (خريطة ثلاثية الأبعاد من النقاط)، أو التدفق البصري (كيف تتحرك البكسلات بين الإطارات)، فإنه "يولد" صورة جديدة. هو لا يكتفي بحساب رقم؛ بل يرسم صورة تخبرك فيها درجة سطوع البكسل عن مدى بعد الشيء.
  2. بالنسبة لـ "الأشياء المتعلقة بالنصوص": عندما يحتاج إلى الإجابة على سؤال مثل "ماذا يوجد على يمين الطاولة البيضاء؟"، فإنه يولد تسلسلاً من الكلمات، تماماً مثل روبوت الدردشة.

يطلق البحث على هذا اسم العمود الفقري المكون من خليط من خبراء المحولات (Mixture-of-Transformer-Experts - MoT). تخيل مكتبة ضخمة تعيش فيها "خبراء" مختلفون (عقول ذكاء اصطناعي متخصصة) في نفس المبنى. أحد الخبراء بارع في قراءة النصوص، وآخر بارع في فهم الصور، وآخر بارع في الرياضيات. يسمح SPARGen لكل هؤلاء الخبراء بالجلوس حول نفس الطاولة والدردشة. عندما تطرح سؤالاً، يساهم الجميع بمعرفتهم في المحادثة، بدلاً من العمل في عزلة.

كيف يعمل: النظام ثنائي المسار

بُني SPARGen على أساس يسمى Bagel، وهو نموذج كان جيداً بالفعل في فهم الصور والنصوص. قام الباحثون بترقيته للتعامل مع "الأمور المكانية" دون إضافة أي أجهزة غريبة جديدة أو وحدات رياضية منفصلة.

  • مسار النص (المسار التتابعي - Autoregressive Path): عندما يحتاج النموذج إلى إعطاء إجابة مهيكلة، مثل موقع الكاميرا (الدوران والمسافة) أو جملة تصف الغرفة، فإنه يكتبها كلمة بكلمة (أو رمزاً برمز). إنه يشبه الكاتب الذي يطبع جملة حرفاً بحرف، مستخدماً سياق ما سبق لتحديد ما سيأتي بعد ذلك.
  • مسار الصورة (مسار التدفق المصحح - Rectified Flow Path): عندما يحتاج النموذج إلى إخراج خريطة كثيفة (مثل خريطة عمق كاملة لكل بكسل)، فإنه يستخدم تقنية تسمى التدفق المصحح (rectified flow). فكر في هذا كالنحات الذي يبدأ بكتلة من الضجيج (التشويش) ثم ينحتها ببطء لتصبح شكلاً واضحاً. يبدأ النموذج بصورة ضبابية وعشوائية ثم "يجعلها تتدفق" لتصبح خريطة عمق دقيقة أو سحباً نقطية، مسترشداً بالتعليمات التي قدمتها له.

جمال هذا النظام هو أنه لا يحتاج لأن يُقال له "الآن قم بالحساب" أو "الآن استخدم اللغة". هو فقط ينظر إلى التعليمات (مثلاً: "قدر العمق" أو "ماذا يوجد على اليمين؟") ويعرف أي "مسار" يستخدم لتوليد الإجابة.

ما وجدوه: نموذج واحد يحكم الجميع

اختبر الباحثون SPARGen في مجموعة واسعة من المهام، من قياس مدى عمق غرفة إلى معرفة كيفية تحرك سيارة في فيديو، وصولاً إلى الإجابة على أسئلة مكانية معقدة.

النتائج:

  • إنه لاعب بهلواني: تمكن SPARGen من أداء هذه المهام المختلفة بشكل تنافسي باستخدام نموذج واحد فقط. لم يكن بحاجة إلى "نموذج عمق" منفصل أو "نموذج تدفق" منفصل.
  • هزم المتخصصين: في العديد من الاختبارات، أدى SPARGen أداءً يضاهي، أو حتى يتفوق على، النماذج التي صُممت خصيصاً لواحدة من تلك المهام فقط. على سبيل المثال، في مجموعة بيانات KITTI (وهي اختبار قياسي لمدى قدرة النموذج على تتبع الحركة في رؤية السيارة)، حقق SPARGen خطأ في نقطة النهاية (EPE) قدره 4.09 وسجل F1-all قدره 13.34، متفوقاً على النماذج المتخصصة مثل RAFT (بـ 5.03 EPE) و FlowFormer (بـ 4.10 EPE).
  • ملك الاستنتاج: في مجال الاستنتاج المكاني (الإجابة على أسئلة مثل "إذا وقفت هنا، ماذا سيكون على يميني؟")، اكتسح SPARGen المنافسة. في اختبار SPAR، سجل 79.25 في المتوسط، متفوقاً بشكل كبير على النماذج مفتوحة المصدر الأخرى مثل Qwen2.5-VL-72B (الذي سجل 44.80) وحتى على العملاق المملوك لشركة GPT-4o (الذي سجل 43.27).
  • قوة المزج: يشير البحث إلى أن هذه المهام تساعد بعضها البعض فعلياً. فعندما أزالوا "التدريب الهندسي" (تعليم النموذج عن الأشكال ثلاثية الأبعاد)، أصبح النموذج أسوأ في الإجابة على الأسئلة. وعندما أزالوا "التدريب الاستنتاجي"، أصبح النموذج أسوأ قليلاً في فهم الأشكال ثلاثية الأبعاد. وهذا يعني أن تعلم رؤية العالم ثلاثي الأبعاد يساعد النموذج على فهم اللغة، وتعلم اللغة يساعده على فهم الفضاء ثلاثي الأبعاد.

العائق: ليس مثالياً بعد

رغم أن النتائج مثيرة للإعجاب، إلا أن المؤلفين يشيرون بحذر إلى وجود قصور. نظرًا لأن SPARGen يستخدم مشفر تلقائي متباين (VAE) لضغط وتوليد الصور، فعليه ضغط العالم ثلاثي الأبعاد في تنسيق أصغر ومضغوط. هذا الضغط يمكن أن يؤدي أحياناً إلى طمس الحواف الحادة للأشياء أو جعل من الصعب الحصول على قياسات فيزيائية دقيقة للغاية (مثل "هذه الطاولة تبعد 1.23 متر بالضبط"). هو رائع في فهم البنية والتخطيط، لكنه قد لا يكون الأداة الأفضل لنجار يحتاج إلى دقة تصل إلى المليمتر.

الصورة الكبيرة

يشير SPARGen إلى أننا لسنا بحاجة لبناء دماغ روبوت مختلف لكل مهمة مكانية. بدلاً من ذلك، يمكننا بناء دماغ توليدي مرن يتعلم "تخيل" هندسة العالم و"التحدث" عنها في آن واحد. ومن خلال توحيد هذه القدرات، يتعلم النموذج فهماً أغنى وأكثر اتساقاً للمساحة، مما يثبت أن طريق الذكاء المكاني الحقيقي قد يكمن في التوقف عن فصل الرياضيات عن المعنى.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →