💻 computer science

pySpatial: Generating 3D Visual Programs for Zero-Shot Spatial Reasoning

تقدم الورقة البحثية pySpatial، وهو إطار عمل للبرمجة المرئية بنمط التعلم الصفري (zero-shot) يعزز قدرات الاستدلال المكاني للنماذج اللغوية الكبيرة متعددة الوسائط من خلال توليد كود بايثون للتفاعل مع أدوات مكانية ثلاثية الأبعاد، مما يؤدي إلى تفوقه على النماذج المرجعية الحالية في الاختبارات المعيارية وتمكينه من الملاحة الداخلية الناجحة في العالم الحقيقي دون الحاجة إلى ضبط دقيق.

المؤلفون الأصليون: Zhanpeng Luo, Ce Zhang, Silong Yong, Cunxi Dai, Qianwei Wang, Haoxi Ran, Guanya Shi, Katia Sycara, Yaqi Xie

نُشر 2026-03-03

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhanpeng Luo, Ce Zhang, Silong Yong, Cunxi Dai, Qianwei Wang, Haoxi Ran, Guanya Shi, Katia Sycara, Yaqi Xie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز في منزل لم تزره من قبل، ولكن ليس لديك سوى بضع صور ضبابية التُقطت من زوايا مختلفة. أنت بحاجة للإجابة على سؤال صعب مثل: "إذا كنت واقفاً في المطبخ وأنظر إلى الثلاجة، فما هو الشيء المختبئ خلف الأريكة في غرفة المعيشة؟"

النماذج الحالية لمعظم أنظمة الذكاء الاصطناوي هي بمثابة مخمّنين بارعين. فهي تنظر إلى صورك وتحاول أن "تتخيل" بقية المنزل في عقلها. أحياناً يحالفهم الحظ، ولكن غالباً ما يصيبهم الارتباك، أو يخلطون بين اليمين واليسار، أو يتوهمون وجود أثاث ليس موجوداً في الواقع. الأمر يشبه محاولة بناء نموذج ثلاثي الأبعاد لمنزل في ذهنك بمجرد النظر إلى رسم مسطح؛ من الصعب ضبط العمق والزوايا بشكل صحيح.

إليك pySpatial، الإطار البرمجي الجديد الذي قدمته هذه الورقة البحثية. فكر في pySpatial ليس كمخمّن، بل كـ مهندس معماري ذكي يمتلك حقيبة أدوات سحرية.

إليك كيف يعمل، مقسماً إلى خطوات بسيطة:

1. "المخطط السحري" (إعادة البناء ثلاثي الأبعاد)

بدلاً من مجرد التحديق في الصور، يقوم pySpatial بأخذ تلك الصور ثنائية الأبعاد المسطحة ويبني فوراً نموذجاً افتراضياً ثلاثي الأبعاد للغرفة.

التشبيه: تخيل أنك تأخذ مجموعة من المخططات ثنائية الأبعاد وجهاز مسح بالليزر لتقوم فوراً بطباعة نموذج كرتوني كامل الحجم وقابل للمشي داخل المنزل. الآن، الذكاء الاصطناعي لا يخمن؛ بل لديه جسم مادي (رقمي) ليفحصه.

2. "المتدرب الآلي" (البرمجة المرئية)

هذا هو الجزء الأكثر روعة. الذكاء الاصطناعي لا "يفكر" فقط في الإجابة، بل يكتب برنامج بايثون (مجموعة من التعليمات) ليجد الإجابة لنفسه.

التشبيه: تخيل أن لديك متدرباً آلياً. بدلاً من سؤال المتدرب: "ماذا يوجد خلف الأريكة؟" والأمل في أن يخمن بشكل صحيح، أنت تعطيه قائمة مهام:
1. اذهب إلى النقطة التي التُقطت منها الصورة.
2. أدر الكاميرا 90 درجة إلى اليسار.
3. التقط صورة جديدة لما تراه الآن.
4. أرني تلك الصورة.

يقوم الذكاء الاصطناعي بتوليد هذه القائمة (الكود)، ويشغلها، ويحصل على صورة جديدة مُخلّقة تثبت الإجابة.

3. "المنظور الجديد" (تخليق الرؤية من منظور جديد)

بمجرد أن يلتقط المتدرب الآلي تلك الصورة الجديدة، ينظر إليها الذكاء الاصطناعي للإجابة على السؤال.

التشبيه: إذا سألت: "ماذا يوجد على يسار الكرسي الأزرق؟"، فإن الذكاء الاصطناعي لا يخمن. إنه حرفياً يدير الكاميرا في نموذجه ثلاثي الأبعاد، ويلتقط صورة للجانب الأيسر، ثم يقول: "آه، أنا أرى سلة مهملات زرقاء هناك".

لماذا يعد هذا أمراً بالغ الأهمية؟

لا حاجة للتدريب: معظم نماذج الذكاء الاصطناعي تحتاج إلى أن يتم "تدريبها" على ملايين الأمثلة لتتعلم كيفية القيام بذلك. يعمل pySpatial بتقنية Zero-shot (التعلم الصفري)، مما يعني أنه يمكنه دخول غرفة جديدة وغريبة لم يسبق له رؤيتها وحل اللغز فوراً، بمجرد استخدام أدواته.
إنه شفاف: بما أن الذكاء الاصطناعي يكتب الكود، يمكننا رؤية كيف حل المشكلة بالضبط. إذا أخطأ، يمكننا النظر في الكود ونقول: "أوه، لقد دار في الاتجاه الخاطيء!". إنه ليس صندوقاً أسود؛ بل عملية منطقية واضحة.
استخدام في العالم الحقيقي: توضح الورقة البحثية عمل هذا النظام على روبوت حقيقي (روبوت يشبه الكلب ذو أربع أرجل). استخدم الروبوت pySpatial للتنقل في مكتب حقيقي، والمرور عبر الأبواب، وإيجاد لعبة على شكل فطر دون الاصطدام بشيء.

الخلا الخلاصة

قبل pySpatial، كان الذكاء الاصطناعي مثل عراف يحاول تخمين مخطط الغرفة بناءً على بعض الأدلة. مع pySpatial، يصبح الذكاء الاصطناعي محققاً يبني نموذجاً ثلاثي الأبعاد، ويمشي حوله افتراضياً، ويلتقط صوراً جديدة، ويجد الإجابة مع الدليل.

إنه يحول المشكلة الصعبة المتمثلة في "الاستدلال المكاني" (فهم الفضاء) إلى لعبة بسيطة من "اتباع التعليمات"، مما يجعل الذكاء الاصطناعي أكثر أماناً وذكاءً لمهام مثل ملاحة الروبوتات أو الواقع المعزز.

إليك ملخص تقني مفصل لورقة البحث بعنوان "pySpatial: توليد برامج بصرية ثلاثية الأبعاد للاستدلال المكاني الصفري".

1. بيان المشكلة

حققت نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) نجاحاً ملحوظاً في مهام الإدراك والاستدلال العامة (مثل وصف الصور وفهم الفيديو). ومع ذلك، فإنها تعاني بشكل كبير في الاستدلال المكاني ثلاثي الأبعاد، لا سيما في السيناريوهات التي تتضمن:

الرؤى المحدودة: البيئات التي يتم رصدها فقط من خلال تسلسلات صور ثنائية الأبعاد متفرقة.
العلاقات بين الرؤى المتعددة: المهام التي تتطلب من النموذج الاستدلال عبر منظورات كاميرا مختلفة (على سبيل المثال: "ما الذي يقع على يسار الكائن X إذا انتقلت من الرؤية 1 إلى الرؤية 2؟").
الخيال الضمني: تعتمد النهج الحالية غالباً على "الخيال" الداخلي للنموذج أو الخرائط الإدراكية ثنائية الأبعاد لمحاكاة التخطيطات ثلاثية الأبعاد، مما يؤدي إلى الهلوسة وعدم الاتساق الهندسي.

تؤدي نماذج (MLLMs) المتطورة الحالية أداءً أفضل قليلاً من التخمين العشوائي في اختبارات مثل MINDCUBE، والذي يختبر الاستدلال عبر الحركة من منظور الشخص (egocentric motion) والعلاقات بين الرؤى المتعددة. ويكمن التحدي الجوهري في افتقار هذه النماذج إلى أساس هندسي صريح لترسيخ استدلالها.

2. المنهجية: pySpatial

يقترح المؤلفون pySpatial، وهو إطار عمل للبرمجة البصرية صفري المعرفة (zero-shot) يزود نماذج (MLLMs) بالقدرة على التفاعل مع البيئات ثلاثية الأبعاد عبر توليد أكواد لغة بايثون. بدلاً من الاعتماد على الاستدلال الضمني، يجبر pySpatial النموذج على بناء وتمثيل الهياكل ثلاثية الأبعاد والتعامل معها بشكل صريح.

سير العمل الأساسي

المدخلات: تسلسل من الصور ثنائية الأبعاد ( $I$ ) واستعلام بلغة طبيعية ( $q$ ).
إعادة البناء ثلاثي الأبعاد: يستخدم إطار العمل أولاً نماذج إعادة بناء ثلاثية الأبعاد أمامية (مثل VGGT للمساحات المعيارية، و CUT3R للمقياس المتري) لتحويل تسلسل الصور ثنائية الأبعاد إلى مشهد ثلاثي الأبعاد قابل للاستكشاف. ينتج عن ذلك سحابة نقاط ( $P$ )، وثوابت داخلية للكاميرا ( $K$ )، وخوارج خارجية ( $G$ ).
توليد الكود (الوكيل): يقوم نموذج (MLLM) (يعمل كوكيل برمجي، مثل GPT-4o) بتوليد برنامج بايثون ( $z$ $z$ ) باستخدام واجهة برمجة تطبيقات (API) لـ pySpatial محددة مسبقاً.
- لا يملك الوكيل وصولاً إلى أوزان النموذج الداخلية، بل يتفاعل مع واجهة عالية المستوى.
- يقوم البرنامج بتكوين استدعاءات الدوال لـ "أدوات مكانية" لحل الاستعلام المحدد.
تنفيذ البرنامج: يقوم مفسر بايثون بتنفيذ الكود المولد مقابل المشهد ثلاثي الأبعاد المعاد بناؤه.
- الأدوات المكانية: تتضمن واجهة البرمجة وظائف لـ:
  - reconstruct(): بناء المشهد ثلاثي الأبعاد.
  - rotate_left/right(), move_forward/backward(), turn_around(): التحكم في وضعيات الكاميرا.
  - synthesize_novel_view(): رندرة (تصيير) صور جديدة من وضعيات كاميرا عشوائية داخل المشهد ثلاثي الأبعاد.
  - describe_camera_motion(): تحويل التحويلات المصفوفية إلى أوصاف باللغة الطبيعية.
الاستدلال النهائي: يتلقى نموذج (MLLM) الصور الأصلية، والاستعلام، والمخرجات الوسيطة ( $O$ ) من البرنامج (على سبيل المثال، صورة مُصنعة حديثاً تُظهر الجانب "الأيسر" من كائن ما). يستخدم النموذج هذا الدليل البصري الصريح لتوليد الإجابة النهائية.

الميزات التصميمية الرئيسية

صفري المعرفة (Zero-Shot): لا يتطلب الأمر أي ضبط دقيق (fine-tuning) قائم على التدرج. يعمل إطار العمل مع النماذج المدربة مسبقاً.
القابلية للتفسير: يعمل الكود المولد لغة بايثون كتمثيل وسيط صريح، مما يسمح للباحثين بفحص وتصحيح والتحقق من خطوات الاستدلال.
القابلية للتركيب: يسمح إطار العمل بتدفقات تحكم معقدة (الحلقات، الشروط) للتعامل مع المهام المكانية المتنوعة.

3. المساهمات الرئيسية

إطار عمل pySpatial: إطار عمل مبتكر صفري المعرفة يُمكّن نماذج (MLLMs) من الاستدلال صراحة في الفضاء ثلاثي الأبعاد عبر توليد وتنفيذ برامج بصرية تدير أدوات مكانية (إعادة البناء، التلاعب بالكاميرا، وتوليد رؤى جديدة).
الترسيخ ثلاثي الأبعاد الصريح: بخلاف الطرق السابقة التي تعتمد على الخرائط الإدراكية ثنائية الأبعاد أو الخيال الضمني، يحول pySpatial المدخلات ثنائية الأبعاد إلى سحابة نقاط ثلاثية الأبعاد قابلة للاستكشاف، مما يسمح باستدلال متسق هندسياً.
تقييم شامل:
- الاختبارات المرجعية: اختبار مكثف على MINDCUBE (متعدد الرؤى) و OMNI3D-BENCH (أحادي الرؤية).
- التطبيق في العالم الحقيقي: النشر على روبوت رباعي الأرجل (Unitree Go1) للملاحة الداخلية، مما يثبت انتقال قدرات الاستدلال إلى الوكلاء الفيزيائيين.
الأداء: يثبت أن الاستدلال ثلاثي الأبعاد الصريح عبر توليد الكود يتفوق بشكل كبير على نماذج (MLLMs) المملوكة والمفتوحة الأوزان، وكذلك النماذج المكانية المتخصصة.

4. النتائج التجريبية

الأداء الكمي

اختبار MINDCUBE المرجعي:
- حقق pySpatial دقة إجمالية بلغت 58.56%.
- تفوق على أقوى نموذج مملوك (GPT-4.1-mini) بنسبة 12.94%.
- تجاوز أفضل نموذج مفتوح الأوزان (DeepSeek-VL2-Small) بنسبة 10.94%.
- في فئة "بين" (Among) (الاستدلال حول كائن بالنسبة لجميع الكائنات الأخرى)، حقق 60.54%، بينما لم يتجاوز أي نموذج مرجعي نسبة 50%.
MINDCUBE-1k:
- تفوق على "النماذج الذهنية المكانية" (Yin et al., 2025) بنحو 20%.
- تجاوز VADAR (نهج برمجة بصرية سابق) بنسبة 21.9%، حتى عندما تم تزويد VADAR بنفس وحدة إعادة البناء ثلاثية الأبعاد.
OMNI3D-BENCH (أحادي الرؤية):
- حقق رقماً قياسياً جديداً بدقة إجمالية بلغت 44.2%، متفوقاً على VADAR بنسبة 3.8% وعلى GPT-4o.

النتائج النوعية والواقعية

التحليل النوعي: نجحت البرامج المولدة في التعامل مع مهام معقدة مثل "ما الذي يقع على يمين الحقيبة الزرقاء؟" عن طريق تدوير الكاميرا وتوليد رؤية جديدة، مما قدم دليلاً بصرياً أسس للإجابة النهائية.
ملاحة الروبوت: في بيئة داخلية بمساحة 50 متر مربع، نجح pySpatial في توليد خطط حركة لروبوت رباعي الأرجل للملاحة عبر الأبواب والوصول إلى هدف معين. في المقابل، فشل نموذج GPT-4.1 بسبب تقدير خاطئ للاتجاه ومسارات عرضة للاصطدام.

تحليل الفشل

أظهر تحليل الخطأ في MINDCUBE أن 6% فقط من الإخفاقات كانت بسبب توليد برنامج غير صحيح.
20% من الأخطاء ناتمت عن خطوة الاستدلال النهائي (سوء تفسير النموذج (MLLM) للدليل البصري).
13% كانت بسبب قيود في نموذج إعادة البناء ثلاثي الأبعاد (مثل جودة سحابة النقاط الضعيفة).
يشير هذا إلى أن مسار إطار العمل قوي، وأن التحسينات المستقبلية يمكن تحقيقها عبر تحسين نماذج إعادة البناء والاستدلال.

5. الأهمية والتأثير

تحول في النموذج: ينقل pySpatial المجال من "الخيال الضمني" إلى "الاستدلال الهندسي الصريح". وهو يثبت أن نماذج (MLLMs) لا تحتاج إلى ضبط دقيق على مجموعات بيانات ضخمة ثلاثية الأبعاد للاستدلال مكانياً؛ بل تحتاج فقط إلى القدرة على استدعاء الأدوات التي تبني تمثيلات ثلاثية الأبعاد.
القدرة على التعميم: يعمل إطار العمل عبر نماذج (MLLMs) مختلفة (GPT-4o, GPT-4.1, Qwen, إلخ) ونماذج إعادة بناء ثلاثية الأبعاد مختلفة (VGGT, CUT3R, Pi3)، مما يشير إلى أن النهج مستقل عن النموذج.
الفائدة العملية: يثبت النشر الناجح على روبوت فيزيائي أن هذا النهج ليس مجرد حيلة في الاختبارات المرجعية، بل هو حل قابل للتطبيق للذكاء الاصطناي المتمثل في الأجسام (Embodied AI)، والروبوتات، والواقع المعزز حيث يكون الفهم المكاني الدقيق أمراً حاسماً للسلامة والملاحة.
الكفاءة: يتميز إطار العمل بالكفاءة، حيث يستغرق في المتوسط 7.45 ثانية لكل استعلام على وحدة معالجة رسوميات واحدة، مما يجعله مناسباً للتطبيقات في الوقت الفعلي أو القريبة من الوقت الفعلي.

في الختام، يضع pySpatial معياراً جديداً للاستدلال المكاني ثلاثي الأبعاد من خلال تسخير البرمجة البصرية لسد الفجوة بين المدخلات البصرية ثنائية الأبعاد والفهم الهندسي ثلاثي الأبعاد، محققاً نتائج هي الأفضل في فئته دون الحاجة إلى ضبط دقيق مكلف.