💻 computer science

3D Primitives are a Spatial Language for VLMs

تقدم هذه الورقة البحثية نماذج هندسية ثلاثية الأبعاد معبر عنها برمجياً كلغة مكانية قوية لنماذج الرؤية واللغة، مبرهنةً من خلال معيار SpatialBabel، واستراتيجية استدلال Code-CoT الخالية من التدريب، وطريقة الضبط الدقيق ذاتية الإشراف S $^{3}$ -FT، أن هذا التمثيل الوسيط يعزز بشكل كبير الاستدلال المكاني ويتعمم عبر بنيات نماذج الرؤية واللغة المتنوعة دون الحاجة إلى تسميات بشرية.

المؤلفون الأصليون: Junze Liu, Kun Qian, Florian Dubost, Kai Zhong, Arvind Srinivasan, Nan Chen, Anping Wang, Sam Zhang, Alejandro Mottini, Qingjun Cui, Tian Wang

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junze Liu, Kun Qian, Florian Dubost, Kai Zhong, Arvind Srinivasan, Nan Chen, Anping Wang, Sam Zhang, Alejandro Mottini, Qingjun Cui, Tian Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا وفنانًا للغاية، يمكنه النظر إلى صورة لغرفة ووصفها لك. لكن الشيء الغريب هو أنه إذا سألت هذا الروبوت: "كم عدد الكراسي في هذه الصورة؟" فقد يخطئ في التخمين ويقول "خمسة" بينما يوجد ثلاثة فقط. يبدو مرتبكًا.

ومع ذلك، إذا طلبت من نفس الروبوت أن يكتب برنامجًا حاسوبيًا لبناء تلك الغرفة بالضبط باستخدام أشكال بسيطة (مثل المكعبات، والكرات، والأسطوانات)، فسيقوم بعمل رائع. إنه يكتب كودًا يضع ثلاثة مكعبات بالضبط في أماكنها الصحيحة. إنه يعرف الإجابة تمامًا، لكنه فقط لا يستطيع قولها بلغة إنجليزية بسيطة.

هذه الورقة البحثية، بعنوان "الأشكال الهندسية ثلاثية الأبعاد هي لغة مكانية لنماذج الرؤية واللغة (VLMs)"، تستكشف هذا التناقض الغريب وتستخدمه لجعل هذه الروبوتات أكثر ذكاءً.

إليك تفصيل اكتشافهم وحلهم، باستخدام تشبيهات بسيطة:

1. المشكلة: الروبوت "ثنائي اللغة"

وجد الباحثون أن نماذج الرؤية واللغة (VLMs) تشبه الأشخاص الذين يتقنون لغة سرية (الكود) لكنهم يعانون مع لغة شائعة (الإنجليزية) عندما يتعلق الأمر بالمكان.

المفارقة: يمكن للروبوت بناء نموذج ثلاثي الأبعاد مثالي لمشهد ما باستخدام الكود (مثل تعليمات قطع الليغو)، ولكن إذا سألته سؤالاً بسيطًا حول نفس المشهد، فإنه يهلوس (يختلق أشياء غير موجودة).
الاختبار (SpatialBabel): أنشأوا اختبارًا ضخمًا يسمى SpatialBabel. تخيل إعطاء الروبوت نفس الصورة وطلب إعادة بنائها باستخدام ست لغات مختلفة (مثل Three.js أو Unity أو حتى تنسيق JSON خاص).
الصدمة: تباين أداء الروبوت بشكل كبير اعتمادًا على أي لغة كان يتعين عليه استخدامها. في لغة واحدة، كان بانيًا ماهرًا؛ وفي لغة أخرى، كان هاويًا أخرق. أثبت هذا أن "العقل المكاني" للروبوت كان متشابكًا مع "عاداته البرمجية".

2. الحل الأول: "Code-CoT" (التفكير بالكود أولاً)

بما أن الروبوت أفضل في كتابة الكود من الإجابة على الأسئلة، جرب الباحثون حيلة جديدة تسمى Code-CoT (سلسلة أفكار الكود).

التشبيه: تخيل أنك تحاول حل مسألة رياضية لفظية صعبة. بدلًا من محاولة تخمين الإجابة فورًا، تقوم أولاً بكتابة المعادلة على ورقة. بمجرد كتابة المعادلة، تصبح الإجابة واضحة.
كيف يعمل: عندما يُسأل سؤال مثل "هل المكعب الأحمر على يسار الكرة الزرقاء؟"، يُجبر الروبوت أولًا على كتابة الكود لبناء المشهد. بمجرد كتابة الكود، "يقرأ" الروبوت الكود الخاص به ليجد الإجابة.
النتيجة: نجح هذا الأمر تمامًا مع الروبوتات التي كانت تجيد البرمجة بالفعل. لقد عزز دقة عملهم بشكل كبير لأنه أجبرهم على استخدام "عقل الكود" القوي لديهم لحل "السؤال الإنجليزي".

3. الحل الثاني: "S3-FT" (الروبوت الذي يعلم نفسه بنفسه)

ماذا عن الروبوتات التي لا تجيد البرمجة بعد؟ لا يمكنها استخدام حيلة "كتابة الكود أولًا" لأن الكود الخاص بها سيكون فوضويًا.

اخترع الباحثون طريقة تسمى S3-FT (الضبط الدقيق المكاني ذاتي الإشراف).

التشبيه: تخيل طالبًا سيئًا في الرسم. بدلًا من استئجار معلم، يقوم الطالب برسم صورة، ثم ينظر فورًا إلى رسمه ليرى ما أصاب وما أخطأ فيه، ثم يحاول رسمها مرة أخرى. إنه معلم نفسه.
كيف يعمل:
1. ينظر الروبوت إلى صورة بسيطة لأشكال هندسية (مكعبات، كرات).
2. يحاول كتابة كود لإعادة بناء تلك الصورة.
3. يأخذ الباحثون ذلك الكود ويحولونه تلقائيًا إلى "ورقة غش" (قائمة منظمة من الحقائق: "يوجد مكعب أحمر في الموضع X").
4. يغذون الروبوت بهذه الورقة كدرس، لتعليمهم الإجابة على الأسئلة بشكل صحيح بناءً على الكود الخاص بهم.
النتيجة: تعلم الروبوت فهم المساحة دون أي معلمين بشريين أو تسميات توضيحية مكلفة. لقد أخذ "المعرفة المكانية" التي كانت مخبأة داخل قدرته البرمجية ونقلها إلى مهارات المحادثة العامة لديه.

4. الخلاصة الكبرى

تخلص الورقة البحثية إلى أن الأشكال الهندسية ثلاثية الأبعاد (الأشكال الأولية) المعبر عنها بالكود تعمل كـ "مترجم عالمي" لهذه الروبوتات.

كأداة تشخيصية: إذا فشل الروبوت في الإجابة على سؤال مكاني ولكنه نجح في كتابة الكود، فنحن نعلم أن المشكلة ليست في أنه "لا يرى" الأشياء؛ بل في أنه لا يستطيع فقط ترجمة رؤيته إلى كلمات.
كمفردات لغوية: من خلال إجبار الروبوت على التفكير من حيث "المكعبات، والكرات، والأسطوانات" عبر الكود، فإننا نمنحه مفردات منظمة لفهم العالم.

باختصار: وجد الباحثون أن نماذج الذكاء الاصطنا هذه تعرف عن المساحة أكثر مما تظهره. ومن خلال جعلها "تتحدث" بلغة قطع البناء ثلاثية الأبعاد (الكود)، يمكننا فتح تلك المعرفة المخفية والإجابة على الأسئلة البسيطة بشكل صحيح، كل ذلك دون الحاجة إلى إنسان ليعلمهم الإجابات.

ملخص تقني: الأشكال الأولية ثلاثية الأبعاد كلغة مكانية للنماذج البصرية-اللغوية (VLMs)

بيان المشكلة

تُظهر النماذج البصرية-اللغوية (VLMs) مفارقة صارخة فيما يتعلق بالاستدلال المكاني. فبينما قد تفشل هذه النماذج غالبًا في الإجابة على أسئلة لغوية طبيعية بسيطة (مثل عد الأشياء أو تحديد العلاقات) عند تقديم صورة لها، يمكن لنفس النماذج في كثير من الأحيان توليد كود قابل للتنفيذ (مثل Three.js أو Unity C#) يعيد بناء المشهد ثلاثي الأبعاد بعدد صحيح من الأشياء، وفئاتها، ومواقعها التقريبية. يشير هذا إلى أن النماذج تمتلك معرفة مكانية كامنة غير قابلة للوصول عبر الاستعلام المباشر باللغة الطبيعية. وتفترض الورقة أن هذا التباين يمثل "فشلاً في توجيه المهام" (task-routing failure)، حيث لا يتم نقل قدرة النموذج على إظهار فهمه المكاني عبر الكود المهيكل بفعالية إلى الإجابة المباشرة على الأسئلة. علاوة على ذلك، فإن المعايير الحالية غالبًا ما تخلط بين الكفاءة المكانية والألفة بتنسيق مخرجات معين (لغة طبيعية أو لغة كود واحدة)، مما يفشل في عزل قدرات الاستدلال المكاني الحقيقية.

المنهجية

يقترح المؤلفون إطار عمل يتمحور حول الأشكال الهندسية الأولية ثلاثية الأبعاد (المكعبات، الكرات، الأسطوانات، إلخ) المعبر عنها في كود قابل للتنفيذ كأداة تشخيصية وتمثيل وسيط. تتكون المنهجية من ثلاثة مكونات رئيسية:

1. معيار SPATIALBABEL

لفصل الفهم المكاني عن الألفة بالتنسيق، قدم المؤلفون SPATIALBABEL، وهو معيار يقيم النماذج البصرية-اللغوية عبر مجالين للمشاهد وست لغات (مشهد-كود).

مجالات المشهد:
- تقسيم الأشكال الأولية (Primitive Split): 1,000 مشهد Blender تم إنشاؤها إجرائيًا تحتوي على 3 إلى 20 شكلاً أوليًا هندسيًا دون وجود انسداد (occlusion) كبير. يوفر هذا حقائق أرضية دقيقة مع انعدام الضجيج في التصنيف.
- تقسيم Hypersim: 405 مشاهد داخلية واقعية الصور ذات هندسة معقدة وانسداد كبير، لتكون بمثابة مجال تحقق أكثر صعوبة.
لغات (مشهد-كود): يقيم المعيار إعادة البناء عبر ستة تنسيقات متميزة: Three.js (JavaScript)، وUnity C#، وBlender Python، وOpen3D Python، وCanonical JSON (مخطط إعلاني تم تقديمه في هذا العمل)، ولغة وصفية (DSL) للمشاهد.
المهام:
- إعادة البناء (Reconstruct): توليد كود قابل للتنفيذ لإعادة إنشاء المشهد.
- الأسئلة والأجوبة (QA): الإجابة على أسئلة باللغة الطبيعية حول المشهد (التحديد الموضعي، العلاقات، العد، الوجود، المقارنة).
المقاييس: درجة مركبة SpatialBabel-Reconstruct-Score تجمع بين معدل الإعراب (parse rate)، وF1 (مطابقة هانغارين للمطابقة الكائنية)، ودقة الفئة، ودقة الموقع، ودقة المقياس.

2. تسلسل الأفكار البرمجي (Code-CoT)

استراتيجية استدلال خالية من التدريب مصممة لسد الفجوة في وقت الاستدلال.

الآلية: بدلاً من الإجابة على سؤال مكاني مباشرة، يتم توجيه النموذج أولاً لإعادة بناء المشهد ككود قابل للتنفيذ قائم على الأشكال الأولية. ثم يجيب النموذج على السؤال المكاني بناءً على مخرجاته المهيكلة.
المنطق: هذا يجبر النموذج على توجيه استدلاله عبر "اللغة المكانية" للكود، حيث أظهر قدرة أعلى، قبل ترجمة ذلك الفهم مرة أخرى إلى اللغة الطبيعية.

3. الضبط الدقيق المكاني ذاتي الإشراف (S3-FT)

تدخل في وقت التدريب لتقطير المعرفة المكانية في الاستدلال البصري العام، ويستهدف تحديدًا النماذج ذات القدرات البرمجية الأضعف.

خط الأنابيب (Pipeline):
1. توليد الحقائق الأرضية الزائفة (Pseudo-GT Generation): يقوم النموذج البصري-اللغوي الأساسي بتوليد كود إعادة بناء Three.js لمشاهد الأشكال الأولية. يضمن مرشح الجودة النحوية صحة الكود.
2. استخراج التعليقات التوضيحية: يتم تحليل الكود المولد حتميًا إلى تعليقات توضيحية مكانية مهيكلة (أعداد الأشياء، الفئات، الوضعيات ثلاثية الأبعاد، العلاقات). يتم دمج هذه البيانات مع أزواج الأسئلة والأجوبة المنشأة بالقواعد ووصف المشاهد.
3. الضبط الدقيق (Fine-Tuning): يتم ضبط النموذج نفسه (باستخدام LoRA) على هذا المزيج متعدد المهام.
الميزة الرئيسية: العملية ذاتية الإشراف بالكامل؛ فهي لا تتطلب تسميات بشرية ولا نموذج "معلم" خارجي، حيث تُشتق إشارة الإشراف من توليد الكود عالي الدقة الخاص بالنموذج نفسه.

النتائج الرئيسية

نتائج المعيار (SPATIALBABEL)

الأداء المعتمد على اللغة: يختلف أداء النماذج البصرية-اللغية بشكل جذري عبر لغات (مشهد-كود). بالنسبة لنفس النماذج وعلى نفس الصور، يمكن أن تتباين درجات F1 لكشف الأشياء بنسبة تصل إلى 5.7 ضعفًا اعتمادًا على اللغة المستهدفة.
الارتباط الضعيف: هناك ارتباط ضعيف (معامل بيرسون $r \approx 0.12$ ) بين درجة إعادة البناء (F1) للنموذج ودقة الأسئلة والأجوبة المباشرة. يمكن للنموذج أن يكون دقيقًا للغاية في توليد الكود ولكنه سيء في الإجابة على الأسئلة المباشرة، مما يؤكد فشل توجيه المهام.
فعالية Code-CoT: يحسن Code-CoT درجات الأسئلة والأجوبة في مشاهد الأشكال الأولية بنسبة تصل إلى +6.4% (مثل Gemini-2.5-Pro) ويرفع دقة CV-Bench-3D للصور الواقعية بنسبة +5.0% للنماذج ذات القدرات البرمجية القوية. ومع ذلك، فإنه يُظهر عوائد متناقصة أو تراجعًا في المشاهد المزدحمة والواقعية حيث تكون المفردات الأولية غير كافية.

أداء S3-FT

المكاسب داخل التوزيع (In-Distribution): التدريب على صور الأشكال الأولية وحدها يحسن بشكل كبير الأداء في مهمة SpatialBabel-Primitive-QA. بالنسبة لنموذج Qwen3-VL-8B، يحقق S3-FT تحسينات تتراوح بين +4.6% إلى +8.6% عبر أوضاع الاستدلال.
التعميم خارج التوزيع (Out-of-Distribution): من المهم أن التدريب فقط على مشاهد الأشكال الأولية ينتقل إلى معايير الاستدلال البصري العام.
- HallusionBench: تحسن بنسبة +17%.
- CV-Bench-2D: تحسن بنسبة +9.7%.
- CV-Bench-3D: تحسن بنسبة +3.3%.
التعميم: تنتقل الوصفة عبر عائلات نماذج مختلفة (Qwen, InternVL, LLaVA) وحجم النماذج، وإن كانت المكاسب تعتمد على سعة النموذج.

الأهمية والادعاءات

تثبت الورقة أن الأشكال الهندسية الأولية ثلاثية الأبعاد في الكود القابل للتنفيذ تعمل كأداة تشخيص وأيضًا كمفردات قابلة للنقل للنماذج البصرية-اللغوية.

أداة تشخيصية: يكشف معيار SPATIALBABEL أن الفهم المكاني غالبًا ما يكون متشابكًا مع أولويات توليد كود محددة. تشير الفجوات الكبيرة في الأداء عبر اللغات إلى أن المعايير القياسية قد تقيس الألفة بالتنسيق بدلاً من الاستدلال المكاني الحقيقي.
مفردات قابلة للنقل: يشير نجاح Code-CoT وS3-FT إلى أن النماذج البصرية-اللغوية قد قامت ضمنيًا بـ "ترميز" (tokenizing) الفضاء ثلاثي الأبعاد من خلال الأشكال الأولية أثناء التدريب المسبق. ومن خلال الاستفادة من هذا التمثيل المهيكل، يمكن للنماذج الوصول إلى المعرفة المكانية الكامنة التي لا يمكن الوصول إليها عبر التلقين المباشر باللغة الطبيعية.
التقطير ذاتي الإشراف: يوضح S3-FT أنه يمكن تقطير الاستدلال المكاني عالي الجودة في النماذج البصرية-اللغية العامة دون تسميات بشرية أو نماذج معلمة، بشرما كان بإمكان النموذج الأساسي توليد إعادة بناء دقيقة للأشكال الأولية. وهذا يقلل من الحاجة لتحسين القدرات المكانية في النماذج مفتوحة المصدر.

يخلص المؤلفون إلى أنه بينما يظهر نهجهم حدودًا واضحة في المشاهد الواقعية المعقدة والمزدحمة (حيث ينهار التقريب الأولي)، فإنه يوفر مسارًا قويًا لتعزيز الاستدلال المكاني في النماذج البصرية-اللغوية من خلال التمثيل الوسيط للكود ثلاثي الأبعاد القابل للتنفيذ.