🤖 AI

Think with 3D: Geometric Imagination Grounded Spatial Reasoning from Limited Views

تقدم الورقة البحثية 3DThinker، وهو إطار عمل مبتكر يُمكّن نماذج الرؤية واللغة من إجراء الاستدلال المكاني ثلاثي الأبعاد من خلال مشاهد محدودة عبر محاذاة تمثيلاتها الداخلية مع نموذج أساسي ثلاثي الأبعاد وتحسين عملية الاستدلال من خلال التحسين القائم على النتيجة، وكل ذلك دون الحاجة إلى مدخلات مسبقة صريحة ثلاثية الأبعاد أو بيانات تدريب ثلاثية الأبعاد مصنفة.

المؤلفون الأصليون: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Xiang An, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhangquan Chen, Manyuan Zhang, Xinlei Yu, Xufang Luo, Mingze Sun, Zihao Pan, Xiang An, Yan Feng, Peng Pei, Xunliang Cai, Ruqi Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شرح متاهة معقدة لصديق لم يرها من قبل، ولكن لا يمكنك سوى عرض صورتين أو ثلاث صور ضبابية ملتقطة من زوايا محددة.

النماذج الحالية لمعظم أنظمة الذكاء الاصطناعي تشبه أمين مكتبة ذكي جداً. يمكنهم قراءة صورك ووصف الكتب (الأشياء) الموجودة فيها بدقة تامة. يمكنهم إخبارك: "يوجد كرسي أحمر هنا"، أو "الباب على اليسار". ولكن إذا سألتهم: "إذا مشيت عبر ذلك الباب، ثم انعطفت يساراً، ثم نظرت للأعلى، ماذا سأرى؟"، فغالباً ما يتعثرون. إنهم بارعون في وصف ما يوجد في الصورة، لكنهم يواجهون صعوبة في تخيل العالم ثلاثي الأبعاد الذي يوجد بين الصور وخلفها. إنهم يفتقرون إلى "الخيال المكاني".

يقدم هذا البحث نموذجاً جديداً للذكاء الاصطناعي يسمى 3DThinker. إنه يشبه منح أمين المكتبة ذاك مجموعة أدوات بناء نموذج ثلاثي الأبعاد ذهني. فبدلاً من مجرد وصف الصور، يتعلم 3DThinker بناء خريطة ثلاثية الأبعاد شبحية وغير مرئية في "عقله" أثناء التفكير.

إليك كيف يعمل، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: المفكر "المسطح"

عادة ما تفكر نماذج الذكاء الاصطناعي الحالية بطريقتين:

النصوص فقط: يكتبون قصة عن الصورة. (مثل وصف سيارة عبر سرد أجزائها، دون معرفة كيف يركب المحرك بداخلها).
المرئيات ثنائية الأبعاد (2D): يشيرون إلى بكسلات على الشاشة. (مثل النظر إلى خريطة مسطحة لمدينة، لكن دون فهم التلال أو الأنفاق).

كلتا الطريقتين تفشلان عندما تحتاج إلى فهم العمق، والمسافة، وكيفية ارتباط الأشياء ببعضها البعض في فضاء ثلاثي الأبعاد.

2. الحل: "التفكير بالثلاثي الأبعاد"

3DThinker مميز لأنه لا يحتاج إلى خريطة ثلاثية الأبعاد مبنية مسبقاً أو بشري يرسم له مخططاً. بدلاً من ذلك، يتعلم تخيل الشكل ثلاثي الأبعاد للمشهد أثناء عملية التفكير.

فكر في الأمر كالتนี้:

الذكاء الاصطناعي القديم: ينظر إلى صورة كوب ويقول: "إنه أسطوانة بيضاء".
3DThinker: ينظر إلى الصورة، وفي "دماغه"، يقوم بتدوير نموذج ثلاثي الأبعاد لذلك الكوب. يمكنه تدوير الكوب ذهنياً، والسير حوله، والتنبؤ بشكل المقبض من الخلف، رغم أن الصورة تظهر الواجهة فقط.

3. كيف تعلم التخيل (التدريب على مرحلتين)

علم الباحثون 3DThinker باستخدام عملية ذكية مكونة من خطوتين، تشبه كيفية تعلم الطالب لعزف آلة موسيقية:

المرحلة 1: درس "المحاكاة" (التعلم الخاضع للإشراف)
تخيل أن نحاتاً ماهراً (نموذج ذكاء اصطناعي قوي ثلاثي الأبعاد يسمى VGGT) يعمل على تمثال. يحاول الطالب (3DThinker) تقليد حركات النحات.

ينظر الطالب إلى صورة ويحاول توليد "رمز ذهني" (قطعة صغيرة من البيانات تمثل الشكل ثلاثي الأبعاد).
يقوم المعلم بالتحقق: "هل شكلك الذهني يطابق شكل النحات الماهر؟"
إذا كان الشكل الذهني للطالب مسطحاً جداً أو خاطئاً، يتلقى "تصحيحاً" ويعيد المحاولة.
النتيجة: يتعلم الطالب توليد نموذج ذهني ثلاثي الأبعاد تقريبي يطابق الواقع، دون الحاجة إلى مسح ثلاثي الأبعاد فعلي لكل جسم.

المرحلة 2: درس "سيد اللعبة" (التعلم التعزيزي)
بعد أن يصبح الطالب قادراً على بناء نموذج ذهني ثلاثي الأبعاد تقريبي، يحتاج لتعلم كيفية استخدامه لحل الألغاز.

يتم إعطاء الذكاء الاصطناعي سؤالاً (مثلاً: "هل القطة أقرب إلى النافذة أم إلى الباب؟").
يبني الذكاء الاصطناعي نموذجه الذهني ثلاثي الأبعاد، ويفكر في الإجابة، ثم يعطي نتيجة.
إذا كانت الإجابة صحيحة، يحصل الذكاء الاصطناعي على "مكافأة" (مثل ضربة على الظهر تشجيعاً له).
إذا كانت الإجابة خاطئة، يحصل على "لا".
والأهم من ذلك، أن الذكاء الاصطناعي لا يحتاج لأن يُقال له لماذا كان مخطئاً. هو فقط يحتاج لمعرفة ما إذا كانت النتيجة النهائية صحيحة أم خاطئة. ومن خلال آلاف المحاولات، يتعلم صقل نموذجه الذهني ثلاثي الأبعاد للحصول على "الضربة التشجيعية" بشكل متكرر.

4. لماذا يعد هذا أمراً بالغ الأهمية

لا مجهود شاق: الطرق السابقة كانت تتطلب بيانات ثلاثية الأبعاد مكلفة وموسومة يدوياً (مثل قياس كل غرفة في منزل يدوياً). أما 3DThinker فيتعلم من الصور العادية ثنائية الأبعاد، تماماً كما يفعل البشر.
لا أدوات خارجية: بعض أنظمة الذكاء الاصطناعي تحتاج لاستدعاء "آلة حاسبة ثلاثية الأبعاد" منفصلة للمساعدة. أما 3DThinker فيقوم بالتفكير ثلاثي الأبعاد داخل دماغه الخاص.
القابلية للتفسير (رؤية "الأشعة السينية"): بما أن الذكاء الاصطناعي يولد هذه الرموز الذهنية ثلاثية الأبعاد، يمكن للباحثين في الواقع "رؤية" ما يفكر فيه الذكاء الاصطناعي. يمكنهم تحويل أفكار الذكاء الاصطنا_ئ ثلاثية الأبعاد غير المرئية مرة أخرى إلى "سحابة نقاط" (رسم رقمي ثلاثي الأبعاد) ليروا ما إذا كان الذكاء الاصطناعي يتخيل الغرفة بشكل صحيح.

الخلاصة

يعد 3DThinker طفرة لأنه يعلم الذكاء الاصطناعي التوقف عن مجرد "النظر" إلى الصور والبدء في "تخيل" العالم الذي يقبع خلفها. إنه يسد الفجوة بين رؤية صورة ثنائية الأبعاد وفهم الواقع ثلاثي الأبعاد، مما يجعل الذكاء الاصطناعي أفضل بكثير في مهام مثل قيادة السيارات، أو توجيه الروبوتات، أو مساعدتنا في فهم البيئات المعقدة ثلاثية الأبعاد.

إنه الفرق بين روبوت يمكنه وصف غرفة، وروبوت يمكنه بالفعل التنقل داخلها دون الاصطدام بالأثاث.

إليك ملخص تقني مفصل لورقة البحث بعنوان "3DThinker: التخيل الهندسي القائم على الاستدلال المكاني من رؤى محدودة".

1. بيان المشكلة

على الرغم من التقدم السريع في نماذج الرؤية واللغة (VLMs)، إلا أنها تعاني في الاستدلال المكاني ثلاثي الأبعاد عند تزويدها برؤى ثنائية الأبعاد محدودة فقط (مثل الصور أحادية العدسة أو مدخلات متعددة الرؤى متفرقة).

القيود الحالية: تعتمد الطرق الحالية عادةً على:
- الاستدلاء النصي الصرف: الافتقار إلى القدرة على تمثيل التخطيطات ثلاثية الأبعاد المعقدة.
- الإشارات البصرية ثنائية الأبعاد: غير كافية لاستنتاج العمق والهندسة ثلاثية الأبعاد.
- الأدوات/النماذج المسبقة الخارجية: الطرق التي تستخدم مدخلات مساعدة (خرائط العمق، السحب النقطية) أو مشفرات خارجية (مثل DepthAnything، GroundingDINO) تسبب عبئاً في وقت الاستدلال وتفشل في السيناريوهات التي لا تتوفر فيها مثل هذه البيانات.
- الاعتماد على التوسيم: تتطلب العديد من النهج توسيمات ثلاثية الأبعاد كثيفة (مثل الخرائط الإدراكية، أو تسميات BEV) والتي يصعب جمعها بتكلفة منخفضة.
التحدي الجوهري: كيف يمكن تمكين نموذج الرؤية واللغة (VLM) من "تخيل" المشاهد ثلاثية الأبعاد جوهرياً والاستدلال حول العلاقات المكانية من صور ثنائية الأبعاد محدودة دون الاعتماد على نماذج مسبقة ثلاثية الأبعاد خارجية أو توسيمات يدوية كثيفة.

2. المنهجية: 3DThinker

يقترح المؤلفون 3DThinker، وهو إطار عمل يمكّن نماذج الرؤية واللغة من إجراء "التفكير الذهني ثلاثي الأبعاد" (توليد تمثيلات ذهنية ثلاثية الأبعاد داخلية) أثناء عملية الاستدلال. يعمل الإطار دون نماذج مسبقة خارجية أثناء الاستدلال ويستخدم استراتيجية تدريب مكونة من مرحلتين.

أ. توليد البيانات

قام المؤلفون ببناء مجموعة بيانات "سلسلة الأفكام" (CoT) بناءً على مجموعة بيانات MindCube.
باستخدام نموذج لغوي كبير (GPT-4.1)، قاموا بتوليد سلاسل استدلال تتضمن رموزاً خاصة ثلاثية الأبعاد (عناصر نائبة مثل <|latent start|>...<|latent end|>). تمثل هذه الرموز المشهد ثلاثي الأبعاد "المتخيل" داخل مسار الاستدلال.

ب. إطار التدريب ذو المرحلتين

المرحلة 1: محاذاة الميزات الخاضعة للإشراف (التقطير)

الهدف: تعليم نموذج الرؤية واللغة توليد تضمينات كامنة (embeddings) ثلاثية الأبعاد تتوافق مع نموذج تأسيسي ثلاثي الأبعاد مُدرب مسبقاً (تحديداً VGGT - المحول المرتبط بالهندسة البصرية).
العملية:
1. يولد نموذج الرؤية واللغة مسار استدلال يحتوي على رموز خاصة ثلاثية الأبعاد.
2. يتم استخراج الحالات الخفية لهذه الرموز كـ كامنات ثلاثية الأبعاد ( $F_{latent}$ ).
3. يقوم المسقط (Projector) برسم هذه الكامنات في فضاء ميزات نموذج VGGT.
4. دالة الخسارة (Loss Function): يتم تحسين النموذج باستخدام مزيج من:
  - خسارة المحاذاة ثلاثية الأبعاد ( $\mathcal{L}_{3D}$ ): تقلل المسافة بين الكامنات التي تم إسقاطها وميزات VGGT المستخرجة من نفس الصور.
  - الخسارة النصية ( $\mathcal{L}_{text}$ ): خسارة "الاعتراض المتقاطع" (Cross-Entropy) القياسية لضمان بقاء النص المحيط متماسكاً.
النتيجة: يتعلم نموذج الرؤية واللغة "التفكير" في الأبعاد الثلاثية من خلال تقطير المعرفة الهندسية من VGGT دون الحاجة إلى بيانات ثلاثية الأبعاد خام (مثل السحب النقطية) كإشراف مباشر.

المرحلة 2: التفكير الذهني المكاني المعزز (RL)

الهدف: صقل مسار الاستدلال وجودة التخيل الذهني ثلاثي الأبعاد باستخدام إشارات النتيجة فقط، وإزالة الاعتماد على الإشراف المباشر للنموذج المعلم أثناء التحسين.
العملية:
- يستخدم تحسين السياسة النسبية للمجموعات (GRPO).
- المكافآت:
  1. مكافأة الرمز البصري ثلاثي الأبعاد ( $r_{3D}$ ): تقيس تشابه جيب التمام (cosine similarity) بين الكامنات ثلاثية الأبعاد المولدة وميزات VGGT (للحفاظ على الاتساق الهندسي).
  2. مكافأة التنسيق ( $r_{format}$ ): تضمن التزام المخرجات بالهيكل المطلوب (بما في ذلك الرموز الخاصة).
  3. مكافأة الإجابة ( $r_{ans}$ ): مكافأة ثنائية بناءً على صحة الإجابة النهائية.
- يتم تجميد المسقط (Projector) في هذه المرحلة؛ حيث يقوم نموذج الرؤية واللغة بتحسين توليده الداخلي للرموز ثلاثية الأبعاد بناءً على إشارة المكافأة المركبة.

3. المساهمات الرئيسية

أول إطار عمل لـ "التفكير بالثلاثي الأبعاد": يقدم طريقة تمكن نماذج الرؤية واللغة من توليد تمثيلات ذهنية ثلاثية الأبعاد جوهرياً أثناء الاستدلال، بدلاً من الاعتماد على النصوص أو الإشارات ثنائية الأبعاد وحدها.
خالٍ من التوسيم وذاتي (Intrinsic):
- لا يتطلب توسيمات ثلاثية الأبعاد كثيفة (مثل السحب النقطية أو الخرائط الإدراكية) للتدريب.
- لا يعتمد على أدوات خارجية أو نماذج مساعدة (مثل مقدرات العمق) أثناء الاستدلال.
تدريب ذو مرحلتين: مسار مبتكر يجمع بين تقطير الميزات (من نموذج تأسيسي ثلاثي الأبعاد) والتعلم التعزيزي القائم على النتيجة لصقل التخيل المكاني.
القابلية للتفسير: على عكس طرق الاستدلال الكامن الغامضة، يسمح 3DThinker باستعادة التمثيلات ثلاثية الأبعاد (مثل السحب النقطية) من الفضاء الكامن عبر المسقط، مما يتيح تصور ما "يتخيله" النموذج.

4. النتائج التجريبية

تم تقييم الطريقة على عدة اختبارات مرجعية، بما في ذلك MindCube-Tiny، و Ego3D-Bench، و VSI-Bench، و SPBench، وغيرها.

مكاسب الأداء:
- MindCube-Tiny: حقق 3DThinker تحسينات كبيرة مقارنة بالنماذج الأساسية (على سبيل المثال، تحسن Qwen2.5-VL-3B من 33.2% إلى 75.2% مع تدريب S1+S2).
- Ego3D-Bench: تفوق باستمرار على النماذج القوية، بما في ذلك الطرق التي تستخدم مقدرات عمق خارجية (مثل Ego3D-VLM).
- التعميم: أظهرت الطريقة قدرة جيدة على التعميم عبر نماذج أساسية مختلفة (Qwen2.5, InternVL3, LLaVA-OneVision) ومقاييس بارامترات متنوعة (من 3B إلى 78B).
المقارنة مع SOTA (أحدث ما توصل إليه العلم):
- تفوق على نماذج الاستدلال المكاني المتخصصة مثل SpatialLadder و VILASR.
- تجاوز النماذج مغلقة المصدر مثل GPT-4o و o3 في مهام مكانية محددة.
دراسات الاستئصال (Ablation Studies):
- أكدت أن إزالة خسارة المحاذاة ثلاثية الأبعاد ( $\mathcal{L}_{3D}$ ) تؤدي إلى انخفاض كبير في الأداء، مما يثبت ضرورة التأسيس الهندسي.
- أظهرت أن حجم الكامن الأمثل هو حوالي 12 بُعداً؛ حيث تؤدي الأحجام الأكبر إلى تدهور الأداء بسبب التكرار في التمثيل.
- أثبتت أن وضع الرموز ثلاثية الأبعاد في بداية أو نهاية سلسلة الاستدلال أفضل من وضعها في المنتصف (الذي يقطع تماسك النص).

5. الأهمية

تحول في النموذج المعرفي: ينقل الاستدلال المكاني من "الوصف القائم على النص" أو "المدخلات المعززة بالأدوات" إلى التخيل الهندسي الجوهري.
الكفاءة: يلغي الحاجة إلى جمع بيانات ثلاثية الأبعاد مكلفة أو أدوات استدلال خارجية، مما يجعل النموذج أكثر قابلية للنشر في سيناريوهات العالم الحقيقي (مثل القيادة الذاتية، والروبوتات) حيث تتوفر فقط تغذيات الكاميرا.
القابلية للتفسير: يوفر نافذة على "عقل" النموذج، مما يسمح للباحثين بتصور السحب النقطية ثلاثية الأبعاد المعاد بناؤها التي تقود الاستدلال، مما يسد الفجوة بين الاستدلال الكامن والواقع الفيزيائي.
التأثير المستقبلي: يضع حجر الأساس لاستدلال متعدد الوسائط موحد حيث يكون الفهم المكاني ثلاثي الأبعاد قدرة متأصلة في النموذج، وهو أمر بالغ الأهمية للذكاء الاصطائي المجسد (Embodied AI) والمهام المكانية المعقدة.