💻 computer science

Thinking with Spatial Code for Physical-World Video Reasoning

تقدم هذه الورقة البحثية "التفكير باستخدام الكود المكاني"، وهو إطار عمل يحول مقاطع الفيديو من نوع RGB إلى تمثيلات ثلاثية الأبعاد متماسكة زمنياً بشكل صريح باستخدام مشفر مكاني متخصص والتعلم التعزيزي، مما يمكّن النماذج اللغوية الكبيرة من تحقيق أداء رائد في الاستدلال البصري للعالم الفيزيائي على مقياس VSI-Bench.

المؤلفون الأصليون: Jieneng Chen, Wenxin Ma, Ruisheng Yuan, Yunzhi Zhang, Jiajun Wu, Alan Yuille

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jieneng Chen, Wenxin Ma, Ruisheng Yuan, Yunzhi Zhang, Jiajun Wu, Alan Yuille

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تشاهد مقطع فيديو لغرفة معيشة فوضوية. ترى قطة تقفز من فوق الأريكة، وتجري بجانب طاولة قهوة، ثم تختبئ تحت كرسي.

النماذج الحالية للذكاء الاصطناعي (مثل أكثر الدردبات ذكاءً اليوم) تشاهد هذا الفيديو مثل إنسان يمتلك عينين فقط ولكن بلا عقل هندسي. إنهم يرون "كتلة بنية" تتحرك، ثم "كتلة بيضاء" تتحرك. يمكنهم وصف ماذا يرون ("القطة جرت")، لكنهم غالباً ما يرتبكون بشأن أين توجد الأشياء في الفضاء ثلاثي الأبعاد. إذا سألتهم: "هل القطة على يسار أم يمين الطاولة من منظور الطاولة؟"، فقد يخطئون في الإجابة لأنهم يعتمدون فقط على تخمين كيف تبدو الصورة على الشاشة، وليس فهم الغرفة ثلاثية الأبعاد الفعلية.

تقدم هذه الورقة البحثية طريقة جديدة للتفكير تسمى "التفكير باستخدام الكود المكاني" (Spatial Code).

إليك شرح بسيط لكيفية عمل ذلك، باستخدام بعض التشبيهات:

١. المشكلة: "الصورة الضبابية" مقابل "المخطط الهندسي"

تخيل أنك تحاول حل لغز باستخدام صورة ثنائية الأبعاد ضبابية لقطع اللغز. يمكنك تخمين الأشكال، لكنك لا تعرف بالضبط مدى عمقها أو كيف تتداخل مع بعضها البعض في الفضاء ثلاثي الأبعاد.

تحاول معظم نماذج الذاء الاصطناعي حل أسئلة الفيديو عبر النظر إلى "الصورة الضبابية" (بكسلات الفيديو الخام). هي جيدة في التعرف على الوجوه أو الألوان، لكنها سيئة جداً في فهم المسافة، والاتجاه، والتخطيط ثلاثي الأبعاد.

٢. الحل: "المخطط الهندسي للمهندس المعماري"

الإطار الذي وضعه المؤلفون لا يكتفي بمشاهدة الفيديو فحسب؛ بل يترجم الفيديو إلى مخطط ثلاثي الأبعاد (والذي يسمونه "الكود المكاني").

فكر في الأمر كالتالي:

الطريقة القديمة: ينظر الذكاء الاصطناعي إلى فيديو لمطبخ ويقول: "أرى موقداً وثلاجة".
الطريقة الجديدة: يعمل الذكاء الاصطناعي كمهندس معماري فائق السرعة. يشاهد الفيديو ويرسم فوراً مخططاً ثلاثي الأبعاد. يكتب ما يلي:
- الموقد: يقع عند الإحداثيات (X, Y, Z)، يتجه نحو الشمال، حجمه ٢×٢ متر.
- الثلاجة: تقع عند الإحداثيات (X+3, Y, Z)، تتجه نحو الشمال، حجمها ١×١ متر.

هذا "المخطط" هو قائمة من الحقائق، وليس مجرد صورة. إنه يحول الفيديو الفوضوي إلى بيانات رياضية نظيفة.

٣. العملية: خطوتان نحو العبقرية

يعمل النظام في مرحلتين متمايزتين، مثل فريق بناء ومصمم ديكور يعملان معاً.

الخطوة (أ): فريق البناء (المُشفّر المكاني - Spatial Encoder)
هذا هو الجزء الذي يشاهد الفيديو. يستخدم أدوات خاصة (مثل النسخة الرقمية من "Segment Anything" و "Depth Anything") لـ:
١. تحديد الأشياء: "هذه أريكة".
٢. تتبعها: "الأريكة بقيت في مكانها بينما تحركت الكاميرا".
٣. قياسها: "الأريكة طولها ٢ متر وتتجه نحو التلفاز".
٤. المخرج: ينتج "الكود المكاني" (المخطط الهندسي).

الخطوة (ب): مصمم الديكور (النموذج اللغوي - Language Model)
الآن، بدلاً من إعطاء النموذج اللغوي (الذي يمثل "العقل") الفيديو الخام، نعطيه المخطط الهندسي.

السؤال: "إذا كنت واقفاً عند غسالة الأطباق وأواجه الطاولة، هل غسالة الملابس عن يساري أم يميني؟"
الذكاء الاصطناعي القديم: ينظر إلى الفيديو، يرتبك بسبب زاوية الكاميرا، ويخمن.
الذكاء الاصطناعي الجديد: يقرأ المخطط الهندسي. يرى الإحداثيات الدقيقة لغسالة الأطباق، والطاولة، وغسالة الملابس. يقوم بعملية حسابية سريعة (مثل نظام GPS) ويقول: "آه، غسالة الملابس تقع عند الإحداثي X، وهي بالتأكيد في الجهة الأمامية اليسرى".

٤. السر الخفي: "المعيار" (المعلم الصارم)

وجد المؤلفون أنه حتى مع وجود المخطط، قد يرتكب الذكاء الاصطناعي أحياناً "أخطاء منطقية". قد يحسب الأرقام بشكل صحيح ولكنه يكتب الإجابة بشكل خاطئ، أو قد يخطئ في الاتجاه لأنه نسي أن يتخيل نفسه واقفاً عند غسالة الأطباء.

لإصلاح ذلك، استخدموا التعلم المعزز (Reinforcement Learning) مع "معيار مكاني" خاص.

تخيل معلماً يصحح اختبار رياضيات.
التصحيح القديم: "هل حصلت على الإجابة الصحيحة؟ نعم؟ خذ ١٠ نقاط".
التصحيح الجديد (المعيار): "هل حصلت على الإجابة الصحيحة؟ نعم. ولكن هل أظهرت خطوات الحل؟ هل قمت بضبط نظام الإحداثيات بشكل صحيح؟ هل تحققت من الاتجاه؟ إذا خمنت الإجابة الصحيحة دون القيام بالعمليات الحسابية، فستتعرض لخصم من النقاط!"

هذا يجبر الذكاء الاصطناعي على تعلم كيفية التفكير مكانياً، وليس مجرد حفظ الإجابات.

لماذا يهم هذا؟

توضح الورقة البحثية أن جعل الذكاء الاصطناعي أكثر ذكاءً لا يتعلق بجعل "الدماغ" أكبر، بل بإعطائه أدوات أفضل.

النتيجة: نموذجهم، وهو في الواقع أصغر من بعض النماذج التجارية الضخمة (مثل GPT-5 أو Gemini)، يتفوق عليهم جميعاً في مهام الاستدلال المكاني.
الدرس المستفاد: الأمر لا يتعلق بعدد "الخلايا العصبية" التي يمتلكها الذكاء الاصطناعي، بل بمدى فهمه للعالم ثلاثي الأبعاد. من خلال ترجمة الفيديو إلى "كود مكاني" (مخطط هندسي)، فتحوا مستوى من الفهم لا يمكن لمعالجة الفيديو الخام تحقيقه.

باختصار: لقد علموا الذكاء الاصطناعي أن يتوقف عن التحديق في الصورة ويبدأ في قراءة الخريطة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التفكير باستخدام الكود المكاني للاستدلال بالفيديو في العالم الحقيقي" (Thinking with Spatial Code for Physical-World Video Reasoning).

1. بيان المشكلة

تواجه النماذج اللغوية متعددة الوسائط الضخمة (MLLMs) الحالية صعوبة في الإجابة على الأسئلة البصرية (VQA) المتعلقة بالعالم الفيزيائي من خلال الفيديوهات. فبينما تبرع هذه النماذج في وصف المظهر البصري، إلا أنها تفشل في الاستدلال حول:

البنية ثلاثية الأبعاد (3D Structure): أين تقع الأشياء في الفضاء ثلاثي الأبعاد.
العلاقات المكانية (Spatial Relationships): كيف تتجه الأشياء بالنسبة لبعضها البعض.
الديناميكيات الزمنية (Temporal Dynamics): متى تظهر الأشياء، أو تختفي، أو تتحرك.
المنظور (Perspective): الاستدلال من وجهات نظر محددة (مثل: "من منظور الأريكة").

تعتمد النماذج الحالية بشكل كبير على إشارات المظهر ثنائية الأبعاد والسابقة اللغوية، مما يؤدي إلى حلول "اختصار" تفتقر إلى التأسيس الهندسي الصريح. ويرى المؤلفون أن عنق الزجاجة في الاستدلال المكاني ليس حجم النموذج اللغوي، بل جودة التمثيل المكاني ثلاثي الأبعاد المستمد من الفيديو.

2. المنهجية: التفكير باستخدام الكود المكاني

يقوم الإطار المقترح بتحويل فيديو RGB الخام إلى أكواد مكانية ثلاثية الأبعاد صريحة ومتماسكة زمنياً قبل تغذيتها إلى نموذج لغوي ضخم (LLM). يتكون النظام من ثلاث مراحل رئيسية:

أ. المشفر المكاني (وحدة الإدراك)

تقوم هذه الوحدة بتحويل الفيديو المتدفق إلى بيانات رمزية مهيكلة. وهي تستخدم بنية مشفر مزدوج:

المشفر الدلالي (Semantic Encoder): يستخدم نموذج SAM-2 (Segment Anything 2) لاستخراج ميزات مستوى الكائن وإجراء التتبع عبر الإطارات.
المشفر الهندسي (Geometric Encoder): يستخدم Depth Anything 3 لاستخراج ميزات العمق المدركة للبعد الثالث.
الدمج والتنبؤ:
- يتم دمج الميزات عبر آلية الانتباه المتقاطع (cross-attention).
- تقوم رأس كشف ثلاثي الأبعاد (3D Detection Head) بالتنبؤ بمعاملات الكائن السداسية (6D) لكل إطار: التسمية الدلالية ( $l$ )، الموقع ثلاثي الأبعاد ( $p \in \mathbb{R}^3$ )، الحجم ( $s \in \mathbb{R}^3$ )، والاتجاه/الرباعي ( $r \in \mathbb{R}^4$ ).
- توفر رأس العمق (Depth Head) إشرافاً هندسياً كثيفاً (خرائط عمق على مستوى البكسل ومعاملات الكاميرا) لتثبيت التعلم في مناطق الخلفية.
- الدمج الزمني: يتم تجميع التنبؤات لكل إطار في كود مكاني ( $c$ ) على مستوى المشهد عبر دمج صناديق التحديد ثلاثية الأبعاد المتداخلة باستخدام التقارب المكاني وتجميع (3D IoU clustering).

تنسيق المخرجات: يتم تحويل الفيديو إلى قائمة من الكائنات الشبيهة بملفات JSON تحتوي على إحداثيات ثلاثية الأبعاد صريحة، وأبعاد، واتجاهات، جنباً إلى جنب مع وصف عام للمشهد.

ب. الاستدلال اللغوي (وحدة الاستنتاج)

بدلاً من تقديم إطارات الفيديو الخام للنموذج اللغوي الضخم، يقوم النظام بتزويد نموذج لغوي نصي فقط (مثل Qwen3-4B) بـ الأكواد المكانية المهيكلة.

يقوم النموذج اللغوي بـ استدلال صريح قائم على الإحداثيات.
يستفيد من المتغيرات ثلاثية الأبعاد المقدمة لحساب المسافات، والاتجاهات، والتوجهات النسبية رياضياً بدلاً من الاعتماد على الهلوسة البصرية.
يمكن للنموذج اللغوي أيضاً دمج المعرفة بالمنطق العام (على سبيل المثال، فهم أن "أمام الأريكة" يعني اتجاهاً معيارياً معيناً) لتفسير الإحداثيات.

ج. التعلم التعزيزي مع مكافآت المعايير المكانية

لتحسين قدرات الاستدلال للنموذج اللغوي، استخدم المؤلفون تحسين السياسة النسبي للمجموعات (GRPO).

دالة المكافأة: تُستخدم مكافأة مركبة $r(y|x)$ :
$r = r_{accuracy} + r_{format} + r_{rubric}$
مكافأة المعايير المكانية ( $r_{rubric}$ ): هذا هو الابتكار الأساسي. فبدلاً من مجرد مكافأة الإجابة النهائية الصحيحة، تقوم الدالة بتقييم عملية الاستدلال عبر أبعاد محددة:
- الوعي بالمنظور: هل بنى النموذج نظام إحداثيات محلي بالنسبة للمراقب/الكائن؟
- الوعي بالاتجاه: هل استخدم زوايا الانحراف (yaw angles) بشكل صحيح؟
- الاتساق الاتجاهي: هل تجنب الأخطاء المتمحورة حول المشاهد (الخلط بين المحاور العالمية والمحاور النسبية للكائن)؟
- العقوبات: يتم معاقبة النموذج على "التخمينات المحظوظة" (إجابة صحيحة، ولكن استدلال خاطئ) أو تخطي عمليات تحويل الإحداثيات.

3. المساهمات الرئيسية

نموذج جديد: تقديم "التفكير باستخدام الكود المكاني"، وهو انتقال من نماذج (فيديو-إلى-إجابة) من الطرف إلى الطرف إلى مسار "الإدراك ثم الاستدلال" حيث تعمل الأكواد المكانية ثلاثية الأبعاد الصريحة كجسر بين الرؤية واللغة.
مشفر مكاني موحد: تطوير وصفة تدريب توحد الترميز البصري المزدوج (SAM-2 + Depth Anything 3)، وتحليل وتتبع الكائنات سداسي الأبعاد (6D)، والتكثيف الهندسي لتوليد أكواد مكانية مهيكلة من فيديو RGB.
مكافأة المعايير المكانية: اقتراح آلية مكافأة جديدة للتعلم التعزيزي تفرض استدلالاً واعياً بالمنظور ومؤسساً هندسياً، مما يعالج "الانفصال بين الاستدلال والعمل" حيث يحلل النماذج بشكل صحيح ولكنها تجيب بشكل خاطئ.
رؤية تجريبية: إثبات أن جودة الإدراك هي عنق الزجاجة الحرج للاستدلال المكاني، وليس مجرد حجم النموذج.

4. النتائج التجريبية

تم تقييم الطريقة على VSI-Bench (الاستدلال المكاني للفيديو) و Video-RoboSpatial.

الأداء على VSI-Bench:
- حققت الطريقة المقترحة (4 مليار معلمة) دقة بلغت 57.0%، متفوقة على العمالقة المملوكين مثل GPT-5o (55.0%) و Gemini-2.5-Pro (53.5%)، وكذلك النماذج مفتوحة المصدر مثل Qwen3-VL-8B (55.0%).
- باستخدام تسميات الصناديق المحيطة ثنائية الأبعاد، وصلت الدقة إلى 60.0%.
- وفر التعلم التعزيزي مع المعايير المكانية زيادة ثابتة قدرها +3.4% إلى +3.5% فوق خط الأساس غير المعزز بالتعلم التعزيزي.
الإدراك ثلاثي الأبعاد:
- حقق المشفر المكاني درجات F1@0.25 رائدة في ARKitScenes (0.156) و ScanNet (0.209)، متفوقاً على كل من الكواشف القائمة على الصور والطرق القائمة على السحب النقطية (رغم استخدام مدخلات فيديو RGB فقط).
دراسات الاستئصال (Ablation Studies):
- الإدراك مقابل الاستدلال: عندما تم تزويد النموذج بـ الأكواد المكانية الحقيقية (Ground Truth)، حقق نفس النموذج اللغوي (4B) دقة بلغت 73.2% (مقابل 60.0% مع الأكواد المتوقعة)، مما يثبت أن تحسين الإدراك يعزز الاستدلال مباشرة.
- حجم النموذج: أدى زيادة حجم النموذج (من 4B إلى 230B) في النماذج متعددة الوسائط القياسية إلى عوائد متناقصة (الاستقرار عند ~50-55%)، بينما نجحت الطريقة المقترحة مع الأكواد الصريحة في كسر هذا السقف.

5. الأهمية

تحديد عنق الزجاجة: تتحدى الورقة بشكل أساسي سردية "النموذج الأكبر هو الأفضل" للمهام المكانية، حيث تظهر أن جودة التمثيل (البنية ثلاثية الأبعاد الصريحة) أكثر أهمية من عدد المعلمات.
القابلية للتفسير: من خلال إجبار النموذج على الاستدلال بناءً على إحداثيات صريحة، يتم تقليل طبيعة "الصندوق الأسود" في استدلال النماذج اللغوية متعددة الوسائط، مما يجعل الأخطاء أسهل في التشخيص (على سبيل المثال، التمييز بين خطأ الإدراك وخطأ الاستدلال).
القابلية للتعميم: تعمل الطريقة مع الكشف مفتوح المفردات ولا تتطلب مستشعرات ثلاثية الأبعاد (LiDAR/RGB-D)، بل تعتمد فقط على فيديو RGB، مما يجعلها قابلة للتطبيق في سيناريوهات الروبوتات والملاحة الذاتية في العالم الحقيقي.
المصدر المفتوح: يلتزم المؤلفون بإصدار الكود والنماذج ووصفات التدريب، مما يسهل المزيد من الأبحاث في فهم الفيديو ثلاثي الأبعاد.

ختاماً، يضع "التفكير باستخدام الكود المكاني" معياراً جديداً للأداء من خلال فصل الإدراك ثلاثي الأبعاد عن الاستدلال اللغوي، واستخدام الأكواد المكانية المهيكلة كـ "لغة مشتركة" لتمكين استدلال دقيق ومؤسس هندسياً في مهام الفيديو في العالم الفيزيائي.