💻 computer science

Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models

تقدم هذه الورقة QuatRoPE، وهي طريقة لتمثيل الموضع قابلة للتوسع تقوم بحساب العلاقات المكانية ثلاثية الأبعاد الزوجية صراحةً عبر نواتج ضرب الانتباه ذات التعقيد الخطي، إلى جانب امتداد RoPE ذي البوابة المعزولة (IGRE) للحفاظ على قدرات النماذج اللغوية الكبيرة الأصلية، مما يعزز الاستدلال المكاني لدى الوكلاء المجسدين دون مشكلات القابلية للتوسع أو الدقة التي واجهت النهج السابقة.

المؤلفون الأصليون: Shengli Zhou, Minghang Zheng, Feng Zheng, Yang Liu

نُشر 2026-03-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shengli Zhou, Minghang Zheng, Feng Zheng, Yang Liu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم روبوت كيف "يرى" في الأبعاد الثلاثية

تخيل أنك تحاول تعليم روبوت ذكي جداً (نموذج لغوي كبير أو LLM) كيفية التنقل في غرفة معيشة فوضوية. تريد إعطاءه تعليمات مثل: "التقط الكوب الأحمر الجالس على الطاولة بجانب المصباح".

للقيام بذلك، يحتاج الروبوت إلى الاستدلال المكاني (Spatial Reasoning): وهو القدرة على فهم مكان الأشياء بالنسبة لبعضها البعض، وليس فقط شكلها.

ما المشكلة؟ معظم الروبوتات بارعة في قراءة النصوص ولكنها سيئة جداً في فهم الفضاء ثلاثي الأبعاد. فهي لا تدرك بشكل طبيعي أن كلمة "بجانب" تعني "قريباً في الفضاء ثلاثي الأبعاد".

المشكلة: طريقتان سيئتان لتعليم المساحة

يوضح البحث أن المحاولات السابقة لتعليم الروبوت هذه المهارة كانت تعاني من عيبين رئيسيين:

نهج "إحداثيات نظام تحديد المواقع" (الموقع المطلق):
- كيف كان يعمل: كان الباحثون يعطون الروبوت إحداثيات X و Y و Z الدقيقة لكل جسم (مثلاً: "الكرسي عند 5.2، 3.1، 0.8").
- العيب: تخيل أن تقول لإنسان: "الكوب عند الإحداثيات 100، 200، 50". بدون خريطة، هذا الرقم لا يعني شيئاً. في غرفة ثلاثية الأبعاد، يكون "نقطة الأصل" (0,0,0) اختيارياً. يضطر الروبوت لبذل جهد هائل ليعرف أن "100، 200، 50" تقع بجانب "102، 201، 50". الأمر يشبه محاولة حل لغز رياضي في كل مرة تريد فيها التقاط كوب.
- النتيجة: يصاب الروبوت بالارتباك ويفقد القدرة على إدراك العلاقات بين الأشياء.
نهج "سرد كل علاقة" (التوسع التربيعي):
- كيف كان يعمل: حاول الباحثون إخبار الروبوت بكل علاقة بشكل صريح: "الكرسي بجانب الطاولة. الطاولة بجانب المصباح. المصباح بجانب الأريكة..."
- العيب: إذا كان لديك 10 أجسام، سيكون لديك 100 علاقة لتذكرها. إذا كان لديك 1,000 جسم (مثل غرفة مزدحمة)، سيكون لديك مليون علاقة لتذكرها!
- النتيجة: هذا يؤدي إلى "انفجار في البيانات". عقل الروبوت (LLM) يصاب بالإرهاق وينفد منه الذاكرة. ولإصلاح ذلك، حاولت الطرق السابقة حذف "الأجسام البعيدة"، لكن هذا أمر محفوف بالمخاطر لأن الجسم الأكثر أهمية قد يكون بعيداً أحياناً.

الحل: QuatRoPE (البوصلة السحرية)**

يقترح المؤلفون طريقة جديدة تسمى QuatRoPE. فكر في الأمر كأنك تعطي كل جسم في الغرفة بوصلة سحرية بدلاً من إحداثيات GPS أو قائمة علاقات.

إليك كيف يعمل، باستخدام تشبيه:

الإعداد: بدلاً من إعطاء الروبوت قائمة مسافات، نقوم بربط "دوران" خاص بكل رمز (التمثيل الرقمي) لكل جسم.
السحر: عندما ينظر عقل الروبوت إلى جسمين (مثل كرسي وطاولة) ويحاول تحديد مدى الانتباه الذي يجب أن يخص كل منهما، فإنه يقوم بعملية رياضية خاصة (ضرب نقطي - dot product).
النتيجة: بفضل هذا "الدوران" الخاص (باستخدام ما يسمى الرباعيات - Quaternions، وهي تشبه البوصلات ثلاثية الأبعاد)، تقوم الرياضيات تلقائياً بإلغاء الموقع المطلق.
- التشبيه: تخيل شخصين يرتديان نظارات خاصة. عندما ينظر أحدهما للآخر، تحسب نظاراتهما تلقائياً المسافة بينهما، بغض النظر عن مكان وقوفهما في العالم. إذا كانا قريبين، تتوهج النظارات بضوء ساطع. وإذا كانا بعيدين، تظل النظارات خافتة.
لماذا هو أفضل:
- مقياس خطي: تحتاج فقط إلى "بوصلة" واحدة لكل جسم. إذا كان لديك 1,000 جسم، فلديك 1,000 رمز فقط. لا يوجد انفجار في البيانات!
- شمولي: يعامل الفضاء ثلاثي الأبعاد ككتلة واحدة. لا يمكن خداعه بالأجسام التي تكون قريبة على محور واحد (مثل X) ولكنها بعيدة على محور آخر (مثل Y). إنه يرى المسافة ثلاثية الأبعاد الحقيقية.

المساعد الجانبي: IGRE (سماعات إلغاء الضجيج)**

كان هناك عقبة واحدة. عقل الروبوت (LLM) لديه بالفعل نظام مدمج لفهم ترتيب الكلمات في الجملة (يسمى RoPE). إذا أضفت "البوصلة السحرية" ثلاثية الأبعاد فوق نظام ترتيب الكلمات، سيبدآن في التنازع، مثل شخصين يحاولان التحدث بلغات مختلفة في نفس الوقت.

لإصلاح ذلك، ابتكر المؤلفون IGRE (امتداد RoPE المعزول والمحكوم).

التشبيه: تخيل أن عقل الروبوت هو مكتب مزدحم.
- Language RoPE هو السكرتير الذي ينظم البريد (الكلمات).
- QuatRoPE هو حارس الأمن الذي ينظم الأثاث (الأجسام).
- المشكلة: إذا حاول حارس الأمن تنظيم البريد، ستعم الفوضى.
- حل IGRE: قاموا ببناء جدار زجاجي. حارس الأمن (QuatRoPE) يعمل فقط على رموز الأثاث. والسكرتير (Language RoPE) يعمل فقط على رموز النصوص. لا يتداخل أحدهما مع الآخر.
- "البوابة": النظام يسمح لعملية "حساب المسافة" بالحدوث فقط عندما "يتحدث" جسمان مع بعضهما. إذا كانت كلمة ما تتحدث مع جسم، يتم إيقاف (حجب) حساب المسافة، حتى لا يرتبك الروبوت.

"اختبار الحقيقة": معيار ASR**

أدرك المؤلفون أن الاختبارات الحالية كانت "تغش".

الاختبار القديم: "أين الكرسي الأحمر؟"
الغش: لم يكن الروبوت بحاجة لمعرفة الاستدلال المكاني؛ كان يكفيه معرفة أن "أحمر" هو لون والبحث عن الكرسي الأحمر الوحيد. لم يكن يفهم فعلياً معنى "تحت الطاولة".

لإصلاح ذلك، بنوا معيار ASR (الاستدلال المكاني الخالي من الصفات).

الاختبار الجديد: "أين الكرسي؟" (بدون ذكر اللون، أو الشكل، أو الحجم).
الهدف: يجب على الروبوت استخدام القرائن المكانية (مثل "بجانب المصباح") للعثور على الإجابة. إذا فشل، فهذا يعني أنه لا يستطيع القيام بذلك. هذا يثبت أن الروبوت يفكر حقاً في فضاء ثلاثي الأبعاد، وليس مجرد تخمين بناءً على الألوان.

النتائج

عندما اختبروا هذا النظام الجديد:

أصبح أكثر ذكاءً: حلت الروبوتات الألغاز المكانية بشكل أفضل بكثير من ذي قبل.
كان أسرع: لم يرهق النظام عند التعامل مع غرف كبيرة.
فهم البشر بشكل أفضل: بدأ الروبوت في تقديم تخمينات "تشبه تخمينات البشر". على سبيل المثال، إذا كان هناك نافذتان، وقلت "النافذة التي على يسار الباب"، يختار الروبوت النافذة الأقرب إلى الباب، مدركاً المعنى الضمني، تماماً كما يفعل البشر.

الملخص

QuatRoPE هي طريقة جديدة لتعليم الذكاء الاصطناي كيفية فهم الفضاء ثلاثي الأبعاد. بدلاً من إعطائه إحداثيات مربكة أو قوائم مرهقة من العلاقات، تمنح كل جسم "بوصلة سحرية" تحسب تلقائياً مدى قرب الأشياء من بعضها البعض. وتضمن تقنية IGRE أن هذه المهارة الجديدة لن تعطل قدرة الذكاء الاصطناعي على القراءة والتحدث. والنتيجة هي روبوت يمكنه فعلياً التنقل في غرفة والعثور على الأشياء بناءً على مكانها، وليس فقط بناءً على شكلها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Scalable Object Relation Encoding for Better 3D Spatial Reasoning in Large Language Models" (QuatRoPE).

1. بيان المشكلة

تتناول الورقة تحدي تمكين النماذج اللغوية الكبيرة (LLMs) من إجراء الاستدلال المكاني ثلاثي الأبعاد (تحديد مواقع الأشياء بناءً على العلاقات المكانية) في مهام الرؤية واللغة ثلاثية الأبعاد (3D VL). تواجه النهج الحالية ثلاثة قيود رئيسية:

ندرة البيانات: هناك نقص في البيانات المقترنة بين النصوص والمشاهد ثلاثية الأبعاد، مما يجعل من الصعب تدريب النماذج بقدرات استدلال قوية من الصفر.
ترميز الموضع المطلق غير الفعال: الطرق التي تحقن الإحداثيات ثلاثية الأبعاد المطلقة مباشرة في ميزات الأشياء غالباً ما تفشل لأن الأصول المطلقة تفتقر إلى المعنى الفيزيائي في الفضاء ثلاثي الأبعاد. علاوة على ذلك، فإن "دمج الميزات المبكر" (خلط الإحداثيات مع ميزات الأشياء قبل وصولها للنموذج اللغوي) يمنع النموذج من تعلم العلاقات الثنائية بشكل صريح.
مشكلات القابلية للتوسع مع العلاقات الصريحة: تعاني الطرق التي تشفر جميع العلاقات المكانية الثنائية كرموز مدخلة بشكل صريح من تعقيد تربيعي ( $O(n^2)$ ). ومع وجود مشاهد تحتوي على مئات الأشياء، يتجاوز هذا حدود مدخلات النموذج اللغوي. كما أن استراتيجيات التقليم (مثل الاحتفاظ فقط بالجيران الأقرب) تخاطر بالتخلص من العلاقات المكانية الحرجة، مما يؤدي إلى أخطاء في الاستدلال.
التداخل مع ترميز RoPE اللغوي: يؤدي الجمع بين تضمينات الموضع ثلاثية الأبعاد وترميز الموضع الدوراني (RoPE) اللغوي الموجود في النماذج اللغوية الكبيرة إلى حدوث تداخل، مما يؤدي إلى تدهور الأداء المكاني واللغوي على حد سواء.

2. المنهجية

يقترح المؤلفون QuatRoPE (ترميز الموضع الدوراني الرباعي - Quaternion Rotary Positional Embedding) و IGRE (امتداد RoPE المعزول بالبوابة - Isolated Gated RoPE Extension) لحل هذه المشكلات.

أ. QuatRoPE: ترميز العلاقات الثنائية القابل للتوسع

بدلاً من ترميز المواقع المطلقة أو رموز العلاقات الصريحة، يقوم QuatRoPE بترميز الإحداثيات ثلاثية الأبعاد المطلقة في رموز متعلقة بالأشياء ويستفيد من آلية الانتباه (Attention) في المحولات (Transformer) لاستخلاص المواقع النسبية ديناميكياً.

ترميز المتجه الشامل: على عكس RoPE القياسي الذي يعالج المحاور بشكل مستقل، يعامل Quat-RoPE الإحداثي ثلاثي الأبعاد $(x, y, z)$ كـ متجه شامل. فهو يطبق دوران الكواتيرنيون (quaternion rotations) على متجهات الاستعلام ( $\vec{q}$ ) والمفتاح ( $\vec{k}$ ) في طبقة الانتباه بناءً على موقع الشيء ثلاثي الأبعاد.
الآلية الرياضية:
- دالة الدوران $f(\vec{x}, \vec{p})$ تقوم بتدوير المتجه $\vec{x}$ بواسطة الموضع $\vec{p}$ باستخدام الكواتيرنيونات.
- الجوهر يكمن في أن حاصل الضرب النقطي (درجة الانتباه) بين متجهين مدورين يعتمد فقط على موقعهما النسبي ( $\vec{m} - \vec{n}$ )، وليس على مواقعهما المطلقة.
- الصيغة: $\langle f(\vec{q}, \vec{m}), f(\vec{k}, \vec{n}) \rangle = g(\vec{q}, \vec{k}, \vec{m}-\vec{n})$ .
الفوائد:
- قابلية التوسع الخطي: يظل طول المدخلات $O(n)$ (رمز واحد لكل كائن) مع التقاط جميع العلاقات الثنائية $O(n^2)$ ضمنياً.
- النزاهة الهندسية: من خلال ترميز الإحداثيات كمتجهات موحدة، فإنه يمنع أخطاء "التقارب الزائف" حيث تكون الأشياء قريبة على محور واحد ولكن بعيدة في الفضاء ثلاثي الأبعاد (وهو عيب في الطرق المستقلة عن المحاور).
- أقصى حد للعلاقة (Maxim of Relation): يزيد بشكل طبيعي من درجات الانتباه للأشياء المتقاربة مكانياً، مما يتماشى مع التحيزات المعرفية البشرية للمراجع الضمنية (على سبيل المثال، "النافذة الموجودة على اليسار" تعني الأقرب).

ب. IGRE: امتداد RoPE المعزول بالبوابة

لدمج QuatRoPE مع النماذج اللغوية الكبيرة سابقة التدريب التي تستخدم بالفعل RoPE لغوي دون التسبب في تداخل:

عزل الأبعاد: يتم تطبيق QuatRoPE على مجموعة محددة من الأبعاد في متجهات الاستعلام/المفتاح، بينما يعمل Rope اللغوي على الأبعاد الأصلية.
آلية البوابة (Gating Mechanism):
- بالنسبة لـ رموز الأشياء، يتم ملء أبعاد QuatRoPE بقيم مدورة.
- بالنسبة لـ الرموز غير الكائنية (مثل المطالبات والأسئلة)، يتم ملء هذه الأبعاد بأصفار (zero-padding).
الأثر: يضمن ذلك أن الدوران المكاني يؤثر فقط على درجات الانتباه عندما يتفاعل رمزان لكائنين. الرموز غير الكائنية لا تتلقى دوراناً مكانياً، مما يمنع النموذج من ربط المطالبات النصية خطأً بأصل الإحداثيات $(0,0,0)$ . هذا يحافظ على القدرات اللغوية الأصلية للنموذ_ اللغوي مع إضافة الاستدلال المكاني.

ج. معيار الاستدلال المكاني الخالي من السمات (ASR)

لتقييم الاستدلال المكاني بدقة دون تحيز من سمات الأشياء (اللون، الفئة)، أنشأ المؤلفون معياراً جديداً:

البناء: مستمد من ScanQA، عبر تصفية الأسئلة التي يتم فيها تحديد الكائن المستهدف فقط من خلال علاقته المكانية بالمرتكزات (anchors)، مع إزالة جميع الأوصاف المتعلقة بالسمات.
التنسيق: تم تحويله إلى تنسيق اختيار من متعدد للتعرف البصري ثلاثي الأبعاد (3D VG) للقضاء على تحيزات توليد اللغة.

3. المساهمات الرئيسية

QuatRoPE: طريقة ترميز موضع مبتكرة تحقق طول مدخلات $O(n)$ مع نمذجة صريحة للعلاقات المكانية الثنائية $O(n^2)$ عبر دوران الكواتيرنيون في طبقات الانتباه.
IGRE: آلية لدمج QuatRoPE بسلاسة مع Rope اللغوي، مما يعزل الأبعاد المكانية واللغوية لمنع التداخل والحفاظ على القدرات سابقة التدريب.
معيار ASR: معيار تشخيصي مصمم لتقييم الاستدلال المكاني حصرياً عبر إزالة الإشارات المربكة للسمات.
أداء رائد (SOTA): أظهر تحسناً مستمراً وكبيراً مقارنة بالنماذج القوية (Chat-Scene, 3DGraphLLM) عبر مهام متعددة من مهام الرؤية واللغة ثلاثية الأبعاد.

4. النتائج التجريبية

قيم المؤلفون نهجهم على ScanRefer و Multi3DRef و SQA3D ومعيار ASR الجديد.

الأداء المقارن:
- في ScanRefer (التعرف البصري ثلاثي الأبعاد)، حقق QuatRoPE + 3DGraphLLM-7B نسبة 58.30% Acc@0.25، متفوقاً على النموذج الأساسي (57.0%) والنماذج الأخرى الرائدة.
- في SQA3D (الأسئلة والأجوبة الموقعية)، لوحظت مكاسب مماثلة، حيث وصل نموذج 7B إلى 55.2% EM@1.
- أظهرت الطريقة مكاسب ثابتة عبر أحجام نماذج مختلفة (1B و 7B) وبنيات مختلفة.
نتائج معيار ASR:
- قدم QuatRoPE مكاسب كبيرة في مهام الاستدلال المكاني الصرفة (على سبيل المثال، زيادة بنسبة +19.48% في Chat-Scene 1B)، مما يثبت أن النموذج يتعلم العلاقات المكانية بدلاً من الاعتماد على سمات الأشياء.
دراسات الاستئصال (Ablation Studies):
- IGRE مقابل الجمع (Additive): تفوق IGRE على تركيبات RoPE الجمعية البسيطة، مما يؤكد ضرورة عزل الأبعاد.
- الشامل مقابل الإحداثيات الخام: كان حقن الإحداثيات الخام ضعيف الأداء (خاصة في 3DGraphLLM)، بينما تفوق QuatRoPE (الشامل) بشكل كبير على M-RoPE (التعامل مع المحاور المتعددة)، مما يؤكد أهمية ترميز المتجه الشامل.
- التقارب الزائف: أظهر QuatRoPE مزايا متزايدة مع زيادة شدة "التقارب الزائف" (الأشياء القريبة على محور واحد ولكن البعيدة في الفضاء ثلاثي الأبعاد).

5. الأهمية

تقدم هذه الورقة حلاً قابلاً للتوسع وصارماً رياضياً لدمج الاستدلال المكاني ثلاثي الأبعاد في النماذج اللغوية الكبيرة.

القابلية للتوسع: تحل مشكلة التعقيد التربيعي، مما يجعل من الممكن معالجة المشاهد ثلاثية الأبعاد المعقدة التي تحتوي على مئات الأشياء دون الحاجة لتقليم العلاقات الحرجة.
القدرة على التعميم: تسمه آلية IGRE الاستفادة من النماذج اللغوية القوية سابقة التدريب دون الحاجة لإعادة التدريب من الصفر، وهي ميزة حاسمة نظراً لندرة البيانات ثلاثية الأبعاد.
المحاكاة المعرفية: من خلال محاكاة الانتباه المكاني البشري (أقصى حد للعلاقة)، يحسن النموذج قدرته على التعامل مع المراجع الضمنية في اللغة الطبيعية.
معيار التقييم: يضع تقديم معيار ASR معياراً جديداً لتقييم قدرات الاستدلال المكاني الحقيقية، وفصلها عن التعرف الدلالي.

باختصار، يقوم QuatRoPE بتحويل الطريقة التي يتم بها تمثيل الهندسة ثلاثية الأبعاد في النماذج اللغوية الكبيرة، من رموز علاقات صريحة ومكلفة إلى نظام تموضع نسبي فعال مدفوع بالانتباه، مما يعزز بشكل كبير قدرات الذكاء الاصطناعي المجسد (Embodied AI).