🤖 AI

C^2ROPE: Causal Continuous Rotary Positional Encoding for 3D Large Multimodal-Models Reasoning

تقترح هذه الورقة البحثية $C^2ROPE$ ، وهي طريقة جديدة للترميز الموضعي تدمج الإحداثيات المكانية الديكارتية مع المؤشرات الزمنية وتستخدم قناع تشيبيشيف السببي للتغلب على فقدان الموضعية المكانية ومحدودية التلاشي طويل الأمد لترميز الموضع الدوراني القياسي في النماذج اللغوية الكبيرة متعددة الوسائط ثلاثية الأبعاد.

المؤلفون الأصليون: Guanting Ye, Qiyan Zhao, Wenhao Yu, Xiaofeng Zhang, Jianmin Ji, Yanyong Zhang, Ka-Veng Yuen

نُشر 2026-02-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Guanting Ye, Qiyan Zhao, Wenhao Yu, Xiaofeng Zhang, Jianmin Ji, Yanyong Zhang, Ka-Veng Yuen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: تعليم روبوت كيف "يرى" في الأبعاد الثلاثية

تخيل أنك تحاول تعليم روبوت ذكي جدًا (ذكاء اصطناعي) كيف يتنقل في منزل، أو يجد مفتاحًا مفقودًا، أو يجيب على أسئلة حول غرفة ثلاثية الأبعاد. للقيام بذلك، تمنح الروبوت دماغًا يعتمد على نموذج لغوي كبير (LLM) — وهو ببساء عملية معالجة نصوص فائقة الذكاء تعرف كيف تكتب القصص وتدردش.

المشكلة؟ النصوص عبارة عن خط مستقيم. الجمل تتدفق من اليسار إلى اليمين، كلمة تلو الأخرى. لكن الفضاء ثلاثي الأبعاد هو شبكة. الغرفة لها ارتفاع وعرض وعمق.

تجادل الورقة البحثية بأن الطريقة الحالية التي نُجبر بها الصور ثلاثية الأبعاد على الدخول في هذه "الأدمغة النصية" معطلة. يقترح المؤلفون حلاً جديدًا يسمى C2RoPE لجعل الروبوت يفهم الفضاء بشكل أفضل.

المشكلة: خطأ "سير الناقل"

لتغذية ذكاء اصطناعي قائم على النصوص بصورة ثلاثية الأبعاد، يجب على الكمبيوتر تحويل الصورة إلى قائمة طويلة من المربعات الصغيرة (الرموز/tokens)، مثل تحويل صورة إلى شريط سينمائي.

الطريقة الحالية (المسماة RoPE) تعامل هذا الشريط كأنه سير ناقل (Conveyor Belt). تقوم بترقيم المربعات 1، 2، 3، 4... صفًا تلو الآخر (من اليسار إلى اليمين، ثم من الأعلى إلى الأسفل).

التشبيه 1: مشكلة "الجار" (فقدان التجاور المكاني)

تخيل أنك جالس في مسرح.

في العالم الحقيقي (الفضاء ثلاثي الأبعاد): الشخص الجالس عن يمينك مباشرة هو جارك. والشخص الجالس خلفك مباشرة هو أيضًا جارك.
في طريقة الذكاء الاصطناعي الحالية (RoPE): يقوم الذكاء الاصطناعي بترقيم المقاعد مثل السير الناقل.
- أنت المقعد رقم 10.
- الشخص الذي عن يمينك هو المقعد رقم 11. (رائع، أنتما جيران).
- لكن الشخص الذي خلفك؟ لأن السير أنهى الصف وبدأ الصف التالي، فهو المقعد رقم 100.
- النتيجة: بالنسبة للذكاء الاصطناعي، الشخص الذي خلفك هو غريب من جزء مختلف تمامًا من الفيلم، رغم أنكما تجلسان بجانب بعضكما البعض في الفضاء ثلاثي الأبعاد. يفقد الذكاء الاصطناعي الاتصال "الجيراني" للعمود الرأسي.

التشبيه 2: "البداية المنسية" (إهمال الرموز البصرية)

الذكاء الاصطناعي مُدرب على القصص. في القصة، عادة ما تكون البداية أقل أهمية من النهاية لأن النهاية تحمل الخاتمة أو المفاجأة. يتم تعليم الذكاء الاصطناعي أن يولي أكبر قدر من الاهتمام لآخر الكلمات التي وردت، ويتجاهل الكلمات القديمة.

عندما ينظر الذكاء الاصطناعي إلى غرفة ثلاثية الأبعاد، فإنه يرى آلاف الرموز الصورية.

ولأن الذكاء الاصطناعي يعتقد أن "الأحدث = الأكثر أهمية"، فإنه يهتم فقط بآخر بضعة مربعات من شريط الصورة.
إنه يتجاهل تمامًا أول 90% من الصورة (بداية الشريط)، رغم أن ذلك الجزء قد يحتوي على الباب الذي تحتاج لفتحه أو الكرسي الذي تحتاج للجلوس عليه.
النتيجة: يصاب الروبوت بـ "فقدان ذاكرة" تجاه معظم الغرفة التي ينظر إليها.

الحل: C2RoPE

قام المؤلفان، غوانتينغ يي وفريقه، ببناء نظام جديد يسمى C2RoPE (التشفير الموضعي الدوار المستمر والسببي). اعتبره بمثابة إعطاء الروبوت خريطة أفضل.

الإصلاح رقم 1: "بطاقة الهوية ثلاثية الأبعاد" (الاستمرارية المكانية-الزمانية)

بدلاً من مجرد إعطاء كل مربع صورة رقمًا واحدًا (1، 2، 3...)، يمنح C2RoPE كل مربع بطاقة هوية مكونة من 3 أجزاء:

الزمن: موقعه في القائمة (مثل النظام القديم).
الإحداثي السيني (X): مدى بعده يسارًا أو يمينًا.
الإحداثي الصادي (Y): مدى بعده أعلى أو أسفل.

التشبيه: تخيل بدلاً من السير الناقل، لديك شبكة مدينة.

إذا كنت عند "الشارع الأول والشارع الثاني"، فإن الذكاء الاصطناعي يعرف أنك بجوار "الشارع الأول والشارع الثالث" مباشرة.
كما يعرف أنك بجوار "الشارع الثاني والشارع الأول" مباشرة.
من خلال الاحتفاظ بالإحداثيات X و Y، لا يفقد الذكاء الاصطناعي أبدًا تتبع من هو "الجار" في العالم ثلاثي الأبعاد الحقيقي، حتى لو كانوا بعيدين في القائمة.

الإصلاح رقم 2: قاعدة "مسافة تشيبيشيف" (القناع السببي)

افترض النظام القديم أن "ما يأتي لاحقًا في القائمة هو الأكثر أهمية". النظام الجديد يقول: "ما هو أقرب جسديًا في الغرفة هو الأكثر أهمية."

لقد استخدموا مفهومًا رياضيًا يسمى مسافة تشيبيشيف (تخيلها مثل حركة "الملك" في الشطرنج الذي يتحرك مربعًا واحدًا في أي اتجاه، بما في ذلك القطري).

القاعدة: يُطلب من الذكاء الاصطناعي الانتباه لقطع الصورة بناءً على مدى قربها من مركز الصورة، وليس فقط بناءً على مدى تأخرها في القائمة.
النتيجة: يتوقف الذكاء الاصطناعي عن تجاهل بداية الصورة. يدرك أن "بداية" الصورة (الجانب الأيسر من الغرفة) هي بنفس القدر من الأهمية السببية مثل "نهاية" الصورة (الجانب الأيمن). يتوقف عن نسيان الباب لمجرد أنه تم مسحه أولاً.

النتيجة: روبوت أكثر ذكاءً

اختبر المؤلفون هذا على اختبارات معيارية شهيرة ثلاثية الأبعاد (مثل ScanQA و SQA3D)، وهي بمثابة امتحانات للروبوتات لمعرفة ما إذا كان بإمكانها الإجابة على أسئلة حول الغرف ثلاثية الأبعاد.

قبل C2RoPE: كان الروبوت ينظر إلى الغرفة، ينسى نصفها، ويخمن بشكل خاطئ. (مث. "هل المغسلة على اليسار؟" -> "لا أعرف، ربما على اليمين؟").
بعد C2RoPE: يتذكر الروبوت الغرفة بأكملها، ويفهم التخطيط، ويجيب بشكل صحيح.

باختصار:
تعالج هذه الورقة البحثية خللاً حيث كانت روبوتات الذكاء الاصطناعي تعامل الغرف ثلاثية الأبعاد كأنها شرائط ورقية طويلة ومسطحة، مما يؤدي لفقدان تتبع الجيران ونسيان بداية المشهد. يوفر C2RoPE للذكاء الاصطناعي خريطة حقيقية ثلاثية الأبعاد، مما يضمن فهمه أن "الأعلى" بجانب "الأسفل" وأن بداية الغرفة لا تقل أهمية عن نهايتها. وهذا يجعل الروبوت أفضل بكثير في التنقل والاستنتاج في العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "C2RoPE: الترميز الدوراني الموضعي المستمر والسببي (C2RoPE) للاستدلال في النماذج اللغوية الكبيرة متعددة الوسائط ثلاثية الأبعاد."

1. بيان المشكلة

تتناول الورقة القيود الحرجة في النماذج اللغوية الكبيرة متعددة الوسائط ثلاثية الأبعاد (3D LMMs) التي ترث الترميز الموضعي الدوراني (RoPE) من النماذج اللغوية الكبيرة (LLMs). وبينما تستخدم النماذج اللغوية الكبيرة نظام RoPE بفعالية للتسلسلات النصية أحادية البعد، فإن تطبيقها مباشرة على البيانات المرئية ثلاثية الأبعاد (التي تُمثل غالبًا كرموز صور ثنائية الأبعاد متعددة المشاهد) يؤدي إلى نمطي فشل محددين:

فقدان الموضعية المكانية (Spatial Locality Loss): يقوم نظام RoPass القياسي بتعيين مؤشرات موضعية لرموز الصور باستخدام ترتيب المسح الرأسي (raster-scan order) (من اليسار إلى اليمين، ومن الأعلى إلى الأسأسفل). وبينما يحافظ هذا الترتيب على الاستمرارية على طول بُعد الصف، فإنه يكسر الاستمرارية على طول بُعد العمود. فالرموز المتجاورة مكانياً (مثل البكسلات المتجاورة رأسياً) تتلقى مؤشرات غير مستمرة، مما يعطل قدرة النموذج على التقاط العلاقات المكانية المحلية.
إهمال الرموز المرئية (تلاشي المدى الطويل - Long-term Decay): يفترض نظام RoPE أن الرموز الأقرب في التسلسل الزمني هي الأكثر ارتباطاً من حيث السببية. وفي النماذج اللغبية الكبيرة ثلاثية الأبعاد، يتسبب هذا في تلاشي الانتباه (attention decay) للرموز التي ظهرت في وقت سابق. ومع زيادة طول التسلسل (خاصة مع المدخلات متعددة المشاهد)، يتجاهل النموذج تدريجياً الرموز المرئية المبكرة، ويركز الانتباه فقط على الرموز القريبة من التعليمات أو نهاية التسلسل. يؤدي هذا إلى ضعف قدرات الاستدلال في المشاهد ثلاثية الأبعاد المعقدة.

2. المنهجية: C2RoPE

لحل هذه المشكلات، اقترح المؤلفون C2RoPE، وهو نظام ترميز موضعي مبتكر يتكون من مكونين أساسيين:

أ. الترميز الموضعي المستمر مكاني-زماني

بدلاً من استخدام مؤشر زمني أحادي البعد، يبني C2RoPE مؤشراً موضعياً هجيناً ثلاثي (triplet hybrid positional index) لكل رمز مرئي $(m, x, y)$ :

$m$ (الزمني): المؤشر أحادي البعد الأصلي من ترتيب المسح الرأسي.
$x, y$ (المكاني): إحداثيات ديكارتية مشتقة من إسقاط الصورة ثنائية الأبعاد على نظام إحداثيات يكون فيه مركز الصورة هو نقطة الأصل $(0,0)$ .
استراتيجية تخصيص التردد (Frequency Allocation Strategy): يتم ترميز الثلاثي في مصفوفة الدوران باستخدام نطاقات تردد متميزة:
- يتم تخصيص غالبية أبعاد التردد للمكون الزمني ( $m$ ) (96 من أصل 128) للحفاظ على التبعيات الزمنية المدربة مسبقاً للنموذج اللغوي الكبير.
- يتم دمج المكونات المكانية ( $x, y$ ) في أبعاد التردد العالي المتبقية (32 من أصل 128). وهذا يسمح للنموذج بأن يكون حساساً للتغيرات المكانية دون تعطيل التدفق الدلالي للنص.

ب. قناع تشيبيشيف السببي (Chebyshev Causal Masking)

لمواجهة "إهمال الرموز المرئية" الناتج عن افتراض أن التقارب الزمني يساوي الارتباط السببي، قدم المؤلفون استراتيجية قناع جديدة:

إعادة تعريف السببية: بدلاً من الاعتماد فقط على المسافة الزمنية، يتم تحديد السببية من خلال مسافة تشيبيشيف (Chebyshev distance) للرموز المرئية من مركز الصورة (نقطة الأصل) في الفضاء الديكارتي ثنائي الأبعاد.
الآلية: تُجمع الرموز التي تشترك في نفس مسافة تشيبيشيف من نقطة الأصل باعتبارها ذات علاقات سببية مترابطة.
الأثر: يتم تطبيق هذا القناع أثناء آلية الانتباه الذاتي لضمان أن تلاشي الانتباه يعتمد على القرب المكاني من المركز بدلاً من مجرد ترتيب التسلسل الزمني، مما يخفف بفعالية من إهمال الرموز المبكرة أو البعيدة.

3. المساهمات الرئيسية

التحليل التشخيصي: تقدم الورقة أول تحليل معمق لقيود RoPE في النماذج اللغوية الكبيرة ثلاثية الأبعاد، حيث حددت "فقدان الموضعية المكانية" و"إهمال الرموز المرئية" كعقبات رئيسية.
بنية C2RoPE: اقتراح آلية ترميز جديدة تنمذج صراحةً الاستمرارية المكانية المحلية (عبر المؤشرات الثلاثية) والعلاقات السببية المكانية (عبر قناع تشيبيشيف).
التحقق من الأداء: إثبات أن C2RoPE يحسن بشكل كبير الاستدلال في المشاهد ثلاثية الأبعاد والإجابة على الأسئلة المرئية دون الحاجة إلى تغييرات في بنية النموذج اللغوي الكبير الأساسي أو خطوط معالجة الميزات ثلاثية الأبعاد.

4. النتائج التجريبية

تم تقييم الطريقة على معايير ScanQA و SQA3D، باستخدام LLaVA-3D كنموذج أساسي.

ScanQA:
- EM@1 (المطابقة التامة): تحسن بمقدار +4.3 (من 27.0 إلى 31.3).
- BLEU-4: تحسن بمقدار +8.5.
- METEOR: تحسن بمقدار +13.4.
- CIDEr: تحسن بمقدار +18.1.
SQA3D (مجموعة الاختبار):
- EM@1: تحسن بمقدار +1.2 (من 55.6 إلى 56.8).
- EM@R (المعدل): تحسن بمقدار +1.2.
المقارنة: تفوق C2RoPE على النماذج اللغوية الكبيرة ثلاثية الأبعاد الأخرى (مثل ChatScene و Ross3D) والنماذج اللغوية ثنائية الأبعاد (مثل Qwen2-VL)، خاصة في المقاييس التي تتطلب استدلالاً مكانياً دقيقاً.
دراسات الاستئصال (Ablation Studies): أدى استبدال RoP القياسي بـ C2RoPE إلى تحقيق مكاسب ثابتة مقارنة بمتغيرات الترميز الموضعي الأخرى مثل CCA و MCA، مما يؤكد أن الجمع المحدد بين الفهرسة الثلاثية وقناع تشيبيشيف هو المحرك الأساسي للأداء.

5. الأهمية

سد الفجوة: تسلط هذه الدراسة الضوء على أن الآليات المصممة للنصوص أحادية البعد (مثل RoPE) لا يمكن نقلها مباشرة إلى البيانات المرئية ثلاثية الأبعاد دون تعديل. وهي تؤسس لنموذج جديد لـ النمذجة المكانية-الزمانية في الأنظمة متعددة الوسائط.
الكفاءة: الحل خفيف الوزن، حيث يتطلب فقط تغييرات في طبقات الترميز الموضعي وطبقات القناع، مما يجعله سهل التكامل في أطر العمل الحالية للنماذج اللغبية الكبيرة ثلاثية الأبعاد.
القوة والمتانة: من خلال إصلاح "الإهمال" للرموز المرئية، يصبح النموذج أكثر موثوقية للمهام المعقدة مثل الملاحة الروبوتية والتفاعل بين الإنسان والروبوت، حيث يعد فهم المشهد ثلاثي الأبعاد بالكامل (وليس فقط الأجزاء الأخيرة أو المركزية) أمراً بالغ الأهمية.

في الختام، يعمل C2RoPE بفعالية على مواءمة التحيزات الاستقرائية للترميز الموضعي مع الواقع الهندسي للبيانات المرئية ثلاثية الأبعاد، مما يعزز بشكل كبير قدرات الاستدلال للنماذج اللغوية الكبيرة في البيئات ثلاثية الأبعاد.