💻 computer science

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

تقترح هذه الورقة البحثية ترميز الموقع غير المتغير للمسافة بين الأنماط (DIPE)، وهو آلية تخفف من التلاشي البصري في النماذج اللغوية الكبيرة متعددة الوسائط ذات السياق الطويل عن طريق فك ارتباط ترميز الموقع للحفاظ على البنية المحلية داخل النمط الواحد مع فرض تقارب ثابت بين الأنماط، مما يحافظ على استقرار التأسيس البصري بغض النظر عن طول التسلسل النصي.

المؤلفون الأصليون: Lin Chen, Bolin Ni, Qi Yang, Zili Wang, Kun Ding, Ying Wang, Houwen Peng, Shiming Xiang

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lin Chen, Bolin Ni, Qi Yang, Zili Wang, Kun Ding, Ying Wang, Houwen Peng, Shiming Xiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث "Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding (DIPE)" باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: تأثير "التلاشي البصري" (Visual Fading)

تخيل أنك تجلس في فصل دراسي مع معلم (الذكاء الاصطناعي) وطالب (النص الذي تكتبه). على المكتب أمام المعلم توجد صورة (مدخل الصورة).

حصة قصيرة (سياق قصير): تطرح سؤالاً عن الصورة فوراً. ينظر المعلم إلى الصورة، ويجيب بشكل صحيح، والجميع سعيد.
حصة طويلة (سياق طويل): تطرح سؤالاً، ولكن قبل أن يتمكن المعلم من الإجابة، تبدأ في سرد قصة طويلة عن عطلة نهاية الأسبوع، وعن قطتك، وعما تناولته في الإفطار. تستمر في الكلام لآلاف الكلمات.

المشكلة: في نماذج الذاء الاصطناعي الحالية، بينما تستمر في الكلام، تبتعد عينا المعلم ببطء عن الصورة الموجودة على المكتب. وبحلول الوقت الذي تطرح فيه سؤالك عن الصورة، يكون المعلم قد "نسي" أن ينظر إليها. قد يخمن الإجابة بناءً على قصتك، أو يختلق شيئاً من عنده. يُسمى هذا "التلاشي البصري" (Visual Fading). يفقد الذكاء الاصطناعي اتصاله بالصورة لأن تسلسل النص أصبح طويلاً جداً.

لماذا يحدث هذا؟ (عقوبة المسافة)

تستخدم نماذج الذكاء الاصطناي الحالية قاعدة رياضية تسمى RoPE (ترميز الموضع الدوار) لفهم أماكن الأشياء في الجملة. فكر في هذه القاعدة كأنها شريط مطاطي.

في جملة عادية: الكلمات المتباعدة يجب أن تشعر بأنها أقل اتصالاً من الكلمات القريبة. يتمدد الشريط المطاطي، وينخفض التوتر (الانتباه). هذا أمر جيد للغة؛ فهو يساعد الذكاء الاصطناعي على فهم أن كلمة "قطة" في بداية الفقرة ليست مرتبطة مباشرة بكلمة "كلب" في نهايتها.
الخلل: في الذكاء الاصطناعي متعدد الوسائط (Multimodal)، تُعامل "الصورة" تماماً مثل أي كلمة أخرى في الجملة. لذا، بينما تكتب المزيد من النص، يتمدد الشريط المططاطي بين الصورة وسؤالك. تقول الرياضيات: "مهلاً، الصورة الآن تبعد 5000 كلمة! لا بد أنها بعيدة جداً، لذا لا يجب أن أنتبه إليها".

لكن في الواقع، الصورة ليست "بعيدة". إنها موجودة هناك على المكتب طوال الوقت! يخدع الذكاء الاصطناعي بسب رياضياتة الخاصة ويجعله يتجاهل الصورة.

الحل: DIPE (خدعة "الطاولة المثبتة")

اقترح المؤلفون طريقة جديدة تسمى DIPE (ترميز الموضع غير المتأثر بالمسافة). أدركوا أننا بحاجة لمعاملة "الصورة" و"النص" بشكل مختلف.

تخيل الفصل الدراسي مرة أخرى، ولكن هذه المرة مع قاعدة خاصة:

من نص إلى نص (الشريط المطاطي): عندما يتحدث المعلم إلى نفسه (أو تتحدث أنت إلى المعلم)، فإنه لا يزال يستخدم الشريط المطاطي. الكلمات البعيدة لا تزال تعتبر "بعيدة". هذا يحافظ على منطقية القصة.
من صورة إلى نص (الطاولة المثبتة): عندما ينظر المعلم إلى الصورة للإجابة على سؤال، فإنه يتجاهل الشريط المطاطي. بدلاً من ذلك، يتخيل أن الصورة مثبتة على طاولة بجانبه تماماً. بغض النظر عن عدد الكلمات التي تنطق بها، تظل الصورة عند "المسافة صفر".

كيف يعمل تقنياً:

داخل الوسيط الواحد (نص مقابل نص): يستخدم الترميز "التسلسلي" القياسي. المسافة مهمة هنا.
بين الوسائط (صورة مقابل نص): يستخدم ترميزاً "مثبتاً". يتم تخصيص مؤشر موضع ثابت للصورة لا يتغير مهما طال النص. يُقال للذكاء الاصطناعي: "الصورة دائماً هنا، بجانب عقلك مباشرة. لا تدع طول المحادثة تدفعها بعيداً".

النتائج: لماذا يهم هذا؟

اختبر الباحثون هذا على 19 اختباراً مختلفاً (مثل اختبار رياضيات ضخم للذكاء الاصطناعي).

الطريقة القديمة: مع زيادة طول النص (من 0 كلمة إلى 32,000 كلمة)، انخفضت قدرة الذكاء الاصطناعي على الإجابة عن أسئلة حول الصورة بشكل حاد كالحجر.
طريقة DIPE: ظل أداء الذكاء الاصطناعي ثابتاً ومستقراً. حتى مع وجود 32,000 كلمة من التشتيت، استمر الذكاء الاصطناعي في النظر إلى الصورة والإجابة بشكل صحيح.

ملخص التشبيه:

الذكاء الاصطناعي القديم: يشبه شخصاً يحاول قراءة خريطة بينما يستمر شخص آخر في الصراخ بتعليمات جديدة في أذنه. في النهاية، ينسى أين هي الخريطة.
ذكاء DIPE: يشبه شخصاً لديه الخريطة ملصقة على جبهته. مهما كان الضجيج يحدث، يمكنه دائماً رؤية الخريطة بوضوح.

النقاط الرئيسية

إنه بسيط: لا يتطلب "دماغاً" جديداً ضخماً؛ هو فقط يغير كيفية "عد" الذكاء الاصطناعي للمسافة بين الصورة والنص.
إنه آمن: لا يكسر قدرة الذكاء الاصطناعي على التعامل مع المحادثات القصيرة. فهو يعمل بشكل مثالي لكل من السياقات القصيرة والطويلة.
إنه يعالج "التلاشي": يمنع الذكاء الاصطناዊ من "النظر بعيداً" عن الصورة لمجرد أن المحادثة أصبحت طويلة.

باخت-صار، DIPE يعلم الذكاء الاصطناعي أن الصورة دائماً "قريبة"، حتى لو كانت المحادثة تمتد لأميال.

1. بيان المشكلة: التلاشي البصري في النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) ذات السياق الطويل

تتفوق النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) في مهام الإجابة على الأسئلة البصرية ذات السياق القصير، لكنها تعاني من قصور حرج يُعرف باسم "التلاشي البصري" (Visual Fading) في سيناريوهات السياق الطويل.

الظاهرة: مع ازدياد طول التسلسل النصي (على سبيل المثال، توليد مئات أو آلاف الرموز/Tokens)، يتضاءل انتباه النموذج للرموز البصرية بشكل كبير. يقوم النموذج بتوليد نصوص منفصلة عن القيود البصرية، مما يؤدي إلى الهلوسة أو الإجابات غير الصحيحة.
السبب الجذري: يعزو المؤلفون ذلك إلى التحيز الاستقرائي لترميز الموضع الدوار متعدد الوسائط (MRoPE).
- يعامل MRoPE الرموز البصرية والنصية ضمن إطار تسلسلي موحد.
- أثناء التوليد التكراري (Autoregressive Generation)، تزداد المسافة النسبية بين الرموز البصرية الأولية والرموز النصية المتولدة حديثاً بشكل مطرد.
- بطبيعتها، تفرض تقنية RoLE خاصية الاضمحلال طويل الأمد (عقوبة المسافة) لالتقاط المحلية اللغوية. وبناءً على ذلك، ومع توليد المزيد من النصوص، تقوم آلية الانتباه الرياضية بقمع الإشارات البصرية، مما يجبر النموذج على "الابتعاد" عن الصورة.
- هذا يتناقض مع الإدراك البشري، حيث يظل المرجع البصري قريباً إدراكياً بغض النظر عن مقدار الكلام الذي يُقال عنه.

2. المنهجية: ترميز الموضع غير المتغير للمسافة بين الوسائط (DIPE)

يقترح المؤلفون DIPE، وهي آلية تفصل ترميز الموضع بناءً على نوع التفاعل بين الوسائط. الجوهر يكمن في أن الهياكل داخل الوسيط الواحد (Intra-modal) تحتاج إلى اضمحلال المسافة النسبية، بينما يجب أن تظل المسافات بين الوسائط (Inter-modal) ثابتة (مرتكزة).

أ. التفكيك المتعامد للانتباه

يقسم DIPE آلية الانتباه إلى مسارين متميزين:

الانتباه داخل الوسيط (نص-إلى-نص، صورة-إلى-صورة):
- الاستراتيجية: يستخدم ترميز الموضع التسلسلي (SPE) القياسي (أي MRoPE القياسي).
- الهدف: الحفاظ على المحلية اللغوية والهندسة المكانية ثنائية الأبعاد للصور.
- الآلية: تستخدم كل من الاستعلامات (Queries) والمفاتات (Keys) مؤشرات تسلسلية ( $p^{spe}$ ).
الانتباه بين الوسائط (نص-إلى-صورة، صورة-إلى-نص):
- الاستراتيجية: يستخدم ترميز الموضع المرتكز (APE) للاستعلامات و SPE للمفات.
- الهدف: فرض مسافة إدراكية ثابتة بين الوسائط.
- الآلية:
  - بالنسبة لاستعلام نصي يتفاعل مع مفتاح بصري، يتم تخصيص مؤشر موضع مرتكز ( $p^{ape}$ ) للاستعلام النصي.
  - يتم اشتقاق هذا المرتكز من الرمز الأول لقطاع الوسيط (على سبيل المثال، بداية الصورة أو بداية كتلة النص).
  - من خلال بث هذا المرتكز إلى جميع الرموز في القطاع التي تعمل كاستعلامات، تظل المسافة النسبية بين الاستعلام النصي والمفتاح البصري ثابتة، بغض النظر عن عدد الرموز التي يتم توليدها في المنتصف.

ب. التنفيذ والتوافق مع البنية التحتية

رؤى الاستعلام المزدوجة: أثناء التمرير الأمامي (Forward Pass)، يولد النموذج رؤيتين لمتجه الاستعلام: إحداهما معالجة بـ SPE والأخرى بـ APE.
استراتيجية النواة المنقسمة (Split-Kernel): يتم تقسيم حساب الانتباه إلى نواتين متوازيتين (داخل الوسيط وبين الوسائط) محجوبتين حسب الوسيط.
دمج LogSumExp: يتم دمج مخرجات النواتين باستخدام خدعة LogSumExp (المشتقة من إحصائيات FlashAttention) لضمان التقييس الرياضي الصارم دون زيادة في إجمالي العمليات الحسابية (FLOPs).
التوافق مع ذاكرة التخزين المؤقت للمفات والقيم (KV Cache): يعد DIPE تدخلاً من جانب الاستعلام فقط. فهو لا يغير ذاكرة التخزين المؤقت للرموز السابقة (Key/Value)، مما يجعله متوافقاً تماماً مع البنية التحتية الحالية لـ KV Cache و FlashAttention.
لا توجد معاملات إضافية: لا تتطلب الطريقة أي معاملات قابلة للتعلم إضافية.

3. المساهمات الرئيسية

تشخيص التلاشي البصري: تحديد أن الاضمحلال القائم على المسافة المتأصل في MRoPE هو السبب الرئيسي لتدهور الإشارة البصرية في السياقات الطويلة، وليس مجرد تشتت الانتباه العام.
آلية DIPE: تقديم مخطط جديد لترميز الموضع يفرض ثبات المسافة للتفاعلات بين الوسائط مع الحفاظ على الهيكل التسلسلي داخل الوسيط الواحد.
التكامل الفعال: إثبات أن إعادة الترميز الهندسي المعقد هذا يمكن تنفيذه بكفاءة ضمن خطوط أنابيب الاستدلال القياسية لـ LLM (مثل FlashAttention و KV Cache) دون عبء إضافي في المعاملات.
القوة والشمولية: التحقق من أن DIPE يعمل عبر أحجام نماذج مختلفة (من 0.5B إلى 3B+)، وبنيات متنوعة (سلسلة Qwen)، وسيناريوهات معقدة (سياقات الصور المتداخلة).

4. النتائج التجريبية

قيم المؤلفون DIPE في 19 اختباراً مرجعياً تغطي الإدراك، وفهم المستندات، والأسئلة البصرية العامة.

الأداء في السياق الطويل:
- في بروتوكول "VQA ذي السياق الطويل" المنضبط (إدراج 1K إلى 32K رمز من المشتتات بين الصورة والاستعلام)، نجح DIPE بشكل كبير في الحد من التلاشي البصري.
- حقق MRoPE + DIPE زيادة في متوسط الدقة قدرها 4.10% مقارنة بالنموذج المرجعي MRoFE في سيناريوهات السياق الطويل.
- بينما أظهر نموذج MRoPE المرجعي انخفاضاً حاداً ومستمراً في الدقة مع زيادة طول السياق، حافظ النموذج المعزز بـ DIPE على مسار أداء مستقر.
الأداء في السياق القصير:
- DIPE غير مدمر للأداء. في الاختبارات المرجعية القياسية ذات السياق القصير (حيث لا توجد مشكلة تلاشي بصري)، حافظت النماذج المعززة بـ DIPE على تكافؤ صارم في الأداء مع النماذج المرجعية (على سبيل المثال، طابق MRoPE-I + DIPE النموذج المرجعي الأصلي عند ~51.4% مقابل 51.5%).
التحليل على مستوى الطبقات:
- كشف تحليل الانتباه البصري أن MRoPE القياسي يقمع الانتباه البصري في الطبقات الضحلة. نجح DIPE في استعادة توزيع الانتباه عبر جميع الطبقات، مما يضمن الحفاظ على القيود البصرية في مراحل مبكرة من عملية التوليد.
التعميم:
- لوحظت مكاسب عبر أحجام النماذج المختلفة، حيث أظهر أصغر نموذج (Qwen2.5-0.5B) أكبر تحسن نسبي (+8.81%)، مما يشير إلى أن النماذج الخفيفة أكثر عرضة للتلاشي البصري.
- تعامل DIPE بنجاح مع سيناريوهات الصور والنصوص المتداخلة ومدخلات الصور المتعددة دون الإخلال بالترتيب الزمني.

5. الأهمية

تعالج هذه الورقة خللاً هيكلياً جوهرياً في النماذج اللغوية الكبيرة متعددة الوسائط الحالية فيما يتعلق بالاستدلال البصري طويل السياق. من خلال إعادة تعريف كيفية تفاعل ترميز الموضع عبر الوسائط، يوفر DIPE حلاً مبدئياً لمشكلة "التلاشي البصري".

الأثر النظري: يتحدى الافتراض القائل بأن مقياس مسافة تسلسلي واحد ينطبق على جميع تفاعلات الرموز، مقترحاً أن العلاقات بين الوسائط تتطلب معالجة هندسية مختلفة (الثبات مقابل الاضمحلال).
الأثر العملي: يُمكّن النماذج اللغوية الكبيرة متعددة الوسائط من معالجة المستندات الطويلة، أو الفيديوهات، أو المحادثات المعقدة متعددة الأدوار مع الاحتفاظ بتأسيس عالي الدقة للمدخلات البصرية، وهي خطوة حاسمة نحو وكلاء مستقلين موثوقين وأنظمة استدلال متعددة الوسائط معقدة.
التبني: بما أنه لا يتطلب معاملات إضافية ومتوافق مع محركات الاستدلال الحالية، فإنه يقدم ترقية منخفضة التكلفة وعالية التأثير لبنيات MLLM الحالية.