💻 computer science

RAVE: Re-Allocating Visual Attention in Large Multimodal Models

تُعد RAVE آلية خفيفة الوزن ومتوافقة مع التدريب، تعمل على إعادة تخصيص الانتباه البصري في النماذج متعددة الوسائط الضخمة من خلال إدخال انحياز استعلام-مفتاح مُتعلم، مما يحسن الأداء بشكل كبير في المهام كثيفة الإدراك مثل التعرف الضوئي على الحروف (OCR) وفهم المخططات دون الحاجة إلى تغييرات هيكلية.

المؤلفون الأصليون: Xi Leng, Xinhong Ma, Ziqiang Dong, Feng Zhang, Xiaoying Tang, Yang Yang, Guanjun Jiang

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xi Leng, Xinhong Ma, Ziqiang Dong, Feng Zhang, Xiaoying Tang, Yang Yang, Guanjun Jiang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث RAVE: Re-Allocating Visual Attention in Large Multimodal Models، باستخدام لغة بسيية وتشبيهات إبداعية.

الصورة الكبيرة: طالب مشتت الذهن

تخيل أن النموذج اللغوي متعدد الوسائط الضخم (LMM) هو طالب ذكي جداً يؤدي اختباراً. هذا الطالب لديه مصدران رئيسيان للمعلومات:

الكتاب المدرسي: الأسئلة والتعليمات المكتوبة (النص).
الرسم التوضيحي: صورة معقدة، أو مخطط بياني، أو صورة فوتوغرافية متعلقة بالسؤال (الرؤية).

مهمة الطالب هي النظر إلى الرسم التوضيحي والنص، ثم كتابة الإجابة.

المشكلة التي تحددها الورقة البحثية هي أن هذا الطالب لديه عادة سيئة. على الرغم من أن الرسم التوضيحي أمر بالغ الأهمية، إلا أن عقل الطالب (آلية الانتباه) يستمر في الابتعاد عن الصورة.

الانجراف: بينما يبدأ الطالب في كتابة الإجابة، يقل تركيزه على الصورة تدريجياً. وبحلول الوقت الذي يصل فيه إلى منتصف الكتابة، يكون قد نسي الصورة تقريباً وأصبح يخمّن بناءً على ما كتبه بالفعل.
الضجيج: حتى عندما ينظر الطالب إلى الصورة، فإنه غالباً ما يحدق في الأجزاء الخاطئة. قد يركز على زاوية بيضاء فارغة في الصورة أو ذرة غبار عشوائية، بينما يتجاهل المخطط الفعلي أو النص الموجود داخل الصورة.

يسمي المؤلفون هذا "التخصيص غير الأمثل". الطالب لا يستخدم الأدلة البصرية بفعالية.

الحل: RAVE (مدرب التركيز)

تقترح الورقة أداة جديدة تسمى RAVE (إعادة تخصيص الانتباه البصري). فكر في RAVE ليس كعقل جديد، بل كـ مدرب تركيز صغير وغير مرئي يجلس بجانب عقل الطالب مباشرة.

إليك كيف يعمل RAVE، مقسماً إلى خطوات بسيطة:

1. فحص "ما قبل المباراة" (ميزات Pre-ROPE)

قبل أن يعالج عقل الطالب الصورة، يقوم RAVE بالنظر في البيانات الخام للصورة والسؤال. إنه يستخدم إشارة "ما قبل المباراة" خاصة (مشتقة من الميزات قبل أن يتم تشويهها بواسطة أكواد الموقع) لفهم ما هو مهم.

تشبيه: تخيل مدرباً يهمس: "هيي، انظر إلى الرسم البياني في المنتصف، وليس إلى السماء الفارغة!" قبل أن يبدأ الطالب في القراءة حتى.

2. آلية "بوابة الاقتران" (Pair-Gating)

يعمل RAVE كحارس بوابة. ينظر إلى كل زوج محتمل من "السؤال" و"جزء من الصورة".

إذا كان الطالب يطرح سؤالاً عن جزء معين من الصورة، فإن RAVE يفتح البوابة على مصراعيها، مما يسم يسمح لهذا الجزء من الصورة بالحصول على الكثير من الانتباه.
إذا كان الطالب يسأل عن زاوية فارغة، فإن RAVE يغلق البوابة، ويخبر العقل: "تجاهل هذا؛ إنه ليس مفيداً".
ميزة رئيسية: يحدث هذا قبل أن يتخذ الطالب قراراً نهائياً (قبل عملية الـ "softmax"). إنه يعدل عملية التنافس على الانتباه، مما يضمن أن الصورة تنافس النص بشكل عادل.

3. تصميم "الإضافة السريعة" (Drop-In)

من أروع الأشياء في RAVE أنه لا يتطلب إعادة بناء عقل الطالب.

تشبيه: أنت لا تحتاج إلى استبدال عقل الطالب أو إعطائه مدرسة جديدة. أنت فقط تضع أداة صغيرة وخفيفة الوزن على نظاراته الحالية. إنها تعمل مع الطريقة القياسية التي يتعلم بها الطالب ويفكر، ولا تتطلب إعادة تدريب ضخمة أو تغييرات هيكلية.

ماذا يحدث عندما نستخدم RAVE؟

اختبر الباحثون هذا "المدرب للتركيز" في مهام مختلفة. وكانت النتالئج كالتالي:

أفضل في "رؤية" التفاصيل: حدثت أكبر التحسينات في المهام التي تتطلب النظر بدقة إلى الصور، مثل قراءة النصوص داخل الصور (OCR)، أو فهم المخططات المعقدة، أو قراءة المستندات.
- بدون RAVE: قد يفتقد الطالب رقماً في مخطط بياني لأنه توقف عن النظر إلى الصورة مبكراً جداً.
- مع RAVE: يستمر الطالب في النظر إلى المخطط حتى يكتب آخر كلمة في الإجابة.
البقاء على أرض الواقع: يتوقف الطالب عن "الهلوسة" (اختلاق أشياء من عنده) لأنه ينتبه فعلياً للأدلة البصرية المقدمة.
متوسط التحسن: عبر جميع المهام، ارتفعت درجات الطالب بنحو 3 نقاط في المتوسط. قد لا يبدو هذا كثيراً، ولكن في عالم معايير الذكاء الاصطناعي، تعتبر هذه قفزة هائلة.

لماذا هذا مهم؟

تجادل الورقة البحثية بأن نماذج الذكاء الاصطناعي القياسية تشبه الطلاب الذين يتشتت انتباههم بسهولة. إنهم بارعون في اللغة ولكنهم سيئون في الحفاظ على أعينهم على الصورة أثناء التحدث.

RAVE هو إصلاح بسيط وخفيف الوزن يعلم النموذج أن:

يستمر في النظر إلى الصورة طالما أنه يكتب الإجابة.
ينظر إلى الأجزاء الصحيحة من الصورة، متجاهلاً ضجيج الخلفية الممل.

إنه تعديل بسيط يجعل الذكاء الاصطناعي أكثر موثوقية عندما يحتاج إلى "الرؤية" و"القراءة" في نفس الوقت.

ملخص تقني: RAVE (إعادة تخصيص الانتباه البصري في النماذج متعددة الوسائط الكبيرة)

1. بيان المشكلة

تعتمد النماذج متعددة الوسائط الكبيرة (LMMs)، مثل عائلات LLAVA وQWEN-VL، عادةً على إسقاط الميزات البصرية في فضاء الرموز اللغوية ومعالجتها ضمن تسلسل موحد باستخدام محول (Transformer) من نمط فك التشفير. ورغم فعالية ذلك، إلا أن هذه النماذج ترث آلية الانتباه الذاتي من خلفياتها اللغوية سابقة التدريب (المشار إليها بـ "الانتباه القياسي"). وقد حدد المؤلفون أن هذه الآلية الموروثة تفتقر إلى التنظيم الصريح لتخصيص الانتباه حسب الوسائط، مما يؤدي إلى شكلين أساسيين من الاستخدام غير الأمثل للأدلة البصرية:

عدم التوازن عبر الوسائط (Cross-Modal Imbalance): يتم التعامل مع الرموز البصرية، ككتلة واحدة، بنقص منهجي في الانتباه مقارنة بالرموز النصية. ويتجلى ذلك في تلقي الرموز البصرية انتباهاً أقل في طبقات فك التشفير الأعمق، وتراجع تدريجي في الانتباه البصري مع تراكم رموز الإجابة المولدة (ما يسمى بـ "النسيان البصري" أو "التخفيف البصري").
عدم التوازن داخل الوسائط البصرية (Intra-Visual Imbalance): يكون توزيع الانتباه داخل الكتلة البصرية غير متساوٍ. فقد تمتص الرقع غير المعلوماتية بصرياً (مثل الزوايا أو الخلفيات المتجانسة) انتباهاً غير متناسب ("بالوعات بصرية")، كما يمكن للتحيزات الموضعية (الناتجة عن التسطيح بترتيب الصفوف وترميز الموضع الدوار RoPE) أن تسبب تركيز الانتباه في مناطق مكانية محددة بدلاً من المحتوى ذي الصلة دلالياً.

تعتمد استراتيجيات التخفيف الحالية غالباً على قواعد استدلالية مصممة يدوياً في وقت الاستنتاج، أو تتطلب إعادة تصميم معمارية تعقد عملية التكامل، أو تستلد مسارات تدريب إضافية ببيانات منسقة. هناك حاجة إلى آلية بسيطة وقابلة للتعلم تتيح إعادة معايرة الانتباه بناءً على السياق دون تغيير بنية النموذج الأساسي.

2. المنهجية: RAVE

يقترح المؤلفون RAVE (إعادة تخصيص الانتباه البصري)، وهي آلية بوابة مزدوجة خفيفة الوزن مصممة كـ "إضافة مباشرة" (drop-in) لتصحيح الانتباه القياسي. تعمل RAVE عن طريق إضافة انحياز (bias) استعلام-مفتاح متعلم إلى درجات الانتباه قبل مرحلة Softmax المرتبطة تحديداً بالمفاتيح البصرية.

الآلية الجوهرية

مصدر إشارة البوابة: على عكس الطرق التي تستخدم ميزات ترميز الموضع (RoPE) ما بعد التدوير، تستمد RAVE إشارة البوابة الخاصة بها من ميزات الاستعلام ( $\bar{Q}$ ) والمفتاح ( $\bar{K}$ ) ما قبل الـ RoPE. يهدف هذا الخيار إلى فصل إشارة البوابة عن تحيزات اضمحلال الموضع التي يسببها RoPE، مما يسمح للآلية بالاعتماد بشكل أساسي على ميزات المحتوى المشروطة بالوسائط.
بناء البوابة المزدوجة: عند كل طبقة $\ell$ ، ترفق RAVE زوجاً من الإسقاطات الخطية القابلة للتعلم ( $W_{gq}, W_{gk}$ ) مشتركة عبر جميع رؤوس الاستعلام. تولد هذه الإسقاطات درجات قياسية لكل رمز ( $s_q, s_k$ ) من ميزات ما قبل الـ RoPE. يتم تشكيل بوابة زوجية $G_{ij}$ عبر الضرب الخارجي لهذه الدرجات، والتي تُسقط عبر دالة $\phi$ . يوفر هذا تصحيحاً يعتمد على السياق لكل زوج استعلام-مفتاح.
إعادة المعايرة قبل الـ Softmax: يتم حقن البوابة بشكل إضافي في لوغاريتمات الانتباه ( $L_{ij}$ $L_{ij}$ ) للمفاتيح البصرية فقط:
$\tilde{L}_{ij} = L_{ij} + \gamma \cdot G_{ij} \cdot \mathbb{1}[j \in I_{img}]$
حيث تتحكم $\gamma$ $γ$ في قوة إعادة المعايرة، و $\mathbb{1}$ $1$ هي دالة مؤشر للرموز البصرية. يتم بعد ذلك تمرير اللوغاريتمات المعاد معايرتها عبر الـ softmax القياسي.
- تتيح هذه الطريقة تعديل التنافس على كتلة الانتباه قبل عملية التطبيع (normalization)، مما يسمح بإعادة توزيع ديناميكية سواء بين الوسائط (عبر الوسائط) أو داخل مجموعة الرموز البصرية (داخل الوسائط البصرية).
تطبيق جزئي على الرؤوس: لتجنب تعطيل الأولويات اللغوية القوية الموروثة من الخلفية سابقة التدريب، يتم تطبيق RAVE فقط على كسر ( $p$ ) من رؤوس الاستعلام ضمن كل مجموعة من مجموعات الانتباه متعدد الاستعلامات (GQA). تحتفظ الرؤوس المتبقية بالانتباه القياسي. يستخدم المؤلفون $p=0.25$ في إعدادهم الرئيسي.
التدريب: يتم تدريب RAVE بشكل كامل (end-to-end) مع بقية النموذج باستخدام خسارة التقاطع المتقاطع (cross-entropy) القياسية للرمز التالي، مما لا يتطلب أي إشراف إضافي أو بيانات متخصصة.

3. المساهمات الرئيسية

تحديد الاختناقات: أعاد البحث النظر في الانتباه القياسي في النماذج متعددة الوسائط (LMMs)، حيث أثبت تجريبياً أن التخصيص غير الأمثل للانتباه البصري (سواء التخفيف عبر الوسائط أو عدم التوازن داخل الوسائط) يعد عائقاً رئيسياً للتموضع البصري الفعال.
آلية RAVE: اقتراح آلية بوابة مزدوجة خفيفة الوزن وتحافظ على المعمارية، تقوم بتعديل درجات الانتباه قبل الـ softmax على المفاتيح البصرية مع عبء حسابي ضئيل للمعاملات.
التحقق التجريبي: إثبات أن RAVE تحسن الأداء باستمرار عبر مجموعة واسعة من الاختبارات المعيارية، محققة مكاسب متوسطة تبلغ حوالي 3 نقاط فوق الانتباه القياسي، مع نتائج قوية بشكل خاص في المهام التي تتطلب إدراكاً عالياً.

4. النتائج التجريبية

قيم المؤلفون RAVE عبر مجموعة متنوعة من الاختبارات المعيارية باستخدام خلفيات Mistral-v0.3-7B و Gemma-2-9B، مقارنة بالانتباه القياسي و D-Attn (وهي طريقة تفكك مسارات الانتباه).

المهام المكثفة للإدراك: أظهرت RAVE تحسينات كبيرة في المهام التي تتطلب تموضعاً بصرياً دقيقاً، بما في ذلك التعرف الضوئي على الحروف متعدد اللغات (MTVQA, OCRBench)، وفهم المخططات (ChartQA)، والأسئلة والأجوبة المستندة إلى الوثائق (DocVQA)، والأسئلة والأجوبة الغنية بالنصوص (InfoVQA, TextVQA). على سبيل المثال، في خلفية Mistral، حسنت RAVE متوسط الإدراك من 25.05 (القياسي) إلى 25.93، مع مكاسب ملحوظة في MTVQA (9.50 مقابل 6.51) و DocVQA (43.55 مقابل 35.85).
مهام الاستدلال/المعرفة الثقيلة: في اختبارات مثل MathVista و MMMU و MMMU-Pro، ظلت RAVE تنافسية، حيث تفوقت على الانتباه القياسي على خلفية Mistral وأدت بشكل مشابه لـ D-Attn على خلفية Gemma-2-9B. يشير هذا إلى أن RAVE تعزز تخصيص الأدلة البصرية دون تعطيل قدرات الاستدلال الموروثة بشكل كبير.
دراسات الاستئصال (Ablation Studies):
- الموقع: أثبتت إعادة المعايرة الإضافية قبل الـ softmax فعالية أكبر من الأشكال المتعددة أو الضرب في مرحلة ما بعد الـ softmax.
- نسبة الرؤوس: حققت نسبة الرؤس الجزئية $p=0.25$ أفضل توازن بين القدرة التصحيحية والحفاظ على الأولويات اللغوية؛ حيث لم تؤدِ زيادة النسبة إلى مكاسب إضافية.
- مرحلة التطبيق: تفوق تطبيق RAVE خلال مرحلتي التعبئة المسبقة (prefill) وفك التشفير (decoding) على التطبيق المقتصر على فك التشفوير فقط، مما يشير إلى أهمية إعادة معايرة الانتباه من السؤال إلى البصري أثناء بناء التمثيل الأولي.

5. الأهمية والادعاءات

يدعي البحث أن RAVE توفر آلية بسيطة ومباشرة تتيح إعادة معايرة الانتباه بناءً على السياق مع بقائها متوافقة أصلياً مع سير عمل التدريب والاستنتاج القياسي.

تصحيح على مستوى الآلية: على عكس الطرق التي تتدخل في وقت الاستنتاج بقواعد مصممة يدوياً أو تتطلب إعادة تصميم المعمارية، تقدم RAVE حلاً قابلاً للتعلم والتدريب بالكامل (end-to-end) يعالج مباشرة التنافس على كتلة الانتباه.
الفائدة المزدوجة: من خلال العمل على درجات ما قبل الـ softmax للمفاتيح البصرية، تعالج RAVE في آن واحد سوء التخصيص عبر الوسائط (ضمان عدم نقص الانتباه للرموز البصرية) وعدم التوازن داخل الوسائط البصرية (إعادة توزيع الانتباه بعيداً عن "البالوعات" غير المعلوماتية).
التواضع: يقر المؤلفون بالقيود، مشيرين إلى أن التجارب أجريت على نماذج LMM مُدربة بالتعليمات مبنية من خلفيات لغوية سابقة التدريب وليس نماذج تم تدريبها من الصفر. بالإضافة إلى ذلك، يعتمد التنفيذ الحالي على SDPA ولم يتم دمجه بعد مع نوى (kernels) من طراز FlashAttention، مما قد يؤثر على الكفاءة.

باختصار، تثبت RAVE أن التنظيم المتعلم صراحةً للانتباه البصري ضمن عامل الانتباه الأصلي هو استراتيجية فعالة لتحسين استخدام الأدلة البصرية في النماذج (LMMs) ذات فك التشفير فقط، خاصة للمهام التي تتطلب تموضعاً بصرياً دقيقاً.