🤖 AI

Large Vision-Language Models Get Lost in Attention

تقترح هذه الورقة إطاراً موحداً من منظور المعلومات والمنظور الهندسي للكشف عن أن آليات الانتباه في النماذج اللغوية البصرية الضخمة هي فائضة وظيفياً وغالباً ما يتم تخصيصها بشكل خاطئ، حيث يمكن لاستبدال أوزان الانتباه المتعلمة بقيم محددة مسبقاً أن يؤدي إلى أداء مماثل أو متفوق.

المؤلفون الأصليون: Gongli Xi, Ye Tian, Mengyu Yang, Huahui Yi, Liang Lin, Xiaoshuai Hao, Kun Wang, Wendong Wang

نُشر 2026-05-08

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Gongli Xi, Ye Tian, Mengyu Yang, Huahui Yi, Liang Lin, Xiaoshuai Hao, Kun Wang, Wendong Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج رؤية-لغة ضخم (LVLM) كأنه أمين معرض فني رفيع المستوى يحاول وصف لوحة لزائر. لديه في الغرفة الخلفية مساعدان رئيسيان يعملان معه للمساعدة في إعداد الوصف:

"المُعيد للترتيب" (الانتباه - Attention): هذا المساعد ينظر إلى جميع الأجزاء المختلفة من اللوحة وإلى أسئلة الزائر، ثم يعيد ترتيب الملاحظات ليعرف أي الأجزاء هي الأكثر أهمية في هذه اللحظة.
"المبتكر" (الشبكة العصبية المغذية - FFN): هذا المساعد يأخذ تلك الملاحظات التي تمت إعادة ترتيبها ويكتب أفكاراً جديدة فعلياً، مضيفاً مفردات ومفاهيم جديدة إلى الوصف.

تجادل الورقة البحثية بأنه لفترة طويلة، كنا نعتقد أن "المُعيد للترتيب" هو من يقوم بالعمل الشاق، حيث يمسح اللوحة باستمرار للعثور على أدق التفاصيل. ومع ذلك، فقد صنع المؤلفون في هذه الورقة نظارات جديدة (إطار رياضي) لمراقبة ما يفعله هذان المساعدان بالضبط، ووجدوا شيئاً مفاجئاً: المُعيد للترتيب يضيع في عملية إعادة الترتيب.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيية:

1. المساعدان لديهما وظيفتان مختلفتان تماماً

اكتشف الباحثون أن هذين المساعدين يقومان بأشياء مختلفة تماماً، وكأنهما يتحدثان لغات مختلفة:

"المُعيد للترتيب" (الانتباه) هو "مُعيد خلط" (Shuffler): وظيفته الأساسية هي أخذ المعلومات الموجودة بالفعل على الطاولة وخلطها. إنه يغير كيفية تنظيم المعلومات (إعادة التشكيل)، لكنه نادراً ما يضيف أي شيء جديد تماماً. إنه مثل "دي جي" (DJ) يقوم بتدوير نفس قائمة الأغاني؛ الترتيب يتغير، لكن الأغاني هي نفسها.
"المبتكر" (FFN) هو "مبدع": هذا المساعد هو من يأتي بالأفكار الجديدة فعلياً إلى الطاولة. إنه يوسع "الفضاء الفرعي" للمحادثة، ويضيف اتجاهات دلالية جديدة. إنه مثل الكاتب الذي يأتي بمسارات حبكة جديدة.

2. مشكلة "الضياع في الانتباه"

العنوان الرئيسي للورقة هو أن هذه النماذج "تضيع في الانتباه" (Lost in Attention).

تخيل أن المساعد "المُعيد للترتيب" يحاول الإشارة إلى الجزء الأكثر أهمية في اللوحة (مثل بقرة في حقل) لمساعدة القيم على الإجابة على سؤال. وجد الباحثون أن هذا المساعد غالباً ما يتشتت. فبدلاً من التركيز على البقرة، يقضي الكثير من الطاقة في إعادة ترتيب ملاحظات حول تفاصيل عشوائية في الخلفية أو مجرد الدوران حول نفسه.

لقد قاسوا ذلك من خلال النظر في مقدار "المعلومات الجديدة" التي حقنها المساعد فعلياً في النظام. ووجدوا أن عملية "إعادة الخلط" كانت غالباً مكررة وغير ضرورية—مثل إعادة ترتيب نفس مجموعة أوراق اللعب مراراً وتكراراً دون سحب ورقة جديدة.

3. تجربة "الضوضاء العشوائية" (الدليل القاطع)

لإثبات أن "المُعيد للترتيب" كان يضيع وقته، جرب الباحثون تجربة مجنونة: استبدلوا حسابات "المُعيد للترتيب" الدقيقة بضوضاء عشوائية.

بدلاً من ترك المساعد ينظر إلى اللوحة ويقرر ما يجب التركيز عليه، طلبوا منه فقط اختيار نمط عشوائي (مثل التشويش على شاشة تلفاز قديم) أو قاعدة محددة مسبقاً.

النتيجة؟ لم يتوقف النموذج عن العمل، بل في الواقع، في العديد من الاختبارات، أدى النموذج بشكل جيد، بل وأحياناً بشكل أفضل، مما كان عليه عندما كان يستخدم درجات "الانتباه" الذكية الخاصة به.

هذا يشبه إخبار طباخ: "توقف عن تذوق الحساء لتقرر أي نوع من التوابل ستضيف؛ فقط رش الملح عشوائياً". ومن المثير للدهشة أن الحساء لا يزال طعمه رائعاً. هذا يشير إلى أن الرياضيات المعقدة والمكلفة التي كان يقوم بها النموذج لـ "الانتباه" كانت غير ضرورية إلى حد كبير. كان النموذج يبالغ في التفكير في عملية إعادة الترتيب، بينما كان المساعد "المبتكر" هو من يقوم بالعمل الحقيقي والشاق على أي حال.

الملخص

تخلص الورقة إلى أن نماذج الذكاء الاصطناعي الحالية غير فعالة. فهي تستهلك كمية هائلة من القدرة الحوسبية على مساعد "المُعيد للترتيب" الذي غالباً ما يكون مجرد دوران حول نفسه أو ضياع في التفاصيل، بينما المساعد "المبتكر" هو من يقود الذكاء فعلياً.

من خلال إدراك هذا، يقترح المؤلفون أنه قد يمكننا بناء نماذج ذكاء اصطناعي أسرع وأرخص عن طريق تبسيط كيفية "انتباهها"، لأنها لا تحتاج لأن تكون معقدة للغاية للقيام بالمهمة.

ملخص تقني: النماذج اللغوية البصرية الكبيرة تضيع في الانتباه

1. بيان المشكلة

على الرغم من التطورات السريعة في نماذج التدريب، لا تزال الهياكل المكونة (backbones) لفك التشفير في النماذج اللغوية البصرية الكبيرة (LVLMs) متجذرة بشكل أساسي في بنية "ترانسفورمر" ذات الاتصالات المتبقية (residual-connection Transformer). وبينما قدمت أعمال التفسير السابقة رؤى إحصائية حول وظائف الوحدات (مثل: الانتباه كاستدلال يعتمد على السياق، والشبكات التغذية الأمامية (FFNs) كذاكرة مفتاح-قيمة)، إلا أن هذه النهج تفتقر غالبًا إلى أساس نظري موحد للمقارنة صراحةً بين كيفية مساهمة الوحدات الفرعية المختلفة في هيكل التمثيل في البيئات متعددة الوسائط.

تحديدًا، كشفت التحليلات التجريبية عن ظواهر مثل "بالوعات الانتباه البصري" (visual attention sinks) و"انحراف الانتباه" (attention drift)، مما يشير إلى أن النماذج اللغوية البصرية الكبيرة غالبًا ما تخصص انتباهًا غير كافٍ للأدلة البصرية المعلوماتية. ومع ذلك، هناك منظور مفقود: إطار عمل مبدئي يمكنه قياس الطبيعة الهندسية والإنتروبية للتحديثات المتبقية لتحديد ما إذا كانت الوحدات تقود ابتكارًا دلاليًا أم أنها تكتفي بمجرد إعادة تشكيل المعلومات الموجودة. وتدفع هذه الفجوة التساؤل عما إذا كانت النماذج الحالية تستفيد بكفاءة من السياق البصري أم أنها تعاني من سوء تخصيص وفائض كبير في آليات الانتباه الخاصة بها.

2. المنهجية

يقترح المؤلفون إطار عمل موحدًا يرتكز على نظرية المعلومات والهندسة التفاضلية لقياس ومقارنة المساهمات الوظيفية على مستوى الوحدة داخل التدفق المتبقي (residual stream) للنماذج اللغوية البصرية الكبيرة.

الإطار النظري

باعتماد فرضية المتعددات (manifold hypothesis)، يصيغ المؤلفون المعلومات الواردة في مصفوفة التمثيل $X \in \mathbb{R}^{S \times H}$ (حيث $S$ هو طول الرمز و $H$ هو حجم الخفاء) كزوج $\mathcal{I}(X) = (\mathcal{S}_X, \mathcal{D}_X)$ :

تعقيد المعلومات ( $\mathcal{S}_X$ ): يُقاس عبر الرتبة الفعالة (eRank) للطيف المفرد، والتي تمثل مقياس التمثيل.
دعم المعلومات ( $\mathcal{D}_X$ ): يُعرف من خلال الفضاءات الجزئية المفردة اليسرى واليمنى (نقاط غراسمان)، والتي تمثل الاتجاهات الدلالية وتبعية الرموز.

لقياس مساهمة التحديث المتبقي $\Delta X$ (حيث $X' = X + \Delta X$ )، يقدم الإطار مقياسين متكاملين:

تفاوت معلومات التمثيل (RID): يقيس الابتكار (innovation). وهو يحدد كمية المعلومات الخارجية المحقونة من خلال جمع التغير في التعقيد الطيفي ( $\Delta \mathcal{S}$ ) وجدة دعم الفضاء الجزئي ( $\Delta \mathcal{D}$ ). يشير ارتفاع RID إلى أن التحديث يوسع الفضاء الجزئي الدلالي أو يغير التعقيد الطيفي.
كسب خلط المعلومات (MixIG): يقيس إعادة التشكيل (reconfiguration). وهو يحدد التغير في إنتروبيا خلط الرموز (TME)، والتي تلتقط مدى اتساع تفاعل الرموز وإعادة توزيع المعلومات ضمن الدعم الحالي. يشير ارتفاع MixIG إلى إعادة تنظيم داخلي كبير دون ضرورة إدخال اتجاهات دلالية جديدة.

البروتوكول التجريبي

تم تطبيق الإطار على 15 نموذجًا من أحدث النماذج اللغوية البصرية الكبيرة (SOTA) التي تغطي ثلاثة هياكل مهيمنة (عائلة Qwen، وعائلة LLaVA-1.5، وعائلة LLaVA-NeXT) عبر مجموعة واسعة من الاختبارات المعيارية متعددة الوسائط (بما في ذلك POPE، و3DSRBench، وMMMU، وHallusionBench).

استخدمت الدراسة ثلاث إعدادات مقارنة:

النماذج المرجعية العشوائية (Stochastic Baselines): استبدال تحديثات الانتباه بضوضاء غاوسية (تطابق العزوم التجريبية) أو عشوائية أوزان QKV للتحقق من حساسية المقياس مقابل الاضطرابات غير المهيكلة.
إسناد الوحدة (Module Attribution): تتبع تطور RID و MixIG عبر الطبقات لعزل المساهمات المحددة لوحدات الانتباه والشبكات التغذية الأمامية (FFN).
التدخل (أولوية الانتباه المشتركة - SAP): استبدال درجات الانتباه المتعلمة في طبقات مختارة بأولويات محددة مسبقًا (خرائط انتباه المشفر البصري، أولويات تعقيد الرقعة، أو ضوضاء غاوسية) لاختبار الضرورة الوظيفية لأوزان الانتباه المتعلمة.

3. المساهمات الرئيسية

الإطار النظري: تؤسس الورقة لصيغة صارمة قائمة على فرضية المتعددات لتعريف المعلومات التمثيلية. وهي تقدم RID و MixIG كمقاييس مزدوجة لقياس التأثيرات الهندسية (الابتكار) والإنتروبية (إعادة التشكيل)، مما يوفر أداة عامة لسبر ديناميكيات التمثيل بما يتجاوز مجرد الإسناد البسيط.
التفسير على مستوى الوحدة: تقدم الدراسة تفسيرًا كميًا للأدوار المتميزة داخل كتل الترانسفورمر. حيث تثبت أن الانتباه (Attention) و الشبكات التغذية الأمامية (FFNs) تعمل في أنظمة متعامدة:
- يعمل الانتباه كـ مشغل حافظ للفضاء الجزئي (subspace-preserving operator)، حيث يقوم بإعادة تشكيل عالية (MixIG مرتفع) ولكن بابتكار منخفض (RID منخفض). فهو يعيد تنظيم المعلومات الموجودة بشكل أساسي.
- تعمل الشبكات التغذية الأمامية (FFNs) كـ مشغلات موسعة للفضاء الجزئي (subspace-expanding operators)، حيث تقود الابتكار الدلالي (RID مرتفع) مع إعادة تشكيل ضعيفة (MixIG منخفض).
التشخيص التجريبي: يكشف البحث عن أوجه قصور حرجة في تصميم النماذج اللغوية البصرية الكبيرة. حيث تبين أن الانتباه البصري في فك التشفير غالبًا ما يفشل في إجراء خلط ذي معنى فوق الأدلة البصرية ذات الصلة بالسؤال، مما يظهر فائضًا كبيرًا.

4. النتائج

الفصل الوظيفي: عبر 15 نوعًا من النماذج، ظهر انفصال متسق. أظهرت تحديثات الانتباه ابتكارًا ضئيلاً (على مقياس التسامح $\epsilon_{RoPE}$ ) ولكن إعادة تشكيل قوية. وعلى العكس من ذلك، أظهرت تحديثات FFN ابتكارًا جوهريًا مع إعادة تشكيل ضعيفة. وهذا يؤكد وجود تقسيم حاد للعمل حيث يقوم الانتباه بسياقة المعلومات الموجودة بينما تقوم FFNs بحساب ميزات دلالية جديدة.
سوء التخصيص في الانتباه البصري: أظهر التحليل المستوي للطبقات أن التفاعلات بين الرموز تظل شحيحة في معظم الطبقات. غالبًا ما يفشل الانتباه البصري في تخصيص التفاعل للمناطق البصرية ذات الصلة بالسؤال. وفي العينات غير الصحيحة، كانت "نسبة درجة المنطقة المفتاحية" (كتلة التفاعل الموجهة للأدلة البصرية ذات الصلة) أقل بكثير (4.2%) مقارلة بالعينات الصحيحة (13.1%).
فائض الانتباه المتعلم: في تجارب تدخل SAP، أدى استبدال درجات الانتباه المتعلمة بقيم محددة مسبقًا (مثل الضوضاء الغاوسية، أو خرائط المشفر البصري، أو أولويات تعقيد الرقعة) في طبقات مختارة إلى تحقيق أداء مماثل أو حتى متفوق عبر معظم مجموعات البيانات مقارنة بالنماذج الأصلية. على سبيل المثال، في متغيرات Qwen-2.5-VL و LLaVA-1.5، لم يؤدِ استبدال الانتباه بالضوضاء في نطاقات طبقات معينة إلى تدهور الأداء، بل في بعض الحالات أدى إلى تحسينه.

5. الأهمية والادعاءات

تدعي الورقة أن النماذج اللغوية البصرية الكبيرة الحديثة "تضيع في الانتباه" (get lost in attention) بشكل فعال. وتشير النتائج إلى أن دمج الرموز البصرية غالبًا ما يكون مكلفًا حاسوبيًا ومع ذلك فهو شحيح معلوماتيًا، حيث أن جزءًا كبيرًا من تسجيل الانتباه البصري غير ضروري وظيفيًا.

تكمن أهمية هذا العمل في:

تحويل المنظور التشخيصي: الانتقال من تحديد ما هي الوظائف الموجودة (مثل وظائف رؤوس معينة) إلى تشخيص ما هو غير كافٍ أو زائد عن الحاجة في التحديث المتبقي نفسه (الابتكار مقابل إعادة التشكيل).
تحدي الافتراضات الهيكلية: تكشف النتائج عن سوء تخصيص وفائض شديد، مما يشير إلى أن التكلفة الحسابية التربيعية للانتباه الذاتي القياسي في فك تشفير النماذج اللغوية البصرية الكبيرة قد لا تكون مبررة تمامًا بتدفق المعلومات الذي توفره.
التحسين المستقبلي: يحفز العمل عمليات التحسين المستهدفة المتمحورة حول الانتباه، مثل تصميم آليات انتباه أكثر كفاءة أو منظمات تحافظ على الخلط المفيد مع تقليل تسجيل الانتباه غير الضروري، مما قد يؤدي إلى بنى أكثر كفاءة للنماذج اللغوية البصرية الكبيرة.

يخلص المؤلفون إلى أن إطار عملهم يحول التحديثات المتبقية للنماذج اللغوية البصرية الكبيرة إلى ديناميكيات قابلة للقياس من الابتكار وإعادة التشكيل، مما يقدم دليلًا على أن الاعتماد الحالي على درجات الانتباه المتعلمة لدمج السياق البصري غالبًا ما يكون فائضًا عن الحاجة.