🤖 machine learning

ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference

تقدم هذه الورقة البحثية ASAP، وهي طريقة تقليم خالية من التدريب ومتوافقة مع ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-Cache)، تعمل على تخفيف ظاهرة "انزياح الانتباه" وتقليل تكرار الرموز المرئية من خلال القناع الديناميكي والدمج الناعم الموزون، مما يحقق انخفاضًا بنسبة 80% في العمليات الحسابية (FLOPs) مع فقدان ضئيل في الأداء في النماذج اللغوية البصرية الكبيرة.

المؤلفون الأصليون: Surendra Pathak, Bo Han

نُشر 2026-03-17

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Surendra Pathak, Bo Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث ASAP، مترجم إلى لغة بسيطة ويومية مع استخدام تشبيهات إبداعية.

المشكلة: "أمين المكتبة المنهك"

تخيل أمين مكتبة عبقرياً (نموذج لغوي بصري ضخم، أو LVLM) يمكنه قراءة الكتب والنظر إلى الصور للإجابة على أسئلتك. هذا الأمين ذكي للغاية، لكن لديه مشكلة كبيرة: إنه يشعر بالارتباك والإنهاك بسبب حجم الصورة.

عندما تعرض على هذا الأمين صورة عالية الدقة، يقوم الكمبيوتر بتفكيك هذه الصورة إلى آلاف القطع الصغيرة من أحجية اللغز (تسمى tokens).

الصورة القياسية قد تُفكك إلى 500 قطعة.
الصورة عالية الدقة قد تُفكك إلى 2,800 قطعة.

على أمين المكتبة أن يقرأ كل قطعة لفهم الصورة بأكملها. ولأن "الدماغ" (معالج الكمبيوتر) يجب أن يقارن كل قطعة بكل قطعة أخرى لإيجاد الروابط، فإن العمل ينمو بشكل أسي. الأمر يشبه محاولة تعريف كل شخص في ملعب رياضي بجميع الأشخاص الآخرين في الملعب؛ حيث يصبح عدد المصافات مستحيلاً إدارته. هذا يجعل عمل أمين المكتبة بطيئاً ومكلفاً للغاية.

الحل القديم: "القطع الساذج"

لتسريع العملية، حاول الباحثون السابقون ببساطة التخلص من بعض قطع الأحجية قبل أن يقرأها أمين المكتبة. استخدموا قاعدة بسيطة: "انظر إلى القطع التي يحدق فيها أمين المكتبة أكثر من غيرها، واحتفظ بها. وارمِ الباقي."

لماذا فشل ذلك:
اكتشفت الورقة البحثية خللاً في طريقة عمل دماغ أمين المكتبة. فبسبب إعداد معين في ذاكرته (يسمى RoPE)، لدى أمين المكتبة انحياز غريب: إنه يولي اهتماماً مبالغاً فيه لأسفل الصورة ويتجاهل الجزء العلوي.

التشبيه: تخيل أنك تنظر إلى صورة لموقف سيارات. أمين المكتبة مهووس جداً بأسفل الصورة لدرجة أنه يتجاهل السيارات المركونة في المسافة البعيدة في الأعلى. إذا سألته: "كم عدد السيارات هناك؟"، سيرى فقط السيارتين في الأسفل ويقول "اثنتان"، متجاهلاً السيارة الثالثة في الخلف.
النتيجة: الطرق القديمة كانت تحتفظ بقطع "الأسفل" (لأن أمين المكتبة كان يحدق فيها) وترمي قطع "الأعلى" (رغم أن قطع الأعلى كانت تحتوي على الإجابة المهمة). أدى ذلك إلى إجابات خاطئة.

الحل الجديد: ASAP (التقليم الواعي بتحول الانتباه)

ابتكر المؤلفون نظام ASAP، وهو نظام ذكي يصلح انحياز أمين المكتبة وينظم قطع الأحجية بشكل أفضل. فكر في ASAP كـ مساعد فائق الذكاء يقف بين الكاميرا وأمين المكتبة.

يقوم ASAP بثلاث مهام رئيسية:

1. إصلاح "الرؤية النفقية" (القناع ثنائي الاتجاه - The Bidirectional Mask)

النظام القديم أجبر أمين المكتبة على رؤية الصورة مثل فيلم، من اليسار إلى اليمين، ومن الأعلى إلى الأسفل. تسبب هذا في "انحياز الأسفل".

إصلاح ASAP: يخبر أمين المكتبة: "مهلاً، يمكنك رؤية الصورة كاملة في وقت واحد! لا تحدق في الأسفل فقط. انظر إلى الأعلى، والمنتصف، والأسفل معاً."
التشبيه: بدلاً من قراءة كتاب صفحة تلو الأخرى، يعطي ASAP أمين المكتبة عدسة واسعة الزاوية. إنه يسمح لأمين المكتبة بـ "إلقاء نظرة" على الأجزاء البعيدة من الصورة (أعلى الصورة) حتى لا يفتقد السيارة الموجودة في الخلف. هذا يضمن اختيار أمين المكتبة للقطع المهمة حقاً، وليس فقط القطع التي صدف أنه كان ينظر إليها بسبب خلل ما.

2. دمج القطع "المملة" (الدمج الموزون - Weighted Merging)

حتى بعد إصلاح الانحياز، تظل بعض أجزاء الصورة مملة. السماء الزرقاء الواسعة أو الغابة الخضراء تتكون من مئات القطع الزرقاء أو الخضراء المتطابقة تقريباً. الاحتفاظ بكل منها هو مضيعة للوقت.

إصلاح ASAP: يبحث عن القطع التي هي في الأساس متشابهة (متكررة/زائدة عن الحاجة) ويقوم بدمجها معاً لتصبح قطعة واحدة "خارقة".
التشبيه: تخيل أن لديك 100 صورة لسماء زرقاء. بدلاً من عرض 100 صورة على أمين المكتبة، يقول ASAP: "هذه الـ 100 كلها متشابهة. لنصنع منها 'رمز سماء' واحداً يمثلها جميعاً". هذا يوفر المساحة دون فقدان أي معلومات.

3. "فريق الإنقاذ" (إعادة تخصيص الميزانية - Budget Reallocation)

عندما تقوم بلصق القطع معاً، فإنك توفر مساحة.

إصلاح ASAP: بدلاً من ترك تلك المساحة فارغة، يبحث ASAP في القطع التي كاد أن يرميها. إذا رأى قطعة مهمة حقاً (مثل وجه صغير وسط حشد) تم قصها سابقاً، فإنه ينقذها ويعيدها إلى المجموعة.
التشبيه: الأمر يشبه حزم حقيبة سفر. أنت تطوي ملابسك (دمج القطع) لتوفد مساحة. ثم تدرك أن لديك مساحة لقطعة واحدة إضافية، فتأخذ تلك التذكار المهم الذي كنت ستتركه خلفك تقريباً.

النتائج: سريع، رخيص، وذكي

اختبرت الورقة البحثية نظام ASAP على بعض أذكى نماذج الذكاء الاصطعي (مثل LLaVA).

السرعة: قلل النظام العمليات الحسابية (FLOPs) بنسبة 80%. أصبح أمين المكتبة الآن أسرع بـ 5 مرات.
الدقة: رغم التخلص من 80% من البيانات، إلا أن أمين المكتبة لا يزال يجيب على 99% من الأسئلة بشكل صحيح.
مفاجأة "النموذج الأصلي المتفوق": في بعض الاختبارات، حصل أمين المكتبة المزود بـ ASAP على إجابات أفضل من النسخة الأصلية غير المختزلة. لماذا؟ لأنه من خلال إزالة "الضجيج" (قطع السماء المملة) وإصلاح "الانحياز" (خلل التحديق في الأسفل)، استطاع أمين المكتبة التركيز تماماً على الأشياء المهمة.

الملخص

ASAP هو أداة تجعل نماذج الرؤية بالذكاء الاصطناعي أسرع وأرخص دون جعلها أقل ذكاءً. وهو يفعل ذلك من خلال:

إصلاح الانحياز لكي يرى الذكاء الاصطناዊ الصورة كاملة، وليس فقط الجزء السفلي.
دمج الأجزاء المتكررة والمملة من الصورة.
إنقاذ التفاصيل المهمة التي قد تُحذف بالخطأ.

إنه الفرق بين أمين مكتبة يقلب 2000 صفحة من كتاب بجنون للعثور على إجابة، وبين أمين مكتبة يمسح الفهرس بسرعة، ويتجاهل الصفحات الفارغة، ويجد الإجابة فوراً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ASAP: Attention-Shift-Aware Pruning for Efficient LVLM Inference" (التقليم الواعي بانزياح الانتباه من أجل استنتاج فعال لنماذج اللغات والرؤية الكبيرة).

1. بيان المشكلة

حققت نماذج اللغات والرؤية الكبيرة (LVLMs) مثل LLaVA-NeXT وInternVL أداءً فائقًا، لكنها تعاني من اختناقات حوسبية شديدة بسبب التوسع التربيعي لآلية "الانتباه الذاتي" (self-attention) بالنسبة لطول التسلسل. غالبًا ما يتم تقسيم الصور عالية الدقة إلى آلاف الرموز البصرية (على سبيل المثال، حوالي 2,300 رمز في LLaVA-NeXT)، مما يجعل عملية الاستنتاج بطيئة ومستهلكة للذاكرة.

تواجه استراتيجيات تقليم الرموز الحالية مشكلتين حرجتين:

عدم كفاية معالجة التكرار: تتبع العديد من الطرق تقليم الرموز بناءً على درجات انتباه ساذجة أو تشابه الميزات دون مراعاة التكرار الدلالي، مما يؤدي إلى تمييع الميزات (feature dilution).
ظاهرة "انزياح الانتباه" (Attention Shift): تعتمد الطرق الحالية غالبًا على درجات الانتباه الخام لتحديد أهمية الرمز. ومع ذلك، بسبب تضمينات الموضع الدوارة (RoPE)، تتلقى الرموز المتأخرة في التسلسل (عادةً الرقع الصورية في أسفل يمين الصورة) درجات انتباه عالية بشكل مصطنع بسبب اضمحلال المسافة، بغض النظر عن محتواها الدلالي. يتسبب هذا في جعل خوارزميات التقليم تحتفظ برقع الخلفية غير ذات الصلة بينما تتخلص من الميزات البصرية الحرجة المبكرة (مثل الأجسام البعيدة)، مما يؤدي إلى تدهور الأداء.

2. المنهجية: إطار عمل ASAP

إن ASAP (التقليم الواعي بانزياح الانتباه) هو إطار عمل خالٍ من التدريب، وقابل للتركيب والتشغيل مباشرة (plug-and-play)، صُمم للتخفيف من انزياح الانتباه والقضاء على التكرار مع الحفاظ على التوافق مع ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-Cache) والمحادثات متعددة الأدوار. يعمل الإطار ضمن العمود الفقري للنموذج اللغوي الكبير (LLM) ويتكون من ثلاثة مكونات أساسية:

أ. الانتباه ثنائي الاتجاه الموجه بالبروز (SG-BiMask)

لمعالجة انزياح الانتباه الناتج عن اضمحلال المسافة في RoPE، يقوم ASAP بتخفيف قيود قناع الانتباه السببي (causal attention mask) للرموز البصرية.

الآلية: بدلاً من حجب الرموز المستقبلية بشكل صارم (السببية)، يقدم قناعًا ناعمًا ثنائي الاتجاه ديناميكيًا.
التنفيذ: يقوم بحساب "درجة البروز" ( $\hat{s}_j$ ) لكل رمز بصري بناءً على كتلة المحاذاة قبل دالة (softmax) (مجموع أوزان الانتباه من جميع استعلامات الرؤية).
الأثر: يسمح هذا للرموز البصرية المبكرة بـ "استراق النظر" إلى الرموز المتأخرة إذا كانت تلك الرموز المتأخرة ذات أهمية هيكلية. يطبق القناع عقوبة في الفضاء اللوغاريتمي على الرموز المستقبلية بما يتناسب مع بروزها، مما يضمن أن "مرتكزات البروز العالي" يمكنها بث الميزات للخلف، بينما تظل رقع الخلفية غير المعلوماتية مقيدة. هذا يستعيد الإدراك الشامل للمشهد ثنائي الأبعاد.

ب. الدمج الموزون بالبروز (Salience-Weighted Consolidation)

بمجرد تحديد الرموز ذات البروز العالي، يعالج الإطار التكرار الدلالي (مثل رقع السماء أو المحيط الموحدة).

الآلية: يقوم بدمج الرموز المتشابهة دلاليًا باستخدام مقياس تشابه قائم على الميزات الموزونة.
التنفيذ: بخلاف المتوسط الحسابي القياسي، يقوم ASAP بتجميع الميزات باستخدام تركيب محدب موزون بكتلة الانتباه المعيرة ( $\hat{s}$ ) المستمدة من الخطوة السابقة.
التوجيه (Routing): يتم دمج الرمز المصدر في الرمز الوجهة فقط إذا كانا متشابهين وكان الوجهة يمتلك درجة بروز أعلى. يضمن ذلك أن التمثيل الكامن الناتج يكون مرتكزًا على الرقعة الأكثر أهمية هيكليًا، مما يمنع تمييع الميزات.

ج. إعادة تخصيص الميزانية (آلية الإنقاذ - Salvage Mechanism)

تؤدي عملية الدمج إلى خلق "فراغات" في ميزانية الرموز.

الآلية: لتعظيم الاحتفاظ بالمعلومات، يقوم ASAP بإعادة تخصيص هذه الفتحات المحررة للرموز الأعلى ترتيبًا من مجموعة الرموز التي تم تقليمها سابقًا، والمرتبة حسب كتلة الانتباه الخاصة بها.
النتيجة: يضمن ذلك أن تسلسل الرموز النهائي ليس مجرد مجموعة فرعية مبتورة، بل هو تمثيل متنوع وكثيف الميزات إلى أقصى حد.

3. المساهمات الرئيسية

تحديد انزياح الانتباه: عزا المؤلفون التحيز المكاني في تقليم نماذج LVLM بشكل منهجي إلى خاصية اضمحلال المسافة في RoPE، موضحين أن الاختيار القائم على الانتباه الساذج يفشل في سياقات الدقة العالية.
التخفيف الهيكلي: هم أول من عالج هذا الأثر هيكليًا عبر تقديم قناع ثنائي الاتجاه موجه بالبروز، مما يسمح بتدفق المعلومات العكسي الضروري للرموز البصرية دون إزالة RoPE تمامًا.
إطار عمل جديد للتقليم: يجمع ASAP بين الاختيار الواعي بانزياح الانتباه وبين الدمج الموزون القائم على الميزات وإعادة تخصيص الميزانية. وهو خالٍ من التدريب ومتوافق تمامًا مع آليات KV-Cache القياسية.
أداء رائد: يحقق ASAP ضغطًا يقترب من عدم فقدان المعلومات، متفوقًا بشكل كبير على النماذج المرجعية الحالية (مثل FastV، وPruMerge+، وSparseVLM، إلخ).

4. النتائج التجريبية

قام المؤلفون بتقييم ASAP على نماذج LLaVA-1.5، وLLaVA-NeXT-7B، وInternVL 2.5 عبر اختبارات متنوعة (VQAv2, GQA, MME, MMBench, TextVQA, إلخ).

الاحتفاظ بالأداء:
- في LLaVA-NeXT-7B، يحتفظ ASAP بـ 99.02% من أداء النموذج الأصلي مع تقليل العمليات الحسابية (FLOPs) بنسبة ~80% (الاحتفاظ بـ ~22% فقط من الرموز).
- في LLaVA-1.5-13B، عند نسبة 20.90% من العمليات الحسابية (128 رمزًا)، يحتفظ بـ 97.10% من متوسط الأداء، متفوقًا على أقوى نموذج مرجعي (DivPrune) بنسبة 1.08%.
الأداء المتفوق على النموذج الأصلي (Supra-Vanilla): في عدة حالات (مثل MME وMMBench)، تفوق ASAP في الواقع على النموذج الأصلي (Vanilla)، مما يشير إلى أن إزالة الرموز المكررة يحسن التركيز على الميزات الحرجة.
الكفاءة:
- العمليات الحسابية (FLOPs): انخفضت بنسبة ~80%.
- الذاكرة: قلل تخزين KV cache بنسبة ~15% مقارنة بطرق التقليم الأخرى عند نفس ميزانية الرموز.
- زمن الاستجابة (Latency): لم يضف سوى ~2 مللي ثانية من وقت الاستنتاج بسبب حساب القناع الديناميكي.

5. الأهمية

يمثل ASAP تحولًا جذريًا في استنتاج نماذج LVLM الفعالة. فمن خلال إدراك أن التحيز الموضعي (اضمحلال RoPE) والتكرار الدلالي هما مشكلتان مختلفتان ولكن متراكمتان، فإنه يقدم حلاً لا يتطلب إعادة تدريب.

العملية: كونه وحدة قابلة للتركيب والتشغيل مباشرة وخالية من التدريب، يمكن نشره فورًا على نماذج LVLM الحالية لتمكين معالجة الصور عالية الدقة على الأجهزة ذات الموارد المحدودة.
الرؤية النظرية: يتحدى الافتراض بأن القناع السببي الصارم هو الأمثل للرموز البصرية في النماذج متعددة الوسائط، مقترحًا أن التدفق ثنائي الاتجاه ضروري لفهم دقيق للمشهد ثنائي الأبعاد.
القابلية للتوسع: يتوسع الأسلوب بفعالية مع النماذج التي تحتوي على أعداد هائلة من الرموز (مثل 10,000+ رمز في InternVL)، مما يجعل مهام الرؤية واللغة عالية الدقة ممكنة للتطبيقات في الوقت الفعلي.