ملخص تقني: CAPA – تقليم مدرك للمساهمة وتقريب شبكات التغذية الأمامية لنماذج الرؤية واللغة الضخمة الفعالة

1. بيان المشكلة

تواجه نماذج الرؤية واللغة الضخمة (LVLMs) اختناقات حوسبية كبيرة بسبب التكلفة العالية لمعالجة آلاف الرموز البصرية (visual tokens)، لا سيما عند التعامل مع صور عالية الدقة. وبينما برز تقليم الرموز البصرية كاستراتيجية تسريع أساسية، تعتمد الطرق الحالية بشكل كبير على درجات الانتباه الخام أو المقاييس الاستدلالية المشتقة منها لتحديد الرموز غير المهمة. ويجادل المؤلفون بأن درجات الانتباه هي وكيل غير دقيق لأهمية الرمز الفعلية لأنها تتجاهل مقدار متجهات القيمة (value vectors) المرتبطة بها.

علاوة على ذلك، غالبًا ما تعامل النهج الحالية الرموز البصرية والنصية بشكل موحد. ومع ذلك، تشير الأدلة الحديثة إلى أن النماذج الأساسية لـ LVLM تعالج هذه الوسائط بشكل مختلف. وتحديدًا، لا تزال الحماقة (redundancy) في شبكات التغذية الأمامية (FFNs) فيما يتعلق بالرموز البصرية غير مستكشفة إلى حد كبير. لقد استكشفت الأعمال السابقة في مجال النماذج اللغوية الكبيرة (LLM) تقريب FFN (مثل التقريب المتفرق أو Mixture of Experts)، لكن لم يتم توسيع هذه التقنيات لتشمل أنماط الحماقة الخاصة بالرموز البصرية في نماذج LVLM.

2. التحليل التجريبي والملاحظات الرئيسية

أجرى المؤلفون تحليلات تجريبية على نماذج LVLM (مثل LLaVA-1.5، وQwen2.5-VL، وInternVL3) لتفكيك سلوكيات الرموز البصرية، مما أدى إلى ملاحظتين حاسمتين:

1. تباين مغاصات الانتباه (Heterogeneity of Visual Attention Sinks):

   • "مغاصات الانتباه" التقليدية (الرموز ذات كتلة الانتباه العالية بشكل غير متناسب) ليست متجانسة وظيفيًا.
   • باستخدام مقياس جديد، وهو مساهمة الانتباه (Attention Contribution)، يميز المؤلفون بين نوعين من المغاصات:
     • النوع الأول (مصبات الاحتمالية - Probability Dumps): رموز ذات أوزان انتباه عالية ولكن مع متجهات قيمة ذات مقدار منخفض. تعمل هذه كأوعية سلبية لكتلة الاحتمالية الزائدة وتساهم بشكل ضئيل في التدفق المتبقي (residual stream). وهي آمنة للتقليم.
     • النوع الثاني (المرتكزات الهيكلية - Structural Anchors): رموز ذات أوزان انتباه عالية ومتجهات قيمة ضخمة في آن واحد. هذه الرموز حاسمة للحفاظ على أداء النموذج؛ حيث يؤدي إزالتها إلى انهيار تمثيلي.
   • الاستنتاج: الاعتماد فقط على درجات الانتباه يفشل في التمييز بين هذين النوعين، مما يؤدي إلى التقليم العرضي للرموز الجوهرية.

2. الحماقة المعتمدة على الوسائط (Modality-Dependent FFN Redundancy):

   • قاس المؤلفون خطية تحويلات FFN عن طريق حساب تشابه جيب التمام بين الحالة المخفية للمدخل $x$ والمخرج المتبقي $x + \text{FFN}(x)$.
   • النتائج: تظهر الرموز الصورية (Image tokens) رسمًا يقارب الهوية (similarity > 0.96) عبر معظم الطبقات المتوسطة، مما يشير إلى أن تحويلات FFN هي خطية وحمقاء فعليًا بالنسبة للبيانات البصرية. في المقابل، تظهر الرموز النصية عدم خطية كبيرة في الطبقات المبكرة والمتوسطة.
   • الاستنتاج: يمكن استبدال حسابات FFN المكلفة من رتبة $O(d^2)$ للرموز البصرية في الطبقات المتوسطة بتقريبات خطية خفيفة الوزن دون المساس بسلامة التمثيل.

3. المنهجية: إطار عمل CAPA

بناءً على هذه النتائج، يقترح المؤلفون CAPA (التقليم المدرك للمساهمة وتقريب FFN)، وهو إطار عمل ثنائي الاستراتيجية:

أ. التقليم المدرك للمساهمة

بدلاً من استخدام درجات الانتباه الخام، يحسب CAPA درجة مساهمة الانتباه ($C_i$) لكل رمز بصري $i$. تقوم هذه الدرجة بوزن احتمال الانتباه بمقدار متجه القيمة المسقط بواسطة مصفوفة المخرجات.

• الصيغة: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• الآلية: أثناء التوليد، يختار النظام ديناميكيًا أفضل $k$ من الرموز البصرية ذات درجات المساهمة الأعلى للاحتفاظ بها في ذاكرة التخزين المؤقت (KV cache)، مع تقليم الرموز ذات المساهمة الضئيلة. يضمن هذا الحفاظ على "المرتكزات الهيكلية" وإزالة "مصبات الاحتمالية".

ب. تحديد الحماقة وتقريب FFN

بالنسبة للطبقات التي تم تحديد وجود حماقة عالية فيها (حيث يتجاوز تشابه جيب التمام بين المدخل والمخرج العتبة $\eta$)، يستبدل CAPR الـ FFN الكثيف القياسي بـ حاصل ضرب هادامارد (Hadamard product) خفيف الوزن.

• التقريب: يتم تقريب الكتلة المتبقية $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ لتصبح $\hat{y}^{(l)} = x^{(l)} \odot \alpha$، حيث $\alpha$ هو متجه قياس (scaling vector) متعلم عنصر بعنصر.
• تقليل التعقيد: يقلل هذا من التعقيد الحسابي للطبقة من $O(d^2)$ إلى $O(d)$.
• التحسين: يتم اشتقاق متجه القياس $\alpha$ الأمثل تحليليًا باستخدام حل المربعات الصغرى العادية (OLS) على مجموعة معايرة، مما يتجنب التدرج التكراري.

4. النتائج التجريبية

تم تقييم إطار العمل على ثلاثة نماذج أساسية لـ LVLM (وهي LLaVA-1.5-7B، وQwen2.5-VL-7B، وInternVL3-8B) عبر ستة اختبارات مرجعية (VQAv2، وMMBench، وMMVet، وTextVQA، وSEED-Bench، وMMMU).

• الأداء مقابل النماذج المرجعية (Baselines): تفوق CAPA باستمرار على نماذج التقليم المرجعية الحالية (مثل FastV، وFeather، والتقليم الموحد) عبر جميع الاختبارات. والجدير بالذكر أنه في "طبقات الانتقال" الحرجة حيث يكون التقليم أكثر حساسية، حافظ CAPA على أداء قريب من نموذج Vanilla الأصلي، بينما عانت النماذج المرجعية من تدهور كبير.
• المتانة: أظهر CAPA متانة فائقة عند مستويات التخلخل (sparsity) العالية. فبينما شهدت النماذج المرجعية انخفاضات حادة في الأداء بعد تجاوز 50% من التقليم، حافظ CAPA على دقة قريبة من نموذج Vanilla حتى عند تقليم بنسبة 75%.
• مكاسب الكفاءة:
  • تقليم الرموز: قلل التكلفة التربيعية المرتبطة بطول التسلسل.
  • تقريب FFN: ألغى تكلفة $O(d^2)$ المهيمنة في الطبقات الحمقاء.
  • التأثير الإجمالي: حقق النهج المدمج انخفاضًا بنسبة 78% في إجمالي عمليات FLOPs مع الحفاظ على أداء المهمة.
• دراسات الاستئصال (Ablation Studies):
  • تباعد اللوجيت (Logit Divergence): أدى التقليم بناءً على مساهمة الانتباه إلى مسافات هيلينجر (Hellinger distances) أقل (أي أقرب إلى توزيع مخرجات نموذج Vanilla) مقارنة بالتقليم القائم على درجات الانتباه، خاصة في التوليد طويل المدى.
  • استبدال FFN: تسبب مجرد تخطي طبقات FFN في انخفاض الأداء، لكن استبدالها بحاصل ضرب هادامارد نجح في استعادة معظم الأداء المفقود، مما يؤكد فرضية الخطية.

5. الأهمية والادعاءات

يزعم البحث أن CAPA يعالج فجوة حرجة في تحسين نماذج LVLM من خلال الإدراك بأن الرموز البصرية تسلك سلوكيات مختلفة عن الرموز النصية في كل من آليات الانتباه ومعالجة FFN.

• تحول في نموذج التقليم: يجادل المؤلفون بأن درجات الانتباه غير كافية لاختيار الرموز. ومن خلال تقديم مساهمة الانتباه، فإنهم يوفرون إشارة أكثر دقة لتحديد الرموز البصرية الضرورية وظيفيًا.
• التحسين الخاص بالوسائط: يسلط العمل الضوء على أن مكاسب الكفاءة في نماذج LVLM تتطلب استراتيجيات متميزة لكل من الوسائط البصرية والنصية. وتحديدًا، يسمح اكتشاف الحماقة الخطية في FFNs البصرية بتبسيط معماري لا يمكن تطبيقه على معالجة النصوص.
• المفاضلة بين الكفاءة والأداء: يحقق CAPA مفاضلة مواتية، حيث يقدم تسريعًا كبيرًا في الاستدلال (انخفاض بنسبة 78% في FLOPs) دون المساس بمتانة النموذج أو أداء المهمة، متفوقًا على نماذج التقليم الأخرى التي تركز على تقليم الرموز فقط.

6. القيود

يقر المؤلفون بأن CAPA هو استراتيجية لاحقة (post-hoc) تعمل على نماذج مدربة مسبقًا وثابتة. وبناءً على ذلك، لا يمكنه الاستفادة الكاملة من فوائد التعلم المشترك لاختيار الرموز والحوسبة. ويُقترح العمل المستقبلي في اتجاهات:

• تصميم متحكمات متعلمة للاحتفاظ بالرموز بشكل تكيفي.
• تطوير نماذج أساسية لـ (Vision-Language) تحتوي على وحدات FFN فعالة ومدمجة مصممة خصيصًا للرموز البصرية.
• تقييم هذه الاستراتيجيات عبر تغيرات متنوعة في التوزيع والتحقيق في قابلية التفسير للسياسات المتعلمة.