💻 computer science

Energy-Driven Adaptive Visual Token Pruning for Efficient Vision-Language Models

تقترح الورقة البحثية E-AdaPrune، وهو إطار عمل تكيفي مدفوع بالطاقة يقوم بتخصيص ميزانيات الرموز البصرية ديناميكيًا بناءً على كثافة المعلومات الصورية عبر تحليل طيف القيم المفردة، مما يقلل بشكل كبير من الحوسبة الزائدة للصور البسيطة مع تحسين الأداء في الحالات المعقدة دون إدخال أي معاملات قابلة للتعلم إضافية.

المؤلفون الأصليون: Jialuo He, Huangxun Chen

نُشر 2026-07-31

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jialuo He, Huangxun Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يرى العالم. أنت لا تكتفي فقط بعرض صورة عليه؛ بل يجب عليك ترجمة تلك الصورة إلى قائمة طويلة من "الرموز" (tokens) الرقمية الصغيرة (مثل الكلمات في الجملة) التي يمكن لعقل الروبوت قراءتها. المشكلة هي أن عقل الروبوت يشبه طالباً يصاب بالارتباك إذا سلمته كتاباً من 1000 صفحة بينما يكفيه ملخص من 10 صفحات فقط. في عالم الذكاء الاصطناعي، هذا "الكتاب" هو تسلسل الرموز البصرية، وكلما زاد طوله، أصبح الأمر أصعب وأبطأ على الروبوت ليفكر. هذا هو التحدي المتمثل في جعل نماذج الرؤية واللغة (VLMs) فعالة. لقد عرف العلماء منذ فترة طويلة أن العديد من هذه الرموز ليست سوى "حشو" — معلومات مكررة لا تساعد الروبوت فعلياً على الفهم. لذا، يصبح السؤال الكبير هو: كيف يمكننا قص هذا الحشو دون التخلص من الأشياء الجيدة عن طريق الخطأ؟

هنا يأتي دور E-AdaPrune، وهي طريقة جديدة تعمل كأمينة مكتبة ذكية وموفرة للطاقة لعقول هذه الروبوتات. بدلاً من إجبار كل صورة على أن تُلخص إلى نفس العدد بالضبط من الرموز (ميزانية ثابتة)، تسأل هذه الطة سؤالاً بسيطاً: "كم مقدار المعلومات الموجودة في هذه الصورة حقاً؟". إنها تستخدم خدعة رياضية تسمى تحليل القيم المفردة (Singular Value Decomposition) (فكر فيها كوسيلة لقياس "الطاقة" أو الأهمية للأجزاء المختلفة من الصورة) لتقرر الطول المثالي للملخص. إذا كانت الصورة عبارة عن صورة بسيطة لتفاحة واحدة، ستدرك أمينة المكتبة: "مهلاً، هذا سهل! نحتاج فقط إلى عدد قليل من الرموز لوصفها". ولكن إذا كانت الصورة عبارة عن مشهد شارع فوضوي ومزدحم بمئات اللافتات والناس، ستقول أمينة المكتبة: "واو، هذا معقد! نحتاج للاحتفاظ بالمزيد من الرموز لضبط التفاصيل بدقة".

تقترح الورقة البحثية أنه من خلال السماح للصورة نفسها بتحديد عدد الرموز التي تحتاجها، يمكننا توفير كم هائل من قوة الحوسبة في المهام البسيطة وإعادة توجيه هذه الطاقة الموفرة إلى المهام الصعبة حيث تبرز الحاجة إليها فعلياً. اختبر الباحثون هذه الفكرة عبر أربعة "عقول" روبوتية مختلفة وتسعة مجموعات تحدي مختلفة. ووجدوا أنه بالنسبة للصور البسيطة، استطاع E-AdaPrune تقليل عدد الرموز بنسبة 35.8% مع فقدان ضئيل جداً في الدقة (انخفاض نسبي قدره 0.52% فقط). وفي الوقت نفسه، بالنسبة للصور الصعبة والغنية بالمعلومات، منحها هذا الأسلوب 52.5% من الرموز أكثر من المعتاد، مما ساعد الروبوت على الحصول على الإجابة الصحيحة بنسبة 1.94% أكثر من المعتاد. الأمر يشبه إعطاء طالب اختباراً قصيراً لفصل سهل واختباراً مفصلاً وشاملاً لفصل صعب، بدلاً من إجباره على خوض نفس الاختبار بنفس الطول لكل شيء. والجزء الأفضل؟ هذا النظام لا يحتاج إلى إعادة تدريب؛ فهو يعمل بمجرد توصيله، مستخد de عملية حسابية سريعة (تستغرق حوالي 8 ميلي ثانية فقط لكل صورة باستخدام تحسين محدد) لتحديد الميزانية المثالية. والنتيجة هي طريقة أذكى وأسرع للذكاء الاصطناعي ليرى العالم، مع الحفاظ على التفاصيل المهمة والتخلص من الفوضى الرقمية.

ملخص تقني: تقليم الرموز البصرية التكيفي المدفوع بالطاقة لنماذج الرؤية واللغة الفعالة

بيان المشكلة
تمثل نماذج الرؤية واللغة (VLMs) المدخلات البصرية كمتواليات من الرموز (tokens) التي يتم معالجتها بواسطة هيكل نموذج لغة كبير (LLM). ونظرًا للتعقيد التربيعي لآليات الانتباه الذاتي (self-attention)، تسبب متواليات الرموز البصرية الطويلة عبئًا حسابيًا كبيرًا. وبينما تشير الأدلة التجريبية إلى أن الرموز البصرية تحتوي على قدر كبير من التكرار، فإن طرق التقليم الحالية تعتمد عادةً على ميزانيات رموز ثابتة (مثل top- $k$ ثابت أو نسبة تقليم ثابتة) تُطبق بشكل موحد عبر جميع المدخلات.

تجادل الورقة بأن هذا النهج الثابت يتجاهل التباين الكبير في كثافة المعلومات بين الصور المختلفة. فقد تؤدي الميزانية الثابتة إلى "تقليم مفرط" للمشاهد المعقدة وعالية الكثافة المعلوماتية (مما يسبب فقدان المعلومات وتدهور الأداء) أو "تقليم ناقص" للمشاهد البسيطة والمكررة (مما يهدر الموارد الحسابية). وتحاول الأساليب التكيفية الحالية حل هذه المشكلة، لكنها غالبًا ما تتطلب تدريبًا إضافيًا، أو تحسينًا، أو تعلم سياسات، مما يترتب عليه أعباء إضافية كبيرة.

المنهجية: E-AdaPrune
يقترح المؤلفون E-AdaPrune، وهو إطار عمل يعمل بمبدأ "التوصيل والتشغيل" (plug-and-play) ولا يتطلب تدريبًا، يقوم بفصل ضغط الرؤية إلى مرحلتين:

تحديد ميزانية الرموز الخاصة بالصورة: بدلاً من قيمة $k$ ثابتة، تستنتج الطريقة ميزانية تكيفية $k^*$ لكل صورة بناءً على الطاقة الطيفية لمصفوفة الميزات البصرية.
اختيار الرموز: يتم تمرير الميزانية المستنتجة $k^*$ إلى منتقيات الرموز الموجودة (مثل FastV وPyramidDrop وVisionZip)، والتي تقوم بعد ذلك باختيار الرموز المحددة المراد الاحتفاظ بها بناءً على آليات تسجيل النقاط الخاصة بها.

الآلية الجوهرية:

تحليل القيم المفردة (SVD): يتم تحليل مصفوفة الميزات البصرية $Z_V$ الناتجة عن مشفر الرؤية عبر SVD: $(U, S, V^\top) = \text{SVD}(Z_V)$ .
تحليل الطيف الطاقي: تمثل مربعات القيم المفردة $\sigma_i^2$ الطاقة الطيفية الملتقطة على طول كل اتجاه مفرد. الطاقة الإجمالية هي $E_{total} = \sum \sigma_i^2$ .
الميزانية التكيفية: تحافظ الطريقة على كسر مستهدف $\tau$ من إجمالي الطاقة الطيفية. وتُعرف ميزانية الرموز $k^*$ بأنها الحد الأدنى للرتبة (rank) بحيث يلبي مجموع الطاقة التراكمي لأعلى $k$ من القيم المفردة العتبة $\tau$ :
$k^* = \min \left\{ k \in \{1, \dots, n\} \mid \frac{\sum_{i=1}^k \sigma_i^2}{\sum_{i=1}^n \sigma_i^2} \geq \tau \right\}$
التفسير: الصور ذات الاضمحلال الطيفي الحاد (تكرار عالٍ، مشاهد بسيطة) تتطلب رموزًا أقل للوصول إلى عتبة الطاقة، بينما الصور ذات الأطياف الأكثر تسطحًا (كثافة معلومات عالية، مشاهد معقدة) تتطلب المزيد من الرموز.

المساهمات الرئيسية

تحديد أوجه القصور: تحدد الورقة أن ميزانيات الرموز الثابتة في نماذج الرؤية واللغة تفشل في مراعاة كثافة المعلومات الخاصة بكل مدخل، مما يؤدي إلى تخصيص غير فعال للموارد.
تحديد الميزانية التكيفي الخالي من التدريب: يقدم E-AdaPrune طريقة لتحديد ميزانيات خاصة بكل صورة مباشرة من التمثيلات البصرية باستخدام الطاقة الطيفية، مما يلغي الحاجة إلى معاملات قابلة للتعلم، أو تحسين تكراري، أو تعلم السياسات.
بنية مفككة: يفصل الإطار بين تحديد الميزانية واختيار الرموز، مما يسمح له بالتكامل بسلاسة مع مجموعة واسعة من منتقيات الرموز الموجودة دون تعديل آليات تسجيل النقاط الداخلية الخاصة بها.
التحقق الشامل: تم التحقق من صحة الطريقة عبر 4 هياكل نماذج رؤية ولغة، و3 منتقيات رموز، و9 معايير قياسية.

النتائج التجريبية
عند التقييم تحت ميزانيات رموز متوسطة متطابقة، أظهر E-AdaPrune القدرة على إعادة تخصيص الموارد الحسابية ديناميكيًا:

الحالات البسيطة: تقلل الطريقة بشكل كبير من استخدام الرموز للصور منخفضة المعلومات. على سبيل المثال، في معيار SQAI مع نموذج Qwen2.5-VL-3B، استخدمت الحالات البسيطة رموزًا أقل بنسبة 35.8% مع انخفاض نسبي في الأداء قدره 0.52% فقط.
الحالات الصعبة: يتم توجيه الميزانية الموفرة إلى الصور المعقدة والغنية بالمعلومات. حيث حصلت هذه الحالات على رموز أكثر بنسبة 52.5%، مما أدى إلى تحسن في الأداء بنسبة 1.94%.
التعميم: لوحظت مكاسب متسقة عبر هياكل متنوعة (Qwen2.5-VL، LLaVA-1.5، LLaVA-NeXT) ومنتقيات مختلفة (FastV، PyramidDrop، VisionZip).
العبء الإضافي للكفاءة:
- يسبب SVD القياسي تأخيرًا قدره ~35 مللي ثانية لكل صورة.
- باستخدام SVD العشوائي (rSVD) مع بُعد مستهدف قدره 300 وتكرارات قوة عددها 2، ينخفض هذا العبء إلى 8 مللي ثانية لكل صورة مع الحفاظ على الأداء.
- في سيناريوهات الخدمة المجمعة (batched serving)، يشير المؤلفون إلى أنه بينما تخلق الميزانيات التكيفية أطوال متواليات متغيرة، فإن التجميع حسب السلال (bucketed batching) (تجميع الطلبات حسب الطول) يقلل بفعالية من عبء الحشو (padding).

الأهمية والادعاءات
تدعي الورقة أن E-AdaPrune يعالج اختناقًا حرجًا في كفاءة نماذج الرؤية واللغة من خلال التعامل مع ميزانية الرموز كمشكلة متعامدة مع اختيار الرموز. ومن خلال الاستفادة من الخصائص الطيفية الجوهرية للميزات البصرية، تحقق الطريقة "نقطة تشغيل سلسة" لموازنة الدقة والضغط دون التكاليف الكبيرة المرتبطة بالأساليب القائمة على التدريب. ويؤكد المؤلفون أن هذا النهج يسمح للنماذج بـ "إزالة قدر كبير من الحوسبة المكررة من الحالات البسيطة وتحويل الميزانية الموفرة إلى مكاسب أكبر في الحالات الغنية بالمعلومات"، مما يحسن كفاءة الاستدلال ودقة المهام عبر سيناريوهات متنوعة.

أبحاث مشابهة