🤖 machine learning

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

يُعد AsymVLM إطار عمل فعال للاستدلال في نماذج الرؤية واللغة، حيث يستفيد من الخصائص المتميزة للوسائط البصرية والنصية عبر تطبيق تقليم عدواني وتكيفي لرموز الرؤية الزائدة مكانياً، وطرد قائم على العتبة الزمنية لرموز النصوص، محققاً توفيراً في العمليات الحسابية (FLOPs) يصل إلى 54% مع التفوق على الأساليب الرائدة في مهام فهم المستندات والمخططات البيانية.

المؤلفون الأصليون: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج الرؤية واللغة (VLM) كمساعد ذكي للغاية ولكنه مثقل بالأعباء قليلاً. أنت تعرض عليه صورة (مثل مستند معقد أو مخطط بياني) وتطرح عليه سؤالاً. لفهم الصورة، يقوم المساعد بتفكيكها إلى آلاف قطع الأحجية الصغيرة التي تسمى "رموز الرؤية" (vision tokens). ولفهم سؤالك وصياغة إجابة، يستخدم مجموعة أصغر من "رموز النص" (text tokens).

المشكلة هي أن "ذاكرة العمل" الخاصة بالمساعد (ذاكرة وحدة معالجة الرسومات - GPU) تتعرض للانسداد. فهو يحاول التمسك بكل قطعة من قطع الأحجية وكل كلمة يولدها، مما يجعله بطيئاً ومكلفاً في التشغيل.

تحاول الطرق الحالية إصلاح ذلك عبر معاملة قطع الصور والكلمات بنفس الطريقة تماماً: فهي تقوم ببساطة بحذف نسبة مئوية ثابتة من كل شيء (على سبيل المثال: "احذف 50% من قطع الأحجية و50% من الكلمات"). يجادل مؤلفو ورقة البحث AsymVLM بأن هذا يشبه محاولة تنظيم مكتبة عبر رمي نصف الكتب ونصف الفواصل المرجعية دون تفكير فيما تفعله هذه الأشياء فعلياً.

إليك كيف يعمل AsymVLM، باستخدام تشبيهات بسيطة:

1. المشكلتان المختلفتان

تشير الورقة البحثية إلى أن قطع الصور والكلمات مختلفة جوهياً:

رموز الرؤية (قطع الأحجية): هذه جميعها مستقلة. إذا قمت بإزالة قطعة من السماء من صورة، فإن قطعة الشجرة المجاورة لها لن تهتم. إنها "زائدة مكانياً"، مما يعني أن العديد من القطع ليست سوى ضوضاء خلفية.
رموز النص (القصة): هذه عبارة عن سلسلة من التفاعلات. الكلمة الثانية تعتمد على الكلمة الأولى، والكلمة الثالثة تعتمد على الكلمة الثانية. إذا حذفت كلمة في منتصف الجملة، فقد لا يعود لبقية القصة أي معنى.

2. الحل: استراتيجية ثنائية المسار

بدلاً من استخدام قاعدة واحدة لكل شيء، يستخدم AsymVLM استراتيجيتين مختلفتين مصممتين خصيصاً لكل نوع من الرموز.

الاستراتيجية (أ): "المحرر الذكي" للصور (تقليم رموز الرؤية)

قبل أن يبدأ المساعد حتى في التفكير، يعمل AsymVLM كـ محرر ذكي ينظر إلى الصورة.

الطريقة القديمة: "احذف 50% من البكسلات عشوائياً" أو "احذف تلك التي تبدو أقل أهمية للسؤال".
طريقة AsymVLM: يستخدم مُقيِّماً متعلمًا (Learned Scaller). تخيل مدرباً شاهد آلاف المباريات ويعرف بالضبط أي اللاعبين (الرموز) يساعدون فعلياً في الفوز بالمباراة. هذا المُقيِّم لا ينظر إلى الصورة فحسب؛ بل ينظر أيضاً إلى كيفية ارتباط الصورة بالسؤال المحدد الذي طرحته.
"الميزانية التكيفية": هذا هو الجزء الأكثر ذكاءً. تشير الورقة إلى أن بعض الأسئلة تتطلب مسحاً كاملاً للصورة (مثل: "كم عدد التفاح في هذه البستان؟")، بينما تتطلب أسئلة أخرى بقعة صغيرة فقط (مثل: "ما هو سعر التفاحة الحمراء؟").
- إذا كان السؤال محدداً بمنطقة صغيرة، فإن "الفجوة" بين القطع المهمة وغير المهمة تكون ضخمة. هنا يقول النظام: "رائع، يمكننا أن نكون عدوانيين ونرمي 75% من الصورة!".
- إذا كان السؤال يتطلب الصورة بأكملها، فإن "الفجوة" تكون صغيرة. هنا يقول النظام: "حسناً، سنحتفظ بـ 90% من الصورة لنكون في أمان!".
- التشبيه: الأمر يشبه تجهيز حقيبة السفر. إذا كنت ذاهباً إلى الشاطئ ليوم واحد، فستحزم أمتعة خفيفة. أما إذا كنت ذاهباً في رحلة لمدة شهر، فستحزم المزيد. يقوم AsymVLM بتعديل "التعبئة" بناءً على الرحلة المحددة، بدلاً من استخدام حجم حقيبة واحد للجميع.

الاستراتيجية (ب): "عامل النظافة للذاكرة" للنص (إخلاء رموز النص)

بمجرد أن يبدأ المساعد في توليد الإجابة، فإنه يكتب الكلمات واحدة تلو الأخرى. إذا طالت المحادثة، ستمتلئ الذاكرة.

الطريقة القديمة: تحاول طرق الذكاء الاصطناعي القياسية للنصوص فقط (مثل H2O أو StreamingLLM) حذف أقدم الكلمات أو الكلمات "الأقل أهمية" لإفساح المجال للكلمات الجديدة.
طريقة AsymVLM: أدرك المؤلفون أنه في هذه المساعدات البصرية، تكون المحادثة عادة قصيرة، وأن الصورة هي السياق الأكثر أهمية.
- قاموا بوضع ميزانية ثابتة. يستمر المساعد في الكتابة حتى يصل إلى حد معين (مثلاً 500 كلمة).
- بمجرد وصوله إلى هذا الحد، يبدأ في حذف أقدم الكلمات التي تم توليدها (التي لم تعد ضرورية للجملة التالية مباشرة)، لكنه لا يحذف أبداً الصورة الأصلية أو السؤال الأصلي.
- التشبيه: تخيل أنك تروي قصة لصديق. لست بحاجة لتذكر أول جملة قلتها قبل 10 دقائق لتكمل جملتك الحالية. يعمل AsymVLM مثل عامل النظافة الذي يمسح المسودات القديمة غير الضرورية من السبورة لإفساح المجال للجملة الجديدة، لكنه يترك المطالبة الأصلية والصورة مثبتتين على الحائط للأبد.

3. النتائج: أسرع وأذكى

تدعي الورقة البحثية أنه من خلال التعامل مع هذين النوعين من البيانات بشكل مختلف، يحقق AsymVLM ما يلي:

تسريع هائل: يوفر ما يصل إلى 54% من قوة الحوسبة (FLOPs) اللازمة لتشغيل النموذج. وذلك لأنه يزيل قطع الصور غير الضرورية فعلياً قبل بدء العمليات الحسابية الثقيلة، بدلاً من مجرد تجاهلها أثناء العمليات الحسابية.
دقة أفضل: في مهام مثل قراءة المستندات أو فهم المخططات، فإنه في الواقع يؤدي بشكل أفضل بنسبة 2-3% من الطرق السابقة. وذلك لأنه يحتفظ بقطع الصور المحددة التي تجيب على السؤال ويتخلص من الباقي، بينما قد تقوم الطرق الأخرى بحذف القطعة الحاسمة عن طريق الخطأ.
كفاءة الذاكرة: يقلل من الذاكرة المطلوبة لتشغيل النموذج، مما يسمح له بالعمل على شرائح حاسوبية أصغر وأرخص لم تكن لتتحمل النموذج الكامل غير المقلّم.

الملخص

AsymVLM هو نظام يدرك أن "المقاس الواحد لا يناسب الجميع". فهو يستخدم فلترًا ذكيًا وتكيفيًا لتقليم الزوائد من الصور بناءً على السؤال المحدد، ويستخدم عامل نظافة حذرًا لإدارة ذاكرة النص دون فقدان السياق الأصلي. والنتيوة هي نموذج رؤية ولغة أسرع، ويستخدم ذاكرة أقل، وهو أكثر دقة بشكل مدهش في قراءة المستندات والمخططات.

ملخص تقني: AsymVLM

بيان المشكلة

تواجه نماذج الرؤية واللغة (VLMs) اختناقات كبيرة في الحوسبة والذاكرة أثناء الاستنتاج. وبينما تركز طرق الضغط الحالية غالبًا على معالجة الرموز (tokens) البصرية والنصية بشكل موحد، يجادل هذا البحث بأن هذا النهج غير مثالي بسبب الاختلافات الجوهرية في التباين بين الوسيطين:

الاختلافات الهيكلية والسببية: الرموز البصرية هي رقع (patches) زائدة مكانياً يتم إنشاؤها في تمريرة أمامية واحدة دون اعتماد سببي، مما يسمح بإزالتها بشكل مستقل. في المقابل، يتم إنشاء الرموز النصية بشكل تلقائي (autoregressively) مع ترتيب سببي صارم؛ لذا فإن استبعاد رمز نصي قد يؤدي إلى إفساد جميع التمثيلات اللاحقة.
الاختناقات المتغيرة: في تكوينات نماذج VLM النموذجية أحادية الدور، تهيمن الرموز البصرية على المدخلات (على سبيل المثال، 2500 رمز بصري مقابل حوالي 30 رمزاً نصياً)، مما يجعلها الاختناق الأساسي خلال مرحلة التمهيد (prefill). ومع ذلك، في حالات التوليد الحر أو الحوار متعدد الأدوار، تتراكم الرموز النصية بسرعة، مما ينقل الاختناق إلى مرحلة فك التشفيد (decoding).
تباين صعوبة المدخلات: نسبة التقليم المثلى ليست موحدة عبر العينات. تتطلب بعض الاستعلامات معلومات بصرية موضعية فقط (مما يسمح بتقليم عدواني)، بينما تتطلب استعلامات أخرى مسحاً شاملاً (مما يتطلب احتفاظاً متحفظاً). تفشل الطرق الحالية التي تستخدم نسب تقليم ثابتة في استيعاب هذا الطيف.

المنهجية: AsymVLM

يقترح المؤلفون AsymVLM، وهو إطار عمل للتقليم غير المتماثل يقوم بفصل استراتيجيات الضغط للرموز البصرية والنصية بناءً على الملاحظات المذكورة أعلاه. يعمل الإطار في مرحلتين متمايزتين:

1. تقليم الرموز البصرية (ما قبل التمهيد)

يُطبق قبل طبقات المحول (transformer) لمعالجة اختناق التمهيد، وتتكون هذه المرحلة من مكونين:

مُقيّم الأهمية المتعلم: على عكس الطرق السابقة التي تعتمد على البروز البصري أو التشابه عبر الوسائط الخام، يستخدم AsymVLM مُقيّماً خفيف الوزن وقابلاً للتعلم. يقوم هذا المُقيّم بإعادة تحجيم أبعاد التضمين باستخدام متجه وزن ( $w$ ) ليتماشى بشكل أفضل مع ترتيب الرموز مع الحفاظ على مخرجات النموذج النهائية. وقد تم تدريبه لتقليل التفاوت بين الحالات الخفية للنماذج المقلمة وغير المقلمة.
ميزانية تكيفية لكل عينة: إدراكاً لأن فجوات الأهمية تختلف باختلاف المدخلات، يقوم النظام بحساب "فجوة الأهمية" (الفرق بين المئوي 75 والمئوي 25 لدرجات الأهمية) لكل عينة. وبناءً على هذه الفجوة، يتم تعيين نسبة احتفاظ ديناميكية: العينات ذات الفجوة الكبيرة (تمييز واضح بين الرموز المهمة وغير المهمة) تحصل على نسبة تقليم عدوانية، بينما العينات ذات الفجوة الصغيرة (أهمية موحدة) تحصل على نسبة متحفظة.

2. إخلاء الرموز النصية (أثناء فك التشفيد)

يُطبق فقط عندما يتجاوز التسلسل المولد ميزانية محددة، وتتناول هذه المرحلة اختناق فك التشفيد:

الإخلاء القائم على العتبة: يتم الاحتفاظ بالرموز النصية حتى يتجاوز طول التسلسل عتبة محددة مسبقاً. وبمجرد تفعيل ذلك، يقوم النظام بإخلاء الرموز المولدة ذات الأهمية الأدنى.
التقييم الخاص بنماذج VLM: على عكس طرق ضغط ذاكرة التخزين المؤقت (cache) القياسية لنماذج LLM التي تتبع الانتباه التراكمي عبر السياقات الطويلة، يستفيد AsymVLM من طبيعة السياق القصير لنماذج VLM. يقوم بتقييم الرموز بناءً على الانتباه المستلم في الطبقة الأخيرة من المحول خلال خطوة فك التشفيد الحالية. ومن الأهمية بمكان أنه يحمي جميع رموز التمهيد (الصور والمطالبات) من الإخلاء، لأنها تحمل سياقاً لا يمكن تعويضه للأدوار اللاحقة.

المساهمات الرئيسية

التحليل المنهجي: يقدم البحث تحليلاً هيكلياً يكشف عن التباين الجوهري بين الرموز البصرية والنصية في نماذج VLM، مجادلاً بأن الضغط المدرك للوسائط أمر ضروري للكفاءة.
إطار عمل ثنائي الاستراتيجية: يقدم AsymVLM إطار عمل يجمع بين تقليم الرموز البصرية الموجه للاستعلام (ما قبل المحول) وإخلاء الرموز النصية المقيد بالميزانية (أثناء فك التشفيد).
المُقيّم المتعلم مع الميزانية التكيفية: قدم المؤلفون مُقيّماً يحسن الحفاظ على المخرجات بدلاً من مجرد التشابه الدلالي، مقترناً بآلية تعد نسب التقليم ديناميكياً بناءً على توزيع الأهمية للمدخلات.
التقييم الشامل: تثبت التجارب المكثفة أن النهج يحقق كفاءة ودقة متفوقة مقارنة بالنماذج المرجعية المتطورة.

النتائج التجريبية

تم تقييم إطار العمل على Phi-3.5-Vision (سائد بصرياً) و Gemma 3 (سائد نصياً في سيناريوهات التوليد الطويل) عبر سبعة اختبارات مرجعية (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU).

الكفاءة: يحقق AsymVLM أعلى توفير في عمليات الـ FLOPs بين الطرق المقارنة، حيث يصل إلى 54% عند الاحتفاظ بـ 50% من الرموز البصرية. وهو الطريقة الوحيدة التي تقلل فعلياً من طول التسلسل قبل المحول، مما يؤدي إلى تقليلات تناسبية في ذروة الذاكرة وحجم ذاكرة الـ KV cache (تصل إلى تقليل ذروة الذاكرة بنسبة 75%).
الدقة في المهام الموضعية: في مهام فهم المستندات والرسوم البيانية (DocVQA, ChartQA)، حيث تكون المعلومات البصرية موضعية مكانياً، يتفوق AsymVLM على الطرق الموجودة (FastV, SparseVLM) بنسبة 2–3% عند نسب احتفاظ 65–75%. على سبيل المثال، في DocVQA عند نسبة احتفاظ 65%، يحقق 85.07% ANLS مقارنة بـ 81.74% لـ FastV.
المهام الشمولية: في الاختبارات الشمولية (MME, TextVQA)، حيث تكون أهمية الرموز أكثر توحداً، يحافظ AsymVLM على دقة تنافسية، وغالباً ما يتفوق قليلاً على النماذج المرجعية.
أداء إخلاء النصوص: في السيناريوهات السائدة نصياً (Gemma 3)، يتفوق استراتيجية الإخلاء القائمة على العتبة بشكل كبير على طرق ضغط ذاكرة التخزين المؤقت القياسية لـ LLM (مثل H2O و StreamingLLM). في MMDU (الحوار متعدد الأدوار)، يحقق AsymVLM درجة قدرها 7.03 عند نسبة احتفاظ 90%، وهي أعلى بكثير من 5.61 التي حققتها النماذج المرجعية. تتدهور النماذج المرجعية بشدة لأنها تعامل الرموز البصرية ورموز المطالبة كمرشحين للإخلاء، بينما يحميها AsymVLM.

الأهمية والادعاءات

يزعم البحث أن AsymVLM يمثل تحولاً من الضغط الموحد إلى الاستراتيجيات المدركة للوسائط. من خلال الإقرار بأن الرموز البصرية هي مشكلة اختيار مدخلات والرموز النصية هي مشكلة إدارة ذاكرة تخزين مؤقت، يحقق إطار العمل أعلى مكاسب الكفاءة (تقليل FLowPs بنسبة 54%) مع الحفاظ على الدقة أو تحسينها في المهام المعقدة والمحددة للاستعلام. يؤكد المؤلفون أن المُقيّم المتعلم الخاص بهم يعمم بفعالية عبر مختلف التخطيطات البصرية وأنواع الأسئلة دون ضبط خاص بالمهمة، وأن استراتيجية إخلاء النصوص مصممة خصيصاً لطبيعة الاستنتاج في نماذج VLM ذات السياق القصير والمرتكز على الصور، مما يتجنب عيوب تطبيق تقنيات ضغط السياق الطويل لـ LLM مباشرة على نماذج VLM.

القيود: يشير المؤلفون إلى أن التقييم يقتصر حالياً على Phi-3.5-Vision و Gemma 3، وأن التعميم على بنيات أخرى (مثل نماذج VLM القائمة على LLaMA أو Qwen-VL) يتطلب مزيداً من التحقق. بالإضافة إلى ذلك، تستخدم استراتيجية إخلاء النصوص عتبة ثابتة ولم تُختبر في الحوارات الطويلة جداً متعددة الأدوار (أكثر من 50 دوراً).