💻 computer science

ApET: Approximation-Error Guided Token Compression for Efficient VLMs

تُعد ApET إطار عمل فعال لضغط الرموز (tokens) وخالٍ من آلية الانتباه لنماذج الرؤية واللغة، حيث يستفيد من أخطاء التقريب الناتجة عن إعادة البناء الخطي لتحديد الرموز البصرية الزائدة واستبعادها، مما يحقق وفراً كبيراً في الحوسبة مع الحفاظ على الأداء أو حتى تحسينه وضمان التوافق مع FlashAttention.

المؤلفون الأصليون: Qiankun Ma, Ziyao Zhang, Haofei Wang, Jie Chen, Zhen Song, Hairong Zheng

نُشر 2026-02-24

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qiankun Ma, Ziyao Zhang, Haofei Wang, Jie Chen, Zhen Song, Hairong Zheng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً فائق الذكاء (نموذج لغوي بصري) يمكنه النظر إلى الصور ومقاطع الفيديو والإجابة على الأسئلة المتعلقة بها. للقيء بهذا، يقوم الروبوت بتفكيك كل صورة إلى آلاف القطع الصغيرة التي تشبه قطع الأحجية وتسمى "الرموز" (Tokens).

المشكلة؟ بعض هذه القطع حيوية للغاية (مثل وجه شخص أو علامة توقف)، لكن الكثير منها ليس سوى ضجيج خلفية ممل (مثل بقعة من السماء الزرقاء أو جدار ضبابي). ولأن الروبوت يحاول معالجة كل قطعة بمفردها، فإنه يصاب بالإرهاق، ويعمل ببطء، ويستهلك الكثير من الطاقة.

الطريقة القديمة: "مسابقة الشعبية"

في السابق، حاول الباحثون تسريع العملية عبر سؤال الروبوت: "ما هي القطع التي تنظر إليها أكثر من غيرها؟" استخدموا آلية تسمى "الانتباه" (Attention).

فكر في هذا الأمر كمعلم في فصل دراسي لا ينتبه إلا للطلاب الجالسين في الصف الخلفي لأنهم أكثر صخباً، أو الطلاب الذين يرفعون أيديهم كثيراً.

العيب: هذا يخلق انحيازاً. قد يتجاهل الروبوت تفصيلاً صغيراً ولكن مهماً (مثل طائر صغير في شجرة) لمجرد أنه في جزء "هادئ" من الصورة، بينما يصب تركيزه على مساحة واسعة وفارغة من السماء لمجرد أنها في مكان "صاخب".
الخلل التقني: أيضاً، شرائح الكمبيوتر الحديثة (مثل FlashAttention) مصممة لتعمل بسرعة فائقة من خلال تجاهل هذه "أصوات الشعبية". لذا، لم تستطع الطرق القديمة استخدام أسرع الشرائح، مما جعلها بطيئة في الواقع العملي.

الطريقة الجديدة: ApET (اختبار إعادة البناء)

قرر مؤلفو هذه الورقة البحثية، ApET، التوقف عن سؤال الروبوت عما "يحبه" والبدء في سؤاله عما "يحتاجه". لقد استخدموا خدعة ذكية تعتمد على إعادة البناء (Reconstruction).

تخيل أن لديك أحجية (بازل)، لكنك تريد رمي القطع التي ليست ضرورية لإعادة بناء الصورة.

الإعداد: تختار مجموعة صغيرة وعشوائية من القطع (تسمى "الرموز الأساسية" - Basis Tokens).
الاختبار: تحاول إعادة بناء الصورة بأكملها باستخدام تلك القطع القليلة فقط.
النتيجة:
- إذا حاولت إعادة بناء قطعة من السماء باستخدام بضع قطع من السماء فقط، فستبدو مثالية. "الخطأ" سيكون ضئيلاً جداً. الاستنتاج: هذه القطعة لم تكن مهمة كثيراً؛ يمكننا رميها.
- إذا حاولت إعادة بناء عين قطة باستخدام قطع من السماء فقط، فستبدو النتيجة سيئة للغاية. "الخطأ" سيكون ضخماً! الاستنتاج: هذه القطعة فريدة وحيوية! احتفظ بها.

تقوم ApET ببساطة بالاحتفاظ بالقطع التي يصعب إعادة بناؤها (خطأ عالٍ) وترمي القطع التي يسهل تخمينها (خطأ منخفض).

لماذا يعد هذا تغييراً جذرياً؟

لا يوجد انحياز: لا يهتم بمكان وجود القطعة في الصورة (أعلى، أسفل، يسلاً، يميناً). هو يهتم فقط بما إذا كانت القطعة فريدة ومعلوماتية. الأمر يشبه تقييم الطالب بناءً على درجاته الفعلية في الاختبار، وليس بناءً على مدى صوته في الفصل.
سريع للغاية: لأنه لا يحتاج لسؤال الروبوت "إلى ماذا تنظر؟"، فإنه يعمل بشكل مثالي مع أسرع شرائح الكمبيوتر (FlashAttention). إنه يشبه الانتقال من سيارة ذات ناقل حركة يدوي إلى سيارة كهربائية عالية السرعة.
نتائج أفضل: للمفاجأة، من خلال رمي القطع "المملة"، يصبح الروبوت في الواقع أكثر ذكاءً. الأمر يشبه قيام الطاهي بإزالة الخضروات المائية من الحساء لتبرز نكهة اللحم. في اختبارات الفيديو، حققت ApET في الواقع أداءً أفضل من النموذج الأصلي غير المختصر!

الخلاصة

ApET هو مرشح ذكي ينظف الضجيج البصري قبل أن يصل إلى دماغ الروبوت. يستخدم خدعة رياضية بسيطة (التحقق من مدى صعوبة تخمين قطعة مفقودة) لتقرير ما يجب الاحتفاظ به. هذا يجعل الذكاء الاصطناعي أسرع، وأرخص في التشغيل، وأكثر دقة بشكل مفاجئ، خاصة في مقاطع الفيديو الطويلة حيث يمكن للطرق القديمة أن ترتبك وتتعب.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ApET: Approximation-Error Guided Token Compression for Efficient VLMs".

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً ملحو-ظاً، لكنها تواجه اختناقات حوسبية شديدة بسبب العدد الهائل من الرموز البصرية (visual tokens) المطلوبة لتمثيل الصور عالية الدقة وتسلسلات الفيديو الطويلة. يؤدي هذا إلى تعقيد حوسبي تربيعي في آليات الانتباه الذاتي (self-attention)، مما يعيق النشر في العالم الحقيقي.

تحاول طرق ضغط الرموز الحالية حذف الرموز الزائدة، لكنها تعاني من قصورين حرجين:

التحيز الموضعي (Positional Bias): تميل الطرق القائمة على الانتباه (باستخدام [CLS] أو أوزان الانتباه المتقاطع) إلى تخصيص أهمية عالية بشكل غير متناسب للرموز التي تظهر لاحقاً في التسلسل (الأقرب إلى رموز النص)، بغض النظر عن محتواها الدلالي الفعلي. يؤدي هذا إلى التخلص الخاطئ من المعلومات البصرية المبكرة المهمة.
عدم التوافق مع النوى الفعالة (Incompatibility with Efficient Kernels): تعتمد معظم تقنيات الضغط على الوصول إلى أوزان الانتباه لتحديد أهمية الرمز. وهذا لا يتوافق مع FlashAttention، وهي نواة انتباه محسنة تتجنب تجسيد أوزان الانتباه لتوفير الذاكرة وتسريع الاستدلال. وبناءً على ذلك، لا تستطيع هذه الطرق الاستفيد من FlashAttention، مما يحد من مكاسب الكفاءة العملية.

2. المنهجية: ApET

يقترح المؤلفون ApET (الضغط الموجه بخطأ التقريب - Approximation-Error guided Token compression)، وهو إطار عمل يعمل من منظور نظرية المعلومات بدلاً من الاعتماد على آليات الانتباه.

الرؤية الجوهرية

تفترض الطريقة أن المحتوى المعلوماتي الجوهري للرمز يمكن قياسه من خلال خطأ التقريب الخطي الخاص به.

إذا كان بالإمكان إعادة بناء الرمز بدقة من مجموعة فرعية صغيرة من الرموز الأخرى (خطأ منخفض)، فإنه يحتوي على معلومات زائدة.
إذا لم يكن بالإمكان إعادة بناء الرمز بشكل جيد (خطأ مرتفع)، فإنه يحمل معلومات فريدة وحرجة.

سير العمل التقني

تعتبر ApET طريقة لا تتطلب تدريباً (training-free) ويمكن إدراجها بعد المشفر البصري أو في الطبقات المتوسطة للنموذج اللغوي الكبير (LLM). وهي تعمل عبر ثلاث مراحل:

اختيار الرموز (بناء الأساس):
- يتم اختيار مجموعة فرعية صغيرة من الرموز ( $M$ ) كـ "رموز أساس" ( $B$ ) من المجموعة الكاملة للرموز البصرية ( $V$ ).
- تقيم الورقة ثلاث استراتيجيات أخذ عينات: العشوائية، وتجميع ذروة الكثافة (DPC)، وأخذ عينات النقطة الأبعد (FPS). تم اختيار FPS كخيار افتراضي لتوازنه بين التنوع والكفاءة.
التقريب الخطي وحساب الخطأ:
- يتم إعادة بناء الرموز المتبقية خطياً باستخدام رموز الأساس: $v' \approx \sum \alpha_i b_i$ .
- يتم حساب خطأ التقريب (Approximation Error) كالمسافة الإقليدية بين الرمز الأصلي وإعادة بنائه: $\xi = ||v - v'||_2$ .
- يعمل هذا الخطأ كوسيط لأهمية الرمز. خطأ مرتفع = أهمية عالية.
دمج الرموز:
- يتم تحديد الرموز ذات أخطاء التقريب الأدنى (الأقل معلوماتية) لإزالتها.
- لمنع فقدان المعلومات، يتم الاحتفاظ برموز الأساس صراحةً.
- يتم دمج الرموز المزاحة مع نظيراتها المتبقية الأكثر تشابهاً باستخدام استراتيجية الدمج المتوسط.

الأساس النظري

تستند الطريقة إلى العلاقة بين الاعتلاج الشرطي (conditional entropy) ومتوسط مربع الخطأ (MSE). توضح الورقة أن تقليل MSE لإعادة البناء مرتبط رياضياً بتقليل الاعتلاج الشرطي $H(V|S)$ ، وبالتالي تعظيم المعلومات المتبادلة $I(V; S)$ بين المجموعة الأصلية والمجموعة الفرعية المضغوطة.

3. المساهمات الرئيسية

تصميم خالٍ من الانتباه (Attention-Free Design): تلغي ApET الحاجة إلى أوزان الانتباه، مما يجعلها متوافقة بطبيعتها مع FlashAttention. وهذا يسمح بالتكامل السلس مع نوى الاستدلال الفعالة، مما يوفر تسريعاً لا تستطيع طرق الانتباه تحقيقه.
القضاء على التحيز الموضعي: من خلال التركيز على خطأ إعادة البناء بدلاً من موقع التسلسل، تتجنب ApET التحيز حيث تُمنح الأولوية للرموز المتأخرة بشكل غير عادل، مما يضمن اختياراً أكثر وعياً بالمحتوى.
منظور نظرية المعلومات: تقدم إطار عمل جديد لتقييم الرموز بناءً على التقريب الخطي والمعلومات المتبادلة، مما يوفر بديلاً مبدئياً لتقييم الانتباه التجريبي.
استقلالية النموذج (Model Agnosticism): لا تعتمد الطريقة على حالات النموذج الداخلية (مثل خرائط الانتباه المتوسطة)، مما يجعلها قوية عبر مختلف بنيات VLMs (مثل LLaVA و Qwen2.5-VL).

4. النتائج التجريبية

أُجريت تجارب مكثفة على عدة نماذج VLMs (LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, Video-LLaVA) عبر اختبارات فهم الصور والفيديو.

فهم الصور

الحفاظ على الأداء: في LLaVA-1.5، تحتفظ ApET بـ 95.2% من الأداء الأصلي حتى عند ضغط الرموز بنسبة 88.9% (تقليصها إلى 64 رمزاً).
المقارنة: تتفوق على أفضل الطرق الحالية مثل VisionZip و SparseVLM و PDrop، خاصة عند نسب الضغط العالية.
الدقة العالية/الدقة المتغيرة: تحافظ Ap

5. الأهمية

تمثل ApET تحولاً جذرياً في تحسين نماذج الرؤية واللغة. من خلال الابتعاد عن الاستدلالات المعتمدة على الانتباه، تحل مشكلة عدم التوافق الحرجة بين ضغط الرموز ونوى الانتباه المحسنة للأجهزة الحديثة (FlashAttention).

النشر العملي: تمكن من نشر نماذج VLMs على الأجهزة ذات الموارد المحدودة دون التضحية بالدقة، حيث تقلل من بصمة الذاكرة وزمن الاستجابة في آن واحد.
المتانة: تعالج خلل "التحيز الموضعي" المتأصل في آليات الانتباه الحالية، مما يؤدي إلى اختيار أكثر موثوقية للرموز للمهام المعقدة مثل فهم الفيديو.
القدرة على التعميم: نهج الطريقة مستقل عن البنية، مما يشير إلى مستقبل يمكن فيه فصل ضغط الرموز عن الحالات الداخلية المحددة للنموذج، مما يسمح بأنظمة ذكاء اصطناዊ متعددة الوسائط أكثر مرونة وكفاءة.