🤖 AI

OccamToken: Efficient VLM Inference with Training-Free and Budget-Adaptive Token Pruning

يُعد OccamToken إطار عمل متكيف مع الميزانية ولا يتطلب تدريباً، يعمل على تحسين كفاءة استنتاج النماذج البصرية اللغوية عبر استبدال ترتيب الرموز المطلق الهش باختبار أدلة نسبي مرتكز على السجلات، مما يتيح ضغطاً فائقاً للرموز (على سبيل المثال، تقليل 2,880 رمزاً إلى حوالي 40 رمزاً) مع الحفاظ على أكثر من 93% من الدقة الأصلية.

المؤلفون الأصليون: Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Geng Li, Guohao Chen, Ting Chen, Shilin Shan, Kuangji Zuo, Bofan Lyu, Tuo An, Gen Li, Jianfei Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث OccamToken، مقسمة إلى مفاهيم بسية مع تشبيهات من الحياة اليومية.

المشكلة الكبرى: الكثير من الضجيج في المطبخ

تخيل أنك طاهٍ (الذكاء الاصطناي) تحاول طهي وجبة بناءً على طلب زبون (السؤال النصي) وكومة ضخمة من المكونات (الصورة).

في أنظمة الذكاء الاصطناعي الحديثة، عندما تعرض صورة، يقوم الكمبيوتر بتفكيكها إلى آلاف القطع الصغيرة التي تسمى "الرموز" (Tokens). إذا كان لديك صورة عالية الدقة، فهذا يشبه امتلاك كومة من 2,880 مكوناً. يجب على الطاهي النظر في كل واحدة منها قبل البدء في الطهي. هذا يستغرق وقتاً وجهداً هائلين (قوة حوسبية)، حتى لو كانت معظم تلك المكونات مجرد ضجيج خلفية مثل ذرة غبار على الطاولة أو بقعة سماء ضبابية.

الطريقة القديمة: قاعدة "أفضل 10"

في السابق، ولتوفير الوقت، حاول الناس التخلص من المكونات "الأقل أهمية". استخدموا قاعدة مثل: "احتفظ بأكثر 100 مكون مثير للاهتمام وارمِ الباقي".

تجادل الورقة البحثية بأن هذه القاعدة معطلة لسببين:

تأثير "الطفل الصارخ": أحياناً، يمكن لمكون ممل (مثل جدار فارغ) أن يحصل بالخطأ على "درجة أهمية" عالية جداً بسبب طريقة حساب الكمبيوتر للأمور. هذا الضجيج العالي يغطي على المكونات الهادئة والمهمة (مثل تفصيل صغير في صورة)، مما يجعل الكمبيوتر يعتقد أن الأشياء المملة هي في الواقع الأكثر أهمية.
مشكلة "مقاس واحد يناسب الجميع": القاعدة الثابتة (مثل "احتفظ بـ 100") لا تعمل مع كل صورة.
- إذا سألت: "هل هناك قطة؟" في صورة لغابة، فأنت تحتاج فقط للتحقق من بضعة أماكن. الاحتفاظ بـ 100 مكان سيكون هدراً.
- إذا سألت: "ما هو ملمس القماش؟" في صورة لسترة، فقد تحتاج للنظر في أماكن أكثر بك many. الاحتفاظ بـ 100 فقط قد يعني أنك ستفقد الإجابة.

الحل الجديد: OccamToken

ابتكر المؤلفون طريقة جديدة تسمى OccamToken. بدلاً من السؤال: "أيها هي الـ 100 الأفضل؟"، هم يسألون: "هل هذا المكون أكثر فائدة من 'وعاء المرجع' الخاص بنا؟"

إليك كيف يعمل الأمر، خطوة بخوة:

1. "وعاء المرجع" (رمز السجل - Register Token)

تخيل أن لديك وعاءً خاصاً على الطاولة يحتوي على عينة عامة ومتوسطة من "كل شيء في المطبخ". هو لا يعرف عن قطط محددة أو سترات محددة؛ هو فقط يحمل "جو الخلفية" للغرفة.

لماذا يساعد: في النظام القديم، كان "الطفل الصارخ" (الضجيج الممل) يسرق كل الانتباه. لكن في هذا النظام الجديد، يقوم "وعاء المرجع" بامتصاص ذلك الضجيج. إنه يعمل كإسفنجة للإشارات العالية عديمة الفائدة.
النتيجة: الآن، يمكن للكمبيوتر رؤية أي المكونات مميزة حقاً، لأن الضجيج قد تم كتمه.

2. المرحلة الأولى: "تنظيف الصورة" (تقليم التكرار - Redundancy Pruning)

قبل أن يقرأ الطاهي طلب الزبون، يقوم طاقم المطبخ بعمل مسح سريع.

يقارنون كل مكون بـ "وعاء المرجع".
إذا بدا المكون تماماً مثل الخلفية العامة في الوعاء، يتم التخلص منه.
تشبيه: إذا كانت الصورة لشارع مزدحم، يقوم الطاقم برمي الـ 2,000 رمز التي تمثل فقط "السماء" أو "الرصيف الضبابي" لأن وعاء المرجع يعرف بالفعل ما تبدو عليه تلك الأشياء. إنهم يحتفظون بالمكونات التي تبدو مختلفة عن الوعاء (السيارات، الناس).
الفائدة: هذا يحدث تلقائياً لكل صورة. الصورة البسيطة يتم تنظيفها بشكل كبير؛ والصورة المعقدة يتم تنظيفها بشكل أقل.

3. المرحلة الثانية: فحص "طلب الزبون" (تقليم الصلة - Relevance Pruning)

الآن يقرأ الطاهي السؤال المحدد: "هل الرجل الواقف على اليسار واقف؟"

ينظر الطاهي إلى المكونات المتبقية.
يقارنونهم بـ "وعاء المرجع" مرة أخرى، ولكن هذه المرة يسألون: "هل هذا المكون يساعد في الإجابة على السؤال المحدد بشكل أفضل من الخلفية العامة؟"
تشبيه: إذا كان السؤال عن رجل، يحتفظ الطاهي بالمكونات التي تظهر الرجل والأرض التي يقف عليها. إذا كان السؤال عن قطة في الزاوية، يحتفظ الطاهي بتلك المكونات ويرمي المكونات الخاصة بالرجل.
الفائدة: عدد المكونات التي يتم الاحتفاظ بها يتغير بناءً على السؤال. سؤال بسيط قد يحتاج 10 رموز فقط؛ سؤال صعب قد يحتاج 50.

النتائج: عمل أقل، نفس المذاق

اختبرت الورقة البحثية هذا على عدة نماذج ذكاء اصطناعي (مثل LLaVA و Qwen).

الادعاء: تمكنوا من رمي 98.6% من المكونات (الانتقال من 2,880 رمزاً إلى حوالي 40 رمزاً) ومع ذلك حصلوا على الإجابة الصحيحة بنسبة 93% من المرات.
التشبيه: الأمر يشبه إدراك أنك لست بحاجة لتذوق كل حبة أرز في القدر لتعرف ما إذا كان مالحاً. أنت فقط بحاجة لتذوق الملاعق الصحيحة.
لا حاجة لإعادة التدريب: الجزء الأفضل هو أنهم لم يضطروا لإعادة تعليم الطاهي كيفية الطبخ. لقد قاموا فقط بتغيير القواعد لكيفية اختيار الطاهي للمكونات. إنه يعمل "جاهزاً للاستخدام" (out of the box).

الملخص

OccamToken هو مرشح ذكي يمنع الذكاء الاصطناعي من إضاعة الوقت في النظر إلى ضجيج الخلفية الممل. بدلاً من استخدام قاعدة صارمة مثل "احتفظ بأفضل 100"، فإنه يستخدم "وعاء مرجع" لمعرفة ما هو جديد ومفيد حقاً للسؤال المطروح. هذا يجعل الذكاء الاصطناعي أسرع وأرخص في التشغيل دون جعله "أقل ذكاءً".

ملخص تقني: OccamToken

بيان المشكلة

تعتمد نماذج الرؤية واللغة (VLMs) على تسلسلات طويلة من الرموز البصرية (visual tokens) لترميز الصور، مما يؤدي إلى عبء حسابي وذاكرة كبير خلال مرحلة التعبئة المسبقة (prefill) وفك الترميز التوليدي (autoregressive decoding). تتبع معظم طرق ضغط الرموز البصرية الحالية نموذج التصنيف المطلق (absolute-ranking paradigm): حيث تقوم بتعيين درجات أهمية للرموز والاحتفاظ بمجموعة فرعية ثابتة من أعلى $K$ رمز. يرى المؤلفون أن هذا النموذج هش بشكل أساسي لسببين:

بالوعات الانتباه (Attention Sinks): يمكن للرموز ذات المعلومات المنخفضة (غالبًا ما تكون قيمًا متطرفة ذات معايير عالية) أن تمتص كتلة انتباه مفرطة، مما يشوه تصنيف الأهمية للرموز المعلوماتية حقًا ويضغط توزيع الدرجات.
عدم تطابق الميزانية الثابتة (Static Budget Mismatch): لا يمكن للقطع الثابت عند أعلى $K$ أن يتكيف مع التباين في توزيع درجات الانتباه لكل عينة. فهو يفشل في مراعاة تكرار الصورة أو متطلبات الأدلة المعتمدة على الاستعلام، مما يؤدي غالبًا إلى الاحتفاظ برموز زائدة في الحالات البسيطة بينما يتخلص من أدلة حاسمة في الحالات المعقدة.

علاوة على ذلك، تتطلب الطرق التكيفية الموجودة حاليًا تدريبًا إضافيًا أو تعتمد على إحصائيات ضعيفة الاستجابة لا تتطلب تدريبًا، والتي لا تستوعب بالكامل احتياجات الأدلة المشروطة بالاستعلام.

المنهجية: OccamToken

يقترح المؤلفون OccamToken، وهو إطار عمل خالٍ من التدريب ومتكيف مع الميزانية يستبدل تصنيف الرموز المطلق بـ اختبار أدلة نسبي مرتكز على السجل (register-anchored relative evidence testing). تكمن الفكرة الجوهرية في أن رموز السجل (register tokens) (التي أُدخلت في الدراسات الحديثة للنماذج المحولة لامتصاص بالوعات الانتباه) تمتص طبيعيًا أنماط الانتباه منخفضة المعلومات، مما يجعلها مرجعًا مستقرًا وغير تمييزي لتحديد الأدلة البصرية المعلوماتية الحقيقية.

يعمل الإطار على مرحلتين:

1. الآلية الجوهرية: المقارنة النسبية

بدلاً من السؤال "هل هذا الرمز ضمن أعلى $K$ ؟"، يسأل OccamToken: "هل يوفر هذا الرمز أدلة أقوى من رمز السجل؟".
تُعرف قاعدة التقليم كالتالي:
$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$
حيث $r(x)$ هو رمز مرجعي يعتمد على العينة (السجل)، و $s_x$ هي دالة التقييم، و $\lambda$ يتحكم في شدة التقليم. وهذا يسمح لميزانية الرموز المحتفظ بها بالتغير ديناميكيًا بناءً على توزيع درجات المدخلات.

2. خط أنابيب التقليم ثنائي المراحل

المرحلة الأولى: تقليم التكرار المتكيف مع الصورة (AdapRP)
- الموقع: مخرج المشفر البصري (Vision Encoder).
- الآلية: يتم إنشاء رمز سجل وقت الاختبار عن طريق إعادة توجيه تنشيطات "البالوعة" ذات المعيار العالي من الخلايا العصبية المتفرقة إلى رمز سجل مخصص. يقوم رمز [CLS] (أو مخطط تقييم متبادل للبنى التي لا تحتوي على [CLS]) بتقييم جميع الرموز البصرية ورمز السجل معًا.
- الإجراء: يتم تقليم الرموز التي تسجل أقل من $\lambda_1 \cdot s_1(r)$ . هذا يزيل التكرار على مستوى الصورة قبل دخول الرموز إلى النموذج اللغوي الكبير (LLM)، مما يخلق ميزانية وسيطة متكيفة مع الصورة.
المرحلة الثانية: تقليم الصلة المرتكز على السجل (RegRP)
- الموقع: داخل النموذج اللغوي (عند طبقة فك تشفير محددة، مثل الطبقة 11).
- الآلية: تعمل الرموز النصية كمقيمات مشروطة بالاستعلام. لكل رمز بصري باقٍ، يُستخدم الحد الأقصى للانتباه المستلم من الرموز النصية كدرجة له (لالتقاط الصلة الموضعية). أما متوسط الانتباه الذي يتلقاه رمز السجل من النصوص فيعمل كعتبة ديناميكية.
- الإجراء: تُزال الرموز التي تسجل أقل من $\lambda_2 \cdot s_2(r)$ . هذا ينتج ميزانية نهائية متكيفة مع الاستعلام، حيث يمكن لنفس الصورة أن تنتج أعدادًا مختلفة من الرموز اعتمادًا على السؤال المحدد المطروح.

المساهمات الرئيسية

العتبة الديناميكية المرتكزة على السجل: آلية خالية من التدريب تربط تخفيف بالوعات الانتباه بالتقليم المتكيف. من خلال إدخال رمز سجل في منافسة الانتباه، فإنه يمتص تشويه البالوعة ويعمل كعتبة متكيفة مع التوزيع.
إطار عمل OccamToken: نظام تقليم ثنائي المرحلة وقابل للتركيب (plug-and-play) يقوم بإزالة التكرار على مستوى الصورة متبوعًا باختيار الصلة على مستوى الاستعلام، مما يسمح بتخصيص الرموز بشكل متكيف دون الحاجة إلى متنبئات متعلمة أو بيانات تدريب إضافية.
التحقق التجريبي: تُظهر التجارب المكثفة تفوق OccamToken على أفضل الطرق المرجعية الأخرى (سواء كانت خالية من التدريب أو تعتمد على التدريب) عبر بنيات متنوعة (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) ومعايض متعددة (GQA, POPE, MME, إلخ).

النتائج التجريبية

المقايضة بين الدقة والكفاءة: يحسن OccamToken باستمرار المقايضة مقارنة بالميزانيات الثابتة والطرق التكيفية الأخرى.
الضغط الشديد: في نموذج LLaVA-NeXT (الذي يعالج 2,880 رمزًا بصريًا)، يقلل OccamToken عدد الرموز إلى حوالي 40 رمزًا (نظام احتفاظ بنسبة 1.4%) مع الحفاظ على أكثر من 93% من دقة الرموز الكاملة الأصلية.
المتانة: يحافظ الأسلوب على دقة نسبية عالية (مثل 97.2% على LLaVA-v1.5 مع 32 رمزًا) ويتفوق بشكل كبير على النماذج ذات الميزانية الثابتة في أنظمة الميزانية المنخفضة حيث يكون الحفاظ على الأدلة ذات الصلة بالمهمة أمرًا بالغ الأهمية.
الكفاءة: من خلال تقليل طول التسلسل البصري، يقلل OccamToken بشكل كبير من استخدام ذاكرة KV-cache (على سبيل المثال، من 313 ميجابايت إلى 47 ميجابايت في LLaVA-v1.5) وزمن انتقال التعبئة المسبقة، رغم أنه يضيف عبئًا طفيفًا لمنطق التقييم المتكيف.
التعميم: ينتقل الأسلوب بفعالية إلى بنيات غير LLaVA (مثل Qwen3-VL, Mini-Gemini) ونماذج الفيديو (Video VLMs)، مما يثبت أن مبدأ الارتكاز على السجل ليس مرتبطًا بواجهات رموز محددة.

الأهمية والادعاءات

يزعم البحث أن التقليم المتكيف القائم على المرجع هو اتجاه بسيط وفعال للنماذج متعددة الوسائط القابلة للتوسع. من خلال الانتقال من التصنيف المطلق إلى المقارنة النسبية مقابل مرجع السجل، يعالج OccamToken العيوب الهيكلية لبالوعات الانتباه والميزانيات الثابتة دون الحاجة إلى إعادة تدريب النموذج. يبرز المؤلفون أن هذا النهج يتيح ضغطًا مستقرًا للرموز البصرية حتى في الأنظمة المتطرفة (احتفاظ بنسبة 1.4%) مع الحفاظ على الأدلة اللازمة للاستدلال متعدد الوسائط.

يضع هذا العمل OccamToken ليس فقط كأداة لتقليل زمن الاستجابة، بل كحل عملي لموازنة الدقة والكفاءة، خاصة في سيناريوهات النشر محدودة الموارد حيث يكون الحفاظ على الأدلة البصرية الحاسمة أمرًا بالغ الأهمية. يقر المؤلفون بوجود قيود تتعلق بالاعتماد على بناء رموز سجل موثوقة وقت الاختبار لبنيات Transformer محددة، مما يشير إلى أن العمل المستقبلي يمكن أن يوسع ذلك ليشمل بنيات متعددة الوسائط أوسع نطاقًا.