🤖 AI

VLMQ: Token Saliency-Driven Post-Training Quantization for Vision-language Models

تقدم هذه الورقة البحثية VLMQ، وهو إطار عمل للكمّنة ما بعد التدريب مصمم لنماذج الرؤية واللغة يستفيد من عامل أهمية مدفوع بالتدرج لمعالجة التمثيل البصري المفرط وفجوات الأنماط، مما يحقق أداءً هو الأفضل في فئته عبر مختلف أحجام النماذج وإعدادات البت المنخفضة.

المؤلفون الأصليون: Yufei Xue, Yushi Huang, Jiawei Shao, Lunjie Zhu, Chi Zhang, Xuelong Li, Jun Zhang

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yufei Xue, Yushi Huang, Jiawei Shao, Lunjie Zhu, Chi Zhang, Xuelong Li, Jun Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد روبوت عبقري فائق الذكاء (نموذج لغوي بصري - Vision-Language Model) يمكنه قراءة الكتب، والنظر إلى الصور، والإجابة على أسئلة معقدة حولها. هذا الروبوت ذكي للغاية، لكنه أيضاً ضخم. فهو يشغل مساحة هائلة من الذاعة ويتطلب قدرة حوسبة كبيرة تجعل من المستح المستحيل وضعه على هاتف عادي أو كمبيوتر محمول.

لجعل هذا الروبوت قابلاً للنقل، يستخدم المهندسون تقنية تسمى الكمية (Quantization). فكر في هذا الأمر كأنه ضغط فيلم سينمائي عالي الدقة بدقة 4K وتحويله إلى ملف MP4 أصغر حجماً. أنت تفقد القليل من التفاصيل، لكن الفيلم لا يزال يعمل بسلاسة على هاتفك.

ومع ذلك، هناك مشكلة: أدوات الضغط القياسية صُممت لروبوتات تقرأ النصوص فقط. وعندما تحاول استخدام هذه الأدوات على روبوت يقرأ الصور أيضاً، تسوء عملية الضغط. يبدأ الروبوت في نسيان أشياء مهمة أو يصاب بالارتباك.

تقدم هذه الورقة البحثية أداة جديدة تسمى VLMQ لإصلاح ذلك. وإليك كيف تعمل، مشروحة عبر تشبيهات بسيطة:

1. المشكلة: "الفصل الدراسي الصاخب"

تخيل أن عقل الروبوت هو فصل دراسي.

رموز النصوص (Text tokens) تشبه الطلاب الذين يرفعون أيديهم لطرح أسئلة ذكية.
الرموز البصرية (Vision tokens) (بيانات الصور) تشبه تسونامي من الضجيج قادم من مكبر صوت عملاق يشغل فيلماً.

في النماذج اللغوية البصرية القياسية، غالباً ما يكون "تسونامي" بيانات الصور ضخماً وفائضاً عن الحاجة. الأمر يشبه وجود 1,000 طالب يصرخون نفس الشيء، بينما 5 طلاب فقط يقولون شيئاً مفيداً حقاً.

الطريقة القديمة (الكمية القياسية):
كانت أدوات الضغط القديمة تعامل كل صوت في الغرفة بالتساوي. فقد حاولت ضغط الـ 1,000 طالب الصارخين بنفس الدقة التي تعامل بها الطلاب الخمسة الأذكياء.

النتيجة: تعرضت أداة الضغط للارتباك بسبب الضجيج. لقد استنفدت كل "ميزانية الضغط" الخاصة بها في محاولة الحفاظ على الصراخ المكرر، وبالخطأ قامت بسحق الطلاب الأذكياء المهمين. أصبح الروبوت مرتبكاً وارتكب الأخطاء.

2. الحل: "المنسق الذكي" (VLMQ)

أدرك مؤلفو هذه الورقة أن الروبوت يحتاج إلى منسق ذكي ليقرر ما يجب الاحتفاظ به وما يجب تجاهله قبل عملية الضغط. هذا هو VLMQ.

إليك العملية المكونة من ثلاث خطوات التي يستخدمها VLMQ:

الخطوة أ: "المحقق المتدرج" (The Gradient Detective)

بدلاً من التخمين حول الأصوات المهمة، يستخدم VLMQ "محققاً متدرجاً".

التشبيه: تخيل أن المعلم يسأل: "من يستطيع حل هذه المسألة الرياضية؟"
طلاب النصوص (الأذكياء) يميلون للأمام، وتلمع أعينهم، ويرفعون أيديهم عالياً. "تدرجهم" (إشارة الأهمية) ضخم.
ضجيج الرؤية (بيانات الصورة المكررة) يظل ساكناً، ولا يتفاعل تقريباً. "تدرجهم" ضئيل جداً.
يقوم VLMQ بقياس هذا التفاعل. إنه ينشئ قائمة بـ "درجات الأهمية". الضجيج الصاخب يحصل على درجة منخفضة؛ والطلاب الأذكياء يحصلون على درجة عالية.

الخطوة ب: "مقبض التحكم في الصوت" (The Volume Knob)

الآن، يقوم VLMQ بخفض مستوى صوت الضجيج ورفع مستوى صوت الطلاب الأذكياء.

التشبيم: قبل ضغط الصوت، يقوم المنسق بكتم صوت الـ 1,000 طالب الصارخين وتضخيم صوت الخمسة الأذكياء.
هذا يضمن أنه عند ضغط الملف، يتم الحفاظ على المعلومات "الذكية" بدقة عالية، بينما يُسمح لـ "الضجيج" بأن يكون ضبابياً.

الخطوة ج: "المسح الفعال" (The Efficient Scan)

قد تتساءل، "ألا يستغرق فحص كل طالب وقتاً طويلاً؟"

الحيلة: لا يفحص VLMQ المدرسة بأكملها دفعة واحدة. بل يفحص فصلاً دراسياً صغيراً واحداً (كتلة أو "Block") في كل مرة. الأمر يشبه قيام المدير بجولة سريعة في غرفة واحدة، ملاحظاً من منهم ينتبه، ثم ينتقل لغيرها. هذا سريع ولا يتطلب إعادة تدريب الروبوت بأكمله من الصفر.

3. النتائج: روبوت أكثر حدة

اختبرت الورقة هذه الطريقة الجديدة على العديد من الروبوتات (النماذج) والمهام (مثل قراءة المخططات البيانية، أو حل المسائل العلمية، أو قراءة النصوص في الصور).

النتيجة: الروبوتات التي تم ضغطها باستخدام VLMQ كانت أكثر ذكاءً من تلك التي استخدمت الطرق القديمة.
"لحظة السحر": في بعض الاختبارات، جعلت الطريقة القديمة الروبوت عديم الفائدة تقريباً (مثل تحويل عبقري إلى طفل صغير باستخدام ضغط 2-بت). أما VVMQ فقد حافظ على ذكاء الروبوت سليماً، حيث حسّن الدقة بنسبة تزيد عن 16% في بعض الحالات!

ملخص

المشكلة: أدوات الضغط القديمة تعامل بيانات الصور والبيانات النصية بالتساوي، لكن الصور غالباً ما تكون "صاخبة" ومكررة، مما يؤدي إلى فقدان الروبوتات الذكية لعقولها عند الضغط.
الحل: يعمل VLMQ كمحرر ذكي. يستخدم الرياضيات لمعرفة أي أجزاء من البيانات هي المهمة حقاً ("الطلاب الأذكياء") وأيها مجرد ضجيج ("الجمهور الصاخب").
الفائدة: يقوم بضغط الروبوت ليتناسب مع هاتفك، لكنه يبقي "الطلاب الأذكياء" مسموعين وواضحين، حتى لا ينسى الروبوت كيف يفكر.

باختصار، VLMQ هو الفرق بين ضغط صورة وتشويه الوجه بالخطأ، وبين ضغطها مع الحفاظ على الوجه واضحاً تماماً بينما تظل الخلفية ضبابية. إنه يجعل نماذج الذكاء الاصط์ناعي القوية صغيرة بما يكفي لحملها، دون جعلها غبية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VLMQ: التكميم بعد التدريب القائم على بروز الرموز لنماذج الرؤية واللغة".

1. بيان المشكلة

بينما حقق التكميم بعد التدريب (PTQ) نجاحاً كبيراً في ضغط النماذج اللغوية الكبيرة (LLMs)، إلا أن تطبيقه المباشر على نماذج الرؤية واللغة (VLMs) يؤدي إلى نتائج دون المستوى الأمثل. حدد المؤلفون خاصيتين جوهريتين لتنشيطات نماذج VLM تفشل طرق PTQ الحالية المتمحورة حول LLM في معالجتهما:

الإفراط في التمثيل البصري: تحتوي مدخلات VLM على عدد كبير بشكل غير متناسب من رموز الرؤية مقارنة برموز النص. العديد من هذه الرموز البصرية زائدة عن الحاجة. تعامل طرق PTQ الحالية جميع الرموز بشكل موحد (تقليل متوسط مربع الخطأ لكل طبقة)، مما يتسبب في انحياز عملية التكميم نحو هذه الميزات البصرية المهيمنة ولكن الزائدة، وبالتالي تدهور أداء النموذج.
الفجوة بين الأنماط (Modality Gap): يوجد انفصال توزيعي متميز بين رموز النص والرؤية في فضاء الميزات الكامن. تفشل استراتيجيات التحسين القياسية التي لا تفرق بين الرموز في مراعاة هذه الفجوة، مما يؤدي إلى عدم محاذاة أثناء المعايرة وانخفاض كبير في الدقة، خاصة في إعدادات البتات شديدة الانخفاض (مثل 2 بت أو 3 بت).

2. المنهجية: VLMQ

يقترح المؤلفون VLMQ، وهو إطار عمل PTQ مصمم خصيصاً لنماذج VLM يقدم استراتيجية معايرة مدركة للأهمية. بدلاً من معاملة جميع الرموز بالتساوي، يقوم VLMQ بإعطاء الأولوية للرموز البارزة مع كبح الرموز الزائدة.

المكونات الأساسية:

عامل الأهمية المدفوع بالتدرج ( $G$ ):
- الأساس النظري: اشتق المؤلفون علاقة (النظرية 1) توضح أن اضطراب الخسارة هو دالة لكل من أخطاء المخرجات ( $\Delta z$ ) والتدرجات ( $p(\Delta z)$ ). وقد لاحظوا أنه بينما تتشابه أحجام الخطأ عبر الرموز، فإن التدرجات تختلف بشكل كبير، حيث تظهر رموز الرؤية الزائدة تدرجات أصغر بكثير من رموز النص المعلوماتية.
- الصياغة: قاموا بتعريف مصفوفة أهمية قطرية $G$ ، حيث يتوافق كل عنصر قطري مع الأهمية لكل رمز. يتم حساب $G$ عن طريق حساب متوسط القيم المطلقة للتدرجات الخام عبر القنوات لكل رمز:
  $G = \text{Diag}([ \overline{|P|}_0, \overline{|P|}_1, \dots, \overline{|P|}_{N-1} ])$
  حيث تمثل $P$ التدرجات الخام.
الحصول الفعال على التدرج:
- لتجنب التكلفة الباهظة للانتشار العكسي للشبكة الكاملة (الذي ينطوي على خطر الإفراط في التخصيص) أو نقص الاعتماد المتبادل بين الطبقات في عملية التقطير لكل طبقة، يستخدم VLMQ استراتيجية الانتشار العكسي الخفيف لكل كتلة (block-wise backpropagation).
- يقوم النموذج بعملية تمرير أمامي، ثم يحسب خسارة محلية ( $L_{Block}$ ) بين الكتلة شبه المكممة ونظيرتها ذات الدقة الكاملة مباشرة بعد وحدات الانتباه. تقوم عملية انتشار عكسي واحدة لكل كتلة باستخراج التدرجات اللازمة لحساب $G$ .
هدف التحسين المدرك للأهمية:
- تمت إعادة صياغة هدف PTQ القياسي (تقليل $\|\Delta W X\|^2$ ) لدمج عامل الأهمية $G$ . الهدف الجديد يقلل الخطأ الموزون:
  $\arg \min_{\hat{W}} \| (\Delta W X - \Delta \hat{W} X) G \|_2^2$
  تعمل هذه الصياغة بفعالية على خفض وزن مساهمة رموز الرؤية الزائدة ورفع وزن الرموز البارزة أثناء عملية تحديث الوزن.
- تم دمج الطريقة في إطار عمل GPTAQ (وهو خوارزمية PTQ غير متماثلة رائدة) عبر تعديل مصفوفة هسيان (Hessian) والحسابات المتبقية لتكون مدركة للأهمية.

3. المساهمات الرئيسية

اكتشاف عدم التطابق: حددت الورقة وصادقت على عدم التطابق الجوهري بين الحشو البصري المتأصل في نماذج VLM وأهداف PTQ السائدة التي لا تفرق بين الرموز.
البروز المدفوع بالتدرج: تقديم عامل أهمية مدفوع بالتدرج ومبني نظرياً يلتقط تباين مستوى الرمز، والذي ثبت أنه أكثر فعالية من المقاييس القائمة على درجات الانتباه (مثل FastV أو PACT) لعملية التكميم.
إطار عمل فعال: تطوير مخطط انتشار عكسي خفيف لكل كتلة يستخلص عوامل الأهمية بتكاليف حوسبة ضئيلة، مما يجعل الطريقة قابلة للتوسع للنماذج الكبيرة (حتى 32 مليار معلمة).
أداء رائد (State-of-the-Art): إثبات أن VLMQ يتفوق بشكل كبير على النماذج المرجعية الحالية (مثل AWQ و MBQ و GPTQ و GPTAQ) عبر مختلف بنيات نماذج VLM، وخاصة في مستويات البتات شديدة الانخفاض.

4. النتائج التجريبية

قيم المؤلفون VLMQ على 8 اختبارات مرجعية (بما في ذلك MME-RealWorld و DocVQA و TextVQA و ScienceQA) عبر عدة نماذج VLM (Qwen2-VL و Qwen2.5-VL و LLaVA-OneVision) تتراوح من 0.5 مليار إلى 32 مليار معلمة.

أداء البتات شديدة الانخفاض (INT2):
- يحقق VLMQ تحسناً في الدقة بنسبة 16.45% في اختبار MME-RealWorld (الصيني) لنموذج Qwen2.5-VL-7B-Instruct مقارنة بـ GPTQ تحت تكميم 2 بت.
- يقلص الفجوة بشكل كبير بين النماذج كاملة الدقة والنماذج المكممة حيث تفشل الطرق الأخرى (مثل AWQ و MBQ) تماماً أو تؤدي أداءً ضعيفاً.
الأداء العام (INT3):
- يتفوق VLMQ باستمرار على النماذج المرجعية عبر 8 اختبارات مرجعية. بالنسبة لنموذج Qwen2-VL-7B-Instruct، يحقق تحسناً في متوسط الدقة بنسبة 0.72% عن GPTAQ.
- يظهر متانة عبر مختلف أحجام النماذج وبنياتها.
دراسات الاستئصال (Ablation Studies):
- عامل الأهمية: تتفوق العوامل المدفوعة بالتدرج بشكل كبير على العوامل القائمة على درجات الانتباه (69.70% مقابل 67.07% متوسط الدقة).
- درجة التفصيل (Granularity): يوفر الانتشار العكسي لكل كتلة أفضل مقايضة بين الدقة والكفاءة مقارنة بالنهج لكل طبقة أو للشبكة بأكملها.
- الخوارزميات السابقة: يحسن VLMQ الأداء بغض النظر عما إذا كان قد تم استخدام GPTQ أو GPTAQ كخوارزمية أساسية، مما يثبت استقلاليته عن مسار المعايرة.
الكفاءة:
- المعايرة: تكلفة الوقت الإضافية ضئيلة (على سبيل المثال، +1.8 دقيقة لنموذج 7B على وحدة GPU من نوع H100).
- الاستنتاج: يتوافق VLMQ تماماً مع نوى (kernels) GPTQ المحسنة للأجهزة (مثل Marlin و ExLLaMA)، مما يعني عدم وجود تأخير إضافي في الاستنتاج.

5. الأهمية

تعالج هذه الدراسة عقبة حرجة في نشر نماذج الرؤية واللغة واسعة النطاق على الأجهزة الطرفية محدودة الموارد. من خلال إدراك أن نماذج VLM تختلف جوهرياً عن نماذج LLM بسبب عدم التوازن بين الأنماط وحشو الرموز، يوفر VLMQ حلاً متخصصاً يتيح تكميماً عالي الدقة عند دقة 2 بت و 3 بت. وهذا يجعل من الممكن تشغيل نماذج متعددة الوسائط متطورة على أجهزة استهلاكية دون التكلفة الحوسبية العالية لإعادة التدريب أو الضبط الدقيق، مما يمهد الطريق للنشر العملي والواقعي لنماذج VLM.