🤖 machine learning

MGVQ: Synergizing Multi-dimensional Sensitivity-Aware and Gradient-Hessian Fusion for Vector Quantization

يُعد MGVQ إطار عمل جديد للكمية المتجهة لنماذج الرؤية واللغة، يتغلب على عدم تطابق التوزيع عبر الوسائط وانجراف التدرج من خلال دمج التكميم متعدد الدقة الموجه بالحساسية مع تعويض الخطأ من الدرجة الثانية المدرك للتدرج، محققاً أداءً هو الأفضل في فئته في إعدادات البتات شديدة الانخفاض.

المؤلفون الأصليون: Zhong Wang, Zukang Xu, Xing Hu, Dawei Yang

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhong Wang, Zukang Xu, Xing Hu, Dawei Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة للغاية وتفصيلية من المعرفة (نموذج لغوي بصري) يمكنها النظر إلى الصور وقراءة النصوص للإجابة على الأسئلة. هذه المكتبة ضخمة جدًا لدرجة أنها تتطلب حاسوبًا فائقًا (Supercomputer) باهظ الثمن لاستيعابها. أنت تريد تقليص هذه المكتبة الضخمة لتناسب جهاز كمبيوتر محمول عادي أو حتى هاتفًا، ولكن لا يمكنك مجرد رمي الصفحات بعيدًا، وإلا ستصبح القصص غير مفهومة.

تقدم هذه الورقة البحثية طريقة جديدة تسمى MGVQ لتقليص هذه النماذج الضخمة دون فقدان ذكائها. إليك كيف تعمل، مشروحة من خلال تشبيهات بسيطة:

المشكلة: لماذا يفشل التقليص عادةً؟

عندما نحاول ضغط هذه النماذج، نواجه عادةً مشكلتين كبيرتين:

1. مشكلة "الحقيبة المختلطة" (تباين الأنماط - Modality Heterogeneity):
تخيل أن مكتبتك تحتوي على نوعين من الكتب: نوع يتعلق بـ الصور (بصري) والآخر يتعلق بـ الروايات (نصي).

إذا حاولت تعبئة كل هذه الكتب في صناديق صغيرة متطابقة باستخدام استراتيجية واحدة "تناسب الجميع"، فستواجه المتاعب. كتب الصور تحتاج إلى مواد تغليف مختلفة عن كتب الروايات.
الطرق الحالية تحاول استخدام نفس الصندوق لكل شيء. هذا يؤدي إلى سحق كتب الصور (فقدان التفاصيل) وترك مساحات فارغة كبيرة في كتب الروايات (إضاعة المساحة). النتيجة هي مكتبة فوضوية حيث لا تبدو القصص منطقية.

2. مشكلة "الخريطة الخاطئة" (تجاهل التدرجات من الدرجة الأولى - Ignoring First-Order Gradients):
تخيل أنك تحاول العثور على أدنى نقطة في وادٍ ضبابي (النسخة المضغوطة المثالية للنموذج).

الطرق القديمة تنظر فقط إلى شكل الأرض (الانحناء/Hessian) لتخمين مكان القاع. وهي تفترض أن الأرض مسطحة تمامًا في المكان الذي تقف فيه.
ومع ذلك، نظرًا لأن النموذج ضخم جدًا، فإن الأرض في الواقع منحدرة قليلاً. إذا تجاهلت هذا المنحدر (التدرج من الدرجة الأولى)، فستأخذ خطوة في الاتجاه الخاطئ. ستعتقد أنك وجدت القاع، لكنك في الواقع قد انحرفت عن المسار، ويبدأ النموذج في ارتكاب الأخطاء.

الحل: MGVQ

ابتكر المؤلفون MGVQ، وهو نظام ذكي يعالج كلا المشكلتين. فكر فيه كأنه عامل تعبئة ماهر يمتلك أداتين خاصتين:

الأداة الأولى: "المُعبئ الذكي للحساسية" (SSMQ)

بدلاً من استخدام حجم صندوق واحد لكل شيء، تتحقق هذه الأداة من مدى "حساسية" كل جزء من المكتبة.

كيف تعمل: تنظر إلى كل صفحة وتسأل: "إذا ضغطت هذه الصفحة، هل ستفسد القصة؟"
- إذا كانت الصفحة عالية الحساسية (نقطة حبكة حرجة)، فستحصل على صندوق كبير وعالي الجودة (مزيد من البتات/المساحة).
- إذا كانت الصفحة أقل حساسية (وصف ممل)، فستحصل على صندوق صغير وضيق (بتات أقل).
النتيجة: إنها تنشئ خطة تعبئة مخصصة ومتنوعة الأحجام. فهي تعامل "كتب الصور" و"كتب النصوص" بشكل مختلف، مما يضمن حصول الأجزاء الأكثر أهمية على الحماية التي تحتاجها.

الأداة الثانية: "الملاح المدرك للمنحدر" (GAEC)

تعالج هذه الأداة مشكلة "الخريطة الخاطئة".

كيف تعمل: بدلاً من مجرد النظر إلى شكل الأرض، فإنها تتحقق أيضًا من المنحدر. إنها تدرك: "مهلاً، الأرض مائلة!"
الإصلاح: تستخدم خدعة رياضية (الجمع بين المنحدر والشكل) لحساب كيفية دفع الكتب بدقة للعودة إلى موضعها الصحيح. هي لا تخمن فحسب؛ بل تحسب التصحيح الدقيق اللازم للحفاظ على دقة القصة، حتى عندما تكون الصناديق صغيرة جدًا.

النتائج

اختبر المؤلفون هذا على عدة "مكتبات" شهيرة (نماذج مثل LLaVA و InternVL و Qwen2-VL).

الاختبار: حاولوا تقليص النماذج إلى حجم 2-بت (صغير للغاية، مثل ضغط فيلم عالي الدقة في ملف نصي صغير جدًا).
النتيجة: حافظ MGVQ على ذكاء النماذج بشكل أكبر بكثير من الطرق السابقة.
- على سبيل المثال، في نموذج معين، حصلت أفضل طريقة قديمة على درجة 67.0%، بينما حصل MGVQ على 71.4%.
- لقد تمكن من الحفاظ على أداء النموذج قريبًا جدًا من النسخة الأصلية الضخمة، حتى عند ضغطه في مساحة ضيقة للغاية.

باختصار

MGVQ يشبه أمين مكتبة عبقري يدرك أن:

أنواع المعلومات المختلفة تحتاج إلى قدر مختلف من المساحة (لذا فهو يوزع المساحة بشكل عادل).
الطريق إلى الضغط المثالي ليس مستقيمًا؛ بل يحتوي على منحدرات (لذا فهو يصحح خطواته على طول الطريق).

من خلال القيام بكليهما، فإنه يسمح لهذه النماذج الذكية والضخمة بأن تناسب الأجهزة الصغيرة دون فقدان قدرتها على فهم العالم.

ملخص تقني: MGVQ

بيان المشكلة

أظهرت نماذج الرؤية واللغة (VLMs) قدرات مذهلة، لكنها تواجه عوائق كبيرة في النشر بسبب حجمها الهائل الذي يتجاوز قيود الذاكرة وعرض النطاق الترددي للأجهزة الطرفية. وبينما يعد التكميم ما بعد التدريب (PTQ) تقنية ضغط قياسية، إلا أن الطرق الحالية تعاني في ظل مستويات عرض النطاق المنخفضة للغاية (على سبيل المثال، 2 بت أو 3 بت). تحدد الورقة تحديين جوهريين خاصين بتطبيق التكميم المتجهي (Vector Quantization - VQ) على نماذج الرؤية واللغة:

عدم التجانس في الأوزان الناجم عن تعدد الوسائط: يجب أن تعالج الأوزان في نماذج الرؤية واللغة رموز الصور والنصوص في آن واحد، والتي تظهر خصائص إحصائية مختلفة تمامًا. إن استخدام كتاب رموز موحد أو تخصيص ثابت لعدد البتات يفشل في استيعاب هذا التباين الهيكلي، مما يؤدي إلى تضخيم أخطاء التكميم.
عدم تطابق تعويض الخطأ: تفترض طرق تعويض الخطأ من الدرجة الثانية الحالية (مثل GPTQ وYAQA) أن التدرجات قريبة من الصفر عند نقطة التقارب قبل التدريب. ومع ذلك، فإن التكميم يزيح الأوزان بعيدًا عن هذه النقطة المثلى، مما يؤدي إلى ظهور تدرجات من الدرجة الأولى غير مهملة. إن تجاهل هذه التدرجات يؤدي إلى تقريب غير دقيق للخسارة وتعويض منحاز، مما يقلل من أداء النموذج.

المنهجية: MGVQ

يقترح المؤلفون MGVQ (تآزر الحساسية متعددة الأبعاد الواعية بالبنية ودمج الهيسيان للدرجة الأولى والثانية للتكميم المتجهي)، وهو إطار عمل مصمم لمعالجة التحديات المذكورة أعلاه من خلال مكونين متآزرين:

1. التكميم مختلط الدقة المهيكل المدفوع بالحساسية (SSMQ)

يعالج هذا النموذج عدم تجانس الأوزان من خلال تخصيص عرض البتات بناءً على حساسية القنوات بدلاً من استخدام مخطط موحد.

تقييم الحساسية: يدمج الحساسية العالمية (المشتقة من هسيان تباعد KL/مصفوفة معلومات فيشر، والمقربة عبر تحليل كروينيكر) والحساسة المحلية (المشتقة من معيار تنشيطات المخرجات). يتم دمج هذه المقاييس لإنشاء درجة حساسية قوية لكل قناة مدخلة ومخرجة.
التقسيم المهيكل: يتم إعادة ترتيب مصفوفات الأوزان بناءً على درجات الحساسية هذه وتقسيمها إلى كتل فرعية مهيكلة بمقاس $2 \times 2$ .
التخصيص الأمثل للبتات: تحت ميزانية بتات عالمية ثابتة، يحل الإطار مشكلة تحسين لتعظيم نسبة كفاءة الحساسية إلى البتات. ينتج عن ذلك حل مغلق الشكل حيث تحصل المناطق عالية الحساسية على دقة أدق (بتات أكثر)، مما يضمن توزيعًا للموارد دقيقًا وقابلًا للتفسير.

2. تعويض الخطأ المدرك للتدرج (GAEC)

يعالج هذا النموذج عدم تطابق تعويض الخطأ من خلال نمذجة تدرجات الدرجة الأولى صراحةً جنبًا إلى جنب مع انحناء الدرجة الثانية.

هدف التحسين المشترك: تصيغ الطريقة التكميم كعملية تقليل لخسارة المهمة الناجمة عن بقايا التكميم. وبخلاف الطرق التقليدية التي تفترض أن $\nabla L \approx 0$ ، يقر MGVQ بأن التكميم يسبب انزياحًا في التدرج.
تقريب التدرج المسقط على الانحناء: يتم تقريب التدرج كبقايا مسقطة عبر هيكل الانحناء ( $H \approx H_O \otimes H_I$ ). يخلق هذا مسألة فرعية تربيعية محدبة توازن بين تصحيح الدرجة الأولى وتنظيم الدرجة الثانية.
الحل المغلق: باستخدام تحليلات Block-LDL لعوامل الهيسيان، اشتق المؤلفون حلاً بسيطًا مغلق الشكل للتصحيح الأمثل. يسمح هذا بتحديث تكراري يسقط الأوزان على مجموعة قيود التكميم، مما يوازن بفعالية بين خطأ التكميم الفوري وانزياح تدرج خسارة المهمة.

المساهمات الرئيسية

تحديد المشكلة: تحدد الورقة وتصف عقبتين خاصتين بنماذج الرؤية واللغة بالنسبة للتكميم المتجهي: عدم تجانس الأوزاء الناجم عن تعدد الوسائط، وعدم التطابق الناتج عن تجاهل تدرجات الدرجة الأولى في تعويض الخطأ.
اقتراح الإطار: تم تقديم MGVQ كإطار عمل مبتكر يجمع بين تحليل الحساسية متعدد الأبعاد، وتخصيص الدقة المختلطة المهيكلة، وتعويض الخطأ المدرك للتدرج لتخفيف الأخطاء عبر الطبقات والوسائط.
التحقق التجريبي: تثبت التجارب المكثفة على نماذج الرؤية واللغة التمثيلية (LLaVA-onevision، InternVL2، Qwen2-VL) عبر مقاييس مختلفة (من 7 مليار إلى 72 مليار معلمة) فعالية الطريقة.

النتائج التجريبية

قيم المؤلفون MGVQ مقابل خطوط الأساس للتكميم القياسي (SQ) والتكميم المتجهي (VQ) (بما في ذلك GPTQ وAWK وMBQ وVPTQ وQuIP#) على اختبارات تغطي التعرف على النصوص، والإدراك البصري، والاستدلال البصري (مثل MMMU وSEED-Bench وOCRBench).

مكاسب الأداء: في ظل تكميم 2 بت، يتفوق MGVQ باستمرار على خطوط الأساس الحالية. على سبيل المثال، في نموذج InternVL2-26B، يحقق MGVQ دقة بنسبة 71.4%، متفوقًا على QuIP# (67.0%) بنسبة 4.4 نقطة مئوية وعلى MBQ (66.5%) بنسبة 4.9 نقطة مئوية.
تقليص الفجوة: يقلص MGVQ بشكل كبير فجوة الأداء بين النماذج المكممة ونماذج الدقة الكاملة (FP16). في سيناريو 2 بت لنموذج LLaVA-onevision-7B، يصل MGVQ إلى 61.5% مقارنة بـ FP16 الذي يبلغ 66.9% (انخفاض قدره 5.4% فقط)، بينما ينخفض أفضل خط أساس (VPTQ/MBQ) بنسبة 7.3%.
دراسات الاستئصال: تؤكد التجارب أن كلاً من SSMQ وGAEC ضروريان ومتكاملان. يؤدي إزالة أي منهما إلى تدهور كبير في الدقة، مما يؤكد التآزر بين التخصيص المدفوع بالحساسية والتعويض المدرك للتدرج.

الأهمية والادعاءات

تدعي الورقة أن MGVQ يوفر حلاً قويًا وفعالًا للتكميم فائق انخفاض البت لنماذج الوسائط المتعددة، مما يسهل نشرها العملي في السيناريوهات محدودة الموارد. من خلال تجاوز افتراض الحساسية المتناحية وتدرجات الصفر، يقدم MGVQ تقريبًا أكثر دقة لمشهد خطأ التكميم الخاص بنماذج الرؤية واللغة.

يضع المؤلفون هذا العمل كخطوة نحو تمكين النشر الفعال لنماذج التأسيس متعددة الوسائط واسعة النط "Large-scale multimodal foundation models". ويقترحون أن دمج تحليل الحساسية الهيكلية والتحسين المدرك للتدرج في إطار العمل يقدم منظورًا عامًا قد يلهم الأبحاث المستقبلية في ضغط وتسريع الأنظمة متعددة الوسائط. يُقدم هذا العمل كنسخة أولية (Preprint)، مع خطط مستقبلية لتوسيع الإطار ليشمل سيناريوهات أكثر تعقيدًا مثل فهم الفيديو واللغة.