LATMiX: Learnable Affine Transformations for Microscaling Quantization of LLMs
تقدم هذه الورقة LATMiX، وهي طريقة توظف تحويلات تآلفية عكسية قابلة للتعلم لتحسين توزيعات التنشيط من أجل التكميم المجهري (MX)، مما يحسن بشكل كبير من دقة النماذج اللغوية الكبيرة ذات البتات المنخفضة مقارنة بالأساليب القائمة على الدوران أو هادامارد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مكتبة ضخمة، مفصلة للغاية (نموذج لغوي كبير، أو LLM)، قادرة على الإجابة على أي سؤال، أو كتابة الأكواد، أو سرد القصص. المشكلة هي أن هذه المكتبة واسعة وثقيلة جداً لدرجة أن تخزينها مكلف وقراءتها بطيئة. ولجعلها أسرع وأرخص، يحاول المهندسون تقليص حجم الكتب عن طريق تلخيصها في تنسيقات أصغر وأبسط. تسمى هذه العملية "الكمية" (Quantization).
ومع ذلك، هناك عقبة؛ ففي هذه المكتبات الهائلة، تحتوي بعض الصفحات على "قيم متطرفة" (Outliers)—وهي جمل طويلة ومعقدة للغاية لا تتناسب جيداً مع التنسيق الصغير والمبسط. إذا حاولت حشر هذه الجمل الطويلة في صندوق صغير، فستصبح مضغوطة ومشوهة، مما يؤدي إلى إفساد القصة.
المشكلة: عنق زجاجة "الكتلة" (The Block Bottleneck)
مؤخراً، تم تقديم طريقة جديدة لتنظيم هذه الكتب تسمى "المقياس الدقيق" (Microscaling - MX). بدلاً من تقليص المكتبة بأكملها باستخدام ملخص واحد ضخم، تقوم تقنية MX بتقسيم الكتب إلى "كتل" صغيرة وإعطاء كل كتلة مسطرة صغيرة خاصة بها (عامل قياس) لقياس الكلمات. هذا أمر رائع لأنه يتعامل مع أجزاء النص المختلفة بمرونة أكبر.
لكن العقبة هي أن الطرق السابقة حاولت حل مشكلة "القيم المتطرفة" عن طريق تدوير المكتبة بأكملها مثل النحلة الدوارة. وعندما حاولوا دمج هذا التدوير مع مساطر "الكتل" الجديدة، سادت الفوضى. لقد أدى التدوير إلى تعطيل قياسات الكتل، مما جعل المكتبة غير قابلة للقراءة.
لحل هذه المشكلة، حاول باحثون سابقون استخدام حيلة بديلة: حيث قاموا بتدوير الصفحات فقط داخل كل كتلة صغيرة وتجاهلوا بقية المكتبة. ورغم أن هذا أوقف الفوضى، إلا أنه كان يشبه محاولة حل ازدحام مروري عبر تحريك السيارات داخل موقف سيارات واحد فقط مع تجاهل السيارات العالقة في المسار المجاور. لم يكن ذلك حلاً للمشكلة على نطاق واسع.
الحل: LATMiX (إعادة التنظيم الذكي)
يقترح مؤلفو هذه الورقة البحثية، LATMiX، طريقة أذكى لإعادة ترتيب الكتب قبل تقليص حجمها.
تخيل البيانات في النموذج كأنها حشد من الناس في غرفة. بعض الناس يقفون في تجمع كثيف وضخم (القيم المتطرفة)، بينما يتوزع الآخرون بشكل مبعثر.
- الطرق القديمة حاولت تدوير الغرفة بأكملها أو خلط الناس فقط ضمن مجموعات صغيرة.
- LATMiX يعمل مثل مصمم رقصات بارع. فهو يتعلم حركة رقص مخصصة ومرنة (تحويل أفيني - Affine Transformation) لتوزيع التجمع الكثيف بشكل متساوٍ عبر الغرفة بأكملها.
هذا التصميم الحركي يتميز بميزتين خاصتين:
- قابل للتعلم: بدلاً من استخدام رقصة جاهزة (مثل التدوير البسيط)، يستخدم LATMiX أدوات الذكاء الاصطناعي القياسية لـ تعلم حركات الرقص المثالية خصيصاً للبيانات التي يراها. فهو يكتشف بالضبط كيف يجب توزيع الطاقة بحيث لا تصبح أي نقطة مزدحمة للغاية.
- يحترم الكتل: إنه يعرف "مسطرة الكتل" (تنسيق MX). فهو لا يخلط الناس عشوائياً؛ بل يخلطهم بطريقة تعمل بشكل مثالي مع نظام الكتل، مما يضمن أن المساطر الصغيرة يمكنها قياس الجميع بدقة.
كيف يعمل (الخدعة السحرية)
توضح الورقة البحثية أن LATMiX لا يبطئ المكتبة فعلياً عند قراءتها لاحقاً. الأمر يشبه ساحرًا يعيد ترتيب الأوراق قبل بدء الخدعة، ثم يدمج هذا الترتيب مباشرة في مجموعة الأوراق نفسها. بمجرد إعداد الخدعة، لا يقوم الساحر (الكمبيوتر) بأي عمل إضافي للخلط؛ فالأوراق مرتبة بالفعل في الترتيب المثالي. وهذا يعني أن السرعة واستهلاك الذاكرة يظلان بنفس السرعة السابقة، ولكن جودة "الكتب المقلصة" تكون أعلى بكثير.
النتائج
اختبر المؤلفون هذه التقنية على نماذج مختلفة (مثل Llama و Qwen) ووجدوا أن LATMiX يتفوق باستمرار على الطرق الأخرى.
- دقة أفضل: النماذج "المقلصة" ارتكبت أخطاء أقل وفهمت الأسئلة بشكل أفضل من النماذج التي تستخدم تقنيات التقلص القديمة.
- المتانة: عملت التقنية بشكل جيد عبر أحجام النماذج المختلفة، من الصغيرة إلى الكبيرة جداً.
- الكفاءة: حققت هذه التحسينات دون إضافة وقت أو تكلفة إضافية لتشغيل النموذج.
باختصار، LATMiX هو أداة ذكية وقابلة للتعلم تعيد ترتيب البيانات بشكل صحيح تماماً قبل ضغطها، مما يضمن بقاء حتى أكثر المعلومات "المتطرفة" شدة دون أن تُفقد أثناء عملية التقلص، مع التناغم بسلاسة مع تنسيقات الأجهزة الحديثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.