ملخص تقني: WINDQuant

بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) عوائق كبيرة أمام النشر على الأجهزة الطرفية (edge devices) والبيئات محدودة الموارد بسبب المتطلبات الحسابية والذاكرات الضخمة. وبينما يوفر التكميم (quantization) حلاً عبر تمثيل الأوزان بأنواع بيانات ذات دقة أقل، فإن الحفاظ على أداء النموذج في نطاق الدقة الفائقة المنخفضة (أقل من 3 بت) يظل تحدياً حرجاً.

تعاني الأساليب الحالية من قيود محددة:

• التكميم بعد التدريب (PTQ): طرق مثل AWQ وGPTQ فعالة ولكنها غالباً ما تعاني من تدهور شديد في الدقة عند الدقة المنخفضة للغاية لأنها تعتمد على تحليل حساسية استاتيكي أو خشن (coarse-grained) يتجاهل الاختلافات الدقيقة داخل مصفوفات الأوزان.
• التكميم الواعي بالتدريب (QAT): رغم أنه أكثر قوة، إلا أن QAT يتطلب إعادة تدريب مكلفة وموارد إضافية، وغالباً ما يتضمن تقطير المعرفة (knowledge distillation)، مما يزيد من العبء الحسابي بشكل كبير.
• مشكلات التدرج (Granularity): معظم استراتيجيات الدقة المختلطة تعمل على مستوى الطبقة أو الموتر (tensor)، وتفشل في التقاط الهيكل المحلي للحساسية عبر القنوات والهياكل الفرعية داخل الطبقة الواحدة. تشير النتائج التجريبية الحديثة إلى أن جزءاً صغيراً فقط من الأوزان البارزة يؤثر بشكل غير متناسب على دقة النموذج، مما يستلزم استراتيجية تخصيص أكثر تكيفاً ودقة.

المنهجية: WINDQuant

يقترح المؤلفون WINDQuant (اتخاذ القرار العصبي المعتمد على الوزن للتعلم التعزيزي في التكميم)، وهو إطار عمل يعيد صياغة التكميم ذو الدقة المختلطة فائقة الانخفاض كـ مسألة اتخاذ قرار متسلسل تحت ميزانية تخزين عالمية.

1. صياغة المشكلة

تتم نمذجة عملية التكميم كعملية قرار ماركوف (MDP) ذات أفق زمني محدود:

• تعريف الوحدة: تُعرف "الوحدة" بأنها كتلة على مستوى العمود (column-level chunk) داخل مصفوفة الأوزان (على سبيل المثال، حجم 256)، مدفوعة بالملاحظة التي تفيد بأن أهمية الوزن تظهر هيكلاً موضعياً مرتبطاً بالقنوات.
• فضاء الحالة ($S$): تتكون الحالة في كل خطوة من 15 بُعداً، تشمل:
  • إحصائيات الوزن المحلية (المتوسط، التباين، الندرة، كسر القيم الشاذة).
  • سياق الضغط العالمي (التقدم، الميزانية المتبقية من البتات، الإلحاح).
  • إحصائيات المعايرة الواعية بالتنشيط (مقاييس التنشيط).
  • المؤشرات الهيكلية (التمييز بين مكونات الانتباه MLP).
• فضاء الإجراء ($A$): يختار الوكيل من مجموعة محددة من مستويات الدقة: $\{16, 8, 4, 3, 2, 1.58, 1\}$ بت. خيار 1.58 بت يقابل التكميم الثلاثي (ternary quantization).
• الهدف: إيجاد سياسة $\pi$ تقلل من تكلفة التخزين العالمية $\sum B_i(a_i) \leq B_{target}$ مع إبقاء تدهور الجودة $L(M_Q) - L(M)$ ضمن قيد ناعم $\epsilon$.

2. إطار عمل التعلم التعزيزي

• الخوارزمية: يتم تحسين السياسة باستخدام تحسين السياسة القريبة (PPO).
• تصميم المكافأة: وظيفة المكافأة هي مزيج من الإشارات على مستوى الخطوة ومستوى الحلقة:
  • مكافأة الخطوة: توفر تغذية راجعة كثيفة بناءً على جدوى الميزانية (على سبيل المثال، إشارة إيجابية لتوفير البتات، وعقوبة للتخطي).
  • مكافأة نهاية الحلقة: مزيج مرجح من تقليل البتات، عقوبات زيادة الخسارة، عقوبات انتهاك الميزانية، وعقوبات الارتباك (perplexity - PPL). يقوم معامل لاجرانج (Lagrange multiplier) بضبط وزن عقوبة الجودة ديناميكياً بناءً على التدهور.
• التعلم المنهجي (Curriculum Learning): يستخدم التدريب استراتيجية تحسين مرحلية حيث يتم تقليل عرض البت المستهدف تدريجياً (على سبيل المثال، $3.0 \to 2.5 \to 2.0$) لاستقرار الاستكشاف.

3. محرك التكميم ومحاسبة البتات

• المشغلات (Operators): يدمج الإطار مشغلات تكميم محددة لكل مستوى دقة:
  • 1 بت: التثني المرن (Elastic binarization).
  • 1.58/2 بت: مشغلات من نوع التكميم المرن الممتد (SEQ)-style.
  • 3/4/8 بت: تكميم الخطوات المتعلم (LSQ)-style المتناثر.
• حماية التنشيط الواعية: للتخفيف من فقدان الدقة، يتم الحفاظ على جزء صغير من الأوزان البارزة (المحددة بضرب مقدار الوزن في مقياس التنشيط) في صيغة INT8 بغض النظر عن إجراء الوكيل. يتم تكميم الأوزان المتبقية وفقاً للسياسة.
• محاسبة البتات الفعالة: عرض البت المذكور هو عدد البتات الفعال الذي يأخذ في الاعتبار التكاليف الإضافية للأوزان المحمية بـ INT8 وإجراءات تخطي FP16، بدلاً من مجرد عرض البت الاسمي للإجراء.

المساهمات الرئيسية

1. التخصيص القائم على التعلم التعزيزي: يقدم WINDQuant إطار عمل للتعلم التعزيزي يعامل التكميم ذو الدقة المختلطة دقيق التفاصيل كمسألة قرار متسلسل، مما يسمح بتخصيص تكيفي لعرض البت يتفوق على تصنيفات الحساسية الاستاتيكية القائمة على الاستدلال.
2. التدرج الدقيق: على عكس أساليب التعلم التعزيزي السابقة التي تعمل على مستوى الطبقة، يقوم WINDQuant بالتخصيص على مستوى كتلة العمود، مما يسمح بسياسات أكثر تعبيراً وتكيفاً تلتقط تغيرات الحساسية داخل الطبقة.
3. القابلية للتوسع والكفاءة: يظهر الأسلوب فعاليته عبر نماذج LLaMA التي تتراوح من 1 مليار إلى 70 مليار معلمة. يحقق دقة تنافسية في الدقة المنخفضة للغاية دون الحاجة إلى إعادة تدريب كاملة للنموذج، معتمداً بدلاً من ذلك على تحسين السياسة خفيف الوزن وضبط المكمم المحلي لكل وحدة.

النتائج التجريبية

قيم المؤلفون WINDQuant على عائلة نماذج LLaMA-3 (1B, 3B, 8B, 70B) مستهدفين حوالي 2 بت من الدقة المختلطة.

• الأداء: حقق WINDQuant أقوى متوسط أداء للمهام النهائية عبر جميع المقاييس مقارنة بمجموعة واسعة من النماذج المرجعية، بما في ذلك طرق PTQ (مثل AWQ, GPTQ, OmniQ, SpinQuant, TesseraQ, GPTVQ, SignRound) وطرق QAT (مثل LLM-QAT, EfficientQAT).
  • LLaMA-3-8B: حقق 70.22% متوسط دقة عند 1.96 بت فعال، متفوقاً على AQLM (69.04% عند 2.27 بت) وEfficientQAT (55.52%).
  • LLaMA-3-70B: حقق 71.48% متوسط دقة عند 2.02 بت، محافظاً على أكثر من 92% من درجة الدقة الكاملة، بينما فشلت النماذج المرجعية الأخرى مثل EfficientQAT في الحفاظ على نظام ارتباك (perplexity) قابل للاستخدام.
• الكفاءة: يقدم WINDQuant مقايضة متفوقة بين الجودة والكفاءة. في نموذج 8B، تطلب 49 ساعة و 17.1 جيجابايت من ذاكرة الـ GPU لتحقيق نتائجه. في المقابل، تطلب ParetoQ (مرجع طويل الميزانية) حوالي 1777 ساعة لتحقيق جودة مماثلة، بينما تطلب LLM-QAT ذاكرة أكبر بكثير (126.9 جيجابايت) رغم سرعة وقت التنفيذ الفعلي.
• سلوك السياسة: كشف تحليل السياسة المتعلمة أن الوكيل يخصص معظم الوحدات بقوة لنطاقات 1 بت أو 1.58 بت، ويحتفظ بالدقة الأعلى فقط للوحدات الحساسة، مما يستغل بفعالية التكرار الدقيق.

الأهمية والادعاءات

يزعم البحث أن WINDQuant يسلط الضوء على التعلم التعزيزي كعنصر تحكم عملي للتكميم ذو الدقة المختلطة التكيفية. ومن خلال نقل التركيز من "كيفية تكميم موتر ثابت" إلى "كيفية تخصيص ميزانية دقة عالمية عبر آلاف الوحدات الفرعية للطبقات"، يعالج هذا الأسلوب مشكلة التخصي Compementary التي تتجاهلها الطرق الاستاتيكية.

يؤكد المؤلفون أن WINDQuant يوفر مقايضة مثالية بين الضغط والدقة من خلال تعلم سياسة تخصيص عالمية بدلاً من الاعتماد على الاستدلالات المحلية. والأهم من ذلك، أنه يحقق ذلك دون التكاليف الحسابية الباهظة لإعادة التدريب الكامل أو إجراءات البحث المكثفة، مما يجعل التكميم فائق الانخفاض ممكناً للنماذج واسعة النطاق تحت قيود جهاز واحد (Single-GPU) عملية.

القيود

يشير المؤلفون إلى عدة قيود:

• يركز العمل على تكميم الأوزان فقط؛ ولا يتم تكميم التنشيطات أو مخازن KV (KV caches).
• يتم تدريب سياسة RL باستخدام وسيط معايرة خفيف (Open-Platypus)، والذي قد لا يلتقط تماماً دقة المهام النهائية أو تغيرات النطاق، رغم أنه يرتبط جيداً بالارتباك النهائي.
• أُجريت التجارب بشكل أساسي على نماذج عائلة LLaMA؛ وهناك حاجة لمزيد من التحقق عبر البنى المختلفة وبيئات النشر.
• يتضمن خط العمل مثبتات (حماية الأوزان البارزة، الضبط المحلي) وهي جزء لا يتجزأ من النظام، مما يعني أن الأداء لا يعزى فقط إلى سياسة RL بمعزل عن غيرها.