Depth Registers Unlock W4A4 on SwiGLU: A Reader/Generator Decomposition
تُثبت هذه الورقة أن تطبيق تدخل "سجلات العمق" (Depth Registers) أثناء التدريب للتحكم في تنشيطات المحور المتبقي في نموذج SwiGLU بـ 300 مليون معلمة يقلل بشكل جذري من خطأ التكميم W4A4 عبر تثبيت مكونات "القارئ"، ومع ذلك تكشف أن فجوة الأداء المتبقية ناتجة جوهرياً عن التفاعلات الثنائية الخطية غير المحدودة لـ "المولد" والتي لا يمكن للدورات المتعامدة حلها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تقليص مكتبة ضخمة ومعقدة (نموذج لغوي كبير) لتناسب حقيبة ظهر صغيرة (شريحة كمبيوتر عادية) دون فقدان أي من معنى الكتب. تسمى هذه العملية الكمية (Quantization).
هذه الورقة البحثية تتحدث عن تحدٍ محدد وصعب للغاية: وهو تقليص حجم المكتبة إلى حجم 4-بت (حجم صغير جداً) مع الحل الحفاظ على قابلية قراءة الكتب.
إليك قصة ما وجدوه، مشروحة بتشبيهات بسيطة.
1. المشكلة: كارثة "التقليص"
عندما حاول الباحثون تقليص نموذجهم باستخدام الطريقة القياسية "الساذجة" (مجرد تقريب الأرقام لأقرب قيمة مناسبة)، انهارت المكتبة.
- قبل التقليص: كان النموذج فصيحاً وذكياً (درجة الـ Perplexity هي 23.6).
- بعد التقليص الساذج: أصبح النموذج يهذي بكلمات غير مفهومة (درجة الـ Perplexity وصلت إلى 1727).
كان الأمر يشبه محاولة وضع فيلم عالي الدقة بدقة 4K في ملف نصي صغير؛ النتيجة كانت مجرد تشويش رقمي.
2. التشخيص: نوعان من العمال
أدرك الباحثون أن النموذج ليس مجرد كتلة من الأرقام. داخل كل "كتلة" (Block) في النموذج، هناك نوعان متميزان من العمال الذين يتعاملون مع المعلومات:
- القراء (المكتبيون): هؤلاء العمال (
qkv,w1,w3) يأخذون المعلومات مباشرة من الممر الرئيسي (الـ residual stream). هم يقرؤون ما يصل إليهم.- التشبيه: فكر فيهم كأشخاص يقرؤون جريدة سُلمت إليهم. إذا تحكمت في حجم الجريدة، فأنت تتحكم فيما يقرؤونه.
- المولدون (الطهاة): هؤلاء العمال (
o_proj,w2) يأخذون معلومات يتم إنشاؤها داخل الغرفة.- الـ "طاهي" (
w2): هذا هو المسبب للمشاكل. هو يأخذ مكونين (مخرجات من عمال آخرين) ويضربهم في بعضهم البعض لصنع طبق جديد. - التشبيه: إذا كان لديك رشة ملح ورشة فلفل، فإن ضربهما في بعضهما لا ينتج عنه القليل من التوابل، بل يمكن أن يخلق انفجاراً هائلاً من النكهة الطاغية. عملية "الضرب" هذه تخلق طفرات ضخمة في البيانات تؤدي إلى تعطل عملية التقليص بنظام 4-بت.
- الـ "طاهي" (
3. الحل: "سجل العمق" (صمام الأمان)
ابتكر الباحثون حيلة تدريبية تسمى سجل العمق + خسارة المصب (DR+sink).
- الإعداد: أضافوا "دلو فائض" خاص (السجل) إلى الممر الرئيسي.
- القاعدة: أخبروا النموذج: "إذا أصبحت الأرقام كبيرة جداً، صبّها في هذا الدلو بدلاً من تركها تغرق الممر".
- النتيجة:
- القراء (المكتبيون) أصبحوا هادئين فجأة. لقد التقطت "الدلاء" كل تلك الطفرات الجنونية. أصبح القراء مستقرين للغاية، وقفز أداء النموذج من 1727 عائداً إلى 119.
- أما المولدون (الطهاة)، فقد ظلوا يطبخون بمكوناتهم الداخلية الخاصة. لم يمنع الدلو "الطاهي" من ضرب رقمين كبيرين في بعضهما البعض.
4. الاكتشاف الكبير: "الطاهي" هو المشكلة الحقيقية
هذا هو الجزء الأهم في الورقة البحثية.
حتى بعد إصلاح "القراء" بشكل مثالي، لم يستطع النموذج العودة إلى كماله الأصلي (23.6). لقد علق عند 39.9 (أو 119 إذا لم يستخدموا حيل أخرى).
لماذا؟ لأن الطاهي (w2) كان لا يزال يضرب الأرقام بطريقة تخلق "انفجارات" لا يمكن لنظام الـ 4-بت التعامل معها.
- التشبيه: تخيل أنك أصلحت شاحنات التوصيل (القراء) بحيث تصل في موعدها تماماً. لكن المصنع بالداخل (الطاهي) لا يزال يخلط مواد كيميائية تنفجر. مهما كانت جودة وصول الشاحنات، فإن المصنع لا يزال ينفجر.
- الدليل: حاولوا إصلاح "الطاهي" عن طريق تدوير المكونات (طريقة تسمى QuaRot)، لكن ذلك لم ينجح. لا يمكنك مجرد "تدوير" انفجار ناتج عن عملية ضرب بعيداً؛ فالرياضيات تقول إن الانفجار متأصل في عملية الضرب نفسها.
5. الخلاصة
تعلمنا الورقة ثلاثة أشياء رئيسية:
- التشخيص: معظم الضرر الناتج عن تقليص النماذج يأتي من "القراء" (المدخلات). إصلاح هؤلاء يجعلك تقطع 90% من الطريق.
- الحد الصعب: الـ 10% المتبقية من الضرر تأتي من "الطاهي" (عملية الضرب داخل النموذج). هذا هو "الذيل الثنائي الخطية" (Bilinear tail) — وهو انفجار رياضي يصعب جداً تقليصه.
- المستقبل: للحصول على نماذج 4-بت مثالية، لا يمكننا مجرد استخدام الحيل القياسية. نحن بحاجة للتعامل مع "الطاهي" بشكل مختلف، ربما عبر إعطائه حقيبة ظهر أكبر (دقة مختلطة/Mixed Precision) أو تدريبه خصيصاً للتعامل مع الانفجار (التدريب الواعي بالكمية/Quantization Aware Training).
باختصار:
بنى الباحثون "صمام أمان" منع النموذج من الانهيار عند تقليصه. واكتشفوا أنه بينما أصلح صمام الأمان مشاكل المدخلات، فإن الضرب الداخلي داخل النموذج لا يزال ورقة رابحة (متغيرة) ترفض الترويض بواسطة حيل التقليص القياسية. لم يحلوا اللغز كاملاً، لكنهم عرفوا بالضبط أي قطعة هي المفقودة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.