The Multilingual Quantization Tax: Structural Collapse and Typological Fragility in Edge SLMs
تكشف هذه الورقة أن تكميم الأوزان بـ 4 بت، رغم كونه ضرورياً للنشر على الأجهزة الطرفية، يؤدي إلى تدهور حاد وغير متكافئ نوعياً في الأداء في نماذج اللغات الصغيرة، مما يسبب انهياراً تمثيلياً في النصوص ذات الموارد المنخفضة وغير اللاتينية، بينما يكشف عن عدم مساواة عميقة في مرحلة ما قبل التدريب عبر اللغات المتنوعة.
تخيل أن لديك صديقاً آلياً فائق الذكاء يمكنه التحدث بعشرات اللغات وحل الألغاز المعقدة. لكي يتمكن المهندسون من تشغيل هذا الروبوت على جهاز صغير يعمل بالبطارية مثل هاتف أو ساعة ذكية، يتعين عليهم تقليص دماغه. إنهم يفعلون ذلك عن طريق ضغط ذكريات الروبوت في صندوق صغير، وهي عملية تسمى "الكمنتة" (quantization). فكر في الأمر كأنك تحاول حشر مكتبة ضخمة داخل حقيبة ظهر واحدة؛ سيتعين عليك التخلي عن بعض التفاصيل لكي تتسع الحقيبة. عادةً، يتحقق العلماء مما إذا كان الروبوت لا يزال يعمل عبر طرح أسئلة بسيطة عليه باللغة الإنجليزية. ولكن ماذا لو نسي الروبوت كيفية التحدث بلغات أخرى، أو ارتبك عندما طُلب منه حل مسألة رياضية بلغة يعرفها؟ هذا هو السؤال الكبير الذي يطرحه الباحثون: عندما نقوم بتقليص أدمغة هذه النماذج من الذكاء الاصطناعي لتناسب الأجهزة الصغيرة، هل يفقدون قدرتهم على فهم العالم بأكمله، أم يفقدون الجزء الخاص باللغة الإنجليزية فقط؟
قرر باحث اختبار ذلك عن طريق تقليص اثنين من أذكى نماذج الذكاء الاصطناعي الصغيرة المتاحة حالياً — Gemma 4 و Qwen 3.5 — إلى حجم ضيق جداً يبلغ 4 بت. لم يكتفوا بطرح الأسئلة عليهما باللغة الإنجليزية فحسب؛ بل تحدوهما في ثماني لغات مختلفة، تتراوح بين اللغات الشائعة مثل الصينية والروسية، واللغات الأقل شيوعاً مثل السواحيلية واليوروبا. كما اختبروا أنواعاً مختلفة من التفكير، بدءاً من ألعاب الذاكرة البسيطة وصولاً إلى ألغاز المنطق المعقدة.
ما وجدوه كان يشبه اكتشاف أن حقيبة الظهر لم تفقد بعض الكتب فحسب، بل فقدت أيضاً خرائط محددة لبلدان معينة. يطلق الباحث على هذا الأمر اسم "ضريبة الكمنتة" (Quantization Tax). وخلافاً لما قد يتوقعه المرء، لم يكن الجزء المتحدث بالإنجليزية في دماغ الروبوت محصناً؛ فقد عانى من انخفاض كبير في الأداء، وهو ما يضاهي الخسائر التي شهدتها اللغات الأخرى. كان لدى دماغ الروبوت "انفصالات مزدوجة"، مما يعني أنه قد يتعامل مع العربية بشكل جيد ولكنه يفشل فشلاً ذريعاً في الهندية، أو العكس، اعتماداً كلياً على كيفية تدريب الروبوت في الأصل.
ومن المثير للدهشة أن "لغة المنزل" للروبوت — وهي اللغة التي تدرب عليها أكثر من غيرها — لم تكن آمنة أيضاً. فحتى اللغات التي عرفها الروبوت بشكل أفضل، مثل الإنجليزية لنموذج والإنجليزية للصينية للآخر، فقدت بعضاً من حدتها. في الواقع، وجد الباحث أن اللغة التي عرفها أحد النماذج بشكل أفضل (الإنجليزية لـ Gemma) تدهورت بمعدل مشابه جداً لأدائه في اللغات الأقل شيوعاً. ويشير الباحث إلى أن ألغاز المنطق الأكثر تعقيداً ومتعددة الخطوات كانت الأكثر تضرراً، بينما ظلت مهام الذاكرة البسيطة القائمة على المنطق السليم صامدة بشكل مفاجئ. يبدو أن المسارات الحرجة والصغيرة التي يستخدمها الروبوت لترجمة سؤال من لغة محلية إلى "نواة التفكير بالإنجليزية" الداخلية لديه، تتعرض للقطع عندما يتم تقليص الدماغ.
كما استبعدت الدراسة فكرة أن الروبوت كان يحصل فقط على إجابات صحيحة عن طريق الصدفة أو التخمين العشوائي. ففي بعض الحالات، بدا أداء الروبوت في الواقع أفضل قليلاً بعد التقليص، لكن الباحث أظهر أن هذا كان مجرد ضجيج إحصائي — مثل رمي عملة معدنية وظهور الوجه على ثلاث مرات متتالية بالصدفة، وليس لأن العملة سحرية. وقد وجدوا أنه بالنسبة للغات التي تتوفر عنها أمثلة قليلة جداً في بيانات التدريب، فإن دماغ الروبوت ببساطة لا يستطيع النجاة من عملية الضغط، حيث يهبط دون مستوى التخمين العشوائي.
باختصار، تشير الورقة البحثية إلى أنه بينما يعد تقليص نماذج الذكاء الاصطناعي أمراً ضرورياً لتشغيلها على الأجهزة الصغيرة، إلا أنه يخلق "ضريبة تعدد اللغات" وهي ضريبة غير عادلة وغير متساوية. الأمر لا يقتصر فقط على جعل الروبوت أبطأ قليلاً؛ بل يمكن أن يكسر قدرته على فهم لغات معينة ومنطق معقد تماماً. ويجادل الباحث بأنه لا يمكننا مجرد النظر إلى متوسط الدرجات والقول "إنه يعمل". بدلاً من ذلك، نحتاج إلى إدراك أنه بالنسبة للعديد من اللغات والمهام الصعبة، فإن الطريقة الحالية لتقليص هذه النماذج قد تتركهم خلف الركب، ونحن بحاجة إلى طرق جديدة لتعبئة هذه الأدمغة الرقمية بحيث لا تسحق الأجزاء الأكثر هشاشة من معرفتها.
ملخص تقني: ضريبة التكميم متعدد اللغات
بيان المشكلة
يعتمد نشر النماذج اللغوية الصغيرة (SLMs) على الأجهزة الطرفية بشكل متزاي على تكميم الأوزان بـ 4 بتات لإدارة قيود الذاكرة. ومع ذلك، تظل تقييمات تدهور الأداء الناتج عن ذلك — والذي يُطلق عليه اسم "ضريبة التكميم" — متمحورة بشكل مفرط حول اللغة الإنجليزية. تتعامل الأدبيات الحالية مع هذا الانخفاض في الدقة كعقوبة موحدة، مما يحجب نقاط الضعف الحرجة حيث يؤدي فقدان الدقة إلى تدهور غير متناسب في اللغات غير الممثلة كفاية، والنصوص غير اللاتينية، وآليات التوجيه الداخلي المطلوبة للنقل عبر اللغات. هناك نقص في الفهم المتعلق بكيفية تأثير بتر المعلمات على السلامة الهيكلية للاستدلال متعدد اللغات، لا سيما في حالات التعلم الصفري (zero-shot) دون الاستعانة بالحوسبة وقت الاختبار.
المنهجية
تقدم هذه الدراسة تقييماً صفرياً متعدد اللغات لتكميم (nf4) بـ 4 بت عبر نموذجين من أحدث بنيات النماذج اللغوية الصغيرة: Gemma 4 (نسخ 2B و 4B المضبطة للتعليمات) و Qwen 3.5 (نسخ 2B و 4B المضبطة للتعليمات).
استراتيجية التكميم: استخدم المؤلف تكميم (nf4) خالٍ من المعايرة عبر bitsandbytes. تم اختيار هذا النهج لعزل التأثير الهيكلي الصرف لترتيب الأوزان، وتجنب تحيز البيانات المتمحور حول الإنجليزية المتأصل في طرق التكميم بعد التدريب مثل AWQ أو GPTQ.
القيود التجريبية: تم تعطيل أنماط التفكير الداخلية صراحةً لمنع النماذج من استخدام الحوسبة وقت الاختبار لتجاوز اختناقات التكميم، مما يضمن أن التقييم يعكس السلامة الهيكلية الجوهرية.
مقاييس التقييم:
MMLU Pro X Lite: مقيما للاستدلال متعدد التخصصات (بتنسيق 10 خيارات) يُستخدم لتقييم المنطق الرسمي والمعرفة الخاصة بالمجالات عبر ثماني لغات متنوعة نمطياً (الإنجليزية، العربية، الروسية، الصينية، اليابانية، الهندية، السواحيلية، واليوربا).
Global PIQA: مقياس للاستدلال المنطقي الفيزيائي (اختيار ثنائي) يستخدم مجموعات فرعية متوازية (مترجمة) وغير متوازية (أصلية، وسياقية ثقافياً) لاستقصاء آليات التوجيه الداخلي عبر اللغات.
المقاييس: المقياس الأساسي هو "ضريبة التكميم" (Δ)، وتُعرف بأنها الانخفاض المطلق في الدقة الصفرية (Accfull−Accquantized).
المساهمات والنتائج الرئيسية
يحدد البحث أربع ظواهر متميزة تميز ضريبة التكميم متعدد اللغات:
1. الهشاشة النمطية والانهيار الهيكلي
ضريبة التكميم غير متساوية للغاية وتكشف عن "انفصامات مزدوجة" عبر البنيات المختلفة.
الانهيار المرتبط بالخط: تعاني النصوص ذات الموارد المنخفضة والخطوط غير اللاتينية المحددة من انهيار تمثيلي. على سبيل المثال، فشل نموذج Qwen 3.5 4B في اللغة الهندية، حيث انخفض من خط أساس قدره 3.6% إلى درجة مكممة قدرها 1.5%، وفي لغة اليوربا، انخفض من 3.6% إلى 2.4% (ضريبة قدرها 1.2%). في المقابل، ظل Gemma 4 مستقراً في الهندية ولكنه عانى من ضريبة بنسبة 11.4% في العربية.
الآلية: هذا ليس عقوبة موحدة للنصوص غير اللاتينية، بل هو نتيجة لتخصيصات مفردات الـ (tokenizer) وتوليفات ما قبل التدريب. يتجلى الانهيار في عدم القدرة على رسم خرائط تسلسلات الكلمات الفرعية الخصبة للغاية إلى رموز (tokens) مستهدفة صالحة، مما يؤدي إلى توليد رموز غير مستهدفة.
تأثير التجزئة (Tokenization): تعاني النصوص غير اللاتينية (مثل السيريلية) من إفراط في تجزئة الكلمات الفرعية، مما يضاعف فقدان الدقة عبر تسلسلات ال tokens التي طالت طولها اصطناعياً.
2. مفارقة هشاشة اللغة الأم
مسارات ما قبل التدريب القوية لا تمنح حصانة هيكلية.
المفارقة: المسارات المحسنة بشدة للغة "الأم" للنموذج (مثل الإنجليزية لـ Gemma، والصينية لـ Qwen) تتدهور بمعدلات تضاهي، أو أحياناً أسوأ من، التمثيلات متعددة اللغات الأقل عمقاً.
الدليل: أظهرت مسارات الإنجليزية في Qwen 3.5 4B مقاومة (Δ=−0.2%)، ومع ذلك فإن ركيزته الأساسية، الصينية، تعرضت لضريبة قدرها 3.6%. وعلى العكس من ذلك، فإن Gemma 4 E4B-it المحسن بشدة للإنجليزية عانى من ضريبة إنجليزية (4.3%) مشابهة لتدهوره في الهندية (3.9%). يشير هذا إلى أن المسارات الكامنة الكثيفة تظل في الأساس غير محمية من فقدان الدقة.
3. نسيان المجالات المتخصصة
يؤثر التكميم بشكل غير متناسب على المعالجة الرمزية متعددة الخطوات بينما يحافظ على الاستدعاء الترابطي.
العلوم الصلبة مقابل اللينة: تعاني العلوم الصلبة (الكيمياء، الفيزياء، الرياضيات) من تدهور شديد (ضرائب تتراوح بين 5.5% إلى 7.5%). في المقابل، العلوم اللينة التي تعتمد على الاستدعاء الترابطي (القانون، علم النفس) تتحمل نصف الضريبة تقريباً (~3.7%).
تعطل التوجيه: يشير تدهور الاستدلال المنطقي متعدد الخطوات إلى أن التكميم يعطل التوجيه المعتمد على القيم المتطرفة (outlier-dependent) المطلوب لترجمة الاستعلامات إلى النوى المركزية المتمحورة حول الإنجليزية.
التوجيه عبر اللغات: في Global PIQA، تعاني المجموعات الفرعية المترجمة (المتوازية) من ضرائب هائلة مقارنة بالمجموعات الأصلية (غير المتوازية) (مثلاً: السواحيلية: ضريبة 11.65% على المترجم مقابل 1.0% على الأصلي). هذا يعني أن التكميم يقطع الآليات الدقيقة المطلوبة للربط بين المساحات الدلالية المتميزة، غالباً عن طريق قص أوزان القيم المتطرفة عالية المقدار التي تحكم هذه المسارات.
4. مقاومة التكميم والضجيج الإحصائي
المقاومة: تظهر المجالات الترابطية المشبعة للغاية والمتوافقة نمطياً مقاومة هيكلية للانهيار عبر اللغات.
الضجيج مقابل الربح: تأكد أن مكاسب الأداء الظاهرية (ضريبة سالبة) الملاحظة في بعض الحالات (مثل +1.0% في PIQA الهندية الأصلية) هي مجرد تباين عشوائي وليست تنظيماً نشطاً. عند مستويات الأداء القصوى، يؤدي بتر 4 بتات استقرار الشبكة إلى ضجيج.
الأهمية والادعاءات
يجادل البحث بأن "ضريبة التكميم" ليست عقوبة موحدة، بل هي آلية تكشف عن عدم المساواة العميقة في مرحلة ما قبل التدريب. يدعي المؤلف ما يلي:
الحجم غير كافٍ: توفير حجم أكبر للنموذج (مثلاً من 2B إلى 4B) يوفر درعاً لحماية الأداء الإجمالي ولكنه لا يستطيع إنقاذ اللغات التي تفتقر إلى حيوية الخط الأساسي أو التوافق النمطي.
الهشاشة الهيكلية: إن الاعتماد على أوزان القيم المتطرفة عالية المقدار لمسارات الاستدلال الأساسية والتوجيه عبر اللغات يجعل هذه الآليات عرضة بشكل غير متناسب لعمليات البتر منخفضة البتات.
التحول المنهجي: يجب على المجتمع التخلي عن مقايات التدهور الإجمالية المتمحورة حول الإنجليزية. يتطلب النشر العالمي العادل للنماذج اللغوية الصغيرة استراتيجيات تكميم محسنة نمطياً ومدركة للمجالات، تأخذ في الاعتبار الهشاشة الهيكلية المحددة للنصوص غير اللاتينية والتوجيه عبر اللغات.
تخلص الدراسة إلى أنه بينما قد تقاوم المسارات الترابطية المشبعة التدهور، فإن الانهيار الهيكلي للنصوص غير اللاتية ذات الموارد المنخفضة وآليات الاستدلال متعددة الخطوات يشكل عائقاً حرجاً أمام النشر الموثوق للنماذج اللغوية الصغيرة متعددة اللغات على الأجهزة الطرفية.