Quantization Effects on Bangla Language Understanding in Large Language Models: A Systematic Evaluation
تقدم هذه الورقة أول تقييم منهجي لآثار التكميم ما بعد التدريب على فهم لغة البنغالية، كاشفةً أنه في حين أن التكميم يحافظ عموماً على الأداء بالنسبة للغات ذات الموارد المنخفضة والمعقدة صرفياً، فإن التأثير يتباين بشكل كبير عبر بنيات النماذج وتنسيقات التكميم، حيث تكون المهام القائمة على الاستنتاج أكثر عرضة للتأثر من مهام الفهم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة برامج حاسوبية قوية يمكنها القراءة والكتابة والاستنتاج من خلال اللغة البشرية بطلاقة مذهلة. لقد أصبحت أدوات أساسية لكل شيء، بدءاً من صياغة رسائل البريد الإلكتروني وصولاً إلى حل الألغاز المنطقية المعقدة. ومع ذلك، فإن هذه النماذج ضخمة، وتتطلب كميات هائلة من ذاكرة الحاسوب للتشغيل، وغالباً ما تحتاج إلى أجهزة متخصصة وباهظة الثمن بعيدة عن متناول الكثير من الأفراد والمؤسسات. ولجعل هذه الأدوات متاحة على الأجهزة اليومية مثل أجهزة الكمبيوتر المحمولة والهواتف، يستخدم المهندسون تقنية تسمى "تكميم ما بعد التدريب" (post-training quantization). وتعد هذه العملية وسيلة لضغط المعرفة الداخلية للنموذج، عبر تقليل دقة أرقامه لتوفير المساحة وتسريع الأداء دون الحاجة إلى إعادة تدريب النظام بأكه. وبينما يعمل هذا الضغط بشكل جيد مع اللغة الإنجليزية، وهي لغة ذات بنية بسيطة نسبياً، فإنه لا يزال من غير الواضح ما إذا كان يصمد أمام لغات ذات قواعد وأنظمة كتابة أكثر تعقيداً، مثل اللغة البنغالية، التي يتحدث بها أكثر من 230 مليون person.
لقد وضع فريق من الباحثين من بنغلاديش هذه الشكوك قيد الاختبار من خلال فحص كيف تؤثر أنواع مختلفة من الضغط على قدرة النماذج اللغوية الكبيرة على فهم اللغة البنغالية. واختاروا ثلاث عائلات متميزة من النماذج، تتراوح أحجامها من 7 مليارات إلى 20 مليار معلمة (parameter)، واختبروها في خمس مهام مصممة لقياس فهم اللغة. وتنوعت هذه المهام من الاستيعاب القرائي، حيث يجيب النموذج على أسئلة بناءً على نص قصير، إلى الاستدلال القائم على المنطق العام، والذي يتطلب من النموذج استخدام المعرفة العامة حول كيفية عمل العالم، ومهام الاستدلال المعقدة التي تتضمن العلوم والمنطق. وقارن الباحثون بين النماذج وهي تعمل بتنسيقها الأصلي عالي الدقة مقابل النسخ التي تم ضغطها باستخدام طرق مختلفة، متسائلين فعلياً عما إذا كانت هذه النماذج لا تزال قادرة على التفكير بوضوح بعد "عصرها" في مساحة أصغر.
كشفت النتائج عن قصة مليئة بالتباينات الحادة بدلاً من قاعدة موحدة. فعندما قام الباحثون بضغط النماذج باستخدام طريقة محددة تُعرف باسم GPTQ، كانت النتائج مستقرة بشكل ملحوظ. فقد احتفظت اثنتان من عائلات النماذج، وهما Qwen وLLaMA، بمعظم قدرتهما الأصلية على فهم اللغة البنغالية. وفي الواقع، في بعض مهام الاستدلال، أدت النسخ المضغوطة أداءً يضاهي، أو حتى يتفوق قليلاً على، النسخ الأصلية غير المضغوطة، مع انخفاض في الدقة يقل عن واحد ونصف بالمائة. ويشير هذا إلى أنه بالنسبة لهذه البنيات المحددة، كانت تقنية الضغط لطيفة بما يكفي للحفاظ على التفاصيل المعقدة اللازمة للغة.
ومع ذلك، تغيرت القصة بشكل دراماتيكي بالنسبة لعائلة النماذج الثالثة، وهي نموذج أكبر بحجم 20 مليار معلمة يُسمى GPT-OSS، والذي تم ضغطه باستخدام طريقة مختلفة تُعرف باسم GGUF. فقد عانى هذا النموذج من فقدان شديد في القدرة؛ ففي المهام التي تتطلب الاستدلال المنطقي والمعرفة العامة، انخفضت دقته بنسبة تصل إلى 57 بالمائة. بدا الأمر كما لو أن النموذج قد نسي كيفية التفكير في المشكلات، حيث تعثر في المنطق الأساسي والمعرفة العامة التي كان يتعامل معها بسهولة سابقاً. المنطقة الوحيدة التي ظل فيها هذا النموذج مستقراً نسبياً هي الاستيعاب القرائي، حيث كان يحتاج ببساطة إلى إيجاد الحقائق داخل نص مقدم. ويشير هذا إلى أن الطريقة المحددة التي تم بها ضغط النموذج، وليس اللغة نفسها، كانت السبب الرئيسي في الفشل.
كما سلطت الدراسة الضوء على أن ليس كل مهام اللغة معرضة للضعف بنفس القدر. فمن بين جميع النماذج التي تم اختبارها، كان القدرة على أداء الاستدلال المعقد واستخدام المنطق العام أكثر حساسية للضغط من القدرة على مجرد القراءة واسترجاع الحقائق من فقرة ما. وقد ساد هذا النمط بغض النظر عن عائلة النموذج التي يتم اختبارها، مما يشير إلى أن "الجمباز الذهني" المطلوب للاستدلال يسهل اختلاله بعملية ضغط البيانات أكثر من المهمة الأبسط المتمثلة في مطابقة الكلمات مع الإجابات. وأشار الباحثون إلى أنه بينما يمكن للطبيعة الالصاقية المعقدة للغة البنغالية -حيث تُبنى الكلمات عبر ربط أجزاء كثيرة ببعضها- أن تجعل ضغطها أصعب نظرياً، إلا أن البيانات أظهرت أن اختيار بنية النموذج وطريقة الضغط كانا أكثر أهمية بكثير من التعقيد اللغوي للغة.
وللمطورين والمؤسسات التي تتطلع إلى جلب هذه الأدوات إلى الأجهزة في جنوب آسيا وما وراءها، تقدم النتائج مساراً واضحاً. إذ تشير الدراسة إلى أن استخدام طريقة الضغط GPTQ مع نماذج مثل Qwen أو LLaMA يسمح بالنشر على أجهزة المستهلكين القياسية دون التضحية بالقدرة على الاستدلال أو فهم اللغة. وعلى العكس من ذلك، فإن الاعتماد على تنسيق GGUF لمهام الاستدلال المعقدة مع أنواع معينة من النماذج قد يؤدي إلى إخفاقات كبيرة. ويعمل هذا العمل كدليل حاسم، يوضح أنه بينما يمكننا تقليص حجم هذه الأدوات القوية لتناسب الأجهزة الأصغر، يجب علينا اختيار المزيج الصحيح من النموذج وتقنية الضغط لضمان بقائها حادة وموثوقة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.