Format failure hides inside accuracy: the GGUF quantization level that breaks is not predictable from its label
تُثبت هذه الورقة أن مستويات تكميم GGUF لا تُظهر تدهوراً رتيباً في الأداء، حيث يمكن لعروض بتات محددة أن تؤدي بشكل غير متوقع إلى معدلات عالية من فشل التنسيق وعدم القدرة على الإجابة، وهي أمور لا يمكن التنبؤ بها من خلال تسمياتها أو مستويات الدقة المجاورة لها، مما يؤدي إلى تشويه معايير قياس الدقة القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلف ولم يصادق عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي الحديث، هناك توتر مستمر بين مدى ذكاء برنامج الكمبيوتر والمساحة التي يشغلها للتشغيل. ولجعل هذه البرامج مفيدة على الأجهزة اليومية مثل أجهزة الكمبيوتر المحمولة أو الهواتف، يقوم المهندسون غالباً بتصغير حجمها، وهي عملية تُسمى "التكميم" (quantization). تخيل أنك تأخذ صورة فوتوغرافية عالية الدقة وتضغطها في ملف أصغر؛ تظل الصورة قابلة للتمييز، ولكن بعض التفاصيل الدقيقة تُفقد لتوفير المساحة. وبالمثل، فإن تصغير نموذج الذكاء الاصطناعي يقلل من دقة الأرقام التي يستخدمها للتفكير، مقايضاً قدراً صغيراً من الذكاء بمساحة كبيرة من الذاكرة الموفرة. لسنوات، عملت الصناعة بناءً على افتراض بسيط: وهو أن هذه المقايضة يمكن التنبؤ بها. فإذا قمت بتصغير نموذج إلى حجم "أربعة بتات" محدد، تتوقع فقدان قدر ثابت وملموس من الدقة، بغض النظر عما إذا كان النموذج صغيراً جداً أم ضخماً. هذا الاعتقاد يسمح للمطورين باختيار إعداد قياسي لجميع تطبيقاتهم، واثقين من أن الملصق الموجود على الملف يروي القصة كاملة.
يتحدى دراسة حديثة هذا اليقين المريح، كاشفة أن واقع تصغير الذكاء الاصطناعي أكثر تعقيداً بكثير مما توحي به الملصقات. وضع باحثون في معهد هاربين للتكنولوجيا (Harbin Institute of Technology) نصب أعينهم اختبار ما يحدث فعلياً عندما يتم ضغط نماذج الذكاء الاصطناعي الصغيرة المتبعة للتعليمات باستخدام تنسيق شائع يُعرف باسم GGUF. لقد فحصوا أربعة نماذج مختلفة، تتراوح من نسخة صغيرة جداً بسعة 0.5 مليار معلمة وصولاً إلى نسخة بسعة 3 مليارات معلمة، واختبرتهم عبر أربعة أنواع متميزة من المهام، من حل المسائل الرياضية إلى الإجابة على أسئلة العلوم متعددة الخيارات. وبدلاً من مجرد النظر إلى النتيجة النهائية، أولوا اهتماماً خاصاً بنوع معين من الفشل: وهو عندما يتوقف النموذج عن الإجابة على السؤال تماماً. ووجدوا أنه كلما صغرت هذه النماذج، فإن النقطة التي تنكسر عندها ليست فقط غير متوقعة، بل وغير متسقة أيضاً. فالملصق الذي يعمل بشكل مثالي لنموذج واحد يمكن أن يتسبب في فشل نموذج آخر تماماً، ومستوى الضغط الذي يؤدي إلى الانهيار ليس دائماً هو نفسه الذي يوفر أكبر قدر من الذاكرة.
اكتشف الباحثون أن الإعداد الأكثر شيوعاً، وهو مستوى ضغط أربعة بتات، يعمل كفخ للنماذج الأصغر. فعندما اختبروا نموذجاً صغيراً جداً بسعة 0.5 مليار معلمة عند هذا المستوى، فشل في تقديم إجابة قابلة للاستخدام في ما يقرب من 20 بالمائة من أسئلة العلوم التي طُرحت عليه. وفي المقابل، تعامل نموذج أكبر قليلاً بسعة 3 مليارات معلمة مع نفس الإعداد دون أي مشاكل تذكر. والأكثر إثارة للدهشة هو أن الفشل لم يكن انزلاقاً تدريجياً نحو الأسفل في جودة الأداء. فبالنسبة للنموذج الأصغر، كان إعداد الأربعة بتات هو الأسوأ، حيث تسبب في طفرة هائلة في الأخطاء، ومع ذلك، كانت إعدادات الثلاث بتات والبتتين الأكثر ضغطاً تؤدي في الواقع بشكل أفضل من نسخة الأربعة بتات. وهذا يعني أن الانتقال ببساطة إلى ملف "أكثر خشونة" أو أصغر لا يضمن انخفاضاً متوقعاً في الأداء؛ فأحياناً تسبب خطوة معينة للأسفل انهياراً مفاجئاً، بينما تستعيد الخطوة التالية للأسفل بعضاً من المستوى المفقود.
يمتد عدم القدرة على التنبؤ هذا إلى كيفية إبلاغ النماذج عن مستوى ثقتها. وجدت الدراسة أن أصغر النماذج، عندما أُجبرت على إعداد الأربعة بتات، أصبحت مفرطة في الثقة بشكل خطير. فقد كانت تعلن عن مستوى عالٍ جداً من اليقين بينما تقدم إجابة خاطئة، أو والأسوأ من ذلك، لا تقدم أي إجابة على الإطلاق. وهذا يخلق خطراً خفياً لأي شخص يقوم بنشر هذه الأنظمة: فقد يغفل اختبار دقة قياسي عن هذا الفشل تماماً إذا كان يحسب الإجابات الخاطئة فقط كأخطاء، لأنه لا يميز بين الإجابة الخاطئة وبين رفض الإجابة. وقد أظهر الباحثون أنه إذا تم احتساب حالات الفشل الصامتة هذه كأخطاء، فإن تكلفة استخدام إعداد الأربعة بتات على أصغر نموذج تقفز بشكل كبير، حيث ترتفع من فقدان بنسبة 9 بالمائة في القدرة إلى ما يقرب من 11 بالمائة. وتمثل هذه الفجوة خسارة في الامتثال للتعليمات، حيث ينسى النموذج كيفية اتباع التنسيق بدلاً من نسيان الحقائق فحسب.
كما سلطت الدراسة الضوء على نتيجة غير متوقعة حول مكان التكلفة الحقيقية للضغط. يفترض المهندسون غالباً أن أكبر انخفاض في الأداء يحدث عند القيام بأكبر قفزة في تقليل حجم الملف. ومع ذلك، أظهرت البيانات العكس؛ فالخطوة من ملف ثماني بتات إلى ملف خمس بتات وفرت قدراً كبيراً من الذاكرة — أكثر من 100 ميجابايت للنموذج الصغير — بينما لم تكلف شيئاً تقريباً من حيث الدقة. أما الضرر الحقيقي فقد حدث في الخطوة الأخيرة الصغيرة من خمس بتات إلى أربعة بتات. هذه الخطوة الأخيرة وفرت حوالي 21 ميجابايت فقط من المساحة ولكنها تسببت في طفرة هائلة في الأخطاء. وهذا يشير إلى أنه بالنسبة للعديد من النماذج الصغيرة، فإن إعداد الأربعة بتات القياسي ليس الخيار الأكثر كفاءة؛ إذ قد يوفر إعداد الخمس بتات توفيراً مشابهاً في الذاكرة مع ارتكاب أخطاء أقل بكثير.
في نهاية المطاف، يوضح البحث أن ملصق الملف ليس مواصفة موثوقة لكيفية سلوك النموذج. فنقطة انكسار النموذج تعتمد بشدة على النموذج نفسه، وليس فقط على مستوى الضغط. فالإعداد الذي يعمل لنموذج بسعة 3 مليارات معلمة قد يتسبب في فشل نموذج بسعة 0.5 مليار معلمة تماماً، ولا توجد طريقة لاستنتاج ذلك من جيران النموذج في سلم الضغط. وتخلص الدراسة إلى أن المطورين لا يمكنهم الاعتماد على قاعدة واحدة عالمية لتصغير الذكاء الاصطناعي. بدلاً من ذلك، يجب عليهم اختبار كل نموذج محدد عند المستوى الدقيق الذي ينوون استخدامه، لأن تكلفة الضغط ليست سعراً ثابتاً بل هي قيمة متغيرة تتغير بتغير حجم وهيكلية النظام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.