Memory load amplifies quantization noise in transformers
تُثبت هذه الورقة أنه كلما اقتربت نماذج المحولات (transformers) من سعة ذاكرتها، يتفاقم التدهور الناتج عن تكميم الأوزان (weight quantization) لأن تقلص الهوامش المخصصة للحقائق المخزنة يتزامن مع زيادة ضجيج التكميم المدفوع أساساً بمكاسب الطبقات اللاحقة في الشبكة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُدرب أنظمة الذكاء الاصطناعي الحديثة، والتي تُسمى غالباً نماذج لغوية، عبر القراءة من كميات هائلة من النصوص لتعلم كيفية ترابط الكلمات معاً. وكلما استهلكت هذه النماذج بيانات أكثر، أصبحت عادةً أفضل في فهم وتوليد اللغة البشرية. ولجعل هذه الأنظمة الضخمة عملية للاستخدام اليومي، غالباً ما يقوم المهندسون بضغطها عن طريق تقريب أرقامها الداخلية إلى عدد أقل من البتات، وهي عملية تُعرف باسم "الكمية" (quantization). يقلل هذا من الذاكرة المطلوبة لتشغيل النموذج، مما يسمح له بالعمل على أجهزة أصغر. ومع ذلك، ظهر نمط محير: النماذج التي تدرّبت على كميات أكبر من البيانات غالباً ما تنهار بشكل أكثر حدة عند ضغطها مقارنة بتلك التي تدرّبت على كميات أقل. يبدو من غير المنطقي أن التعلم الأكثر يجعل النظام أكثر هشاشة، ومع ذلك، هذا هو ما يحدث. وقد ظل سبب هذه الهشاشة لغزاً حتى الآن.
لقد كشف أحد الباحثين عن الآلية الخفية وراء هذه الهشاشة من خلال دراسة نسخة مبسطة من نموذج لغوي مصمم لحفظ الحقائق. فقد أنشأ تجربة رقمية حيث تعلم نموذج حاسوبي سير ذاتية لأشخاص خياليين، مخزناً تفاصيل مثل تواريخ الميلاد، والمدن، وأصحاب العمل. ولأن المعلومات الواردة في هذه السير الذاتية الاصطناعية كانت محكومة بدقة، استطاع الباحث قياس مقدار البيانات التي خزنها النموذج بدقة بالنسبة لحجمه. ثم اختبر مدى قدرة النموذج على تذكر هذه الحقائق بعد تقريب أرقامه الداخلية إلى مستويات مختلفة من الدقة. وتكشف أعماله أن نموذجاً مليئاً بالمعلومات يعاني من عقوبة مزدوجة؛ أولاً، مع امتلاء النموذج بالحقائق، تتقلص "هامش الأمان" لكل ذاكرة، مما يترك مساحة أقل للخطأ. لكن الباحث اكتشف تأثيراً ثانياً أكثر مفاجأة: الشبكة المدربة نفسها تتعلم تضخيم الأخطاء الصغيرة الناتجة عن التقريب. هذا التضخيم ليس عيباً في طريقة الضغط، بل هو خاصية نابعة من بنية الشبكة نفسها بعد تعلمها.
لفهم ذلك، تخيل النموذج كسلسلة من الطبقات التي يجب أن تمر عبرها المعلومات. عندما قام الباحث بتقريب الأرقام، تعامل مع الأخطاء الناتجة كضوضاء عشوائية. وقد تتبع كيفية انتقال هذه الضوضاء عبر الشبكة وصولاً إلى الإجابة النهائية. ووجد أن الشبكة تعمل مثل عدسة مكبرة لهذه الأخطاء. فكلما تعلم النموذج المزيد من الحقائق، يقوم بتعديل اتصالاته الداخلية بطريقة تجعل المخرج النهائي أكثر حساسية للاضطرابات الطفيفة في الأوزان. وفي تجاربه، مع زيادة كمية المعلومات المخزنة، نمت الضوضاء الناتجة عن التقريب بمقدار ضعفين ونصف. لم يكن هذا النمو بسبب جعل شبكة التقريب أكثر خشونة، بل لأن الطبقات اللاحقة في الشبكة قامت بتضخيم الاضطراب. وقد حسب الباحث أن هذا التضخيم يمثل حوالي نصف الدقة الإضافية المطلوبة للحفاظ على عمل النموذج مع زيادة تحميله بالبيانات.
كما أظهرت الدراسة أن هذا التضخيم ليس موحداً عبر النظام بأكمله. فقد قام الباحث بتفكيك مساهمة الضوضاء طبقة تلو أخرى، ووجد أن الطبقة الأخيرة من الشبكة، التي تُجهز الإجابة للمخرجات، كانت مسؤولة عن جزء كبير من التضخيم. ومع ذلك، لعبت الطبقات الوسطى أيضاً دوراً متزايداً مع ازدياد حمولة النموذج. ومن خلال الجمع بين تضاؤل هوامش الأمان ونمو تضخيم الأخطاء، استطاع الباحث التنبؤ بدقة بعدد الحقائق التي سيفقدها النموذج بعد الضغط. ووصفه الرياضي، الذي اعتمد فقط على الأوزان كاملة الدقة وهندسة الشبكة، نجح في التنبؤ بجزء الحقائق المفقودة دون الحاجة إلى إعادة تدريب النموذج أو اختباره على النسخة المضغوطة.
يتحدى هذا الاكتشاف الافتراض الشائع بأن مشكلات الضغط تتعلق فقط بدقة الأرقام المستخدمة. وبينما تركز الطرق الحالية على تحسين عملية التقريب للتعامل مع القيم المتطرفة أو مجموعات أوزان معينة، يشير هذا البحث إلى أن جزءاً كبيراً من المشكلة متجذر في عملية التدريب نفسها؛ فالشبكة تتعلم قراءة معرفتها الخاصة بطريقة شديدة الحساسية للاضطراب. ويشير المؤلف إلى أن استنتاجاته تستند إلى نموذج صغير محدد مدرب على ارتباطات عشوائية، ويدعو إلى مزيد من الاختبارات لمعرفة ما إذا كان تأثير التضخيم هذا ينطبق على النماذج الضخمة المستخدمة في العالم الحقيقي اليوم. وإذا ثبت ذلك، فإن "كسب" الشبكة (gain)—أي درجة تضخيمها للأخطاء—يمكن أن يصبح أداة تشخيصية جديدة. إذ يمكن للمهندسين النظر إلى نموذج كامل الدقة والتنبؤ بدقة بمدى الدقة التي يمكنهم تحمل فقدانها قبل أن يبدأ في نسيان ما تعلمه، مما يوفر مساراً أوضح لبناء ذكاء اصطناعي فعال وقوي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.