LegoLM: Structured Weight Sharing for Large Language Models

تخيل أنك تحاول وضع مكتبة ضخمة ومعقدة من المعرفة داخل حقيبة ظهر صغيرة. هذا هو الصراع اليومي لـ "نماذج اللغات الكبيرة" (LLMs)، وهي الأدمغة الحاسوبية فائقة الذكاء التي تكتب القصص، وتحل المسائل الرياضية، وتدردش معنا. تُبنى هذه الأدمغة من مليارات الأرقام الصغيرة التي تسمى "الأوزان" (weights)، والتي تعمل مثل المشابك العصبية في دماغ الإنسان، حيث تربط الأفكار ببعضها البعض. ولجعل هذه النماذج تعمل على أجهزة الكمبيوتر المحمولة أو الهواتف العادية، يحتاج العلماء إلى تقليص حجمها دون فقدان ذكائها. إحدى الأفكار الشائعة لتقليص حجمها هي "مشاركة الأوزان" (weight sharing). فكر في الأمر كأنها مجموعة من الأصدقاء اتفقوا جميعًا على ارتداء نفس القميص تمامًا من كتالوج معين بدلًا من شراء قمصان فريدة خاصة بكل منهم. فبدلاً من تخزين رقم فريد لكل اتصال في الدماغ، تقوم فقط بتخزين قائمة صغيرة من "القمصان القياسية" (centroids) وملاحظة تقول: "مهلاً، هذا الاتصال يرتدي القميص رقم 5". إنها طريقة ذكية لتوفير المساحة، ولكنها كانت حتى الآن كارثة عند تطبيقها على هذه الأدمغة الاصطناعية العملاقة.

المشكلة هي أن أدمغة الذكاء الاصطناعي فوضوية. فخلافًا لمرشح صورة بسيط حيث يبدو كل جزء متشابهًا، تمتلك طبقات مختلفة من دماغ الذكاء الاصطناعي أوزانًا ذات أحجام متفاوتة بشكل هائل. محاولة إجبارهم جميعًا على ارتداء نفس "القمصان القياسية" تشبه محاولة إدخال فيل ضخم وفأر صغير في نفس زوج من الأحذية؛ سيُسحق الفيل، وسيطفو الفأر بعيدًا. تقدم هذه الورقة البحثية طريقة جديدة تسمى LegoLM تعالج هذه الفكرة المكسورة. فبدلاً من اتباع نهج "مقاس واحد يناسب الجميع"، يعمل LegoLM كخياط ذكي. فهو يدرك أن "القمصان القياسية" تعمل بشكل جيد معظم الوقت، ولكن بين الحين والآخر، هناك أوزان "متطرفة" (outlier weights)—وهي أرقام ضخمة وغريبة لدرجة أنها قد تفسد الزي بأككامل إذا أُجبرت على ارتداء قميص قياسي. السر في خلطة LegoLM السحرية هو ترك تلك الأوزان الغريبة القليلة كما هي تمامًا، دون المساس بها، بينما يتم ضغط كل شيء آخر. والنتيجة هي نموذج تم ضغطه إلى جزء ضئيل من حجمه الأصلي مع الاحتفاظ بمعظم ذكائه، وهو يعمل بشكل أفضل من الطرق الأخرى التي تتطلب بيانات مكلفة للإصلاح.

الطريقتان اللتان تفشل بهما مشاركة الأوزان

اكتشف مؤلف هذه الورقة، جوزيف بينغهام، أن مشاركة الأوزان العالمية تفشل لسببين محددين ومتميزين. يسميان هذه الأسباب "أنماط الفشل" (failure modes)، وفهمهما هو المفتاح لمعرفة سبب نجاح LegoLM.

نمط الفشل 1: عدم تطابق النطاق (مشكلة "المقاس الخاطئ للحذاء")
تخيل أن لديك مجموعة من الأوزان من طبقات مختلفة للذكاء الاصطناعي. بعض الطبقات "صاخبة" (أرقامها كبيرة)، وبعضها "هادئ" (أرقامها صغيرة). إذا حاولت تجميعها جميعًا وإيجاد متوسط "قميص" واحد لمجموعة منها، فستواجه مشكلة رياضية. تثبت الورقة أنه إذا حاولت ضغط كتلة من الأوزان ذات الأحجام المختلفة، فإن الخطأ ينمو خطيًا مع حجم الكتلة. الأمر يشبه محاولة موازنة خطوة عداء ماراثون مع خطوة طفل صغير؛ مهما أضفت من أحذية متنوعة إلى كتالوجك، لا يمكنك جعل حذاء واحد يناسب كليهما تمامًا إذا أجبرتهما على أن يكون لهما نفس المقاس. توضح الورقة أن هذا التباين يخلق ارتباكًا شديدًا لدرجة أن قدرة النموذج على التنبؤ بالنصوص (التي تُقاس بـ "الارتباك" أو perplexity) تنفجر إلى الملايين، مما يجعل الذكاء الاصطناعي يتحدث بلغة غير مفهومة.

نمط الفشل 2: هيمنة القيم المتطرفة (مشكلة "العملاق")
هذا هو الفشل الأكثر دراماتيكية. فحتى لو استخدمت أرقامًا مفردة (scalar blocks) بدلاً من الكتل، فهناك بعض الأوزان في الذكاء الاصطناعي التي تعتبر ضخمة جدًا مقارنة بالبقية. هذه هي "القيم المتطرفة". إذا كان لديك كتاب رموز يحتوي، لنقل، 8 قمصان قياسية، فقد يكون أكبر قميص في الكتالوج بمقاس XL. ولكن ماذا لو كان هناك وزن بمقاس 10XL؟ إذا أجبرت ذلك الوزن الـ 10XL على ارتداء قميص XL، فسيكون التشوه كارثيًا. توضح الورقة أنه كلما كبرت النماذج (من 124 مليون بارامتر إلى 7.2 مليار)، تصبح هذه القيم المتطرفة أكثر خطورة. في نموذج أصغر، قد يؤدي استبدال هذه القيم المتطرفة إلى جعل الذكاء الاصطناعي مرتبكًا قليلاً، ولكن في نموذج ضخم مثل Mistral-7B، يتسبب استبدال تلك الأوزان الضخمة القليلة في انهيار النموذج تمامًا، مع انخفاض في الجودة يتجاوز 1,134,279%. الأمر كما لو أن إزالة حجر واحد أساسي من كاتدرائية ضخمة تسبب انهيار البناء بأكمله وتحوله إلى غبار.

حل LegoLM: الخياطة الذكية

يعالج LegoLM هذه المشكلات بثلاث حيل بسيطة لا تعتمد على البيانات. فهو لا يحتاج إلى النظر في أي بيانات تدريب أو إعادة تدريب النموذج؛ إنه فقط يعيد ترتيب الأوزان.

1. الترميز القياسي (Scalar Encoding): بدلاً من تجميع الأوزان في كتل (مما يسبب عدم تطابق النطاق)، يعامل LegoLM كل وزن كفرد مستقل. هذا يلغي مشكلة "المقاس الخاطئ للحذاء" لأن كل وزن حر في اختيار أقرب قميص قياسي له دون أن يتم سحبه للأسفل بواسطة جيرانه.
2. الاستبدال الانتقائي المئوي (Percentile-Selective Replacement): هذه هي الخدعة السحرية. تبحث الخوارمازية في جميع الأوزان وتجد تلك الأبعد عن أي قميص قياسي. هذه هي "القيم المتطرفة". وبدلاً من إجبارهم على ارتداء قميص، يقول LegoLM: "أنتم مميزون للغاية؛ ابقوا كما أنتم". إنه يحافظ على أعلى 1% من هذه الأوزان الغريبة في شكلها الأصلي عالي الدقة، بينما يتم ضغط الـ 99% المتبقية في كتاب الرموز الصغير.
3. حماية الطبقة الحدودية (Boundary-Layer Protection): الطبقات الأولى والأخيرة من الذكاء الاصطناعي حساسة للغاية. يمنحها LegoLM عناية إضافية، رغم أن الورقة تشير إلى أن هذا أقل أهمية للنماذج الكبيرة مقارنة بحماية القيم المتطرفة.

النتائج: حجم صغير، عقول كبيرة

اختبر المؤلف LegoLM على نموذجين: GPT-2 Small (124 مليون بارامتر) و Mistral-7B (7.2 مليار بارامتر). كانت النتائج مفاجئة ومبهرة.

• في Mistral-7B: باستخدام كتاب رموز يحتوي على 128 قيمة قياسية والحفاظ على 1% فقط من الأوزان المتطرفة، قام LegoLM بضغط النموذج بمقدار 4.41 مرة. والنتيجة؟ انخفضت جودة النموذج بنسبة 0.03% فقط. وهذا يعتبر ضغطًا "بدون فقدان" (lossless) فعليًا. بل إنه تفوق في الأداء على طريقة شهيرة تسمى PTQ-8bit، والتي ضغطت النموذج 4 مرات فقط وكان بها خطأ أكبر قليلاً.
• إنقاذ القيم المتطرفة: كانت النتيجة الأكثر دراماتيكية تتعلق بالقيم المتطرفة. عندما حاولوا ضغط Mistral-7B عبر استبدال جميع الأوزان (حتى العمالقة منها) بقيم قياسية، انهارت جودة النموذج بنسبة 1,134,279%. ولكن من خلال حفظ تلك الـ 1% الصغيرة من القيم المتطرفة فقط، تمكنوا من إنقاذ النموذج، مما قلل الخطأ إلى نسبة مقبولة بلغت 14.24% حتى عند ضغط هائل يصل إلى 9.74x.
• المقياس مهم: وجدت الورقة أن "مشكلة القيم المتطرفة" تزداد سوءًا مع كبر حجم النماذج. في GPT-2 الصغير، تسبب استبدال القيم المتطرفة في انخفاض بنسبة 23%، أما في Mistral-7B الضخم، فقد تسبب في انخفاض بنسبة 1,134,279%. هذا يشير إلى أن النماذج الأكبر تعتمد بشكل أكبر على هذه الأرقام الغريبة القليلة لتعمل بكفاءة.

لماذا هذا مهم؟

يتميز LegoLM بأنه خالٍ من البيانات (data-free). معظم طرق الضغط الأخرى تحتاج إلى تغذية النموذج بآلاف الجمل المثال لتعرف كيف تقلص حجمه، أما LegoLM فينظر فقط إلى الأوزان نفسها ويجري العمليات الحسابية. يمكنه ضغط نموذج بـ 7 مليارات بارامتر في أقل من 30 دقيقة على بطاقة رسوميات واحدة.

تخلص الورقة إلى أن مفتاح جعل مشاركة الأوزان تنجح ليس مجرد امتلاك كتالوج قمصان أفضل، بل هو معرفة متى لا تستخدم الكتالوج. من خلال تحديد وحماية تلك الأوزان "العمالقة" القليلة التي تمسك هيكل النموذج، يسمح LegoLM لنا بضغط هذه الأدمغة الاصطناعية الضخمة في حقائب ظهر دون أن نفقد عقولها. لقد حول طريقة كانت سابقًا مكسورة للنماذج الكبيرة إلى أداة تنافسية وفعالة لمستقبل الذكاء الاصطناعي.