When Compression Scores Cannot Decide: Information Boundaries for Group-Robust LLM Pruning

تخيل أنك قبطان لسفينة فضائية ضخمة وعالية التقنية تسمى "نموذج لغوي كبير" (Large Language Model). هذه السفينة مبنية لفهم وتوليد اللغة البشرية، لكنها ثقيلة ومعقدة للغاية لدرجة أنها بطيئة جداً في الطيران عبر الوديان الضيقة للتطبيقات الواقعية. لكي تجعلها تطير، تحتاج إلى إجراء عملية "تقليم" (pruning): وهي إزالة أجزاء من محرك السفينة بعنابة لجعلها أخف وزناً دون التسبب في تحطمها.

الجزء الصعب هو أن السفينة لا تحمل نوعاً واحداً فقط من الركاب؛ بل تحمل مجموعات مختلفة من المسافرين، مثل "المسافرين العامين"، و"خبراء الأكواد النادرة"، و"مفتشي السلامة". إذا قطعت جزءاً من المحرك يعتمد عليه "خبراء الأكواد النادرة"، فقد تطير السفينة بشكل جيد للجميع باستثناء هؤلاء، لكن الخبراء سيُتركون عالقين. السؤال الكبير في هذا المجال من علوم الحاسوب هو: كيف تعرف أي الأجزاء يجب قطعها بحيث تظل كل مجموعة من الركاب آمنة، حتى لو لم تتمكن من اختبار كل عملية قطع محتملة؟ يستخدم العلماء "إحصائيات الضغط" (compression statistics): وهي درجات رياضية تحاول التنبؤ بالأجزاء غير المفيدة. لكن هذه الورقة البحثية تسأل سؤالاً مخيفاً: ماذا لو قالت الدرجة إن جزءاً ما آمن للقطع، لكنه في الواقع يدمر السفينة لمجموعة معينة من الركاب؟

هذه الورقة بعنوان "عندما لا تستطيع درجات الضغط اتخاذ القرار" (When Compression Scores Cannot Decide)، وتستقصي الحدود الخفية لدرجات التنبؤ هذه. يجادل المؤلف، بقيادة أندرو تشانغ، بأن درجة واحدة متوسطة تشبه النظر إلى خريطة ضبابية: قد تظهر أن السفينة جيدة بشكل عام، لكنها تخفي حقيقة أن زاوية معينة منها تشتعل فيها النيران. لقد وجدوا أن هذه الدرجات غالً ما تفشل في التنبؤ بأسوأ حالة ضرر لمجموعات معينة. وبدلاً من الاعتماد على "رقم سحري" واحد لتحديد ما يجب قطعه، تقترح الورقة استراتيجية جديدة: استخدم أدلة محلية لبناء قائمة قصيرة من المرشحين، ثم اختبر بالفعل هؤلاء المرشحين تحديداً لترى كيف يعملون لكل مجموعة قبل اتخاذ القطع النهائي.

المشكلة مع الدرجة "المتوسطة"

فكر في درجة الضغط كأنها معلم يصحح درجات فصل دراسي. إذا نظر المعلم فقط إلى متوسط الفصل، فقد يعتقد أن الجميع يبلي بلاءً حسناً. ولكن ماذا لو كان هناك طالب واحد يرسب فشلاً ذريعاً بينما يتفوق البقية في الاختبار؟ المتوسط يخفي الفشل. في عالم الذكاء الاصطناعي، يستخدم الباحثون "درجات التقليم" لتحديد الخلايا العصبية (وحدات المعالجة الصغيرة داخل الذكاء الاصطناعي) التي سيتم إزالتها. هذه الدرجات غالباً ما تنظر إلى السلوك "المتوسط" للذكاء الاصطناعي عبر جميع بياناته.

اكتشف المؤلف أن هذا النهج خطير. فقد وجد درجة تقليم معينة كانت موثوقة للغاية (بـ "موثوقية تقسيم النصف" بلغت 0.906، مما يعني أنها تعطي نفس الإجابة باستمرار عند اختبارها مرتين). توقعت هذه الدرجة أن عملية قطع معينة ستحسن أداء الذكاء الاصطناعي بنسبة 16.1%. ومع ذلك، عندما قاموا بالقطع فعلياً، كانت النتيجة كارثية: أدى أداء الذكاء الاصطنا_ي إلى تراجع بنسبة 6.0% إلى 7.7% مقارنة بمجموعات الضبط. كانت الدرجة صحيحة بشأن المتوسط، لكنها أغفلت تماماً حقيقة أنها ستدمر التجربة لمجموعات محددة من المستخدمين.

"الحد المعلوماتي" والفجوة الخفية

لشرح سبب حدوث ذلك، يستخدم المؤلف مفهوماً يسمى "الحد المعلوماتي" (information boundary). تخيل أنك تحاول تخمين شكل جسم مخفي من خلال النظر إلى ظله. إذا كان الظل مجرد متوسط بسيط، فقد تعتقد أن الجسم عبارة عن كرة مثالية. لكن الجسم قد يكون في الواقع مكعباً له زاوية حادة تبرز بطريقة لا يظهرها الظل.

تجادل الورقة بأن طرق التقليم القياسية ترى فقط "الظل" (المتوسط المجمع). وهي تفقد "الزوايا الحادة" (الضرر المحدد للمجموعات الفردية). يطلق المؤلف على الفجوة بين ما تراه الدرجة وما يحدث فعلياً اسم "الألياف الملحوظة" (observation fiber). إنها مثل نافذة ضبابية: يمكنك رؤية الشكل العام، لكن لا يمكنك رؤية التفاصيل التي تهم أكثر من غيرها.

لقد أثبتوا رياضياً أنه إذا نظرت فقط إلى المتوسط، فقد تكون مخطئاً بمعامل يساوي عدد المجموعات التي لديك. إذا كان لديك 4 مجموعات، فقد يكون أسوأ ضرر ممكن أكبر بـ 4 مرات مما يوحي به المتوسط. هذا هو "القانون المخروطي" (conic law) الذي اشتقوه، والذي يعمل كقاعدة فيزيائية لتقليم الذكاء الاصطناعي: التوسيط يخفي دائماً سيناريو الحالة الأسوأ ما لم تفعل شيئاً خاصاً للنظر في المجموعات بشكل منفصل.

الحل: الرقصة ذات الخطوتين

إذا كانت الدرجة المتوسطة كاذبة، فماذا نفعل؟ تقترح الورقة عملية من خطوتين، تطلق عليها "الاقتراح" (Propose) و"القرار" (Decide).

الخطوة 1: الاقتراح (الأدلة المحلية)
أولاً، تستخدم أدلة محلية لبناء قائمة قصيرة من المرشحين. في نماذج الذكاء الاصطناعي الكثيفة (النماذج الضخمة والثقيلة)، استخدموا طريقة "القطر الموزع على المجموعات" (group-resolved diagonal). هذا يشبه فحص أجزاء المحرك لكل مجموعة من الركاب على حدة، بدلاً من مجرد النظر إلى المحرك ككل. كانت هذه الطريقة جيدة جداً في رصد شدة الضرر العامة (حيث بلغت نسبة الارتباط 0.9239 مع أسوأ ضرر فعلي). كان بإمكانها إخبارك: "مهلاً، هذه المجموعة من الركاب في ورطة كبيرة إذا قطعنا هذا الجزء". ومع ذلك، لم تكن قادرة على إخبارك بالضبط أي قطع هو الأفضل من بين تلك التي تبدو جيدة. كانت جيدة في اكتشاف الخطر، لكنها سيئة في اختيار الفائز.

الخطوة 2: القرار (الاختبار الحقيقي)
بمج once حصلت على قائمة قصيرة من المرشحين (قائمة محدودة)، يجب أن تتوقف عن التخمين وتبدأ في الاختبار. وجد المؤلف أنه لا يمكنك الاعتماد على درجة واحدة لتصنيف هؤلاء المرشحين. بدلاً من ذلك، يجب عليك قياس الأداء الفعلي لكل مرشح على المجموعات المحددة.

اختبروا ذلك على ثلاثة نماذج مختلفة من الذكاء الاصطناٍ (Llama، وSmolLM3، وQwen). ومن خلال استخدام نهج "مطابقة الهدف" (target-matched)—حيث قاموا بقياس الأداء الفعلي للمرشحين على المجموعات المحددة التي يهتمون بها—وجدوا تحسينات حقيقية.

• في نموذج Llama، قللوا من "تضخم تعقيد المجموعة الأسوأ" (مقياس لمدى ارتباك الذكاء الاصطناعي) بنسبة 7.96%.
• في نموذج Qwen، قللوا منه بنسبة 2.80%.
• في نموذج SmolLM3، قللوا منه بنسبة 2.68%.

لم تكن هذه مجرد تخمينات؛ بل كانت تحسينات مقاسة صمدت عند اختبارها على بيانات جديدة لم تُشاهد من قبل.

تحول MoE: الخريطة السرية للموجه

نظرت الورقة أيضاً في نوع مختلف من الذكاء الاصطناعي يسمى "خليط الخبراء" (Mixture of Experts - MoE). تخيل هذه النماذج كفريق من المتخصصين. بدلاً من عقل واحد ضخم، لديك العديد من الخبراء الصغار، وهناك "موجه" (router) يقرر أي خبير سيتم استخدامه لكل سؤال.

في هذا الإعداد، يترك الموجه "أثراً" أو خريطة توضح أي الخبراء يُستخدم من قبل أي مجموعات. وجد المؤلف أن هذه الخريطة كانت مفيدة للغاية. إذ يمكنها التنبؤ بأي خبير واحد يجب إزالته بشكل أفضل من التخمين العشوائي (بنجاح في 114 من أصل 192 مرة، مقارنة بـ 81 من أصل 192 للطريقة القياسية).

ومع ذلك، تماماً كما في النماذج الكبيرة، لم تكن الخريطة مثالية. كان بإمكانها إخبارك أي خبير واحد هو الأكثر خطورة في الاحتفاظ به، لكنها لم تكن قادرة على إخبارك بأفضل مزيج من الخبراء لإزالتهم. ولحل هذه المشكلة، كان عليهم اختبار التشكيلات الكاملة. وعندما فعلوا ذلك، وجدوا حركتين محددتين حسنت أداء الذكاء الاصطناعي بنسبة 13.7% و 7.2% على المجموعات الأسوأ حالاً.

الخلاصة الكبرى

الدرس الرئيسي من هذه الورقة هو أنه لا يمكنك الوثوق برقم واحد متوسط لاتخاذ قرارات مصيرية لمجموعات الذكاء الاصطناعي. إذا كنت تريد بناء ذكاء اصطناعي عادل وقوي للجميع، فعليك أن تكون أكثر حذراً.

1. الأدلة المحلية جيدة لرصد الخطر: استخدم درجات خاصة بكل مجموعة لتحديد المخاطر الكبيرة.
2. لكن يجب اختبار الفائزين: بمجرد الحصول على قائمة قصيرة من الخيارات، يجب عليك قياس كيفية أدائها فعلياً على المجموعات التي تهتم بها.
3. نهج "مقاس واحد يناسب الجميع" يفشل: استراتيجية التقليم التي تعمل لنموذج واحد أو مجموعة واحدة قد تفشل تماماً لنموذج أو مجموعة أخرى. وجد المؤلف أن "الاتجاهات الدقيقة" (أنماط القطع المحددة) التي نجحت مع نموذج واحد لم تنجح مع نموذج آخر.

تخلص الورقة إلى أنه بينما يمكننا بناء خرائط وأدلة مرشحين أفضل، فإن القرار النهائي يتطلب دائماً قياساً مباشراً للنتيجة. لا يمكنك مجرد الحساب للوصول إلى الأمان؛ بل يجب عليك فحص المحرك بعد كل عملية قطع. وهذا يضمن أنه عندما تقود سفينتك الفضائية من الذكاء الاصطناعي، لن تُترك أي مجموعة من الركاب في الظلام.