تخيل أن لديك دماغاً آلياً ضخماً وذكياً للغاية، بُني لحل الألغاز، وكتابة الأكواد، وترجمة اللغات. هذا الدماغ ليس مكوناً من كتلة واحدة ضخمة وثقيلة من المعدن؛ بل هو مبني مثل مصنع ضخم يحتوي على مئات من محطات العمل المتخصصة. هذا هو عالم نماذج اللغات الكبيرة (LLMs)، وهي محركات الذكاء الاصطناي التي تشغل كل شيء، من برامج الدردشة الآلية إلى مساعدي البرمجة. ولجعل هذه الأدمغة سريعة وفعالة، يستخدم المهندسون حيلة تسمى خليط الخبراء (Mixture-of-Experts - MoE). فكر في الأمر كأنه فريق ضخم يتكون من 256 خبيراً مختلفاً في كل غرفة من غرف المصنع. وعندما يأتي سؤال ما، يقرر مدير ذكي (يسمى "الموجه" أو الـ "router") أي عدد قليل من الخبراء مطلوب لحل تلك المشكلة المحددة، بينما يأخذ بقية الفريق استراحة لتناول القهوة. هذا يجعل الروبوت سريعاً لأنه يوقظ فقط العمال الذين يحتاجهم بالفعل.

ولكن هنا يبرز السؤال الكبير: هل جميع هؤلاء العمال متساوون في الأهمية؟ إذا كان عليك تقليص حجم المصنع لتوفير المساحة والكهرباء، هل يمكنك ببساطة طرد 30% من العمال في كل غرفة بشكل عشوائي؟ أم أن هناك نمطاً سرياً؟ كان العلماء يخمنون، لكنهم لم يمتلكوا خريطة واضحة توضح أي أجزاء الدماغ هشة وأيها متينة. وفهم هذا الأمر مهم لأن هذه النماذج تزداد ضخامة، وإذا تمكنا من "تقليم" (إزالة) الأجزاء غير الضرورية بأمان، فيمكننا جعلها تعمل بشكل أسرع على أجهزة كمبيوتر أرخص، مما يوفر الطاقة والمال دون فقدان ذكائها.

---

التدقيق الكبير للمصنع: من يمكننا الاستغناء عنه؟

في هذه الورقة البحثية، قرر فريق من الباحثين من شركة "Persistent Systems" خوض لعبة عالية المخاطر من نوع "قطع الحبال" على نموذج ذكاء اصطناعي ضخم ومحدد يسمى Qwen3.6-35B-A3B. هذا النموذج وحش حقيقي: فهو يمتلك 40 طبقة (فكر فيها كأنها 40 طابقاً في مصنع يشبه ناطحة السحاب)، وفي كل طابق، يوجد 256 خبيراً. وفي كل مرة يعالج فيها النموذج كلمة، فإنه يختار أفضل 8 خبراء للقيام بالعمل.

أراد الباحثون معرفة: إذا أجبرنا النموذج على تجاهل "أضعف" الخبراء (أولئك الذين يمتلكون أصغر الأرقام في أدمغتهم) في طبقات معينة، فهل سينهار النموذج، أم سيستمر في العمل؟ لقد اختبروا ذلك في مهمة صعبة: ترجمة الكود من لغة برمجة إلى أخرى (مثل تحويل C++ إلى Python)، باستخدام معيار اختبار يسمى XLCoST.

الاكتشاف: الأمر يتعلق بمكان القطع

حاول الفريق قطع الخبراء في أنماط مختلفة، مثل جراح يختبر مواقع شقوق جراحية مختلفة. وكان لديهم ثلاث نظريات رئيسية:

1. نظرية "القطع المسطح": فقط اقطع 30% من أضعف الخبراء من كل الطوابق، في كل مكان.
2. نظرية "القطع المبكر": ربما تكون الطوابق السفلية هي الأكثر أهمية؟
3. نظرية "القطع المتأخر": ربما الطوابق العلوية مجرد تكرار لما قامت به الطوابق السفلية بالفعل؟

كانت النتائج صادمة تماماً لفكرة "القطع المسطح".
عندما جربوا القطع المسطح (إزالة 30% من الخبراء من جميع الطوابق الأربعين)، فقد فقد النموذج قدرته على أداء وظيفته تقريباً. فمن بين 300 لغز برمجي، نجح في 150 منها فقط (أو "جيد/مشابه"). بدأ النموذج في الهلوسة، وتسريب عملية تفكيره الداخلية إلى الكود النهائي، وارتكاب أخطاء في بناء الجملة (syntax). كان الأمر أشبه بطرد 30% من الموظفين في الأساس، والمكاتب الوسطى، والطابق العلوي في آن واحد—بدأ المبنى بأكمله في التمايل.

ولكن بعد ذلك، وجدوا "المنطقة السحرية".
اكتشف الباحثون أن حساسية النموذج تتغير بشكل جذري اعتماداً على الطابق الذي تتواجد فيه:

• الطوابق 0–9 (الأساس): هذه الطوابق هشة للغاية. إذا قطعت الخبراء هنا، سينهار النموذج فوراً.
• الطوابق 10–29 (الوسط): هشة جداً أيضاً.
• الطوابց 30–39 (البنتهاوس/الطابق العلني): هذه الطوابق العلوية قوية بشكل مفاجئ! يبدو أن الخبراء هنا يقومون بالكثير من العمل المتداخل. "الموجه" (المدير) يكون مرتبكاً بالفعل هنا، حيث يختار خبراء بثقة منخفضة جداً، مما يعني أن الخبراء قابلون للاستبدال ببعضهم البعض.

الاستراتيجية الفائزة: التقليم من الأعلى إلى الأسفل

أجرى الفريق تجربة ضخمة باستخدام 300 مطالبة (prompt) للعثور على جدول التقليم المثالي. ووجدوا أنه إذا ركزوا عمليات القطع فقط على الطوابق العلوية، فإن النموذج يظل سليماً.

• استراتيجية "المنحدر المتأخر" (Late Ramp): قاموا بقطع 35% من الخبراء في الطوابق 30–34، و 55% في الطوابق العلوية جداً (35–39).
• النتيجة: من بين 300 مطالبة، حافظت هذه الاستراتيجية على 255 مخرجاً يعمل بشكل صحيح! وهذا أفضل بكثير من القطع المسطح، وقد أزال أكثر من 1,100 خبير.

لكن انتظروا، لم يتوقفوا عند هذا الحد. أرادوا التأكد من أن هذا لم يكن مجرد ضربة حظ، لذا اختبروا أفضل أفكارهم على مجموعة جديدة وغير مرئية من 500 مطالبة. وهنا أصبحت القصة أكثر إثارة للاهتمام.

في الاختبار الأكبر، كانت استراتيجية "المنحدر المتأخر" لا تزال جيدة، لكن استراتيجية أكثر تحديداً هي التي فازت بالجائزة:

• استراتيجية "المتأخر فقط" (Very-Late Only): لم يلمسوا سوى الطوابق الخمسة العليا (35–39) وقطعوا 50% من الخبراء هناك.
• النتيجة: هذه الضربة الجراحية الصغيرة حافظت على 419 من أصل 500 مخرج تعمل بشكل مثالي! والأفضل من ذلك، أنها أزالت 640 خبيراً فقط في المجمل (من إجمالي 10,240 خبيراً في النموذج بأكمله).

هذا يعني أن الباحثين وجدوا طريقة لإزالة جزء كبير من "عضلات" النموذج من الأعلى، والنموذج لم يلاحظ ذلك تقريباً. الأمر يشبه إدراك أن الطوابق الخمسة العليا من ناطحة سحاب هي في الغالب شرفات ديكورية؛ يمكنك إزالة نصف السياج، وسيظل المبنى شامخاً كما كان.

مهمة جانبية: لغز "التفكير" مقابل "الإجابة"

حاول الفريق أيضاً معرفة ما إذا كان النموذج يستخدم خبراء مختلفين عندما يكون في مرحلة "التفكير" (الاستنتاج عبر مشكلة ما) مقابل مرحلة "الإجابة" (كتابة الكود النهائي). نظروا في نسخة أقدم قليلاً من النموذج (Qwen3.5) لمعرفة ما إذا كان بإمكانهم رصد أي فرق.
وجدوا أنه خلال مرحلة "التفكير"، يستخدم النموذج حشداً واسعاً وفوضوياً من الخبراء. ولكن عندما يحين وقت "الإجابة"، يصبح أكثر تركيزاً ويستخدم عدداً أقل من الخبراء. وهذا يشير إلى أنه إذا أردنا تقليم النموذج في المستقبل، فقد نحتاج إلى توخي الحذر لكي لا نقطع خبراء "التفكير"، حتى لو بدا ضعفهم واضحاً على الورق. ومع ذلك، يوضح المؤلفون أن هذا مجرد تلميح للمستقبل، وليس قاعدة مثبتة بعد.

ماذا عن السرعة؟

جربوا أيضاً حيلة مختلفة: بدلاً من قطع الخبراء، أخبروا النموذج أن يختار 6 خبراء فقط بدلاً من الـ 8 المعتادة لكل كلمة. في اختبار صغير مكون من 100 مطالبة، جعل هذا النموذج يعمل بشكل أسرع بكثير (وقت تشغيل أقل) دون فقدان أي جودة. ولكن، عندما حاولوا دمج هذا التسريع مع التقليم الشرس للخبراء، ارتبك النموذج. يبدو أنه لا يمكنك دمج هذه الاختصارات فوق بعضها البعض دون اختبارها بعناية.

الخلاصة

الخلاصة الرئيسية من هذه الورقة هي "لا تفعل هذا" بالنسبة للتقليم الموحد، و"افعل هذا" بالنسبة للتقليم الذكي.

• لا تقطع 30% من الخبراء من كل طبقة بالتساوي؛ فهذا يدمر قدرة النموذج على التفكير.
• افعل ذلك بالتركيز على الطبقات العلوية جداً (الطوابق 35–39). فالنموذج يتحمل بشكل مفاجئ فقدان نصف خبرائه هناك.

يشير المؤلفون بحذر إلى أنهم لم يقوموا فعلياً بحذف الأوزان من ذاكرة الكمبيوتر بعد (لقد أخبروا الموجه فقط بتجاهلها). لذا، بينما يتصرف النموذج كأنه أصغر وأكثر كفاءة، فإنه لا يزال يشغل نفس المساحة على القرص الصلب. الخطوة التالية، التي يقترحونها للعمل المستقبلي، هي إجراء "جراحة أوزان فيزيائية" لحذف هؤلاء الخبماء غير المستخدمين نهائياً وتوفير مساحة تخزين حقيقية.

باختاً، وجد الباحثون أن "دماغ" هذا النموذج من الذكاء الاصطناعي لديه نقطة ضعف محددة للغاية: الطوابق العلوية أكثر تكراراً من الطوابق السفلية. ومن خلال تقليم الأعلى، قد نتمكن من بناء نماذج ذكاء اصطناعي أصغر، وأسرع، وأرخص دون كسرها.