Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language
تقدم هذه الورقة نموذج Bielik-Minitron-7B، وهو نموذج لغة بولندية مضغوط بـ 7.35 مليار معلمة تم إنشاؤه عبر تطبيق التقليم الهيكلي وتقطير المعرفة على نموذج Bielik-11B-v3.0، والذي يحقق تقليلاً في المعلمات بنسبة 33.4% وتسريعاً في الاستدلال يصل إلى 50% مع الاحتفاظ بنحو 90% من أداء النموذج الأصلي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الفكرة الكبرى: تقليص عملاق دون فقدان عقله
تخيل أن لديك طالباً عبقرياً، عمره 11 عاماً، يُدعى Bielik. هذا الطالب ذكي للغاية، ويعرف الكثير عن الثقافة والتاريخ واللغة البولندية، ويمكنه حل المشكلات المعقدة. ولكن، هناك عقبة: لكي تتمكن من إبقاء هذا الطالب في منزلك، فأنت بحاجة إلى قصر ضخم ومكلف (خادم كمبيوتر هائل) مع مكتبة عملاقة وفريق من 50 مساعداً (50 طبقة من الشبكة العصبية) لمساعدته على التفكير. معظم الناس لا يستطيعون تحمل تكلفة قصر كهذا.
الهدف من هذه الورقة البحثية هو إنشاء نسخة "ابن 7 سنوات" من هذا الطالب العبقري. هذا الطالب الجديد، Bielik-Minitron، يجب أن يكون صغيراً بما يكفي ليعيش في شقة عادية (بطاقة رسوميات للمستهلك مثل RTX 4090)، ولكنه لا يزال ذكياً بقدر كبير يقارب ذكاء العبقري الأصلي.
لم يحاول الفريق مجرد تعليم طفل جديد أصغر سناً من الصفر (وهو أمر يستغرق سنوات وملايين الدولارات)، بل استخدموا عملية ذكية من خطوتين لـ "تقليص" العبقري الحالي مع الحفاظ على معرفته سليمة.
الخطوة 1: التشذيب "الجراحي" (التقليم الهيكلي - Structured Pruning)
التشبيه: تخيل أن الطالب العبقري الأصلي لديه حقيبة ظهر مليئة بـ 11,000 أداة. بعضها مطارق ثقيلة، وبعضها مفكات براغي صغيرة، وبعضها مجرد صخور عديمة الفائدة التقطها في طريقه.
استخدم الفريق تقنية تسمى التقليم الهيكلي (Structured Pruning). وبدلاً من رمي الأشياء عشوائياً، تصرفوا كجراحين. نظروا إلى عقل الطالب وسألوا: "ما هي الأدوات التي نستخدمها فعلياً كل يوم؟ وأيها يشغل مساحة فحسب؟"
- القطع: قاموا بإزالة أقسام كاملة من حقيبة الظهر التي لا تُستخدم كثيراً. لقد أزالوا 10 طبقات من "عملية التفكير" (تقليل العمق) وجعلوا "طاولة العمل" أضيق (تقليل العرض).
- النتيجة: قلصوا حجم حقيبة الظهر بنسبة 33%. أصبح الطالب الآن أخف وزناً وأسرع في الحمل، لكنه لا يزال يمتلك أهم الأدوات.
الخطوة 2: "تدريب الظل" (تقطير المعرفة - Knowledge Distillation)
التشبيه: الآن بعد أن أصبح لدى الطالب حقيبة ظهر أصغر، أصبح مرتبكاً قليلاً. لقد فقد بعض ذاكرة العضلات لديه. إذا تركتموه هكذا، فقد ينسى كيف يتحدث البولندية ببراعة.
لذا، وضع الفريق برنامج "تدريب الظل" (Shadow Training).
- المعلم: العبقري الأصلي (11B) يجلس بجانب الطالب الجديد (7B).
- الدرس: المعلم لا يقول فقط: "الإجابة هي 'نعم'". بدلاً من ذلك، يهمس المعلم بـ عملية التفكير الكاملة: "أنا متأكد بنسبة 90% أنها 'نعم'، ولكن هناك احتمال بنسبة 5% أن تكون 'ربما'، واحتمال بنسبة 5% أن تكون 'لا'".
- السحر: يتعلم الطالب الصغير ليس فقط الإجابات الصحيحة، بل أيضاً الدقة والثقة. وهذا ما يسمى التقطير القائم على اللوجيت (Logit-Based Distillation). إنه يشبه تعلم الطالب الصغير كيف يفكر تماماً مثل المعلم الكبير، ولكن بعدد أقل من الخلايا العصبية.
الخطوة 3: "المدرسة البولندية" (المحاذاة - Alignment)
التشبيه: حتى مع التدريب، قد يكون الطالب فظاً بعض الشيء أو سيئاً في اتباع التعليمات. لذا، ذهبوا إلى "مدرسة بولندية" متخصصة لثلاث جولات نهائية من التدريب:
- الضبط الدقيق الخاضع للإشراف (SFT): تعلم كيفية إجراء محادثة مهذبة واتباع القواعد.
- تحسين التفضيلات (DPO): تعلم ما يحب البشر سماعه فعلياً (مثل: "لا تكن فظاً"، "كن مفيداً").
- التعلم التعزيزي (GRPO): ممارسة الألغاز المنطقية ومسائل الرياضيات لشحذ مهارات الاستنتاج لديهم.
النتائج: قوة فائقة وصغيرة الحجم
بعد كل هذا العمل، قارن الفريق بين Bielik-Minitron-7B الجديد وبين Bielik-11B الأصلي.
- الحجم: أصغر بنسبة 33%. إنه يناسب جهاز كمبيوتر ألعاب قياسي (مثل RTX 4090) بدلاً من الحاجة إلى مركز بيانات.
- السرعة: أسرع بنسبة 50%. يمكنه كتابة الإجابات بسرعة أكبر بكثير لأنه لديه "عمل شاق" أقل للقيام به.
- الذكاء: احتفظ بـ 90% من ذكاء العبقري الأصلي.
- في اختبارات اللغة البولندية، سجل درجات عالية جداً تقارب النموذج الكبير.
- تفوق على نماذج 7B الشهيرة الأخرى (مثل Mistral أو Qwen) بفارق كبير.
- حتى أنه أدى بشكل أفضل من بعض نماذج 12B و 14B!
لماذا يهم هذا الجميع؟
فكر في هذا الأمر كعملية تصغير سيارة فاخرة. عادةً، عندما تجعل السيارة أصغر، فإنك تفقد محرك الـ V8 والمقاعد الجلدية. لكن هذا الفريق نجح في تقليص حجم السيارة إلى حجم مدمج مع الحفاظ على محرك الـ V8 والمقاعد الجلدية.
لماذا يعد هذا أمراً كبيراً؟
- لبولندا: يثبت أنه يمكنك الحصول على ذكاء اصطناعي رفيع المستوى للغة البولندية دون الحاجة إلى ملايين الدولارات أو أجهزة كمبيوتر خارقة.
- للعالم: يظهر مخططاً لكيفية صنع ذكاء اصطناعي لأي لغة (مثل التشيكية، المجرية، أو السواحيلية) دون الحاجة إلى تدريب نموذج ضخم من الصفر. يمكنك ببساطة "تقليص" نموذج كبير والحفاظ على النكهة المحلية.
- لك أنت: يعني هذا أنك قد تتمكن قريباً من تشغيل مساعد ذكاء اصطناعي بولندي فائق الذكاء على لابتوبك الخاص أو هاتفك، مما يوفر المال على خوادم السحاب ويحافظ على خصوصية بياناتك.
باختصار: لقد أخذوا عقلاً ضخماً ومكلفاً، وقاموا بتشذيب الدهون منه جراحياً، وعلموا النسخة الأصغر كيف تفكر تماماً مثل النسخة الكبيرة، وانتهى بهم الأمر بامتلاك ذكاء اصطناعي بولندي صغير، سريع، وذكي للغاية يمكن لأي شخص تشغيله.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.