ملخص تقني: دراسة حول تقطير الطبقات الخفية للتدريب المسبق للنماذج اللغوية الكبيرة

بيان المشكلة

بينما يُعد تقطير المعرفة (Knowledge Distillation - KD) نموذجاً راسخاً لضغط النماذج اللغوية الكبيرة (LLMs) عبر نقل المعرفة من "معلم" ضخم إلى "طالب" أصغر، فإن غالبية الأبحاث الحالية تعتمد حصرياً على الـ "logits" المخرجة. هذا النهج يتجاهل المعلومات الدلالية الموجودة داخل التمثيلات الخفية المتوسطة للمعلم. وعلى الرغم من أن تقطير الطبقات الخفية (Hidden Layer Distillation - HLD) قد أظهر نتائج واعدة في بنيات المشفرات (Encoders) والنماذج ذات النطاق الأصغر، إلا أن تطبيقه على التدريب المسبق لنماذج فك التشفير فقط (Decoder-only) على نطاق واسع لا يزال غير مستكشف إلى حد كبير. علاوة على ذلك، فإن المقارنات الحالية غالباً ما تفشل في مراعاة العبء الحسابي الناتج عن HLD (مثل تخزين التنشيطات الكاملة، أو تكاليف المنظم/الرگريسور)، أو لا تضبط المعلمات الفائقة (Hyperparameters) بدقة، مما يجعل من الصعب تحديد ما إذا كان HLD يقدم مزايا حقيقية مقارنة بـ KD القائم على الـ logits والمضبوط جيداً.

المنهجية

يجري المؤلفون تقييماً مضبوطاً حسابياً لتطبيق HLD على التدريب المسبق لنماذج LLM السببية باستخدام عائلة نماذج Gemma.

• النماذج:
  • المعلم (Teacher): نموذج Gemma 3.4B (مكون من 34 طبقة من نوع Transformer لفك التشفير فقط، مع بُعد تضمين 2560) تم تدريبه مسبقاً على 106 مليار توكن فريد من مجموعة بيانات C4.
  • الطلاب (Students): نموذجان يعتمدان على Gemma مع تهيئة عشوائية قياسية: نموذج بـ 123 مليون معلمة (18 طبقة) ونموذج بـ 735 مليون معلمة (26 طبقة).
• طرق التقطير التي تم تقييمها:
  1. التقطير القياسي (القائم على الـ Logits): يقلل الطالب من دالة خسارة مركبة من الـ NLL والـ KL divergence مقابل الـ logits المخرجة من المعلم.
  2. التحسين المتسلسل (HLDF): مقتبس من FitNets، ويتضمن بروتوكولاً من مرحلتين. المرحلة الأولى تعمل على محاذاة الحالة الخفية المتوسطة للطالب (عند الطبقة الوسطى) مع المعلم باستخدام منظم متعلم (perceptron كثيف بطبقة واحدة) عبر خسارة MSE طبيعية. المرحلة الثانية تقوم بعملية KD قياسية.
  3. التحسين المشترك (HLDC): نهج تدريب أحادي المرحلة يقلل من دالة هدف مجمعة تجمع بين NLL، وتقطير الـ logits، وخسارة محاذاة الطبقة الخفية (خسارة التضمين) في آن واحد.
• الدقة التجريبية:
  • مطابقة الحوسبة: تستند المقارنات بدقة إلى ميزانيات حسابية متكافئة (FLOPs)، وليس فقط عدد التوكنات. قام المؤلفون بتنقيح تقريب الحوسبة القياسي $6ND$ ليشمل التكلفة الكبيرة لطبقات إلغاء التضمين (de-embedding) ورسم خرائط المنظم، وهي تكلفة غير مهملة للنماذج التي تقل عن مليار معلمة ذات المفردات الكبيرة.
  • التحكم في المعلمات الفائقة: تتجنب الدراسة أسلوب "الضبط من أجل الفوز" عبر تقييم الطرق عبر شبكة مشتركة من المعلمات الفائقة (معدل التعلم، درجة الحرارة، وزن NLL) ومقارنة النتائج نقطة بنقطة. كما حددوا أفضل تكوين لكل طريقة لضمان مقارنة عادلة من "السقف إلى السقف".
  • البيانات: يتم التدريب على الجزء الإنجليزي من مجموعة بيانات C4 (حتى 168 مليار توكن للنموذج ذي الـ 735 مليون معلمة).

المساهمات الرئيسية

1. تقييم منهجي: تقدم الورقة أول دراسة مفتوحة المصدر لـ HLD خصيصاً خلال مرحلة التدريب المسبق لنماذج الـ LLM من نوع decoder-only، والتي تتوسع لتشمل نماذج بمئات الملايين من المعلمات.
2. خطوط أساس صارمة: تضع إطاراً يقارن الطرق بناءً على تكافؤ حسابي صارم (FLOPs)، مع مراعاة صريحة للتكاليف غير المهملة لإلغاء التضمين وحساب الخسارة في النماذج الصغيرة، وهو ما أغفلته الدراسات السابقة غالباً.
3. التقييم الشامل: يمتد التقييم عبر مهام متعددة (Wikitext 103, HellaSwag, WinoGrande, LAMBADA, PIQA, ARC-E) ويحلل الأداء عبر شبكة واسعة من المعلمات الفائقة بدلاً من الاعتماد على تكوين واحد "أفضل".

النتائج

تنتج التجارب نتائج دقيقة فيما يتعلق بفعالية HLD مقارنة بـ KD القياسي:

• الأداء في المهام اللاحقة (Downstream): لا يتفوق HLD باستمرار على الـ KD القياسي القائم على الـ logits في مهام التقييم اللاحقة. في مقارنة "أفضل معلمة فائقة"، لا يهيمن أي متغير من HLD على KD في جميع الاختبارات؛ حيث كانت الاختلافات هامشية ومنقسمة بين الطرق.
• مكاسب الـ Perplexity: رغم عدم وجود تفوق في المهام اللاحقة، فإن HLDF (التحسين المتسلسل) يحقق تحسناً نظامياً، وإن كان صغيراً، في C4 perplexity عبر جميع تكوينات المعلمات الفائقة المشتركة. يبلغ متوسط التحسن حوالي 0.26% لكلا حجمي الطلاب.
• سياق المكاسب: تظهر مكاسب الـ perplexity من HLDF بشكل أوضح في الأنظمة التي يكون فيها الـ KD القياسي ضعيف الأداء. في الأنظمة التي يكون فيها الـ KD فعالاً بالفعل، يتلاشى تفوق HLD.
• المهام اللاحقة مقابل الـ Perplexity: لا تترجم مكاسب الـ perplexity النظامية إلى تحسينات ثابتة في الدرجات اللاحقة. يشير المؤلفون إلى أن هذا يعني أنه بينما توجد إشارة كامنة في الطبقات الخفية، إلا أنها قد لا تغير بشكل جوهري القدرات واسعة النطاق التي تلتقطها الاختبارات اللاحقة، أو أن الإشارة مفيدة فقط لضبط التوزيع الدقيق.

الأهمية والادعاءات

تخلص الورقة إلى أنه بينما يعد HLD مفهوماً جذاباً لالتقاط المعرفة الداخلية العميقة، فإنه لا يوفر تحسيناً ثابتاً وموثوقاً على خط الأساس لـ KD القائم على الـ logit عند تساوي ميزانيات التدريب بدقة.

• صمود الـ Logit KD: تؤكد النتائج على صمود تقطير الـ logits القياسي، مما يشير إلى أن التعقيد الإضافي وحساسية المعلمات الفائقة لـ HLD قد يفوقان فوائده في النشر العملي.
• التناقضات المنهجية: يعزو المؤلفون التناقض مع الأعمال السابقة (التي غالباً ما تسجل مكاسب لـ HLD) إلى أربعة عوامل:
  1. محاسبة الحوسبة: غالباً ما قامت الدراسات السابقة بمطابقة عدد التوكنات بدلاً من الـ FLOPs، متجاهلة التكلفة الإضافية لـ HLD.
  2. البنية/المرحلة: ركزت الأعمال السابقة على المشفرات (Encoders) أو مرحلة ما بعد التدريب، حيث تكون التمثيلات مشكلة بالفعل بواسطة أهداف التدريب المسبق. أما نماذج الـ decoders السببية التي تُدرب من الصفر، فتقدم مشهداً مختلفاً للتحسين.
  3. ضبط خط الأساس: غالباً ما قارنت الدراسات السابقة HLD بخطوط أساس لـ KD ضعيفة الضبط.
  4. القابلية للتوسع: يتطلب تكييف HLD من نماذج CNN الصغيرة إلى نماذج Transformer بمليارات المعلمات خيارات تصميم أكثر عمقاً (خسائر، محولات) من مجرد المنظمات الخطية البسيطة.
• الآفاق المستقبلية: تفترض الورقة أن مكسب الـ perplexity النظامي الملاحظ في HLDF يشير إلى إمكانية استخراج "إشارة كامنة"، ولكن تحقيق طفرة سيطلب على الأرجـح ابتكارات تصميمية كبيرة أو أدلة إحصائية أقوى عبر مقاييس أكبر وعائلات نماذج مختلفة. ويشدد المؤلفون على ضرية ضرورة المحاسبة الدقيقة للـ FLOPs عند تقييم تقنيات الإشراف الجديدة.