ملخص تقني: محاذاة المسار متعدد التدرج (MTA) لتقطير النماذج اللغوية الكبيرة (LLM)

بيان المشكلة

تركز طرق تقطير المعرفة (KD) الحالية للنماذج اللغوية الكبيرة (LLMs) بشكل أساسي على محاذاة توزيعات احتمالات المخرجات (logits) أو الحالات الخفية الوسيطة عند طبقات ثابتة وساكنة. وبينما تُعد هذه الأساليب فعالة في نقل الإشارات المحلية، إلا أنها غالبًا ما تستخدم استراتيجية محاذاة موحدة على مستوى الرمز (token-level) عبر جميع أعماق الشبكة.

تجادل الورقة بأن هذا التعامل الموحد لا يتوافق مع الطبيعة الهرمية للغة البشرية والتنظيم الوظيفي لنماذج المحولات (Transformer). وتشير الأبحاث اللغوية ودراسات قابلية تفسير المحولات إلى ما يلي:

1. الطبقات الدنيا تركز على الميزات السطحية، والمعجمية، واسترجاع الحقائق.
2. الطبقات العليا تقوم تدريجيًا بترميز المعلومات الدلالية المجردة والاستدلال التركيبي.

من خلال معاملة جميع الرموز (tokens) بشكل منعزل وتطبيق نفس هدف المحاذاة بشكل موحد، تفشل الأساليب الحالية في التقاط المسار التطوري التدريجي للتمثيلات أثناء تحولها من وحدات معجمية إلى بنى دلالية مجردة. هذا القصور يحد من قدرة النموذج الطالب (student model) على التعميم في المهام اللاحقة.

المنهجية: محاذاة المسار متعدد التدرج (MTA)

لمعالجة هذه القيود، يقترح المؤلفون إطار عمل MTA، وهو إطار معياري يقوم بمحاذاة مسار التمثيل لكل من النموذج المعلم (teacher) والنموذج الطالب باستخدام استراتيجية متكيفة مع الطبقات. يعمل MTA بناءً على فرضية أن التقطير يجب أن يحترم الأدوار الدلالية المعتمدة على العمق لطبقات المحول (Transformer).

المكونات الأساسية

1. النطاقات متعددة التدرج المتكيفة مع الطبقات:

   • الطبقات الدنيا: تتم عمليات المحاذاة على مستوى الكلمة (Word Spans) للحفاظ على التجذر المعجمي والارتباطات دقيقة التفاصيل.
   • الطبقات العليا: تنتقل المحاذاة إلى مستوى العبارة (الأسماء والعبارات الفعلية) لالتقاط الدلالات التركيبية والعلاقات الهيكلية العليا.
   • بناء النطاق (Span Construction): يتم استخراج الوحدات الدلالية باستخدام محلل نحوي (مثل spaCy). ويتم حساب أوزان أهمية الرموز عبر آلية انتباه ذاتي ثنائية الاتجاه (باستثناء الحلقات الذاتية) لتجميع تمثيلات الرموز في تمثيلات نطاقية.

2. فقدان المحاذاة الهيكلية الديناميكية ($L_{DSA}$):

   • يفرض هذا الهدف الاتساق الهندسي بين المعلم والطالب.
   • بدلاً من مطابقة ناقلات الرموز الفردية، يقلل $L_{DSA}$ من التفاوت في المسافات العلاقاتية الزوجية بين النطاقات الدلالية (الكلمات أو العبارات) ضمن طبقة معينة.
   • يعطي الأولوية للنطاقات الدلالية البارزة من خلال وزن المحاذاة بناءً على الأهمية المجمعة للرموز المكونة لها.
   • رياضياً، يقوم بمحاذاة البنية الطوبولوجية لمساحة التمثيل:
     $$L_{DSA} = \frac{1}{\|L_{key}\|} \sum_{l \in L_{key}} \sum_{i,j} w_{ij} \left( d(U^S_{i,l}, U^S_{j,l}) - d(U^T_{i,\phi(l)}, U^T_{j,\phi(l)}) \right)^2$$
     حيث أن $d(\cdot)$ هي مسافة جيب التمام (cosine distance)، و $U$ يمثل تمثيل النطاق الموزون.

3. فقدان محاذاة التمثيل الخفي ($L_{Hid}$):

   • لاستكمال القيود الهيكلية، يقوم فقدان على مستوى الميزة بمحاذاة حالات خفية محددة.
   • نظرًا لأن أبعاد الطالب عادة ما تكون أصغر من أبعاد المعلم، يقوم مسقط خطي قابل للتعلم (learnable linear projector) بنقل حالات الطالب إلى مساحة المعلم.
   • يقلل الفقد من مسافة جيب التمام الموزونة بين حالات الطالب المسقطة وحالات المعلم، مع التركيز على الرموز الأكثر معلوماتية.

4. التحسين (Optimization):

   • صُمم MTA ليكون وحدة إضافية (plug-in module). يجمع إجمالي الفقد بين فقد التقطير الأساسي ($L_{Base}$) للأطر الحالية (مثل DistiLLM و FDD) مع الخسائر الهيكلية والخفية المقترحة:
     $$L_{Total} = L_{Base} + \lambda_{DSA}L_{DSA} + \lambda_{Hid}L_{Hid}$$

المساهمات الرئيسية

1. تحديد أوجه القصور: حدد المؤلفون أن المحاذاة الوسيطة الموحدة تتجاهل التطور الهرمي للتمثيلات، مما يؤدي إلى نقل معرفة دون المستوى الأمثل.
2. إطار عمل متكيف مع الطبقات: قدموا MTA الذي ينتقل ديناميكيًا من المحاذاة على مستوى الكلمة في الطبقات الدنيا إلى المحاذاة الهيكلية على مستوى العبارة في الطبقات العليا، مما يحاكي الطبيعة التركيبية الصاعدة للمحولات (bottom-up).
3. وحدة عامة: تم إثبات أن MTA هو طبقة تحسين عامة متوافقة مع أحدث طرق التقطير (DistiLLM و DistiLLM-2 و FDD) التي تشترك في عملية التجزئة (tokenization).
4. التحقق التجريبي: تظهر التجارب المكثفة أن MTA يحسن الأداء باستمرار عبر بنيات نماذج متنوعة (GPT-2, Qwen1.5, OPT) ومعايير قياس مختلفة.

النتائج التجريبية

قيم المؤلفون MTA في مهام اتباع التعليمات باستخدام ثلاثة أزواج (طالب-معلم):

• GPT-2 1.5B $\to$ 120M
• Qwen1.5 1.8B $\to$ 0.5B
• OPT 6.7B $\to$ 1.3B

مقاييس الأداء:

• ROUGE-L: تفوق MTA باستمرار على النماذج المرجعية (FDD, DistiLLM, DistiLLM-2) عبر جميع مجموعات البيانات (Dolly, SelfInst, Vicuna, S-NI). على سبيل المثال، في إعداد GPT-2 1.5B $\to$ 120M، أدى إضافة MTA إلى DistiLLM إلى تحسين متوسط ROUGE-L من 20.21 إلى 21.45.
• التقييم بواسطة نموذج لغوي (LLM-as-a-Judge): باستخدام GPT-4o-mini لتقييم الدقة الواقعية، والتماسك، والمساعدة، أظهرت النماذج المعززة بـ MTA تحسنات مستمرة في الدرجات مقارنة بالنماذج المرجعية.

دراسات الاستئصال (Ablation Studies):

• مكونات الفقد: ساهم كل من $L_{DSA}$ (الهيكلي) و $L_{Hid}$ (الميزة) بشكل إيجابي، حيث حقق الجمع بينهما أفضل النتائج.
• التدرج (Granularity): تفوقت استراتيجية "المستوى الكامل" (المتكيفة مع الطبقات) على الاستراتيجيات الثابتة (الكلمة فقط أو العبارة فقط)، مما أكد أن محاذاة التجذر المعجمي في الطبقات الدنيا والدلالات التركيبية في الطبقات العليا أمر بالغ الأهمية.
• اختيار الطبقة: طريقة MTA قوية تجاه جداول الطبقات المختلفة، وإن كان قد وُجد أن التوزيع الهجين (طبقة واحدة بمستوى الكلمة : طبقتان بمستوى العبارة) هو الأمثل للإعدادات المختبرة.

الكفاءة:

• يضيف MTA عبئًا في التدريب ناتجًا بشكل أساسي عن استخراج النطاقات النحوية (تم تقليله إلى ~0.27 ثانية/خطوة عبر التحسين) والمطابقة الهندسية.
• تظل تكاليف الاستدلال (Inference) دون تغيير لأن استخراج النطاقات لا يُستخدم وقت الاختبار.
• أكدت المقارنات المتوافقة زمنيًا أن مكاسب الأداء تعود إلى هدف المحاذاة، وليس لزيادة ميزانية التدريب.

الأهمية والادعاءات

تدعي الورقة أن MTA يوفر نهجًا أمينًا دلاليًا لتقطير المعرفة من خلال النمذجة الصريحة لـ المسار التمثيلي الهرمي للنماذج اللغوية الكبيرة. ومن خلال الانتقال من المطابقة الثابتة على مستوى الرمز إلى المحاذاة الهيكلية متعددة التدرج، يُمكّن MTA النماذج الطالبة من محاكاة ديناميكيات معالجة المعلومات الداخلية للمعلم بشكل أفضل.

يضع المؤلفون MTA ليس كبديل لأطر التقطير الحالية، بل كـ وحدة مكملة وقابلة للتركيب (plug-and-play) تعزز قدرة النماذج اللغوية الكبيرة المضغوطة على التعميم والمتانة. ويؤكد العمل على أهمية احترام الهرمية اللغوية وتطور الميزات المعتمد على العمق في تصميم تقنيات ضغط النماذج المستقبلية.