From Sparsity to Simplicity: Enabling Simpler Sequential Replacements via Sparse Attention Distillation

ملخص تقني: من التناثر إلى البساطة (S2S)

بيان المشكلة
تُعد آليات الانتباه الذاتي (Self-attention) حجر الزاوية في عمليات التدريب المسبق للنماذج المحولة (Transformer) واسعة النطاق، حيث تتيح خلطاً مرناً للرموز (tokens) ونمذجة الاعتمادات طويلة المدى. ومع ذلك، فإن تعقيدها التربيعي بالنسبة لطول التسلسل يؤدي إلى زمن استجاف (latency) مرتفع في الاستدلال وأعباء ذاكرة كبيرة. وبينما يعد استبدال الانتباه بوحدات تسلسلية أبسط (مثل الشبكات العصبية المتكررة RNNs، أو نماذج فضاء الحالة SSMs) مساراً جذاباً للكفاءة، إلا أن الاستبدال الساذج غالباً ما يؤدي إلى تدهور كبير في الدقة، لا سيما عند المقاييس الكبيرة. وتعمل نهج الكفاءة الحالية غالباً على تعديل حسابات الانتباه نفسها أو تقليم الرموز مع الإبقاء على الانتباه كعامل أساسي. تعالج هذه الورقة تحدي استبدال طبقات الانتباه بالكامل بوحدات تسلسلية دون خسارة جوهرية في الأداء.

المنهجية
تقترح الورقة إطار عمل يسمى "من التناثر إلى البساطة" (S2S)، والذي يفترض أن النماذج المحولة المدربة مسبقاً تقوم بتفكيك تبعيات الرموز المعقدة إلى خرائط جزئية (block-wise mappings) ذات تعقيد فعال متفاوت. ويفترض المؤلفون أن الطبقات التي تُظهر أنماط انتباه متناثرة (sparse) هي بطبيعتها أسهل في التقريب باستخدام وحدات تسلسلية أبسط.

تتكون المنهجية من ثلاثة مكونات أساسية:

1. استبدال الطبقات الموحد (Unified Layer-wise Attention Replacement):

   • يقدم المؤلفون إطار عمل "جاهز للاستخدام" (plug-and-play) حيث يتم استبدال طبقات انتباه محددة في نموذج رؤية محول (ViT) مدرب مسبقاً بخلطات رموز تسلسلية (تحديداً BiMamba و BiLSTM) مع الحفاظ على واجهة الطبقة الأصلية (LayerNorm، والروابط المتبقية Residual connections، وMLPs).
   • تتبنى الوحدات التسلسلية هيكلاً متعدد الرؤوس وثنائي الاتجاه (multihead bidirectional) لمطابقة الطبيعة غير السببية (non-causal) وشاملة السياق لآلية الانتباه في ViT.
   • تُستخدم الرقابة المتوافقة مع الطبقات (Layer-aligned supervision) أثناء عملية التقطير (distillation): حيث تتم مقارنة مخرجات الخلّاط التسلسلي المستبدل مباشرة بمخرجات طبقة الانتباه الأصلية عند نفس العمق باستخدام خسارة متوسط المربعات (MSE).

2. التقطير الموجه بالتناثر (Sparsity-Guided Distillation):

   • للتحكم في تأثير التناثر ودراسته، يدمج المؤلفون نموذج A-ViT (Adaptive ViT)، الذي يستخدم درجات التوقف (halting scores) لإنشاء أقنعة احتفاظ بالرموز ثنائية (binary token retention masks).
   • المرحلة الأولى (التقطير): يتم تدريب النموذج الطالب (الذي يحتوي على الاستبدالات التسلسلية) تحت نفس أقنعة الرموز لكل طبقة التي يولدها النموذج المعلم (A-ViT). يضمن ذلك عمل الطالب والمعلم على نفس الرموز النشطة، مما يعزل صعوبة تقريب دالة خلط الرموز عن الاختلافات في توجيه الرموز. تتضمن الخسارة خسارة التشابه، ومصطلح محاذاة التوقف، وخسارة التصنيف.
   • المرحلة الثانية (الضبط الدقيق): يتم ضبط النموذج الطالب باستخدام وحدات التوقف الخاصة به لإنشاء الأقنعة، مما يسمح له بالعمل بشكل مستقل مع الحفاظ على أداء المهمة.

3. استراتيجية الاستبدال المتناثر المدركة للطبقات (Layer-Aware Sparse Replacement Strategy):

   • بدلاً من الاستبدال الموحد، تستهدف الاستراتيجية مجموعات طبقات محددة بناءً على ملفات تعريف التناثر الطبيعية الخاصة بها. يستبدل المؤلفون فقط الطبقات الأكثر عمقاً (التي تُظهر أعلى قدر من التناثر الطبيعي) ويطبقون إطار التقطير الموجه بالتناثر على هذه الكتل المحددة.

المساهمات الرئيسية

• فرضية S2S: تثبت الورقة أن تناثر الانتباه هو علامة على تعقيد الخرائط (mapping complexity). فالكتل المتناثرة في النماذج المحولة يمكن استبدالها بوحدات تسلسلية أبسط بأقل قدر من الخسارة، بينما يصعب تقريب الكتل الكثيفة (dense).
• إطار استبدال محكوم: طريقة موحدة لاستبدال الانتباه بوحدات تسلسلية (Mamba/LSTM) مع الحفاظ على توافق الواجهة وتمكين التحليل الانتقائي للطبقات.
• التحكم الصريح في التناثر: تقديم خط تقطير حيث يتم مواءمة التناثر الناتج عن المعلم (عبر أقنعة A-ViT) صراحةً مع الطالب، مما يثبت أن زيادة تناثر المعلم تقلل باستمرار من الفجوة في الأداء بين الطالب والمعلم.
• الموازنة المثلى بين الدقة والكفاءة: استراتيجية تجمع بين التناثر الطبيعي لكل طبقة والتناثر الصريح لتحقيق توازن أفضل بين الدقة والكفاءة مقارنة بنماذج الانتباه المتناثرة الأساسية.

النتائج التجريبية
أُجريت التجارب على مجموعة بيانات ImageNet باستخدام هياكل DeiT (Tiny, Small, Base) مع استخدام BiMamba و BiLSTM كبدائل.

• التناثر الطبيعي وقابلية الاستبدال: تُظهر تصورات خرائط تفاعل الرموز أنه بينما تُظهر الطبقات الضحلة خلطاً عالمياً كثيفاً، تصبح الطبقات الأعمق أكثر تناثراً وانتقائية بشكل ملحوظ. وتكشف التجارب المنضبطة التي استبدلت مجموعات طبقات مختلفة أن استبدال الطبقات الأعمق (الأكثر تناثراً) يتسبب في انخفاض أقل بكثير في الدقة مقارنة باستبدال الطبقات الضحلة (الأكثر كثافة).
• تأثير التناثر الصريح: عندما يتم تقليل نسبة الاحتفاظ بالرموز عبر A-ViT، فإن الفجوة في الدقة بين المعلم القائم على الانتباه والطالب التسلسلي تتقلص باستمرار. وهذا يؤكد أن فرض التناثر يبسط الخريطة المستهدفة، مما يجعل من السهل على الوحدات التسلسلية تعلمها.
• الموازنة بين الدقة والكفاءة: حققت استراتيجية الاستبدال المتناثر المدرك للطبقات (استبدال أعمق 3 طبقات بـ BiMamba تحت ميزانيات تناثر متطابقة) ما يلي:
  • دقة تضاهي أو تتجاوز قليلاً نماذج الانتباه المتناثرة (A-ViT) عند معدلات احتفاظ مماثلة للرموز.
  • مكاسب كفاءة كبيرة: زيادة في السرعة المقدرة تصل إلى 1.71 ضعف عند دقة 384² مقارنة بالنموذج الأساسي الكثيف، مع إنتاجية أعلى لخلط الرموز مقارنة بنماذج الانتباه المتناثرة عند أعداد رموز أكبر.

الأهمية والادعاءات
تدعي الورقة أن استبدال الانتباه يجب أن يُعامل كـ مشكلة مهيكلة تعتمد على الطبقة وليس مجرد استبدال موحد للهيكل. تكمن أهمية العمل في إثبات أن:

1. التناثر هو إشارة لقابلية الاستبدال: تفكك النماذج المدربة مسبقاً التعقيد طبيعياً بحيث تكون الطبقات المتناثرة هي الأكثر قابلية للتبسيط.
2. التناثر الصريح يساعد في التقطير: إن فرض التناثر على المعلم يجعل مهمة التعلم للنموذج التسلسلي الطالب أسهل، مما يقلل من فجوة الأداء.
3. الاستبدال الاستراتيجي يتفوق على النهج الموحد: من خلال التركيز على استبدال الطبقات المتناثرة طبيعياً وتوجيه العملية بالتناثر المحكوم، يمكن تحقيق توازن متفوق بين الدقة وزمن الاستجابة مقارنة بمجرد تقليم الانتباه أو استبدال النموذج بالكامل.

ويخلص المؤلفون إلى أن هذا المنظور يشجع الأبحاث المستقبلية في النماذج الهجينة التي تستفيد من معرفة النماذج المحولة المدربة مسبقاً مع دمج وحدات تسلسلية أبسط وأكثر كفاءة حيث تسمح البنية الداخلية للنموذل بذلك.