Sink-Aware Pruning for Diffusion Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "Sink-Aware Pruning for Diffusion Language Models" (تقليم النماذج اللغوية الانتشارية الواعي بالمصارف).

1. بيان المشكلة

تولد النماذج اللغوية الانتشارية (DLMs) النصوص من خلال عمليات إزالة الضجيج المتكررة، والتي تترتب عليها تكاليف استدلال أعلى بكثير (من حيث الحوسبة والذاكرة) مقارنة بالنماذج التكرارية (Autoregressive - AR) بسبب الحاجة إلى تمريرات أمامية متعددة. ولجعل هذه النماذج عملية، يعد تقليم النماذج (Model Pruning) (إزالة المعلمات الزائدة) أمراً ضرورياً.

ومع ذلك، فإن قواعد التقليم الاستدلالية الموجودة مستمدة إلى حد كبير من النماذج التكرارية (AR). وهناك قاعدة استدلالية مهيمنة في تقليم نماذج AR وهي:

• سياق النماذج التكرارية (AR): في نماذج AR، تعمل رموز (tokens) مبكرة محددة (مثل رمز بداية الجملة BOS، أو مطالبات النظام) كـ "مصارف انتباه" (attention sinks) مستقرة تجذب باستمرار كتلة ضخمة من الانتباه. تعمل هذه المصارف كمرتكزات عالمية لتثبيت التدفق المتبقي ونشر معلومات التكييف. وبناءً على ذلك، تقوم طرق تقليم AR بحماية هذه الرموز صراحةً.
• الفجوة: يجادل المؤلفون بأن هذا الافتراض لا ينطبق على النماذج اللغوية الانتشارية (DLMs). ففي نماذج DLMs، يقوم النموذج بتحديث تسلسل الرموز بأكمله عند كل خطوة انتشار. ويفترض المؤلفون أن مصارف الانتباه في نماذج DLMs هي عابرة وغير مستقرة، حيث يتغير موقعها مع تقدم مسار إزالة الضجيج من تشكيل البنية العالمية عالية الضجيج إلى الصقل المحلي منخفض الضجيج. إن الحفاظ الأعمى على مصارف أسلوب AR في نماذج DLMs قد يؤدي إلى قرارات تقليم غير مثالية، مما يبقي معلمات غير مستقرة لا تساهم في الجودة النهائية.

2. المنهجية: التقليم الواعي بالمصارف (Sink-Aware Pruning)

الطريقة المقترحة، التقليم الواعي بالمصارف، هي استراتيجية تقليم ما بعد التدريب تعمل على تكييف تسجيل الأهمية مع ديناميكيات التوليد الانتشارية. وتتكون من أربع خطوات رئيسية:

أ. تحليل تباين المصارف (Analysis of Sink Variance)

قام المؤلفون أولاً بقياس استقرار المصارف عن طريق تتبع موقع مصارف الانتباه المهيمنة عبر مسار التوليد.

• المقياس: حددوا تباين المصارف (المكاني والزماني).
  • التباين الزماني: يقيس مدى انتقال موقع المصرف عبر خطوات الانتشار.
  • الملاحظة: تُظهر نماذج AR تبايناً زمنياً يقترب من الصفر (المصارف ثابتة). بينما تُظهر نماذج DLMs تبايناً زمنياً أعلى بعدة مراتب قدرية، حيث تنزاح مواقع المصارف بشكل كبير طوال عملية إزالة الضجيج.

ب. تقدير درجة المصرف (Sink Score Estimation)

لتحديد أي المصارف "غير مستقرة" ومرشحة للتقليم، تحسب الطريقة درجة المصرف ($\bar{\phi}$) لكل موقع رمز:

1. تجميع كتلة الانتباه: عند كل خطوة زمنية $t$، يتم حساب إجمالي كتلة الانتباه التي يتلقاها الرمز $j$ عبر جميع الطبقات والرؤوس.
2. كشف المصرف: يُحدد الرمز كمصرف إذا تجاوزت كتلة الانتباه الخاصة به متوسط بقية الرموز بشكل كبير.
3. الدرجة الناعمة (Soft Scoring): تقوم دالة "سيجمويد" (sigmoid) بتحويل هذا الشرط العتبي إلى درجة مصرف ناعمة وقابلة للاشتقاق $\phi_t(j)$.
4. المتوسط: يتم حساب متوسط الدرجات عبر مجموعة من خطوات المعايرة للحصول على تقدير للمصرف ثابت الخطوات $\bar{\phi}(j)$.

ج. إعادة وزن الأهمية (الآلية الجوهرية)

بدلاً من وضع قاعدة ثابتة لـ "الإبقاء" على المصارف، تقوم الطريقة ديناميكياً بـ خفض وزنها أثناء مرحلة تسجيل الأهمية:

• عامل خفض الوزن: يتم حساب عامل $\omega_j = 1 - \bar{\phi}(j)$.
  • إذا كان الرمز عبارة عن مصرف مستقر وعالي التباين (في سياق DLM)، فإن $\bar{\phi}$ تكون عالية، وبالتالي يقترب $\omega$ من الصفر.
  • إذا لم يكن الرمز مصرفاً، فإن $\omega$ يقترب من الواحد.
• قناع التنشيط (Activation Masking): يتم تغيير حجم تنشيطات المدخلات الأصلية $X$ بواسطة $\omega$ لإنتاج تنشيط مقنع $\tilde{X}$:
  $$\tilde{X}_{j,:} = \omega_j \cdot X_{j,:}$$
• التكامل مع التقليم: يحل هذا التنشيط المقنع $\tilde{X}$ محل $X$ القياسي في خوارزميات التقليم الموجودة (تحديداً Wanda و SparseGPT).
  • بالنسبة لـ Wanda: تصبح درجة الأهمية هي $|W_{ij}| \cdot \|\tilde{X}_{\cdot j}\|_2$.
  • بالنسبة لـ SparseGPT: يتم حساب "هيسيان" التجريبي باستخدام $\tilde{X}$، مما يغير تقدير خطأ إعادة البناء لإعطاء الأولوية للمواقع ذات المعنى الدلالي بدلاً من مواقع المصارف العابرة.

3. المساهمات الرئيسية

1. اكتشاف المصارف العابرة: تثبت الورقة أن مصارف الانتباه في نماذج DLMs تختلف جوهرياً عن نماذج AR؛ فهي غير مستقرة زمنياً وتنزاح عبر خطوات الانتشار، مما يتحدى قاعدة "الحفاظ دائماً على المصارف".
2. خوارزمية التقليم الواعية بالمصارف: إطار عمل جديد للتقليم بدون تدريب، يقوم تلقائياً بتحديد وخفض وزن المصارف غير المستقرة في نماذج DLM، مما يسمح بتقليم أكثر عدوانية لمسارات الانتباه الزائدة.
3. التكيف الخاص بالنموذج: يوضح أن استراتيجيات التقليم يجب أن تتماشى مع ديناميكيات التوليد (التكراري السببي مقابل الانتشار التكراري) بدلاً من نقلها بشكل أعمى.

4. النتائج التجريبية

تم تقييم الطريقة على عدة نماذج DLM (مثل LLaDA، Dream، LLaDA-1.5، MMaDA) عبر معايير قياسية (MMLU، ARC، GSM8K، إلخ) ومقارنتها مع نماذج أساسية قوية (Wanda، SparseGPT، Magnitude Pruning).

• مكاسب الأداء: تفوقت طريقة التقليم الواعي بالمصارف باستمرار على النماذج الأساسية القوية أو تساوت معها عبر جميع مستويات التخلخل (25%، 50%، 75%).
• ميزة التخلخل العالي: تظهر التحسينات بشكل أوضح عند التخلخل العالي (50%–75%). عند هذه المستويات، تفشل القواعد الاستدلالية القائمة على AR بشكل كبير، بينما تحافظ طريقة التقليم الواعي بالمصارف على توازن أفضل بين الجودة والكفاءة.
  • مثال: في نموذج LLaDA عند تخلخل بنسبة 75%، حققت طريقة (Sink-Aware Wanda) متوسط دقة بلغ 30.94% مقابل 29.99% لنموذج Wanda القياسي.
• التقليم المهيكل: تحقق الطريقة أيضاً مكاسب متسقة في التقليم المهيكل (إزالة رؤوس أو طبقات كاملة)، مع زيادة الهوامش كلما أصبحت نسب التقليم أكثر عدوانية.
• التعميم: تعمل الطريقة بفعالية عبر خوارزميات التقليم الأساسية المختلفة (Wanda و SparseGPT)، مما يشير إلى أنها تعمل كآلية تصحيح عامة الأغراض.

5. الأهمية

• الرؤية النظرية: تغير هذه الورقة بشكل جذري فهم آليات الانتباه في النماذج التوليدية، حيث تثبت أن "الاستقرار" ليس خاصية عالمية لمصارف الانتباه بل يعتمد على نموذج التوليد (AR مقابل الانتشار).
• الأثر العملي: توفر أداة حاسمة لنشر نماذج DLM. فمن خلال تمكين تقليم أكثر عدوانية دون إعادة تدريب، فإنها تقلل بشكل كبير من تكلفة الاستدلال وبصمة الذاكرة لنماذج DLM، مما يجعلها أكثر قابلية للتطبيق في العالم الحقيقي.
• الاتجاه المستقبلي: تشير إلى أن تقنيات ضغط النماذج المستقبلية يجب أن تأخذ في الاعتبار الطبيعة الديناميكية لعملية التوليد، متجاوزة المقاييس الثابتة للأهمية المستمدة من افتراضات النماذج التكرارية (AR).

ختاماً، تنجح طريقة التقليم الواعي بالمصارف في سد الفجوة بين الديناميكيات الفريدة للنماذج اللغوية الانتشارية والحاجة إلى استدلال فعال، مثبتة أن التخلص من مصارف الانتباه "غير المستقرة" ليس آمناً فحسب، بل هو أمر مفيد لضغط نماذج DLM.