ملخص تقني: تقليم الفائض المعتمد على الموضعية لضغط عمق النماذج اللغوية الكبيرة (LoRP)

1. بيان المشكلة

تعاني النماذج اللغوية الكبيرة (LLMs) القائمة على بنيات "ترانسفورمر" (Transformer) من العمق المفرط وتعدد المعلمات (overparameterization)، مما يؤدي إلى تكاليف حوسبة وذاكرة باهظة أثناء الاستدلال. وبينما يعد التقليم على مستوى الطبقات (العمق) استراتيجية فعالة لتقليل زمن التأخير والذاكرة عبر إزالة كتل "ترانسفورمر" بأكملها، فإن الأساليب الحالية ذات الخطوة الواحدة والخالية من التدريب (one-shot, training-free) تعتمد على افتراضات خاطئة فيما يتعلق بالفائض.

تنقسم الأساليب الحالية عموماً إلى فئتين:

1. الأساليب القائمة على الأهمية المحلية: تقدير الفائض باستخدام درجات الطبقات المنعزلة (مثل تأثير الكتلة - Block Influence).
2. الأساليب القائمة على التشابه المتتالي: تفترض أن الفائض يتركز ضمن مناطق عمق متجاورة.

ومع ذلك، يكشف التحليل التجريبي أن هذه الافتراضات غير كافية؛ إذ إن الفائض بين الطبقات ليس موحداً عبر البنيات المختلفة، بل يمكن أن يكون إما موضعياً (مركزاً في مناطق عمق محددة) أو موزعاً عالمياً (منتشرًا عبر الشبكة بأكملها). وتفشل المبادئ الأولية للتقليم الثابت في مراعاة هذه الاختلافات الهيكلية المعتمدة على البنية، مما يؤدي إلى تدهور دون المستوى الأمثل في الأداء.

2. المنهجية: تقليم الفائض المعتمد على الموضعية (LoRP)

يقترح المؤلفون إطار عمل LoRP، وهو إطار تقليم عمق من خطوة واحدة وخالٍ من التدريب، يتكيف مع الهندسة التمثيلية لكل نموذج لغوي كبير. يتكون سير العمل من خمس مراحل رئيسية:

2.1 قياس التشابه بين الطبقات

باستخدام مجموعة بيانات معايرة صغيرة (128 تسلسلاً من C4)، يقوم LoRP بجمع تنشيطات الحالة المخفية (hidden-state activations) لكل كتلة "ترانسفورمر". ويقوم بحساب مصفوفة تشابه جيب التمام (cosine similarity) بين الطبقات ($S$)، حيث يمثل كل مدخل $S_{ij}$ متوسط تشابه جيب التمام لكل رمز (per-token) بين التمثيلات المدخلة للطبقتين $i$ و $j$.

2.2 درجة الموضعية التمثيلية (RLS)

لقياس الهيكل العالمي للفائض، قدم المؤلفون درجة الموضعية التمثيلية (RLS).

• أولاً، يتم حساب متوسط التشابه خارج القطر العالمي ($\bar{S}_{off}$) عبر جميع أزواج الطبقات.
• تُعرف RLS كالتالي: $RLS(S) = -\log_2(\bar{S}_{off})$.
• التفسير: تشير RLS العالية إلى اضمحلال سريع في التشابه عبر العمق، مما يعني وجود فائض موضعي (الفائض مركز في مناطق محددة). بينما تشير RLS المنخفضة إلى تشابه عالمي قوي، مما يعني وجود فائض موزع (الفائض منتشر عبر الشبكة).

2.3 تجميع الطبقات (Clustering)

بناءً على مصفوفة التشابه $S$ ودرجة RLS، يتم تقسيم الطبقات إلى مجموعات تمثيلية باستخدام التجميع الطيفي (spectral clustering) على مصفوفة التقارب $A = (S + 1)/2$.

• يتم توجيه دقة التجميع بواسطة RLS: تؤدي RLS الأعلى إلى تجميع أخشن (مناطق مركزة)، بينما تشجع RLS المنخفضة على تقسيم أكثر دقة للتعامل مع الفائض الموزع.
• تقوم هذه الخطوة بتجميع الطبقات التي تعالج تمثيلات متشابهة لتدفق المتبقي (residual-stream)، بغض النظر عن تجاورها الفيزيائي.

2.4 التقليم المعتمد على الفائض على مرحلتين

يقوم LoRP بتوزيع ميزانية التقليم ($k$ من الطبقات المراد إزالتها) عبر إجراء من مرحلتين لموازنة التغطية والفائض:

1. المرحلة الأولى: التهيئة الواعية بالتغطية: لمنع انكماش التقليم في مجموعة واحدة، تختار الطريقة الطبقة الأكثر فائضاً والمؤهلة من كل مجموعة لتشكيل مجموعة مرشحة أولية.
2. المرحلة الثانية: تخصيص الفائض المتبقي: يتم تخصيص الميزانية المتبقية بشكل تكراري. في كل خطوة، تحدد الخوارزمية المجموعة ذات الفائض المتبقي الأعلى (متوسط التشابه الزوجي بين الطبقات المؤهلة المتبقية) وتقوم بتقليم الطبقة الأكثر فائضاً داخل تلك المجموعة.

يضمن هذا التخصيص الديناميكي أن البنيات ذات الفائض الموضعي تقوم بالتقليم ضمن المناطق المركزة، بينما تقوم البنيات ذات الفائض الموزع بالتقليم عبر مناطق متعددة.

3. المساهمات الرئيسية

يقدم البحث المساهمات المحددة التالية:

• ملاحظة تجريبية: إثبات أن موضعية التمثيل تختلف بشكل كبير عبر عائلات النماذج اللغوية الكبيرة (على سبيل المثال، تظهر نماذج Qwen تشابهاً موزعاً، بينما تظهر نماذج LLaMA/Mistral فائضاً موضعياً).
• اقتراح مقياس: تقديم درجة الموضعية التمثيلية (RLS)، وهي مقياس بسيط مشتق من التشابه العالمي بين طبقات الحالة المخفية لقياس هذه الظاهرة.
• تصميم إطار العمل: اقتراح LoRP، وهو إطار تقليم من خطوة واحدة وخالٍ من التدريب، يقوم بتجميع الطبقات حسب التشابه التمثيلي ويخصص التقليم بناءً على هيكل الفائض الخاص بالبنية.
• التحقق من الأداء: أظهر أن LoRP يحسن باستمرار مستويات الارتياب (perplexity) ودقة الاستدلال في المهام النهائية (downstream reasoning) عبر عائلات متنوعة من النماذج اللغوية الكبيرة دون الحاجة إلى استعادة ما بعد التقليم أو ضبط دقيق (fine-tuning).

4. النتائج التجريبية

أُجريت التجارب على خمسة نماذج لغوية مفتوحة المصدر (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) باستخدام تسعة اختبارات معيارية للاستدلة صفرية القدرة وثلاث مجموعات بيانات للارتياب (WikiText-2, C4, PTB).

• الارتياب (PPL): حقق LoRP أدنى متوسط ارتياب عبر معظم النماذج وميزانيات التقليم مقارنة بالنماذج المرجعية (ShortGPT, LLM-Streamline, LaCo). كان التحسن ملحوظاً بشكل خاص في نماذج Qwen، حيث فشلت طرق التقليم المتتالي.
• الدقة في المهام النهائية: حافظ LoRP على أداء الاستدلال الصفري بشكل أفضل من الأساليب الحالية. على سبيل المثال، في نموذج Qwen3-8B مع تقليم 7/36 طبقة، حقق LoRP متوسط دقة بلغ 56.65%، متفوقاً على ShortGPT (51.50%) و LaCo (55.82%).
• أنماط التقليم: أكدت عمليات التصور أن LoRP يتكيف مع نمط التقليم الخاص بالنموذج: فهو يزيل الطبقات من المناطق المركزة لنماذج LLaMA/Mistral (RLS عالية) وينشر عمليات الإزالة عبر الشبكة لنماذج Qwen (RLS منخفضة).
• المقارنة مع الطرق التكرارية: بينما حققت الطرق التكرارية مثل Shortened LLaMA أحياناً ارتياباً أقل (بسبب التكيف مع هدف المعايرة)، حافظ LoRP على دقة تعميم أفضل في المهام النهائية، مما يشير إلى قوة أكبر تتجاوز مجموعة المعايرة.

5. الأهمية والادعاءات

يدعي البحث أن الموضعية التمثيلية هي عامل حاسم يعتمد على البنية للتقليم الفعال للعمق. تكمن أهمية هذا العمل في تحويل النموذج من التقييم الثابت أو المتتالي أو المنعزل إلى نهج عالمي مدرك للهندسة.

• ادعاءات متواضعة: يصرح المؤلفون صراحةً بأن نتائجهم تشير إلى أن الفائض هو خاصية مهيكلة للهندسة التمثيلية. هم لا يدعون أن LoRP هو حل عالمي لجميع مهام الضغط، بل هو إطار عمل يحسن الكفاءة من خلال احترام الاختلافات الهيكلية.
• القيود: يقر المؤلفون بأن سياسة التجميع الموجهة بـ RLS الخاصة بهم مستمدة تجريبياً من النماذج التي تم تقييمها. كما يشيرون إلى أن الطريقة الحالية تعتمد على عدد محدد يدوياً من المجموعات ($K$) بناءً على نطاقات RLS، ولا تتضمن بعد عملية استعادة ما بعد التقليم أو الضبط الدقيق. هناك حاجة لعمل مستقبلي للتحقق من التعميم عبر بنيات ونطاقات وطرق تدريب أوسع، وتطوير استراتيجيات آلية بالكامل لاختيار معاملات التجميع.

باخت respect، يوضح LoRP أنه من خلال توصيف وتكييف هيكل الفائض الخاص بكل نموذج لغوي كبير، يمكن تحقيق ضغط عمق أكثر كفاءة دون التضحية بأداء النموذج.