ملخص تقني: الطبقات الشبحية (Ghosted Layers) – محاذاة التنشيط غير المقيدة لاستعادة نماذج LLM المبتورة من الطبقات

1. بيان المشكلة

يعد بتر الطبقات (Layer pruning) تقنية ضغط عملية لنماذج اللغات الكبيرة (LLMs)، حيث تعمل على إزالة كتل "ترانسفورمر" (Transformer decoder blocks) كاملة لتقليل حجم النموذج وتكلفة الاستدلال دون الحاجة إلى نوى (kernels) مخصصة أو تغييرات هيكلية. ومع ذلك، فإن إزالة هذه الكتل يخلق عدم تطابق في تنشيط الحدود (boundary activation mismatch). فالحالة الخفية (hidden state) التي تُمرر إلى الطبقة الناجية التالية تختلف بشكل كبير عن التوزيع الذي كانت الطبقة مدربة أصلاً على معالجته. هذا التحول في التوزيع ينتشر عبر الطبقات اللاحقة، مما يؤدي إلى تدهور كبير في الأداء سواء في درجة الحيرة (perplexity) أو دقة المهام النهائية.

تحاول طرق الاستعادة الحالية التي لا تتطلب تدريباً (training-free) التخفيف من حدة عدم التطابق هذا، لكنها تعاني من قيود هيكلية:

• ReplaceMe: تقوم بتقريب حسابات الكتلة المبتورة عبر تحويل خطي يتم امتصاصه في الأوزان الناجية، لكنها لا تعالج مباشرة عدم تطابق تنشيط الحدود.
• LinearPatch: يستهدف مباشرة عدم تطابق تنشيط الحدود عبر إدراج مؤثر خطي يتم تمثيله كقياس عبر القنوات باستخدام دوران هادامارد (Hadamard-rotated channel-wise scaling). ومن الأهمية بمكان أن هذا التمثيل هو متماثل بالبناء (symmetric by construction)، مما يقيد مساحة البحث في فضاء جزئي صارم من المؤثرات الخطية، ويمنع الطريقة من الوصول إلى الحل الأمثل العالمي لهدف المحاذاة.

يظهر التحليل التجريبي أن هذه الطرق تترك جزءاً كبيراً من خطأ تنشيط الحدود دون تصحيح، مما يشير إلى أن الطبيعة المقيدة لمؤثراتها غير كافية لاستعادة أداء النموذج المبتور بالكامل.

2. المنهجية: الطبقات الشبحية (Ghosted Layers)

يقترح المؤلفون الطبقات الشبحية، وهي وحدة استعادة "قابلة للتوصيل والتشغيل" (plug-and-play) ولا تتطلب تدريباً، تعالج عدم تطابق تنشيط الحدود عبر البحث عن المؤثر الخطي الأمثل غير المقيد.

الصيغة الجوهرية

تصيغ الطريقة الاستعادة كمسألة محاذاة تنشيط. لتكن $X_{pre}$ هي الحالة الخفية المدخلة لأول طبقة مبتورة، و $X_{post}$ هي الحالة الخفية المخرجة لآخر طبقة مبتورة (المدخل للطبقة الناجية التالية) في النموذج الأصلي غير المبتور. الهدف هو إيجاد مؤثر خطي $W$ بحيث يكون $X_{pre}W \approx X_{post}$.

يعرف المؤلفون فجوة تنشيط الحدود كـ $\Delta = X_{post} - X_{pre}$. يعيدون تمثيل المؤثر كـ $W = I + M$، مما يحول الهدف إلى تقليل خطأ إعادة البناء للفجوة:
$$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$$

الحل ذو الصيغة المغلقة (Closed-Form Solution)

على عكس الطرق السابقة التي تعمل على تحسين مساحات جزئية مقيدة، تستنتج "الطبقات الشبحية" حلاً للمربعات الصغرى ذو الحد الأدنى من المعيار (minimum-norm least-squares solution) بصيغة مغلقة عبر الفضاء الكامل للمؤثرات الخطية $\mathbb{R}^{C \times C}$:
$$M^* = X_{pre}^\dagger \Delta$$
حيث $X_{pre}^\dagger$ هو شبه معكوس مور-بنروز (Moore-Penrose pseudoinverse) لتنشيطات ما قبل الحدود. المؤثر النهائي هو $W^* = I + M^*$.

التنفيذ

1. المعايرة (Calibration): يتم تمرير مجموعة صغيرة من المتواليات للمعايرة (مثل 128 متوالية من C4) عبر النموذج الأصل غير المبتور لجمع $X_{pre}$ و $X_{post}$ عبر خطافات أمامية (forward pre-hooks).
2. الحساب: يتم حساب المؤثر الأمثل $M^*$ خارجياً (offline) باستخدام محلل مربعات صغرى منتظم (regularized least-squares solver) أو (SVD) لضمان الاستقرار العددي.
3. النشر: يتم إدراج المؤثر $W^*$ عند حدود البتر عبر خطاف أمامي (forward hook). العملية هي $x_{new} = x W^* = x + x M^*$، حيث يقدر الحد الإضافي $x M^*$ التحديث التدريجي الذي كانت الطبقات المبتورة ستساهم به.

الميزة النظرية

يثبت البحث أن المؤثر الأمثل $W^*$ يحتوي على مكون مضاد للتماثل (anti-symmetric component) جوهري. وبما أن LinearPatch يقصر بحثه على المصفوفات المتماثلة (حيث $W = W^\top$)، فإنه هيكلياً لا يمكنه الوصول إلى هذا المكون المضاد للتماثل. أما "الطبقات الشبحية"، فمن خلال العمل عبر الفضاء غير المقيد، تلتقط هذا المكون، مما يحقق نظرياً الأمثل الحقيقي لهدف المحاذاة.

3. المساهمات الرئيسية

1. صياغة الاستعادة ما بعد البتر: يصيغ المؤلفون الاستعادة كمسألة محاذاة تنشيط ويستنتجون حلها الأمثل ذو الصيغة المغلقة مباشرة من تنشيطات الحدود.
2. الأمثلية غير المقيدة: يثبتون أن هذه الصياغة تنتج أمثلية غير مقيدة تتضمن مكوناً جوهرياً مضاداً للتماثل، وهو أمر لا يمكن الوصول إليه عبر البناءات المتماثلة مثل LinearPatch.
3. وحدة الطبقات الشبحية (Ghosted Layers Module): يقترحون وحدة قابلة للتوصيل والتشغيل ولا تتطلب تدريباً، متوافقة مع أي معيار بتر وأي بنية نموذج. وهي تتفوق باستمرار على النماذج المرجعية السابقة التي لا تتطلب تدريباً عند تساوي تكاليف الاستدلال.

4. النتائج التجريبية

تم تقييم الطريقة عبر عدة هياكل LLM (مثل LLaMA-3-8B، LLaMA-3.1-8B، DeepSeek-R1-Distill-LLaMA-8B، وغيرها في الملحق) واستراتيجيات بتر مختلفة (LLM-Streamline, ShortGPT, Shortened LLaMA).

• الدقة: تحقق "الطبقات الشبحية" باستمرار أعلى دقة متوسطة في الصفر من المعرفة (zero-shot accuracy) أو دقة تنافسية على تسعة اختبارات للمنطق العام (ARC, HellaSwag, WinoGrande, إلخ) مقارنة بالنماذج المرجعية التي لا تتطلب تدريباً. على سبيل المثال، في نموذج LLaMA-3.1-8B مع بتر 7 طبقات، حققت "الطبقات الشبحية" متوسط دقة 60.01%، متفوقة على LinearPatch (Rotate) بنسبة 53.27% و ReplaceMe (LS) بنسبة 59.68%.
• درجة الحيرة (Perplexity): تقلل الطريقة بشكل كبير من درجة الحيرة على WikiText-2 و C4 و Penn Treebank. وفي سيناريوهات البتر الشديد (إزالة 11 طبقة)، تتسع فجوة التحسن عن النماذج المرجعية، حيث تحقق "الطبقات الشبحية" أدنى درجة حيرة في معظم الحالات.
• الكفاءة: رغم حل مصفوفة كاملة $C \times C$، لا تفرض "الطبقات الشبحية" أي تكلفة إضافية على الاستدلال مقارنة بـ LinearPatch. حيث يقوم كلا الطريقتين بدمج عملياتهما في عملية ضرب مصفوفة كثيفة واحدة $C \times C$ عند الحدود. وتؤكد قياسات زمن الاستجلال التجريبية أنهما لا يمكن التمييز بينهما ضمن هوامش الضوضاء.
• الحساسية للمعايرة: الطريقة قوية تجاه حجم مجموعة المعايرة؛ حيث تصل الدقة إلى حالة التشبع مع 32 متوالية فقط، كما أن اختيار مجموعة بيانات المعايرة (C4 مقابل WikiText-2) له تأثير ضئيل على الأداء.
• الضبط الدقيق (Fine-Tuning): حتى عند الجمع مع تقطير المعرفة (knowledge distillation) خفيف الوزن، تحافظ "الطبقات الشبحية" على تفوق في الأداء على متغيرات LinearPatch التي تم ضبطها بدقة، مما يشير إلى أن التهيئة ذات الصيغة المغلقة توفر نقطة انطلاق متفوقة.

5. الأهمية والادعاءات

يزعم البحث أن حل محاذاة تنشيط الحدود عند أمثليتها غير المقيدة كافٍ لاستعادة أداء نماذج LLM المبتورة من الطبقات بشكل كبير دون الحاجة لإعادة التدريب.

تكمن أهمية هذا العمل في إثبات أن تدهور الأداء في النماذج المبتورة ليس مجرد نتيجة لفقدان القدرة الاستيعابية، بل هو نتيجة لتحول في التوزيع يمكن تصحيحه. ومن خلال الانتقال من الفضاءات الجزئية للمؤثرات المقيدة (مثل المصفوفات المتماثلة) إلى الفضاء الكامل للخرائط الخطية، تستعيد "الطبقات الشبحية" المعلومات الهيكلية (تحديداً المكونات المضادة للتماثل) التي فاتتها الطرق السابقة. يوفر هذا النهج حلاً بسيطاً، فعالاً حاسوبياً، وعالي الفعالية لنشر نماذج LLM أصغر ومبتورة مع الحفاظ على قدراتها الأصلية.