💬 NLP

RCPU: Rotation-Constrained Error Compensation for Structured Pruning of Large Language Models

تقترح هذه الورقة البحثية RCPU، وهي طريقة تقليم مهيكلة للنماذج اللغوية الكبيرة تجمع بين درجة أهمية واعية بالتباين وتعويض خطأ مقيد بالدوران للحفاظ على هندسة المخرجات والتخفيف من فرط التخصيص على بيانات معايرة محدودة، مما يحقق تفوقاً في الحيرة ودقة المهام مقارنة بالنماذج المرجعية الحالية.

المؤلفون الأصليون: Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير، أو LLM)، تعرف كل شيء تقريبًا. لكنها كبيرة جدًا لدرجة أنها تشغل مستودعًا كاملًا وتتطلب فريقًا ضخمًا من أمناء المكتبة لإدارتها. أنت تريد تصغير هذه المكتبة لتناسب رف كتب صغير (مثل هاتف أو كمبيوتر محمول) دون أن تفقد القدرة على الإجابة على الأسئلة بشكل صحيح.

هذه هي مشكلة التقليم (Pruning): وهي قص أجزاء من النموذج لجعل حجمه أصغر.

المشكلة: تأثير "البتر"

فكر في معرفة النموذج كأنها منحوتة ثلاثية الأبعاد معقدة مكونة من آلاف الخيوط المترابطة. عندما تقص مجموعة من الخيوط (التقليم) لتجعلها أصغر، فإن المنحوتة المتبقية لا تكتفي بأن تصبح أصغر فحسب؛ بل غالبًا ما تتأرجح، أو تميل، أو تنهار.

من الناحية التقنية، عندما تزيل أجزاءً من النموذج، فإن "المخرجات" (الإجابات التي يقدمها) تتعطل. الأمر يشبه أخذ صورة، وقص الجانب الأيسى منها، ثم محاولة مط الجانب الأيقي المتبقي لملء الإطار؛ ستبدو الصورة مشوهة.

عادةً، لإصلاح ذلك، يحاول الناس "إعادة تدريب" النموذج أو استخدام رياضيات معقدة لمط الأجزاء المتبقية وإعادتها إلى مكانها. ولكن إليك المشكلة:

إعادة التدريب مكلفة للغاية: ليس لديك الوقت أو المال لإعادة تعليم المكتبة بأكملها.
المط البسيط يفسد الأشياء: إذا قمت بمجرد مط البيانات المتبقية لتناسب العمل، فقد تشوه المعنى عن غير قصد (مثل شد شريط مطاطي حتى ينقطع). يسمى هذا "الفرط في التخصيص" (Overfitting) للكمية الضئيلة من البيانات التي تستخدمها للتحقق من عملك.

الحل: RCPU (البوصلة الدوارة)

ابتكر مؤلفو هذه الورقة البحثية، RCPU، طريقة ذكية لإصلاح التمايل دون مط أو إعادة تعليم.

تخيل أن مخرجات نموذجك هي مجموعة من الأسهم التي تشير إلى اتجاهات محددة. عندما تقص بعض الخيوط، تنحرف الأسهم عن مسارها.

الطريقة القديمة: تحاول مط الأسهم لتصل إلى أهدافها الأصلية. وهذا غالبًا ما يجعل شكلها غريبًا ويفقدها تناسقها.
طريقة RCPU: بدلًا من المط، قم بـ تدوير مجموعة الأسهم بأكملها.

فكر في الأمر مثل البوصلة. إذا أسقطت بوصلة، فإن الإبرة لا تحتاج إلى أن تصبح أطول أو أقصر؛ بل تحتاج فقط إلى تدويرها لتعود وتشير إلى الشمال. تجد RCPU "الدوران" المثالي (دوران رياضي) الذي يعيد محاذاة الأجزاء المتبقية من النموذج مع المكان الذي كان ينبغي أن تكون فيه.

لماذا تعد هذه الطة أفضل؟

تحافظ على الشكل: تدوير جسم ما لا يغير حجمه أو الزوايا بين أجزائه. إنها تحافظ على "هندسة" المعرفة سليمة.
إنها مستقرة: نظرًا لأنك مسموح لك بالدوران فقط، وليس المط، فلا يمكنك تشويه معرفة النموذج عن طريق الخطأ، حتى لو كان لديك قدر ضئيل جدًا من البيانات للتحقق منها.

المكون السري: التقييم "المدرك للتباين"

هناك خدعة واحدة أخرى. قبل أن تبدأ في القص، عليك أن تقرر أي خيوط ستقصها. إذا قصت الخيوط الخطأ، فلن يصلح أي دوران المشكلة.

أدرك المؤلفون أن بعض الخيوط في النموذج تشبه الطرق السريعة الرئيسية (التي تحمل معظم حركة المرور)، بينما البعض الآخر يشبه الشوارع الخلفية الهادئة.

الخطأ: إذا قصت "طريقًا سريعًا" لأنه بدا صغيرًا في لحظة معينة، فإن النظام بأكته ينهار.
إصلاح RCPU: لقد ابتكروا نظام تقييم ينظر إلى مدى "نشاط" وتنوع كل خيط. يتساءلون: "هل يتغير هذا الخيط كثيرًا بناءً على المدخلات، وهل يحمل حركة مرور كثيفة؟"
النتيجة: يضمنون الحفاظ على الطرق السريعة وقص الشوارع الخلفية الهادئة فقط. وهذا يضمن أنه عندما يقومون بـ "إصلاح الدوران" لاحقًا، لا يزال هناك معلومات مهمة كافية للعمل بها.

التشبيه: الأوركسترا

تخيل أوركسترا مكونة من 100 عازف (النموذج الكامل). تحتاج إلى تصغيرها لتصبح فرقة من 70 عازفًا (التقليم).

القص: تطلب من 30 عازفًا المغادرة.
المشكلة: العازفون الـ 70 المتبقون الآن غير متناغمين. الإيقاع مختل، والتناغم مكسور.
الإصلاح السيئ: تطلب من العازفين المتبقين اللعب بصوت أعلى أو بسرعة أكبر لملء الفراغ. ستكون الموسيقى حادة ومشوهة.
إصلاح RCPU:
- الخطوة 1 (التقييم): قبل مغادرة العازفين، تحدد "حافظي الإيقاع" و"قادة اللحن". وتتأكد من عدم طردهم.
- الخطوة 2 (الدوران): بمجرد رحيل الـ 30 عازفًا، لا تطلب من الآخرين اللعب بصوت أعلى. بدلاً من ذلك، قم بـ تدوير الفرقة بأكملها قليلاً إلى اليسار أو اليمين (تدوير) لتصبح متناغمة تمامًا مع رؤية المايسترو الأصلية مرة أخرى.

النتائج

عندما اختبر المؤلفون هذا على نماذج ذكاء اصطناعي شهيرة (Llama-7B و Llama-2-13B):

إجابات أفضل: كانت النماذج المقلمة تجيب على الأسئلة بدقة أكبر بكثير من الطرق الأخرى.
ارتباك أقل: كانت النماذج أقل "حيرة" (Perplexity) تجاه النصوص.
الكفاءة: لم يستغرق الأمر الكثير من قوة الكمبيوتر للقيام بـ "إصلاح الدوران" هذا. لقد كان سريعًا وسهل الإضافة إلى النماذج الموجودة.

باختًا

RCPU هي طريقة ذكية لتصغير نماذج الذكاء الاصطناعي العملاقة. بدلًا من محاولة مط الأجزاء المتبقية لتناسب الحجم (مما يؤدي لكسرها)، تقوم بـ تدوير الأجزاء المتبقية لإعادة محاذاتها، وتتأكد من قص الأجزاء "الهادئة" فقط من النموذج، وترك الأجزاء "الصاخبة" والمهمة دون مساس. إنها تشبه تصغير منحوتة عن طريق تدويرها وتقليم حوافها، بدلاً من ضغطها.

إليك ملخص تقني مفصل لورقة البحث بعنوان "RCPU: تعويض الخطأ المقيد بالدوران للتقليم المهيكل للنماذج اللغوية الكبيرة".

1. بيان المشكلة

تواجه النماذج اللغوية الكبيرة (LLMs) اختناقات كبيرة في النشر بسبب التكاليف الحسابية والذاكرة العالية. يعد التقليم المهيكل (حذف صفوف أو أعمدة كاملة من مصفوفات الأوزان) تقنية فعالة للضغط، ولكنه يتسبب في أخطاء مخرجات لا يمكن تجنبها، خاصة عند المعايرة باستخدام بيانات محدودة.

تواجه النهج الحالية تحديين رئيسيين:

الإفراط في التخصيص (Overfitting) أثناء المعايرة: غالبًا ما يؤدي التوافق المباشر بطريقة المربعات الصغرى (least-squares) لتقليل أخطاء التقليم إلى الإفراط في التخصيص لمجموعات المعايرة الصغيرة، مما يؤدي إلى تعديل الأوزان سابقة التدريب بشكل تدميري وإحداث تشوهات هندسية (توسيع وقص/shearing) في فضاء تمثيل المخرجات.
عدم كفاية تصحيح الخطأ: تعالج التعويضات القائمة على الانحياز البسيط (مثل FLAP) الإزاحات المتوسطة، لكنها تفشل في تصحيح عدم التطابق الاتجاهي المعتمد على المدخلات. ومن ناحه أخرى، فإن التحديثات الخطية غير المقيدة تخاطر بإضعاف قدرات التعميم للنموذج.

المشكلة الجوهرية هي كيفية تعويض أخطاء التقليم مع الحفاظ على البنية الهندسية (الأطوال والضرب الداخلي) لتمثيلات المخرجات الأصلية وتجنب الإفراط في التخصيص في ظل ظروف ندرة البيانات.

2. المنهجية: RCPU

يقترح المؤلفون RCPU (تحديث المعلمات المقيد بالدوران)، وهو إطار عمل مكون من مرحلتين يجمع بين درجة تقليم مدركة للتباين وتحديث معلمات مقيد بالدوران.

أ. تسجيل الأهمية المدرك للتباين (Variance-Aware Importance Scoring)

لضمان فعالية تعويض الدوران، يجب أن تحتفظ الطريقة بالأعمدة التي تساهم أكثر في الاتجاهات الرئيسية للمخرجات. قدم المؤلفون قاعدة تسجيل $\gamma_j$ لكل عمود مدخل $j$ :
$\gamma_j = \|W_{[:,j]}\| \cdot \|X_{[j,:]}\| \cdot \text{Var}(X_{[j,:]})$

المكونات: مقدار الوزن ( $\|W\|$ )، ومقياس تنشيط المدخلات ( $\|X\|$ )، وتباين المدخلات ( $\text{Var}(X)$ ).
التعليل: الأعمدة ذات التباين العالي في التنشيطات هي الأكثر عرضة للمواءمة مع اتجاهات المخرجات المهيمنة. ومن خلال منح الأولوية لهذه الأعمدة، تضمن الطريقة أن الفضاء الفرعي المستبقى يلتقط الإشارة الأساسية اللازمة لاستعادة التوجه.

ب. التعويض المقيد بالدوران (مشكلة بروكروستس المتعامدة)

بعد التقليم، يكون الفضاء الفرعي المستبقى ( $Z = W_K X_K$ ) غير متوافق مع المخرجات الأصلية ( $Y = W X$ ). بدلاً من التحديث الخطي الكامل، يسعى RCPU إلى إيجاد مصفوفة دوران متعامدة $Q$ لمواءمة $Z$ مع $Y$ :
$Q^* = \arg \min_{Q^T Q = I} \| Y - QZ \|_F^2$

الحل: يتم صياغة هذا كـ مشكلة بروكروستس المتعامدة كلاسيكية. يتم اشتقاق الدوران الأمثل عبر تحليل القيم المفردة (SVD) لمصفوفة التغاير المشترك $M = YZ^T = U\Sigma V^T$ ، مما يعطي $Q^* = UV^T$ .
التحديث: يتم تحديث الأوزان المحفوظة كـ $\tilde{W}_K = Q^* W_K$ .
النسخة الموزعة (Scaled Variant): يمكن إضافة عامل توسيع متماثل اختياري $s$ ( $s^* = \text{tr}(\Sigma) / \|Z\|_F^2$ ) لمطابقة الحجم الإجمالي، رغم أن التجارب أظهرت مكاسب طفيفة مقارنة بالدوران الصرف.

ج. المزايا النظرية

الحفاظ على الهندسة: من خلال قصر التحديثات على الدورانات (والتوسيع الاختياري)، تحافظ الططريقة على الزوايا والأطوال النسبية، مما يمنع التشوه الهندسي الشائع في عمليات التوافق غير المقيدة بالمربعات الصغرى.
الاستقرار الإحصائي: درجات الحرية في RCPU أقل بكثير ( $d_{out}(d_{out}-1)/2$ ) مقارًا بتراجع ريدج (Ridge regression) الذي يبلغ ( $d_{out} \sum \frac{\sigma_i^2}{\sigma_i^2 + \lambda}$ )، مما يجعله أقل عرضة للإفراط في التخصيص على مجموعات المعايرة الصغيرة.
لا توجد معاملات فائقة (Hyperparameters): على عكس تراجع ريدج الذي يتطلب ضبط $\lambda$ ، فإن حل الدوران هو حل مغلق (closed-form) ولا يتطلب معاملات فائقة.

3. المساهمات الرئيسية

صياغة مبتكرة: تصيغ الورقة استعادة ما بعد التقليم كمشكلة بروكروستس متعامدة، مقدمةً تحديثًا مقيدًا بالدوران يحافظ على هندسة المخرجات.
التقليم المدرك للتباين: يقترح المؤلفون درجة أهمية جديدة تدمج تباين المدخلات، والتي تحدد بفعالية الأعمدة الحرجة للحفاظ على توجه المخرجات.
كفاءة "التوصيل والتشغيل" (Plug-and-Play): يمكن تطبيق RCPU مباشرة بعد تقليم الأعمدة القياسي (مثل WANDA-sp) دون تغييرات هيكلية أو إعادة تدريب. وهي تضيف عبئًا حسابيًا طفيفًا (يهيمن عليه SVD بحجم $d_{out} \times d_{out}$ ).
تقييم شامل: أظهرت التجارب المكثفة على Llama-7B و Llama-2-13B تحسينات مستمرة على الخطوط المرجعية.

4. النتائج التجريبية

تم تقييم الطريقة على WikiText-2 (الارتباك/Perplexity) و سبعة معايير لفهم اللغة (BoolQ, PIQA, HellaSwag, WinoGrande, ARC-easy, ARC-challenge, OpenBookQA).

الارتباك (PPL):
- تفوق RCPU باستمرار على WANDA-sp (بدون تعويض) و FLAP (تعويض الانحياز) عبر نسب تقليم 10% و20% و30%.
- عند تقليم بنسبة 30% على Llama-7B، حقق RCPU ارتباكًا قدره 16.91 (مقابل 26.20 لـ WANDA-sp و 18.31 لـ FLAP).
- أظهر RCPU متانة حتى مع مجموعات معايرة صغيرة ( $N_{calib}=128$ )، بينما تدهورت طرق المربعات الصغرى غير المقيدة بشكل كبير بسبب الإفراط في التخصيص.
دقة المهام:
- حقق RCPU أعلى متوسط دقة عبر جميع نسب التقليم في كل من Llama-7B و Llama-2-13B.
- لوحظت تحسينات ملحوية في المهام التي تتطلب اتساقًا سياقيًا (HellaSwag, WinoGrande)، مما يشير إلى أن الحفاظ على هندسة التمثيل أمر بالغ الأهمية لهذه المهام.
دراسات الاستئصال (Ablation Studies):
- تطبيق الدوران على كل من إسقاط المخرجات ( $o\_proj$ ) والإسقاط السفلي ( $down\_proj$ ) أعطى أفضل النتائج.
- الطريقة فعالة حاسوبيًا، حيث تستغرد أقل من 10 ثوانٍ لكل طبقة على وحدة معالجة رسومات A100.

5. الأهمية

يعالج RCPU فجوة حرجة في ضغط النماذج اللغوية الكبيرة: كيفية تصحيح الأخطاء دون تدمير المعرفة سابقة التدريب.

الحفاظ على الهندسة: إنه ينقل النموذج من "ملاءمة البيانات" (التي تخاطر بالإفراط في التخصيص) إلى "مواءمة الهندسة"، مما يضمن احتفاظ النموذج المقلّم بالخصائص الهيكلية للنموذج الأصلي.
العملية: لا يتطلب إعادة تدريب، ولا بيانات تدريب إضافية، ولا حسابات معقدة، مما يجعله مناسبًا جدًا لنشر النماذج اللغوية الكبيرة المضغوطة على الأجهزة الطرفية أو في البيئات الحساسة للتكلفة.
الاتجاه المستقبلي: تشير الورقة إلى أن دمج القيود الهندسية في تعويض الخطأ هو مسار واعد لموازنة الاستقرار الإحصائي والكفاءة الحسابية في ضغط النماذج.