🤖 machine learning

CORP: Closed-Form One-shot Representation-Preserving Structured Pruning for Transformers

تقترح الورقة البحثية CORP، وهي طريقة تقليم هيكلي مغلقة الصيغة وذات خطوة واحدة، تقوم بإزالة مكونات الـ MLP والـ attention في نماذج الـ Transformers باستخدام البيانات غير المصنفة فقط وإعادة البناء الأفيني لتحقيق دقة عالية دون الحاجة إلى إعادة التدريب أو الضبط الدقيق.

المؤلفون الأصليون: Boxiang Zhang, Baijian Yang

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Boxiang Zhang, Baijian Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج Transformer) يمكنها الإجابة على الأسئلة، والتعرف على الصور، وكتابة القصص. لكن هذه المكتبة ضخمة لدرجة أنها تشغل مبنى كاملاً، وتتطلب طاقماً هائلاً لتشغيلها، وهي ثقيلة جداً بحيث لا يمكن نقلها إلى شقة صغيرة (مثل هاتف أو كمبيوتر محمول).

تريد تقليص حجم هذه المكتبة لتناسب حقيبة ظهر دون أن تفقد قدرتها على سرد قصص جيدة أو التعرف على القطط. هذا ما يسمى بـ التقليم (Pruning).

المشكلة: نهج "القوة الغاشمة" (Brute Force)

معظم الطرق الحالية لتقليص حجم هذه المكتبات تشبه توظيف فريق من المحررين لقراءة كل كتاب، وتحديد الصفحات التي يجب حذفها، ثم توظيف فريق جديد تماماً من المعلمين لإعادة تعليم المكتبة كيفية العمل مع الصفحات المفقودة. هذا يستغرق وقتاً طويلاً، ويتطلب الكثير من البيانات "المصنفة" (مفاتيح الإجابة)، وغالباً ما يؤدي إلى تعطل المكتبة إذا حذفت الكثير بسرعة كبيرة.

الحل: CORP (الإصلاح بضربة واحدة)

يقترح مؤلفو هذه الورقة البحثية طريقة جديدة تسمى CORP. فكر في CORP كمهندس معماري بارع يمكنه النظر إلى المكتبة، وتحديد ما يجب حذفه، ثم إعادة تصميم الأرفف المتبقية فوراً بحيث تظل الكتب متناغمة ومناسبة تماماً—كل ذلك في تمريرة واحدة، ودون الحاجة إلى أي مفاتيح إجابة أو إعادة تعليم.

إليك كيف تعمل CORP، باستخدام تشبيهات بسيطة:

1. مشكلة "الصفحة المفقودة"

عندما تحذف فصلاً (بُعداً) من كتاب، تصبح القصة مكسورة. النص المتبقي لا يعود منطقياً لأنه كان يعتمد على الجزء المفقود.

الطريقة القديمة: مجرد قطع الصفحة والأمل في أن يستنتج القارئ ما كان موجوداً هناك. (النتيجة: القصة لا تصبح منطقية).
طريقة CORP: تدرك CORP أن الصفحة المفقودة لم تكن عشوائية؛ بل كانت في الواقع مزيجاً يمكن التنبؤ به من الصفحات التي بقيت.

2. المترجم "الأفيني" (لـ MLP)

داخل المكتبة، توجد أقسام (تسمى MLPs) تعالج المعلومات. تنظر CORP إلى الصفحات التي تحتفظ بها وتسأل: "هل يمكنني كتابة صيغة بسيطة تتنبأ بما كانت ستقوله الصفحات المفقودة، بناءً فقط على الصفحات التي احتفظت بها؟"

تستخدم CORP القليل من الرياضيات (تسمى انحدار ريدج - ridge regression) لإنشاء "مترجم". فهي تحسب بالضبط كيف ترتبط الصفحات المحتفظ بها بالصفحات المفقودة. ثم تقوم بـ طيّ (folding) هذا الترجمة مباشرة داخل الأرفف المتبقية.

السحر: لست بحاجة للاحتفاظ بالصفحات المفقودة. أنت فقط تعدل الأرفف المتبقية بحيث "تتحدث" نيابة عن الصفحات المفقودة. تصبح المكتبة أصغر حجماً، لكن القصة تظل كما هي.

3. إصلاح "الانتباه" (للدماغ)

تمتلك المكتبة أيضاً "دماغاً" (آلية الانتباه - Attention mechanism) يقرر أي الكتب يجب أن ينظر إليها معاً. عندما تحذف أجزاءً من هذا الدماغ، تضعف الروابط.
تقوم CORP بشيء مشابه هنا؛ حيث تنظر إلى الروابط التي تم قطعها وتكتشف كيفية تعديل الروابط المتبقية بحيث تظل قادرة على "التحدث" مع بعضها البعض بفعالية. إنها تعيد كتابة خريطة المكتبة بحيث تؤدي المسارات المتبقية إلى نفس الوجهات.

لماذا هذا مميز؟

لا إعادة تدريب: لست بحاجة لإعادة تعليم المكتبة. أنت فقط تقوم بالعمليات الحسابية مرة واحدة على عينة صغيرة من البيانات (مثل النظر إلى بعض الكتب العشوائية لفهم الأسلوب) ثم تقوم بالقص.
لا حاجة لبيانات مصنفة: لست بحاجة لمعرفة "الإجابات الصحيحة" للكتب. تحتاج فقط لرؤية النص.
ضربة واحدة: يحدث هذا في خطوة واحدة. لا يوجد ذهاب وإياب في عملية التحسين (optimization).

النتائج

اختبر المؤلفون هذه الطريقة على مكتبة شهيرة للتعرف على الصور (DeiT).

قاموا بحذف 50% من هيكل المكتبة (نصف الأرفف، ونصف روابط الدماغ).
النتيجة: لا تزال المكتبة تتعرف على الصور بدقة 83.27%.
ميزة إضافية: أصبحت أسرع بكثير (تسريع بمقدار 1.6 مرة) واستخدمت ذاكرة أقل.

كما اختبروا الطريقة على نماذج لغوية (OPT) ونماذج رؤية أخرى (DINOv2)، مما أظهر أن نهج "المهندس المعماري" هذا يعمل جيداً مع أنواع مختلفة من المكتبات، ويحافظ على ذكائها حتى عندما تصبح أصغر بكثير.

باخت-صار

CORP تشبه شعاع التصغير السحري لنماذج الذكاء الاصطناعي. فبدلاً من مجرد حذف الأجزاء والأمل في أفضل النتائج، تقوم بحساب كيفية تغير الأجزاء المتبقية بالضبط لتعويض ما فُقد. وهي تقوم بذلك فوراً، دون الحاجة إلى معلم أو إعادة كتابة، مما يسمح لنماذج الذكاء الاصطناب الضخمة بأن تناسب الأجهزة الصغيرة مع الحفاظ على ذكائها.

ملخص تقني: CORP - التقليم الهيكلي المعتمد على الصيغة المغلقة للحفاظ على التمثيل في خطوة واحدة للنماذج المحولة (Transformers)

1. بيان المشكلة

تحقق النماذج القائمة على المحولات (Transformer-based models) أداءً فائقاً، لكنها تتسبب في تكاليف حوسبة وذاكرة باهظة، مما يعيق نشرها على الأجهزة ذات الموارد المحدودة. وبينما يوفر التقليم الهيكلي (إزالة أبعاد أو هياكل فرعية كاملة) تسريعاً عملياً، تعتمد معظم الطرق الحالية على إعادة التدريب، أو التحسين التكراري، أو الوصول إلى البيانات المصنفة والتدرجات (gradients). وفي سيناريوهات النشر الصارمة بعد التدريب، غالباً ما تكون هذه الموارد غير متوفرة.

يفشل التقليم الهيكلي الساذج في خطوة واحدة (one-shot) تحت هذه القيود لأن إزالة القنوات أو أبعاد الانتباه يؤدي إلى أخطاء منهجية في التمثيل تتراكم عبر الطبقات، مما يؤدي إلى انهيار سريع في الدقة حتى عند مستويات تخلخل (sparsity) متوسطة. ويرى المؤلفون أن هذا الفشل لا ينبع مجرد من جودة ترتيب الأهمية، بل من غياب التعافي الصريح للتمثيل للأجزاء التي تمت إزالتها.

ين 2. المنهجية: CORP

يقترح المؤلفون إطار عمل CORP (التقليم الهيكلي المعتمد على الصيغة المغلقة للحفاظ على التمثيل في خطوة واحدة)، وهو إطار يعيد صياغة التقليم كمسألة تعافٍ للتمثيل. يعمل CORP دون الحاجة إلى تسميات (labels)، أو تدرجات، أو ضبط دقيق (fine-tuning)، مستخدماً فقط مجموعة صغيرة من بيانات المعايرة غير المصنفة.

الفلسفة الجوهرية

بدلاً من النظر إلى التقليم كمجرد مهمة اختيار، يقوم CORP بنمذجة المكونات المزالة كدوال تآلفية (affine functions) للمكونات المتبقية. ويستنتج حلول انحدار ريج (ridge regression) بصيغة مغلقة لتقدير المساهمات المفقودة ودمج هذه التعويضات مباشرة في أوزان الطبقات المتبقية. وهذا يحافظ على توزيع مخرجات الطبقة دون الحاجة إلى تحسين تكراري أو وحدات استدلال إضافية.

المكونات التقنية

تستهدف الطريقة هيكلين أساسيين في النماذج المحولة:

أ. تقليم قنوات الـ MLP

بالنسبة لطبقة MLP المعرفة بـ $y = Wx + b$ ، حيث يتم تقسيم المدخل $x$ إلى قنوات محتفظ بها ( $x_S$ ) وقنوات مقلمة ( $x_P$ ):

النمذجة: يتم تقريب التنشيطات المقلمة $x_P$ كدالة تآلفية للتنشيطات المحتفظ بها: $x_P \approx Bx_S + c$ .
الحل ذو الصيغة المغلقة: يتم اشتقاق المعلمات $(B, c)$ عبر انحدار ريج على مجموعة المعايرة $D$ :
$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$
حيث تمثل $\Sigma$ مصفوفات التغاير (covariance matrices) للتنشيطات.
طي الأوزان (Weight Folding): يتم طي التعويض في الأوزان المتبقية:
$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$
ينتج عن ذلك طبقة خطية قياسية بأبعاد مخفضة تقلل من خطأ إعادة البناء للمخرج الأصلي.

ب. تقليم أبعاد الانتباه (الاستعلام/المفتاح - Query/Key)

بالنسبة للانتباه الذاتي، يقوم CORP بتقليم الأبعاد في إسقاطات الاستعلام ( $Q$ ) والمفتاح ( $K$ )، مع ترك إسقاط القيمة ( $V$ ) سليماً لتجنب مشكلات الاقتران المعقدة.

تعافي اللوجيت (Logit Recovery): لوجيتات الانتباه الأصلية هي $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$ . يتم تقريب الحد $Q_P K_P^\top$ (اللوجيتات المفقودة) باستخدام الفضاءات الفرعية المحتفظ بها: $Q_P K_P^\top \approx Q_S M K_S^\top$ ، حيث $M$ هي مصفوفة تعويض صغيرة.
الحل ذو الصيغة المغلقة: يتم تقدير $M$ عن طريق حل مسألة انحدار ريج على مجموعة المعايرة، والتي تُصاغ كمعادلة سيلفستر (Sylvester equation) أو نظام خطي متجهي:
$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$
طي الأوزان: يتم تحليل المصفوفة $I + M$ عبر تفكيك القيم المفردة (SVD) ( $U\Sigma V^\top$ ) وطيها في إسقاطات الاستعلام والمفتاح:
$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$

استراتيجية الترتيب

قبل التعويض، يقوم CORP بترتيب القنوات/الأبعاد المراد إزالتها باستخدام مقاييس بسيطة تعتمد على البيانات:

MLP: مقياس مشترك لطاقة التنشيط ( $E_i = E[x_i^2]$ ) وحجم الوزن ( $|W_{:,i}|^2$ ).
الانتباه: طاقة اللوجيت المتوقعة ( $s_j = E[\|q_j\|^2 \|k_j\|^2]$ ).
يتم تقليم القنوات ذات الدرجات الأدنى.

3. المساهمات الرئيسية

إعادة صياغة التقليم: نقل المؤلفون التركيز من مجرد "الترتيب" إلى "تعافي التمثيل"، موضحين أن التعويض أمر بالغ الأهمية للحفاظ على الدقة.
إطار عمل ذو صيغة مغلقة: يوفر CORP حلاً موحداً بصيغة مغلقة لكل من تقليم قنوات MLP وتقليم أبعاد Q/K في الانتباه، مما لا يتطلب تدرجات، أو تسميات، أو ضبطاً دقيقًا.
تعويض موحد: على عكس الأعمال السابقة التي قد تعوض مخرجات الكتلة فقط، يقوم CORP بتعافي التمثيل على مستوى الطبقة ويقدم تعويضاً خاصاً لمساحة اللوجيت لأبعاد الانتباه، ويطوي جميع التصحيحات مباشرة في الإسقاطات المختزلة.

4. النتائج التجريبية

أُجريت التجارب على نماذج ImageNet (DeiT و ViT)، و WikiText-2 (OPT-1.3B)، والمهام النهائية (DINOv2 على NYU Depth V2 و ADE20k).

الحفاظ على الدقة:
- DeiT-Huge: يحقق دقة Top-1 بنسبة 83.27% بعد تقليم 50% من كل من هياكل MLP والانتباه (انخفاض قدره ~1.7% فقط عن خط الأساس البالغ 84.97%).
- القابلية للتوسع: تظهر النماذج الأكبر (مثل DeiT-Huge) فائضاً أقوى وقدرة أفضل على الاحتفاظ بالدقة تحت التخلخل الشديد مقارنة بالنماذج الأصغر (مثل DeiT-Tiny).
- المقارنة: يتفوق CORP أو يضاهي الطرق الرائدة مثل GRAIL و SNOWS و VBP. على سبيل المثال، في نموذج DeiT-Base مع تخلخل MLP بنسبة 50%، يحقق CORP دقة Top-1 بنسبة 72.0%، مقارنة بـ 68.6% لـ GRAIL و 66.4% لـ VBP.
- بدون ضبط دقيق: يضاهي CORP أداء DC-ViT (الذي يستخدم الضبط الدقيق لمحاكاة الميزات بعد عدد قليل من الخطوات) دون أي تحديثات للتدرج.
مكاسب الكفاءة:
- DeiT-Huge: عند تخلخل بنسبة 50%، يتم تقليل المعلمات و FLOPs بنسبة ~40–45%، مما يؤدي إلى تسريع الإنتاجية بمقدار 1.6× على بطاقة NVIDIA RTX 3090.
- OPT-1.3B: تقليل 30% من هياكل MLP والانتباه يقلل FLOPs بنسبة 27.2% والمعلمات بنسبة 25.0%، مع ارتفاع طفيف في الـ perplexity (من 14.60 إلى 25.41 للتقليم المشترك).
- المهام النهائية: في DINOv2، يحافظ تقليم الـ backbone بنسبة 50% على الأداء في تقدير العمق (تحسن RMSE من 0.3308 إلى 0.3167 لـ DINOv2-Huge) والتقطيع (segmentation).
كفاءة المعايرة:
- الطريقة قوية تجاه حجم مجموعة المعايرة؛ حيث تظل النماذج الأكبر مستقرة حتى مع مجموعات معايرة صغيرة (مثلاً 1000 عينة).
- يظهر التحليل الزمني أن المعايرة تهيمن على التكلفة، بينما تضيف عملية الترتيب والتعويض بالصيغة المغلقة عبئاً ضئيلاً.

5. الأهمية والادعاءات

يزعم البحث أن CORP يثبت أنه يمكن إجراء التقليم الهيكلي بفعالية في إعداد صارم من خطوة واحدة بعد التدريب عبر معاملته كمشكلة تعافي للتمثيل. وتكمن الأهمية الرئيسية في:

قابلية النشر العملي: يتيح الضغط على الأجهزة حيث يكون إعادة التدريب مستحيلاً بسبب نقص التسميات أو التدرجات.
الرؤية النظرية: يسلط الضم الضوء على أن "الخطأ المنهجي" الناتج عن إزالة المكونات الجمعية هو السبب الرئيسي لانهيار الدقة، وأن التعويض التآلفي/اللوجيتي البسيط يمكنه استعادة هذا الخطأ دون تحسين معقد.
شمولية التطبيق: تظهر الطريقة نتائج قوية عبر نماذج الرؤية (DeiT, ViT, DINOv2) والنماذج اللغوية (OPT)، مما يشير إلى وجود فائض قوي في تمثيلات كل من MLP والانتباه عبر مختلف الوسائط.

يشير المؤلفون بتواضع إلى القيود، بما في ذلك افتراض استقلال تعويض الوحدات (تجاهل التفاعلات بين الوحدات)، واستخدام نسب تخلخل موحدة، وعدم وجود تحسين لتكوين التقليل مع التكميم (quantization). ويذكرون أن الأداء قد يتدهور في ظل تغيرات قوية في التوزيع بين بيانات المعايرة وبيانات النشر.