🤖 machine learning

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

تقدم هذه الورقة البحثية إطار عمل "مشاركة المعلمات دقيقة التفاصيل" (FiPS)، وهو إطار عمل موحد لضغط طبقات "المتعددة الطبقات ذات التغذية الأمامية" (MLPs) في نماذج "المحولات" (Transformers) عبر التحسين المشترك لمشاركة المعلمات عبر الكتل، والتحليل ذي الرتبة المنخفضة، والتناثر، مما يحقق تقليصاً كبيراً في حجم النموذج مع حد أدنى من الفقد في الدقة في كل من "محولات الرؤية" (Vision Transformers) و"النماذج اللغوية الكبيرة" (Large Language Models).

المؤلفون الأصليون: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب (نموذج ذكاء اصطناعي كبير) وهي ذكية للغاية ولكنها تشغل مساحة كبيرة لدرجة أنها لا تتسع على رف كتب عادي (هاتف أو كمبيوتر صغير). تريد تصغير حجم المكتبة دون فقدان القصص الموجودة بداخلها.

لفترة طويلة، حاول العلماء ضغط هذه المكتبات عن طريق مجرد اقتلاع الصفحات (التقليم/Pruning) أو كتابة الكتب بخط أصغر (الكمية/Quantization). لكن هذه الورقة البحثية تقدم استراتيجية جديدة وذكية تسمى FiPS (المشاركة الدقيقة للمعلمات - Fine-grained Parameter Sharing).

إليك كيف يعمل FiPS، مشروحاً من خلال تشبيهات بسيطة:

1. المشكلة: الكثير من الغرف المتطابقة

تخيل نموذج "ترانسفورمر" (Transformer) (مثل تلك التي تشغل نماذج الذكاء الاصطناعي الحديثة) كفندق ضخم يحتوي على العديد من الطوابق المتطابقة. في كل طابق، يوجد "مطبخ" (يسمى طبقة MLP) حيث يتم الطهي.

الطريقة القديمة: عادةً، يحتوي كل طابق على 100 طباخ فريد خاص به، لكل منهم وصفاته الفريدة. ورغم أن الطوابق تبدو متشابهة، إلا أن الطهاة لا يتواصلون مع بعضهم البعض. هذا يسبب هدراً كبيراً في المساحة.
فكرة FiPS: يقول FiPS: "لماذا يحتاج كل طابق إلى 100 طباخ فريد؟ دعونا نوظف رئيس طهاة مشترك (أساس مشترك - shared basis) يعرف الوصفات الجوهرية، ثم نضع بعض المساعدين المحليين (مصفوفات إسقاط متفرقة - sparse projection matrices) في كل طابق لتعديل تلك الوصفات قليلاً بما يناسب ذلك الطابق تحديداً".

2. الخلطة السرية: "رئيس الطهاة المشترك" و"المساعدون المتفرقون"

يقوم FiPS بثلاثة أشياء في آن واحد لتقليص حجم النموذج:

رئيس الطهاة المشترك (تحليل الرتبة المنخفضة - Low-Rank Factorization): بدلاً من 100 طباخ فريد لكل طابق، ينشئ FiPS "رئيس طهاة مشترك" واحداً يعرف التقنيات الأساسية. هذا الطاهي يتم مشاركته عبر مجموعة من الطوابق.
المساعدون المتفرقون (التفرّق - Sparsity): المساعدون المحليون في كل طابق ليسوا بحاجة لمعرفة كل وصفة يعرفها رئيس الطهاة. هم يحتاجون فقط لمعرفة القليل من الوصفات المحددة لتحضير الطبق لذلك الطابق. يجبر FiPS هؤلاء المساعدين على أن يكونوا "متفرقين"، مما يعني أنهم يحتفظون فقط بالروابط الأساسية ويتجاهلون الباقي. الأمر يشبه إعطاء مساعد قائمة طعام تحتوي على 3 أصناف فقط بدلاً من 100.
العمل الجماعي (المشاركة عبر الكتل - Cross-Block Sharing): يقوم FiPS بتجميع هذه الطوابق معاً. إنه ينظر إلى رئيس الطهاة والمساعدين لمجموعة كاملة من الطوابق ويحدد أفضل طريقة لمشاركة عبء العمل بحيث يعمل الفندق بأكهمل كفاءة.

3. كيف بنوه (عملية الإنشاء)

لم يقم الباحثون بالتخمين فحسب؛ بل استخدموا أداة رياضية تسمى SVD (تفكيك القيم المفردة - Singular Value Decomposition) لإيجاد "رئيس الطهاة" تلقائياً.

تخيل أخذ جميع الوصفات من مجموعة من الطوابق، وخلطها معاً، وإيجاد المكونات الأكثر شيوعاً وجوهرية.
ثم قاموا بتعيين هذه المكونات لرئيس الطهاة.
وأخيراً، قاموا بتدريب المساعدين المحليين لاستخدام مكونات محددة فقط يحتاجونها، مع التخلص من الباقي (التقليم).

4. النتائج: أصغر، أسرع، ولا يزال ذكياً

اختبر الباحثون هذا النموذج على نوعين من الذكاء الاصطناعي:

نماذج رؤية الترانسفورمر (ViTs): وهي نماذج ذكاء اصطناعي تنظر إلى الصور.
- النتيجة: صغروا حجم النموذج بنسبة تصل إلى 33% (وإلى 57% مع القليل من الضبط الإضافي) دون أن ينسى الذكاء الاصطناعي كيفية التعرف على الأشياء. إنه يشبه تقليص حجم حقيبة سفر بمقدار الثلث مع الاحتفاظ بكل ملابسك بداخلها.
النماذج اللغوية الكبيرة (LLMs): وهي نماذج ذكاء اصطناعي تكتب وتتحدث.
- النتيجة: صغروا هذه النماذج بنسبة 20% وجعلوها أكثر ذكاءً من طرق التصغير الأخرى.
- "الخدعة السحرية": عندما دمجوا FiPS مع تقنية تسمى "الكمية" (Quantization) (كتابة الأرقام بشفرة أكثر إيجازاً)، حققوا ضغطاً بمقدار 8 أضعاف (جعلوا النموذج أصغر بـ 8 مرات) مع الحفاظ على مهارات اللغة للذكاء الاصطناعي بشكل أفضل بكثير مما لو استخدموا الضغط وحده.

5. لماذا هذا مهم؟

تزعم الورقة أن FiPS هي طريقة عملية، "جاهزة للاستخدام" (plug-and-play) لجعل نماذج الذكاء الاصطناعي الكبيرة صغيرة بما يكفي لتعمل على أجهزة مثل الهواتف أو أجهزة الكمبيوتر المحمول دون فقدان ذكائها. إنها تثبت أنه من خلال مشاركة "القدرة الذهنية" (المعلمات) بين أجزاء مختلفة من الذكاء الاصطناعي، ومن خلال كوننا انتقائيين جداً في المعلومات التي نحتفظ بها (التفرّق)، يمكننا بناء ذكاء اصطناعي فعال لا يحتاج إلى حاسوب خارق ليعمل.

باختصار: FiPS تشبه إدراك أنه بدلاً من حاجة كل غرفة في المنزل إلى مجموعة كاملة من الأدوات الخاصة بها، يمكنك امتلاك صندوق أدوات مشترك في الممر وبعض الأدوات المحددة فقط في كل غرفة. سيعمل المنزل بنفس الكفاءة، لكنه سيشغل مساحة أقل بكثير.

ملخص تقني: مشاركة المعلمات دقيقة الحبيبات عبر تفكيك التنسور المتناثر (FiPS)

بيان المشكلة

تحقق الشبكات العصبية الضخمة، وخاصة نماذج المحولات (Transformers)، أداءً هو الأفضل في فئته، لكنها تواجه عوائق كبيرة أمام النشر على الأجهزة ذات الموارد المحدودة بسبب حجمها الهائل. وبينما توجد تقنيات ضغط متنوعة (مثل التكميم، والتقطير، وتفكيك التنسور)، تظل مشاركة المعلمات عبر الطبقات (cross-layer parameter sharing) مجالاً غير مستكشف نسبياً لنماذج المحولات. تعتمد الطرق الحالية غالباً على مشاركة كتل كاملة (مثل ALBERT)، مما يقيد القدرة التمثيلية، أو تعتمد على معاملات كثيفة للمشاركة، مما يحد من كفاءة الضغط. هناك حاجة إلى طريقة تقلل عدد المعلمات بشكل كبير مع الحفاظ على مرونة تمثيلية عالية وفقدان أدنى في الدقة.

المنهجية: مشاركة المعلمات دقيقة الحبيبات (FiPS)

إن FiPS هو إطار عمل موحد مصمم لضغط طبقات "المدركات متعددة الطبقات" (MLPs) في نماذج المحولات عبر الجمع بين مشاركة المعلمات عبر الكتل، والتفكيك منخفض الرتبة، والتناثر في عملية تحسين واحدة.

الآلية الجوهرية

تعمل هذه الطريقة بناءً على ملاحظة أن طبقات MLP في المحولات تتكون من كتل متكررة ومتجانسة ذات طبقات متصلة بالكامل (FC) لها نفس الشكل تماماً. بدلاً من تعلم أوزان مستقلة لكل طبقة، يقوم FiPS بما يلي:

دمج (Concatenates) مصفوفات الأوزان ( $W_1, \dots, W_N$ ) من مجموعة من $N$ من كتل المحول على طول بُعد المخرجات (المحور الطويل).
تفكيك (Factorizes) هذا التنسور المدمج إلى أساس مشترك $U \in \mathbb{R}^{d \times r}$ ومصفوفات إسقاط متناثرة خاصة بكل طبقة $V_i \in \mathbb{R}^{r \times p}$ .
إعادة بناء (Reconstructs) الأوزان الأصلية كـ $W'_i = U V_i$ .

المكونات التقنية الرئيسية

التهيئة (Initialization): يتم تهيئة الأساس المشترك $U$ ومصفوفات الإسقاط $V_i$ عبر تفكيك القيم المفردة المقطوع (SVD) للأوزان المدمجة. إذا تجاوز الرتب المستهدفة $r$ بُعد النموذج $d$ (بسبب ميزانيات المعلمات العالية)، يتم استخدام "تهيئة هجينة": حيث تُضبط الأبعاد الجديدة في $U$ إلى الصفر، وتُشتق الأبعاد المقابلة في $V$ من المتجهات المفردة العليا مع تطبيق عامل تخميد $\tau$ للسماه بالتعلم التدريجي.
تحفيز التناثر (Sparsity Induction): الاستنتاج الحاسم للورقة البحثية هو أن فرض التناثر على مصفوفات الإسقاط $V$ أمر ضروري. على عكس الطرق التي تستخدم معاملات كثيفة، يقوم FiPS بتقليم القيم ذات المقدار المنخفض في $V$ . وقد وُجد أن مستوى التناثر الأمثل هو حوالي 75%، خاصة عند تطبيقه على مصفوفة العامل الأكبر.
استراتيجية التحسين (Optimization Strategy):
1. التهيئة المشتركة: تفكيك SVD للأوزان المدمجة.
2. تقليل الخطأ المحلي: باستخدام مجموعة بيانات معايرة صغيرة، يتم تحسين $U$ و $V_i$ لتقليل خطأ إعادة البناء $\ell_2$ بين التنشيطات الأصلية والمضغوطة. يتم فرض التناثر عبر التقليم التدريجي للمقدار (GMP).
3. تقليل الخطأ العالمي (اختياري): مرحلة ضبط دقيق (Fine-tuning) شاملة باستخدام التدريب المتناثر الديناميكي (RigL) لاستعادة الأداء عند نسب ضغط أعلى.
استراتيجية التجميع (Grouping Strategy): تحدد الورقة أن الطبقات المتجاورة تشترك في أكبر قدر من التكرار. يتحقق الأداء الأمثل من خلال تجميع الكتل المتتالية (على سبيل المثال، مجموعات من 4 لنموذج DeiT-B) واستخدام استراتيجية تجميع "متدرجة" لنماذج LLM (مجموعات أصغر عند أطراف الشبكة، وأكبر في المنتصف).

المساهمات الرئيسية

التحليل المنهجي للمشاركة عبر الكتل: استكشف المؤلفون بشكل منهجي دقة المشاركة، ومخططات الدمج، وأنماط التناثر، وخلصوا إلى أن الدمج على طول المحور الطويل والتناثر على عوامل الإسقاط ينتجان أدنى خطأ في إعادة البناء.
خوارزمية FiPS: خوارزمية مبتكرة تهيئ عبر SVD وتحسن بشكل مشترك أساساً مشتركاً وإسقاطات متناثرة خاصة بكل طبقة. وهي تتميز بدمج التفكيك منخفض الرتبة مع التناثر على عوامل الإسقاط بدلاً من الأساس.
نتائج ضغط رائدة (State-of-the-Art):
- نماذج المحولات الرؤيوية (ViTs): تضغط نماذج DeiT-B و Swin-L بنسبة تصل إلى 33% مع فقدان أقل من 1% في دقة Top-1 على ImageNet-1k. ومع الضبط الدقيق، يصل الضغط إلى 57%.
- نماذج اللغات الكبيرة (LLMs): تضغط نماذج Llama-7B و Llama-3.1-8B بنسبة تصل إلى 20%، متفوقة على القواعد المرجعية القائمة على SVD (مثل ASVD، SVD-LLM، SVD-LLM V2) في اختبارات الارتياب (Perplexity) والاختبارات النهائية.
- التآزر مع التكميم (Quantization Synergy): عند الجمع مع التدريب الواعي بالتكميم (QAT)، يحقق FiPS بـ 3-بت على نموذج Gemma-2-2B نفس الضغط (8×) الذي يحققه QAT بـ 2-bit وحده، ولكن مع ارتياب أقل بكثير (35.43 مقابل 41.86).
الكفاءة العتادية: تدعم الطريقة التناثر المهيكل (مثل أنماط 2:4)، مما يسمح بتحسينات ملموسة في سرعة الاستدلال (1.31× على NVIDIA A4000) وتقليل الذاكرة (0.79× في ذروة VRAM) دون تدهور كبير في الدقة.

النتائج

أداء ViT: على ImageNet-1k، يتفوق FiPS باستمرار على القواعد المرجعية مثل AFM و GFM عبر مختلف ميزانيات المعلمات (10% إلى 75%). على سبيل المثال، عند ميزانية معلمات بنسبة 40%، يحقق FiPS دقة 81.69% على DeiT-B، متفوقاً على GFM (81.28%) رغم أن GGF يتطلب تكلفة حوسبية أعلى.
أداء LLM: على مجموعات بيانات WikiText-2 و C4، يحقق FiPS أدنى ارتياب بين طرق التفكيك عند ضغط 20%. كما يظهر قدرات فائقة في التعلم الانتقالي على CIFAR-100 و Flowers102 وغيرها من معايض الرؤية مقارنة بـ GFM.
دراسات الاستئصال (Ablation Studies): تؤكد الورقة أن:
- التناثر على مصفوفة الإسقاط $V$ أمر بالغ الأهمية؛ حيث تنهار القواعد المرجدة الكثيفة عند ميزانيات المعلمات المنخفضة.
- التهيئة عبر SVD تتفوق على التهيئة العشوائية.
- التقليم العالمي (تخصيص المعلمات تكيفياً عبر الطبقات) يعطي نتائج أفضل من التقليم المحلي.
- مستوى تناثر 75% هو الأمثل لمصفوفات الإسقاط.

الأهمية والادعاءات

تثبت الورقة أن مشاركة المعلمات دقيقة الحبيبات هي نهج عملي وفعال لضغط طبقات MLP في المحولات. ويدعي المؤلفون أن FiPS متعامد (Orthogonal) مع تقنيات الضغط الأخرى مثل التدريب الواعي بالتكميم (QAT) و LoRA، مما يعني إمكانية دمجه معها لتحقيق مكاسب إضافية.

تكمكمن الأهمية في إثبات أن مشاركة المعلمات عبر الطبقات لا تتطلب التضحية بالقدرة التمثيلية إذا تم ذلك باستخدام أساس مشترك وإسقاطات قابلة للتعلم ومتناثرة. تقدم هذه الطة بديلاً تنافسياً للاستراتيجيات الحالية، محققة ضغطاً كبيراً (يصل إلى 57% في ViTs و 20% في LLMs) مع أدنى فقد في الأداء، مما يسهل نشر النماذج الكبيرة على الأجهزة ذات الموارد المحدودة. وتبرز الطريقة بشكل خاص لعدم اعتمادها على التقطير أو إشارات الإشراف المساعدة، بل بالاعتماد بدلاً من ذلك على تقليل خطأ إعادة البناء على مستوى الكتل.