💻 computer science

F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

تُعد F-WANDA طريقةً لتقليم النماذج بعد التدريب بضربة واحدة وفعالة في استهلاك الطاقة، وهي تُحسن على WANDA من خلال إعادة تخصيص ميزانيات الاحتفاظ بالنيورونات بناءً على معلومات فيشر التجريبية، مما يحقق أداءً فائقاً للنماذج اللغوية بتكاليف حوسبة أقل بكثير من SPARSEGPT.

المؤلفون الأصليون: Himanshu Mishra (University of British Columbia)

نُشر 2026-08-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Himanshu Mishra (University of British Columbia)

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا عملاقًا، ذكيًا للغاية، يمكنه كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. هذا الروبوت هو "نموذج لغوي كبير" (LLM). لكن هناك مشكلة: هذا الروبوت ضخم جدًا. تشغيل هذا الروبوت يتطلب حواسيب هائلة وكثيرًا من الكهرباء، تمامًا مثل محاولة إمداد مدينة كاملة بالطاقة باستخدام بطارية واحدة. العلماء يبحثون دائمًا عن طرق لتقليص حجم هذه الروبات لتتمكن من العمل على أجهزة أصغر دون أن تفقد ذكاءها.

إحدى الطرق الشائعة لتقليص حجمها تسمى "التقليم" (Pruning). فكر في عقل الروبوت كأنه مكتبة ضخمة من الروابط بين الخلايا العصبية. التقليم يشبه المرور عبر هذه المكتبة ورمي الكتب التي تبدو الأقل أهمية. الهدف هو إبقاء المكتبة صغيرة بما يكفي لتتسع في حقيبة ظهر، ولكن مع بقائها ذكية بما يكفي للإجابة على الأسئلة. ومع ذلك، هناك توازن صعب: إذا رميت الكثير من الكتب "المهمة" بالخطأ، سيبدأ الروبوت في ارتكاب الأخطاء أو يبدو آليًا في حديثه. وإذا كنت حذرًا جدًا بشأن الكتب التي ستُبقي عليها، فإن عملية الفرز ستستغرق وقتًا طويلاً وتستهلك كل طاقتك. تتناول هذه الورقة البحثية هذه المشكلة تحديدًا: كيف يمكن فرز الكتب بسرعة، وبتكلفة منخفضة، ودون فقدان عبقرية الروبوت.

المشكلة: خطأ "المقاس الواحد للجميع"

بدأ الباحثون بالنظر في طريقة شائعة تسمى WANDA. تخيل أن WANDA هو أمين مكتبة يقرر أي الكتب يجب رميها. تنظر WANDA إلى شيئين: مدى "علو صوت" الكتاب (وزنه) ومدى تكرار قراءة الناس له (تنشيط المدخلات). إذا كان الكتاب هادئًا ونادر القراءة، تقوم WADA برمه.

المشكلة هي أن WANDA تطبق نهجًا موحدًا. إنها تعامل كل رف في المكتبة بنفس الطماثل تمامًا. تقرر قائلة: "حسنًا، سأرمي 50% من الكتب على كل رف". ولكن تكمن المشكلة هنا: بعض الرفوف مليئة بأهم الحقائق الخاصة بالروبوت (مثل "باريس هي عاصمة فرنسا")، بينما الرفوف الأخرى مليئة بأشياء مملة ومتكررة. من خلال رمي 50% من الكتب على رف "باريس" لمجرد أنه رف، تقوم WANDA بحذف معرفة الروبوت عن طريق الخطأ.

طريقة أخرى، تسمى SPARSEGPT، تحاول أن تكون حذرة للغاية. فهي تنظر إلى كل كتاب بمفرده، وتحسب بدقة مقدار الألم الذي سيشعر به عقل الروبوت إذا تمت إزالته، ثم تقوم بتعديل الكتب المتبقية بعناية لإصلاح الضرر. هذا يعمل بشكل رائع للحفاظ على ذكاء الروبوت، ولكنه يشبه توظيف فريق من حملة الدكتوراه لفرز المكتبة. إنه يستغرق وقتًا وطاقة هائلين — لدرجة أنه غالبًا ما لا يستحق العناء.

الحل: F-WANDA (أمين المكتبة الذكي)

قدم مؤلف هذه الورقة البحثية F-WANDA، وهو تحديث ذكي للنهج القياسي. لقد أدركوا أنه بدلًا من مجرد النظر إلى مدى علو صوت الكتاب، يجب عليهم أيضًا طرح السؤال: "إلى أي مدى يهتم عقل الروبوت بهذا الرف تحديدًا؟"

لمعرفة ذلك، تقوم F-WANDA بفحص سريع إضافي. إنها تمرر عقل الروبوت عبر اختبار صغير (تمرير خلفي/backward pass) لترى أي الرفوف هي التي تقود إجابات الروبوت فعليًا. إذا كان الرف حاسمًا للحصول على الإجابة الصحيحة، فسيظهر عقل الروبوت إشارة قوية (تسمى معلومات فيشر/Fisher information). أما إذا كان الرف مجرد ضجيج، فستكون الإشارة ضعيفة.

إليك الخدعة السحرية: تستخدم F-WANDA هذه الإشارة لتغيير القواعد.

على رف "باريس" (إشارة عالية): الروبوت يهتم كثيرًا. تقول F-WANDA: "لا ترموا 50% من هذه الكتب! ارموا 20% فقط. نحن بحاجة للاحتفاظ بمعظمها".
على الرف "الممل" (إشارة منخفضة): الروبوت لا يهتم. تقول F-WANDA: "يمكنكم المضي قدمًا ورمي 80% من هذه الكتب. نحن لسنا بحاجة إليها".

بهذه الطريقة، يحافظ الروبوت على أهم حقائقه آمنة بينما يصبح أصغر حجمًا بكثير. والأفضل من ذلك؟ لا تحتاج F-WANDA إلى إعادة تدريب الروبوت أو تحديث أي أوزان. إنها تقوم فقط بفحص سريع واحد ثم تبدأ في التقليم.

ما وجدوه

اختبر الفريق هذه الطريقة على LLAMA-2، وهي عائلة مشهورة من النماذج اللغوية الكبيرة (تحديدًا نسختي 7 مليار و13 مليار معلمة). أرادوا معرفة ما إذا كانت F-WANDA ستتفوق على المنافسين.

الذكاء: عندما قاموا بتقليص النماذج إلى 50% من التخلخل غير المهيكل (أي تم حذف نصف الروابط)، حافظت F-WANDA على ذكاء الروبوت بشكل أكبر بكثير من WANDA الأصلية. في اختبار يسمى MMLU (الذي يقيس المعرفة العامة)، حسنت F-WANDA النتيجة بمقدار 1.6 نقطة مئوية في نموذج 7B و1.4 نقطة مئوية في نموذج 13B مقارنة بـ WANDA. بل إنها تفوقت على طريقة SPARSEGPT فائقة الدقة.
الطلاقة: ظل الروبوت يبدو طبيعيًا. في اختبار يسمى WikiText-2، حصلت F-WANDA على درجة "ارتباك" (perplexity) بلغت 6.85 لنموذج 7B، وهي مطابقة تقريبًا لـ WANDA الأصلية. وهذا يعني أن الروبوت لم يبدأ في الظهور بشكل آلي أو مرتبك.
الطاقة والسرعة: هذا هو المجال الذي تتألق فيه F-WANDA حقًا. استغرقت طريقة SPARSEGPT فائقة الدقة وقتًا طويلًا واستهلكت طاقة كبيرة لتقليم النموذج. كانت F-WANDA أسرع وأرخص بكثير. في الواقع، استخدمت F-WANDA ثلث الطاقة والوقت الذي استخدمته SPARSEGPT. استغرقت حوالي 12 دقيقة لتقليم نموذج 7B على وحدة معالجة رسومات H100 قوية، مستهلكة 4.3 كيلوجول من الطاقة، بينما استغرقت SPARSEGPT 35 دقيقة و12.6 كيلوجول.

المقايضات والحدود

يوضح المؤلف بعناية أن F-WANDA ليست عصا سحرية لكل المواقف.

قواعد الأجهزة (Hardware Rules): إذا كانت شريحة الكمبيوتر تتطلب نمطًا صارمًا من الاحتفاظ بالروابط وإزالتها (مثل الاحتفاظ بـ 2 من كل 4 روابط في كتلة معينة)، فلا يمكن لـ F-WANDA القيام بميزانيتها الذكية. في تلك الحالات المحددة، تعمل ببساطة مثل WANDA الأصلية.
الذاكرة: نظرًا لأن F-WANDA تقوم بذلك الفحص الإضافي السريع، فهي تحتاج إلى قدر أكبر من ذاكرة الكمبيوتر (حوالي الضعف لما تحتاجه WANDA) أثناء عملها. بالنسبة للنماذج الضخمة جدًا (مثل 70 مليار معلمة)، قد يتطلب هذا حيلًا خاصة لتناسب الذاكرة.
التعميم: لقد اختبروها فقط على عائلة LLAMA-2. وهم ليسوا متأكدين بعد مما إذا كانت ستعمل بنفس الطريقة تمامًا على أنواع أخرى من عقول الروبوتات (مثل LLaMA-3 أو Mistral)، رغم أنهم يشتبهون في ذلك.

لماذا يهم هذا الأمر

الخلاصة الكبرى هي أن F-WANDA تقع على "حد الكفاءة الأمثل" (Pareto frontier). وهذه طريقة منمقة للقول إنها أفضل صفقة يمكنك الحصول عليها: تحصل على أعلى جودة (أذكى روبوت) مقابل أقل تكلفة (أقل طاقة ووقت).

من خلال إضافة فحص سريع واحد لمعرفة أي أجزاء من الدماغ تعمل بجد، نجح الباحثون في توفير كمية هائلة من الطاقة مع جعل الروبوت أكثر ذكاءً. إنه تذكير بأنه في بعض الأحيان، لا تحتاج إلى إعادة بناء المكتبة بأكمل لتجعلها أفضل؛ أنت فقط بحاجة لتكون أكثر ذكاءً بشأن الكتب التي سترميها. هذا يجعل من السهل والأرخص تشغيل هذه النماذج القوية من الذكاء الاصطناعي في العالم الحقيقي، مما يساعد في جعل الذكاء الاصطناعي أكثر استدامة للجميع.

ملخص تقني: F-WANDA

بيان المشكلة
يتزايد تقييد نشر النماذج اللغوية الكبيرة (LLMs) بسبب تكاليف الحوسبة والطاقة في جانب الاستدلال. وبينما توفر عملية التقليم ما بعد التدريب بنظام "الدفعة الواحدة" (one-shot) استراتيجية ضغط موفرة للطاقة تتجنب إعادة التدريب أو البيانات المصنفة، إلا أن الطرق الحالية تواجه مقايضة بين الجودة والتكلفة الحسابية.

WANDA (Sun et al., 24) يتميز بكفاءة عالية، حيث يتطلب تمريرة أمامية واحدة فقط، ولكنه يوزع ميزانية التخلخل (sparsity budget) بشكل موحد عبر عصبونات المخرجات. هذا التوحيد يفشل في مراعاة حقيقة أن بعض العصبونات تحمل معرفة واقعية غير متناسبة، مما يؤدي إلى أداء دون المستوى في المهام كثيفة المعرفة.
SPARSEGPT (Frantar and Alestarh, 2023) يحقق جودة أعلى من خلال إجراء مسح للأعمدة بأسلوب "جراح الدماغ الأمثل" (Optimal Brain Surgeon) مع قلب مصفوفة هسيان (Hessian inversion) وتحديثات الأوزان. ومع ذلك، فإن هذا النهج أكثر تكلفة بمقدار مرتبة عشرية من حيث الحوسبة والطاقة، كما أنه دقيق وصعب التنفيذ.

تتمثل العقبة الأساسية المحددة في عدم قدرة WANDA على التمييز بين العصبونات "الحاملة للمعرفة" (التي تدفع الخسارة باستمرار) والعصبونات "الواثقة" (ذات التدرجات القريبة من الصفر) عند توزيع ميزانية التقليم.

المنهجية: F-WANDA
يقدم F-WANDA تعديلاً مباشًناً على WANDA يعيد تخصيص ميزانية التخلخل لكل صف بناءً على معلومات فيشر التجريبية (empirical Fisher information) للنشاطات المسبقة، دون تحديث أي أوزان.

جمع إشارة فيشر: تنفذ الطريقة تمريرة خلفية واحدة إضافية على نفس مجموعة بيانات المعايرة المستخدمة بواسطة WANDA. لكل عصبون مخرج $i$ في طبقة ما، تحسب الطريقة قيمة فيشر القياسية $\bar{\omega}_i$ ، والتي تُعرف بأنها متوسط مربع تدرج الخسارة بالنسبة للنشاط المسبق:
$\bar{\omega}_i = \frac{1}{N} \sum_{t=1}^{N} \left( \frac{\partial L_t}{\partial y_{t,i}} \right)^2$
إعادة تخصيص الميزانية: بدلاً من استخدام إشارة فيشر لإعادة وزن درجة البروز (saliency score) مباشرة (والذي سيكون غير فعال تحت اختيار WANDA بنظام top- $k$ $k$ لكل صف)، يستخدم F-WANDA القيمة $\bar{\omega}_i$ $\overset{ω}{ˉ}_{i}$ لتحديد عدد الأوزان التي سيتم الاحتفاظ بها ( $k_i$ $k_{i}$ ) لكل صف $i$ $i$ .
- العصبونات ذات قيم فيشر العالية (الحساسة للخسارة) تحصل على ميزانية أكبر.
- العصبونات ذات القيم المنخفضة (المشبعة) يتم تقليمها بشكل أكثر عدوانية.
- يتم تقييد التخصيص من خلال هدف التخلخل العالمي ويتم فرضه عبر خوارزمية "ملء الخزان" (water-filling) مع تقريب "باقي أكبر قيمة" لضمان الحصول على أعداد صحيحة دقيقة.
تنفيذ التقليم: لكل صف، تحتفظ الطريقة بأعلى $k_i$ من الأوزان بناءً على درجة بروز WADA الأصلية ( $|W_{ij}| \cdot \|X_j\|^2$ ) وتجعل البقية أصفاراً.
الكفاءة الحسابية: تتطلب الطة تمريرة أمامية واحدة وتمريرة خلفية واحدة على مجموعة المعايرة (128 تسلسلاً من 2048 رمزاً). وهي تتجنب قلب مصفوفة هسيان لكل طبقة وتحديثات الأوزان، مما ينتج عنه تكلفة تقاربية قدرها $O(N \cdot |\theta|)$ ، وهي أقل بكثير من $O(\sum d_{in}^3)$ الخاصة بـ SPARSEGPT.

المساهمات الرئيسية

الابتكار الخوارزمي: تعديل لـ WANDA يستخدم معلومات فيشر التجريبية لإعادة تخصيص ميزانية التخلخل لكل صف، مما يحسن الحفاظ على العصبونات كثيفة المعرفة دون تحديث الأوزان أو بيانات إضافية.
التنفيذ الفعال: مخصص ميزانية دقيق باستخدام خوارزمية "ملء الخزان" يحافظ على هدف التخلخل على مستوى الطبقة مع استيعاب إشارة فيشر.
محاسبة الاستدامة: تقييم صارم لتكاليف التقليم (وقت التنفيذ، ذروة ذاكرة وحدة معالجة الرسومات، والطاقة بالكيلوجول)، مما يثبت أن F-WANDA يقع على جبهة باريتو (Pareto frontier) بين الجودة مقابل طاقة التقليم.
مكاسب الأداء: أدلة تجريبية تظهر تحسينات في الاختبارات المرجعية الثقيلة بالمعرفة مع الحفاظ على الطلاقة.

النتائج التجريبية
تم التقييم على نماذج LLAMA-2-7B و LLAMA-2-13B عند تخلخل غير مهيكل بنسبة 50%:

الجودة: يحقق F-WANDA أدنى درجة تشتت (perplexity) في WikiText-2 بين طرق التقليم (6.85 لنموذج 7B، و 5.93 لنموذج 13B). والأهم من ذلك، أنه يحسن دقة MMLU بنظام 5-shot بمقدار +1.6 نقطة مئوية (pp) على نموذج 7B و +1.4 pp على نموذج 13B مقارنة بـ WANDA. كما يتفوق على SPARSEGPT بمقدار +1.1 pp في MMLU (7B).
الكفاءة: يتسبب F-WANDA في ثلث وقت التقلم وتكلفة الطاقة فقط مقارنة بـ SPARSEGPT. وبينما يتطلب حوالي 2.4 ضعف وقت التقليم الخاص بـ WANDA (بسبب التمريرة الخلفية)، فإنه يظل أرخص بكثير من SPARSEGPT.
الاستدلال: تظل طاقة الاستدلال لكل رمز متطابقة عبر جميع الطرق عند تساوي التخلخل؛ حيث تتحقق التوفيرات بالكامل عند وقت الضغط.
الدراسات الاستقصائية (Ablations): الطريقة قوية تجاه حجم مجموعة المعايرة (مستقرة فوق $N=128$ ). استبدال فيشر التجريبي بمربع متوسط التدرج يؤدي إلى انهيار الأداء إلى مستويات WANDA، مما يؤكد ضرورة إشارة فيشر القائمة على التباين.

الأهمية والادعاءات
يزعم البحث أن F-WANDA يحل المقايضة بين جودة التقليم والتكلفة. من خلال الاستفادة من تمريرة خلفية واحدة لتحديد العصبونات الحساسة للخسارة، فإنه يحول ميزانية WANDA الموحدة إلى تخصيص مستنير بفيشر. وهذا يسمح بـ:

تفوق في حفظ المعرفة: مكاسب كبيرة في MMLU دون الحاجة لضبط دقيق (fine-tuning).
ضغط مستدام: عملية تقليم أكثر كفاءة في استهلاك الطاقة بشكل كبير من الطرق القائمة على هسيان مثل SPARSEGPT، مما يضع الطريقة على جبهة باريتو للنشر المستدام للنماذج اللغوية الكبيرة.
وضوح منهجي: يسلط البحث الضوء على تمييز محدد في كيفية تطبيق معلومات فيشر: كإشارة للميزانية بدلاً من معدل بروز على مستوى الوزن، مما يجعل الجمع مع WANDA قابلاً للتطبيق في تمريرة واحدة.

يشير المؤلف إلى وجود قيود، وتحديداً أن الطريقة تتحول إلى WANDA القياسي في حالة التخلخل الصارم المرتبط بالعتاد (مثل 2:4)، لأن قيود الكثافة لكل كتلة تمنع إعادة تخصيص الميزانية لكل صف. بالإضافة إلى ذلك، يقتصر التقييم حالياً على عائلة LLAMA-2، وتظل قابلية التعميم إلى بنيات أخرى أو دالات تنشيط أخرى مسألة مفتوحة.

المشكلة: خطأ "المقاس الواحد للجميع"

الحل: F-WANDA (أمين المكتبة الذكي)

ما وجدوه

المقايضات والحدود

لماذا يهم هذا الأمر

أبحاث مشابهة