💬 NLP

WISCA: A Lightweight Model Transition Method to Improve LLM Training via Weight Scaling

تقترح الورقة البحثية WISCA، وهي طريقة خفيفة الوزن لتقليص الأوزان تعمل على إعادة تحجيم معاملات الشبكة العصبية استراتيجيًا لتحسين أنماط الأوزان وتعزيز تقارب وتعميم تدريب النماذج اللغوية الكبيرة دون تغيير بنية النموذج.

المؤلفون الأصليون: Jiacheng Li, Jianchao Tan, Zhidong Yang, Pingwei Sun, Feiye Huo, Jiayu Qin, Xiangyu Zhang, Maoxin He, Yerui Sun, Yuchen Xie, Guangming Tan, Weile Jia, Xunliang Cai, Tong Zhao

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiacheng Li, Jianchao Tan, Zhidong Yang, Pingwei Sun, Feiye Huo, Jiayu Qin, Xiangyu Zhang, Maoxin He, Yerui Sun, Yuchen Xie, Guangming Tan, Weile Jia, Xunliang Cai, Tong Zhao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري ولكنه أخرق قليلاً (نموذج ذكاء اصطناعي) كيفية حل الألغاز المعقدة. لديك كتاب مدرسي مثالي (البيانات)، وتعرف تماماً كيف تقيمه (دالة الخسارة). ولكن مهما حاولت، يستمر الطالب في التعثر في "طرق مسدودة" أو اتخاذ أكثر المسارات تعقيداً وإرهاقاً للوصول إلى الحل. في النهاية يصل إلى الإجابة، لكنه يكون متعباً، مشوشاً، وعرضة لارتكاب أخطاء سخيفة عند مواجهة ألغاز جديدة لم يسبق له رؤيتها.

هذه هي المشكلة التي يحاول بحث WISCA حلها.

إليك تفصيل بسيط لما فعلوه، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: "المنحدر الحاد" مقابل "المنحدر اللطيف"

في عالم تدريب الذكاء الاصطناعي، تخيل أن "الإجابة المثالية" هي وادٍ في أسفل جبل.

الطريقة القديمة: أحياناً، تضع عملية التدريب الذكاء الاصطناعي في أخدود ضيق وحاد. إنه وادٍ عميق، لذا يعتقد الذكاء الاصطناعي: "رائع، لقد وجدت القاع!" ولكن لأن الجدران شديدة الانحدار والضيق، فإن أي نسمة هواء بسيطة (تغيير طفيف في البيانات) قد تقذف بالذكاء الاصطناعي خارج الوادي فوراً. هذا ما يسمى بـ "الحد الأدنى الحاد" (Sharp Minimum). هنا يتعلم الذكاء الاصطناعي بيانات التدريب بشكل مثالي، لكنه يفشل فشلاً ذريعاً في الاختبارات الواقعية.
الهدف: نريد للذكاء الاصطناعي أن يجد مرجاً واسعاً ومسطحاً في أسفل الجبل. هنا، حتى لو هبت نسمة هواء، سيبقى الذكاء الاصطناعي في مكانه. هذا هو "الحد الأدنى المسطح" (Flat Minimum). وهو يتميز بقدرة أفضل على التعميم والمتانة.

2. السر المكنون: "النماذج المتكافئة"

أدرك المؤلفون شيئاً مذهلاً: هناك طرق عديدة مختلفة لترتيب تروس الذكاء الاصطناعي الداخلية (الأوزان) لإنتاج النتيجة نفسها تماماً.

فكر في الأمر مثل الوصفة:

الوصفة (أ): كوبان من الدقيق، كوب واحد من السكر.
الوصفة (ب): 4 أكواب من الدقيق، كوبان من السكر.

إذا ضاعفت كل شيء في الوصفة، سيكون طعم الكعكة هو نفسه تماماً. "النكهة" (المخرج) متطابقة، لكن "المكونات" (الأوزان) مختلفة. في الرياضيات، تسمى هذه النماذج المتكافئة.

عادةً، عندما يتدرب الذكاء الاصطناعي، فإنه يتخبط عشوائياً حتى يجد وصفة تعمل. وقد يعلق بوصفة "خرقاء" (حد أدنى حاد) يصعب تعديلها لاحقاً.

3. الحل: WISCA (إعادة قياس الأوزان)

WISCA يشبه "مساعد طباخ" ذكي يتدخل أثناء عملية الطهي.

بدلاً من ترك الذكاء الاصطناعي يتخبط بعشوائية، يقول WISCA: "مهلاً، أنت تستخدم حالياً وصفة غير متوازنة نوعاً ما. دعنا نستبدلها بوصفة مطابقة رياضياً ولكنها أكثر سلاسة وأسهل في التعامل معها، دون تغيير طعم الكعكة على الإطلاق."

كيف يفعل ذلك؟
في عقل الذكاء الاصطناعي (تحديداً في آلية "الانتباه" - Attention)، هناك جزآن رئيسيان يتحدثان مع بعضهما البعض: الاستعلام (Query) (ما تبحث عنه) والمفتاح (Key) (ما تطابق معه).

تخيل أن الاستعلام هو مغناطيس ضخم والمفتاح هو قطعة معدنية صغيرة. إنهما يعملان، لكن المغناطيس ثقيل جداً، مما يجعل الحركة متقطعة.
يقول WISCA: "لنصغر حجم المغناطيس ونكبر حجم القطعة المعدنية، مع الحفاظ على إجمالي قوة 'الجذب' كما هي تماماً."

من خلال إعادة قياس هذه الأرقام (الأوزان) صعوداً وهبوطاً بطريقة محددة، ينقل WISCA الذكاء الاصطناعي من "مسار صخري متعرج" إلى "طريق سريع سلس ومسطح".

4. لماذا يعد هذا أمراً هاماً؟

يظهر البحث أن هذه "اللمسة" البسيطة (التي لا تتطلب أي قدر إضافي من الحوسبة ولا تتطلب أي تغييرات في بنية الذكاء الاصطناعي) تؤدي إلى تحسينات هائلة:

تعلم أسرع: يتوقف الذكاء الاصطناعي عن الدوران في دوائر ويجد الحل بشكل أسرع.
ذكاء أفضل: يصبح الذكاء الاصطناعي أفضل في تخمين الإجابات التي لم يرها من قبل (التعلم الصفري - Zero-shot learning).
يعمل في كل مكان: يعمل على أنواع مختلفة من بنيات الذكاء الاصطناعي، بما في ذلك نماذج "الانتباه مع استعلام مجمع" (GQA) الجديدة والشائعة، وحتى عند ضبط النماذج بدقة (Fine-tuning) بميزانية ضئيلة (LoRA).

ملخص التشبيه

تخيل أنك تقود سيارة إلى وجهة ما.

التدريب العادي: أنت تقود على طريق ترابي ضيق ومتعرج. تصل إلى وجهتك، لكن نظام التعليق في سيارتك قد تلف، وتصل وأنت منهك.
WISCA: في منتصف الطريق، يقوم ميكانيكي سحري باستبدال نظام التعليق والإطارات بمجموعة تناسب الطريق تماماً. الوجهة هي نفسها، والسيارة هي نفسها، ولكن الآن أنت تنزلق على طريق سريع سلس. تصل بشكل أسرع، مع استهلاك أقل للسيارة، وتكون جاهزاً للقيادة في أي مكان آخر فوراً.

الخلاصة

WISCA هو خدعة ذكية وخفيفة الوزن تخبر الذكاء الاصطناعي: "أنت تفعل الشيء الصحيح، لكن توازنك الداخلي مختل. دعنا نصلح وضعية جسدك لتتمكن من الركض بسلاسة أكبر، وسرعة أكبر، وبذكاء أكبر." إنه ترقية منخفضة التكلفة وعالية العائد للجيل القادم من الذكاء الاصطناعي.

إليك ملخص تقني مفصل لورقة البحث: "WISCA: طريقة انتقال الأوزان خفيفة الوزن لتحسين تدريب النماذج اللغوية الكبيرة عبر تغيير مقياس الأوزان."

1. بيان المشكلة

تحدد الورقة عقبة حرجة في تدريب النماذج اللغوية الكبيرة (LLMs): وهي أنماط الأوزان (توزيع الأحجام النسبية للمعاملات) غير المثالية التي تؤدي إلى التقارب في النقاط الدنيا الحادة (sharp minima) ضمن مشهد الخسارة (loss landscape).

النقاط الدنيا الحادة مقابل النقاط الدنيا المسطحة: النماذج التي تتقارب نحو نقاط دنيا حادة تظهر قدرة ضعيفة على التعميم لأنها تكون حساسة للغاية للتقلبات الصغيرة في الأوزان والبيانات الشاذة. في المقابل، النماذح الموجودة في نقاط "مسطحة" (flat minima) تتمتع بقدرة أفضل على التعميم.
القيود الحالية: لا تقوم طرق التحسين الحالية (مثل التغييرات الهيكلية أو تعديلات المحسن مثل AdamW) بتحسين أنماط الأوزان بشكل منهجي أثناء التدريب. فهي غالبًا ما تقع في مسارات تقارب وعرة، مما يؤدي إلى تقارب مبكر في حلول دون المستوى الأمثل.
الفجوة: هناك نقص في طريقة خفيفة الوزن، ومستقلة عن البنية المعمارية، لتشكيل مسار التدريب ديناميكيًا نحو نقاط دنيا أكثر تسطحًا دون تغيير المخرجات الوظيفية للنموذج أو هيكله.

2. المنهجية: WISCA

يقترح المؤلفون WISCA (تغيير مقياس الأوزان لانتقال النموذج)، وهي طريقة تستفيد من مفهوم النماذج المتكافئة لتوجيه عملية التدريب نحو تكوينات أوزان أفضل.

أ. الأساس النظري: نظرية النموذج المتكافئ

التعريف: يكون النموذجان "متكافئين" إذا تشاركا في نفس البنية وأنتجا مخرجات متطابقة لجميع المدخلات، رغم اختلاف تكوينات الأوزان الداخلية ( $\theta_1 \neq \theta_2$ ).
الاستراتيجية: يمكن لعملية التدريب الانتقال من نقطة فحص (checkpoint) حالية إلى نموذج مكافئ يقع في منطقة "أكثر تسطحًا" في مشهد الخسارة. هذا الانتقال يحافظ على أداء المهمة مع تحسين ديناميكيات التحسين.
التبرير الرياضي: تثبت الورقة (النظرية 1) أن النماذج في النقاط الدنيا الحادة لديها خسارة تحقق (validation loss) متوقعة أعلى بسبب كون أثر مصفوفة هسيان (Hessian matrix) أكبر مقارنة بالنقاط الدنيا المسطحة.

ب. خوارزمية WISCA

تنفذ WISCA استراتيجية تغيير المقياس لضبط الأوزان مع الحفاظ على الضرب الرياضي للعمليات (التكافؤ الوظيفي). يتم تطبيقها بشكل أساسي على آليات الانتباه (attention mechanisms) في الـ Transformer والطبقات الخطية.

الآلية الجوهرية (الانتباه الذاتي - Self-Attention):
في آلية الانتباه $QK^T$ ، يكون مشهد الخسية في أكثر حالاته تسطحًا عندما يكون $Q = K$ . تقوم WISCA بإعادة تغيير مقياس مصفوفات الاستعلام ( $W_q$ ) والمفتاح ( $W_k$ ) لفرض تساوي قيم $L_1$ -norms مع الحفاظ على حاصل ضربهما:
$W'_q = W_q \cdot \sqrt{\frac{\|W_k\|_1}{\|W_q\|_1}}, \quad W'_k = W_k \cdot \sqrt{\frac{\|W_q\|_1}{\|W_k\|_1}}$
هذا يضمن أن $W'_q W'^T_k = W_q W^T_k$ ، مما يحافظ على درجات الانتباه (attention scores).
إسقاط المخرجات (Output Projection):
وبالمثل، بالنسبة لإسقاطات القيمة ( $W_v$ ) والمخرجات ( $W_o$ )، تقوم WISCA بموازنة مقاييسهما:
$W'_v = W_v \cdot \sqrt{\frac{\|W_o\|_1}{\|W_v\|_1}}, \quad W'_o = W_o \cdot \sqrt{\frac{\|W_v\|_1}{\|W_o\|_1}$
التكيف مع بنيات محددة:
- الانتباه متعدد الرؤوس المجمعة (GQA): في GQA، تتشارك رؤوس استعلام متعددة في مجموعة مفتاح/قيمة واحدة. تكيف WISCA من خلال فرض $\|W_q\|_1 = \|W_k\|_1 \times g$ (حيث $g$ هو حجم المجموعة)، لمعالجة عدم التوازن في المعاملات.
- LoRA (التكيف منخفض الرتبة): تُطبق على المصفوفات منخفضة الرتبة $A$ و $B$ . بما أن $B$ يتم تهيئتها بصفر، يتم تطبيق WISCA بشكل دوري أثناء التدريب (وليس عند التهيئة) لموازنة مقاييس $A$ و $B$ .
- درجة التفصيل (Granularity): توفر الطريقة متغيرين: على مستوى التنسور (تغيير المقياس العالمي) وعلى مستوى القناة (تغيير المقياس الأكثر دقة لكل قناة).

ج. التنفيذ

تعتبر WISCA تدخلًا "خفيف الوزن". يمكن تطبيقها:

عند التهيئة.
بشكل دوري أثناء التدريب (على سبيل المثال، كل $N$ من التكرارات).
دون تغيير هيكل الشبكة أو طلب معاملات إضافية.

3. المساهمات الرئيسية

نظرية النموذج المتكافئ: أرست إطارًا نظريًا يحدد كيف يمكن للنماذج الانتقال بين الحالات المتكافئة للهروب من النقاط الدنيا الحادة وإيجاد حلول أكثر تسطحًا وقدرة على التعميم.
خوارزمية WISCA: اقترحت استراتيجية مبتكرة لتغيير مقياس الأوزان مستقلة عن البنية المعمارية، تعمل على ضبط أنماط الأوزان ديناميكيًا (خاصة في الـ Transformers و LoRA) لتتوافق مع النقاط الدنيا المسطحة، مما يحسن استقرار التقارب.
التحقق الشامل: أثبتت من خلال تجارب واسعة أن WISCA تحسن كفاءة التدريب وجودة النموذج عبر بنيات متنوعة (Llama, Qwen, MoE) ومهام مختلفة (التدريب المسبق، الضبط الدقيق).

4. النتائج التجريبية

تتحقق الورقة من صحة WISCA عبر عدة معايير وأحجام نماذج:

أداء التدريب المسبق (Pre-training):
- طُبقت على TinyLlama، و Qwen2-1.5B، و Qwen1.5-MoE.
- النتائج: أدت استراتيجيات WISCA المدمجة لـ QK و VO إلى تقليل خسارة التدريب ودرجة التذبذب (perplexity - PPL) في الاختبار بشكل كبير. على سبيل المثال، في TinyLlama، خفضت الاستراتيجية المدمجة الـ Test PPL من 3.78 (الأصل) إلى 3.62.
- التقارب: أظهرت نماذج WISCA منحنيات تقارب أكثر سلاسة واستقرارًا أسرع مقارنة بالتهيئة العشوائية.
التعميم في حالة الصفر (Zero-Shot Generalization):
- تم التقييم على نموذج Llama 1.1B مدرب على ويكيبيديا.
- النتائج: حققت أفضل استراتيجية دمج لـ WISCA تحسنًا متوسطًا بنسبة 10.1% في مقاييس التقييم صفرية القدرة (BoolQ, ARC-C, PIQA, Winogrande) مقارنة بالنموذج المرجعي.
- التهيئة مقابل الدورية: بينما احتفظت WISCA المطبقة عند التهيئة فقط بنحو 97% من الأداء الكامل، وفرت التعديلات الدورية مكاسب تدريجية، مما يشير إلى أن الصقل المستمر لأنماط الأوزان مفيد.
الضبط الدقيق (LoRA):
- تم الاختبار باستخدام DeepSeek-V2-Lite-Chat عبر LoRA و PiSSA و RS-LoRA على مجموعات بيانات Alpaca و MetaMath.
- النتائج: حقق LoRA المعزز بـ WISCA خسارة تدريب أقل باستمرار مقارنة بـ LoRA التقليدي، مما يثبت فعاليته في الضبط الدقيق الفعال للمعاملات (PEFT).
الترميز الاستنباطي (Speculative Decoding):
- طُبقت على النموذج المسودة (draft model) في إطار عمل EAGLE.
- النتائج: حسنت معدلات قبول الرموز (token acceptance rates) ودقة التدريب، مما يؤكد أن أنماط الأوزان الأفضل في النموذج المسودة تؤدي إلى استنتاج أكثر كفاءة.

5. الأهمية والتأثير

الكفاءة: تحسن WISCA كفاءة التدريب وجودة النموذج دون زيادة العبء الحسابي (لا توجد عمليات تمرير أمامي/خلفي إضافية) أو تعقيد معماري.
القدرة على التعميم: يمكن تطبيقها على مجموعة واسعة من بنيات LLM الحديثة، بما في ذلك تلك التي تستخدم الانتباه متعدد الرؤوس المجمعة (GQA) ونماذج خليط الخبراء (MoE)، بالإضافة إلى طرق PEFT مثل LoRA.
الرؤية النظرية: توفر طريقة عملية للتنقل في مشهد الخسارة، مقدمة حلاً لمشكلة "النقاط الدنيا الحادة" يختلف عن الطرق الثقيلة مثل تقليل الحدة الواعي (SAM).
الفائدة العملية: من السهل دمج الطريقة في خطوط أنابيب التدريب الحالية (مثل Llama-Factory)، مما يجعلها أداة صالحة للباحثين والممارسين الذين يهدفون إلى استخراج المزيد من الأداء من بنيات النماذج الموجودة.

ختامًا، تمثل WISCA تحولًا في النموذج من تحسين كيفية تحديث الأوزان (المحسنات) إلى تحسين مكان تواجد الأوزان في فضاء المعاملات (أنماط الأوزان)، مستفيدة من التكافؤ الوظيفي لتحقيق تعميم فائق.