💬 NLP

QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models

تقترح الورقة البحثية طريقة QWHA، وهي طريقة ضبط دقيق فعالة في معلمات تدمج محولات تعتمد على تحويل والش-هادامارد مع مخطط تهيئة مبتكر للتخفيف بفعالية من أخطاء التكميم وتقليل العبء الحسابي في النماذج اللغوية الكبيرة، متفوقة بذلك على الأساليب الحالية القائمة على الرتب المنخفضة والأساليب القائمة على فوريه من حيث الدقة وسرعة التدريب.

المؤلفون الأصليون: Hyesung Jeon, Seojune Lee, Beomseok Kang, Yulhwa Kim, Jae-Joon Kim

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hyesung Jeon, Seojune Lee, Beomseok Kang, Yulhwa Kim, Jae-Joon Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية من الكتب (نموذج لغوي كبير). هذه المكتبة كبيرة جدًا لدرجة أنها تشغل مستودعًا كاملًا، مما يجعل نقلها أو القراءة منها بطيئًا ومكلفًا.

لجعلها قابلة للإدارة، تحاول تصغير حجم الكتب إلى نسخ صغيرة بحجم الجيب (وهذا ما يسمى الكمّنة - Quantization). ولكن عندما تصغر حجمها، تصبح بعض التفاصيل الدقيقة ضبابية أو مفقودة، ولا تعود القصص منطقية كما كانت.

ولإصلاح ذلك، تريد "ضبط" الكتب الصغيرة لتصبح دقيقة مرة أخرى. لكنك لا تستطيع إعادة كتابة المكتبة بأكملة لأن ذلك يستغرق الكثير من الوقت والطاقة. لذا، تقرر إضافة ملاحظات لاصقة صغيرة (محولات - adapters) على الصفحات لتصحيح الأخطاء. هذا هو الضبط الدقيق بكفاءة المعلمات (PEFT).

المشكلة هي أن الطريقة القديمة لإضافة هذه الملاحظات اللاصقة (المعروفة باسم LoRA) تشبه محاولة إصلاح لوحة معقدة باستخدام بضع فرشاة عريضة ومسطحة فقط. إنها تعمل بشكل جيد نوعًا ما، لكنها لا تستطيع التقاط التفاصيل الدقيقة والحادة المطلوبة لإصلاح البقع الضبابية الناتجة عن تصغير حجم الكتب.

هنا يأتي دور QWHA، وهي الطريقة الجديدة المقتر المقترحة في هذه الورقة البحثية. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. الفرشاة الأفضل: تحويل والش-هادامارد (WHT)

بدلاً من استخدام فرش عريضة ومسطحة، يستخدم QWHA فرشاة خاصة وسحرية تسمى تحويل والش-هادامارد (WHT).

الطريقة القديمة: تخيل محاولة إصلاح خط متعرج ومكسور في رسم باستخدام موجات ناعمة ومنحنية (مثل موجات الجيب). من الصعب مطابقة الانكسارات الحادة والمفاجئة.
طريقة QWHA: تستخدم فرشاة WHT أنماطًا موجية مربعة وحادة. ولأن "الأخطاء" في الكتب المصغرة غالبًا ما تكون عبارة عن طفرات حادة ومفاجئة (مثل الخط المتعرج)، فإن هذه الفرشاة المربعة المربعة تناسبها تمامًا. يمكنها التقاط تلك التفاصيل الفوضوية والحادة بشكل أفضل بكثير من الموجات الناعمة المستخدمة في الطرق الأخرى.
سرعة إضافية: هذه الفرشاة مكونة فقط من "واحد زائد" و"واحد ناقص". هذا يعني أن الكمبيوتر لا يحتاج إلى القيام بعمليات ضرب ثقيلة لاستخدامها؛ بل يقوم فقط بالجمع والطرح. إنه يشبه الانتقال من مثقاب كهربائي ثقيل إلى مفك يدوي بسيط وسريع.

2. التوزيع الذكي: AdaAlloc

عندما يكون لديك عدد محدود من الملاحظات اللاصقة (المعلمات) لإصلاح الكتاب، فأين تضعها؟

الطريقة القديمة: بعض الطرق تضع الملاحظات عشوائيًا، أو تضعها فقط حيث يبدو النص أكبر. هذا يشبه محاولة إصلاح سقف يسرب الماء بوضع الشريط اللاصق فقط على أكبر البرك، وتجاهل الشقوق الصغيرة التي تسبب معظم الضرر في الواقع.
طريقة QWHA: يستخدم QWHA استراتيجية ذكية تسمى AdaAlloc. فهي تعمل مثل المحقق الذي يمسح الكتاب بالكامل، ويجد بالضبط أي الصفحات تحتوي على أكبر الأخطاء "الضبابية"، ويضمن أن كل صفحة تحصل على قدر قليل من الاهتمام على الأقل. ثم يضع معظم الملاحظات المهمة على الصفحات التي تعاني من أسوأ الأخطاء. يضمن هذا عدم ترك أي جزء من الكتاب دون علاج، وأن الأجزاء الأكثر تلفًا تحصل على أكبر قدر من المساعدة.

3. الضبط الدقيق: الصقل (Refinement)

بمجرد وضع الملاحظات، لا يتركها QWHA كما هي فحسب، بل يقوم بخطوة الصقل (Refinement).

فكر في الأمر كضبط مستوى الصوت في جهاز ستيريو. قد تكون وضعت مكبرات الصوت (الملاحظات) في الغرف الصحيحة، لكنك تحتاج إلى ضبط مستوى الصوت (القيم) بدقة لكي تبدو الموسيقى مثالية. يقوم QWHA بحساب القيمة المثالية الدقيقة لكل ملاحظة لإلغاء الخطأ قدر الإمكان، بدلاً من مجرد التخمين.

النتيجة

تظهر الورقة البحثية أنه باستخدام هذه الفرشاة المربعة (WHT) والتوزيع الذكي للمحقق (AdaAlloc):

الدقة: تصبح الكتب ذات الحجم الصغير أكثر ذكاءً ودقة من تلك التي تم إصلاحها بالطرق القديمة، خاصة عندما يتم تصغير حجم الكتب إلى أحجام صغيرة جدًا (2 بت أو 3 بت).
السرعة: نظرًا لأن الفرشاة بسيطة للغاية (مجرد جمع وطرح)، فإن الكمبيوتر يتعلم (يضبط دقيقًا) بشكل أسرع بكثير. إنه أسرع بشكل ملحوظ من الطرق المتقدمة الأخرى التي تستخدم فرشًا معقدة وثقيلة.

باختصار، QWHA هي طريقة أذكى وأسرع لإصلاح الأخطاء في نماذج الذكاء الاصطناعي الصغيرة والمضغوطة عن طريق استخدام أداة "مربعة" خاصة واستراتيجية ذكية جدًا لمكان تطبيق الإصلاحات.

ملخص تقني: QWHA - التكيف مع تحويل والاش-هادامارد الواعي بالكمية للضبط الدقيق الفعال للمعلمات في النماذج اللغوية الكبيرة

1. بيان المشكلة

يواجه نشر النماذج اللغوية الكبيرة (LLMs) تحدياً مزدوجاً: تقليل تكاليف الاستدلال من خلال الكمية (Quantization)، وخفض عبء التدريب عبر الضبط الدقيق الفعال للمعلمات (PEFT). وبينما تهدف أساليب الضبط الدقيق (QA-PEFT) الواعية بالكمية إلى الجمع بين هاتين الميزتين، تواجه الأساليب الحالية قيوداً كبيرة.

تعتمد معظم أساليب QA-PEFT الحالية بشكل أساسي على التكيف منخفض الرتبة (LoRA). ورغم فعاليته، يعاني LoRA من قدرة تمثيلية محدودة بسبب قيود الرتبة الصارمة. وتقدم البدائل الحديثة التي تستخدم التحويلات المرتبطة بفوريه (FT) قدرة تمثيلية فائقة من خلال تدريب المعاملات المتفرقة في نطاق التحويل. ومع ذلك، فإن التطبيق المباشر للمهايئات القائمة على FT على النماذج المكممة يؤدي غالباً إلى أداء أدنى مقارنة بـ QA-PEFT القائم على LoRA. ويرجع ذلك إلى:

فشل التهيئة: تفتقر مهايئات FT الحالية إلى استراتيجيات تهيئة فعالة لتعويض أخطاء الكمية قبل الضبط الدقيق. إن تحديد المجموعة المثلى من المعلمات المتفرقة لتقريب مصفوفة ما هو مسألة صعبة (NP-hard)، وغالباً ما تفشل طرق الاختيار العشوائي أو القائمة على المقدار في التقاط الأخطاء الناتجة عن القيم الشاذة (Outliers) الحرجة.
العبء الحسابي: تتطلب المهايئات القائمة على FT التقليدية (مثل استخدام DFT أو DCT أو DHT) تحويلات مزدوجة (للأبعاد المدخلة والمخرجة) وعمليات نواة معقدة، مما يؤدي إلى تكاليف حسابية كبيرة تلغي مكاسب الكفاءة الناتجة عن الكمية.
الحساسية للقيم الشاذة: تتأثر أخطاء كمية النماذج اللغوية الكبيرة بشدة بالقيم الشاذة (الأوزان ذات المقادير الكبيرة بشكل استثنائي). وتكون القواعد الجيبية القياسية المستخدمة في DCT/DHT ناعمة وتجد صعوبة في تمثيل الانتقالات المفاجئة لهذه القيم الشاذة بكفاءة.

2. المنهجية: QWHA

يقترح المؤلفون QWHA (التكيف مع تحويل والاش-هادامارد الواعي بالكمية)، وهو إطار عمل يدمج مهايئاً يعتمد على تحويل والاش-هادامارد (WHT) مع مخطط تهيئة جديد واعٍ بالكمية.

2.1 تصميم المهايئ: التكيف مع والاش-هادامارد (WHA)

على عكس مهايئات FT التقليدية التي تطبق التحويلات على أبعاد المدخل والمخرج معاً ( $\Delta W = H'^{-1} F H^{-1}$ )، يستخدم QWHA صيغة التحويل الواحد:
$\Delta W = F H^{-1}$
حيث أن:

$H$ هي مصفوفة تحويل والاش-هادامارد (WHT) محددة مسبقاً.
$F$ هي مصفوفة معاملات متفرقة قابلة للتدريب يتم إنشاؤها من متجه قيم $c$ وقائمة مؤشرات $E$ .
$H^{-1}$ هو معكوس تحويل والاش-هادامارد.

المزايا الرئيسية لـ WHT:

تركيز الطاقة: تتكون نواة WHT حصرياً من مدخلات $\pm 1$ ، مما يشكل دوال أساس موجية مربعة ذات انتقالات حادة. هذا الخصائص الهيكلية تتماشى بشكل أفضل مع التوزيع ذو الذيول الثقيلة لأخطاء الكمية (القيم الشاذة) مقارنة بالقواعد الجيبية الناعمة لـ DCT أو DHT. ويظهر التحليل التجريبي أن WHT يركز معظم طاقة الخطأ في عدد أقل من المعاملات، مما يسمح بإعادة بناء دقيقة بمعلمات محدودة.
الكفاءة الحسابية: تسمح نواة WHT بحساب تكراري سريع باستخدام الجمع والطرح فقط، مما يلغي عمليات ضرب المصفوفات. وهذا يقلل بشكل كبير من العبء الحسابي مقارنة بـ DCT/DHT، والتي غالباً ما تتطلب عمليات معقدة أو التعامل مع المكونات التخيلية.

2.2 التهيئة الواعية بالكمية

لمعالجة فجوة التهيئة في مهايئات FT، يقدم QWHA استراتيجية تهيئة ثنائية المراحل: AdaAlloc (التخصيص التكيفي) و Refinement (التحسين).

AdaAlloc (اختيار المعلمات):
- بدلاً من الاختيار العشوائي أو الاختيار البسيط القائم على المقدار (والذي قد يؤدي إلى مصفوفات منخفضة الرتبة بسبب تكتل المعلمات في قنوات قليلة)، يقوم AdaAlloc بتخصيص ميزانية المعلمات $p$ عبر قنوات المخرجات بما يتناسب مع مقادير خطأ التنشيط.
- يضمن ذلك حصول القنوات ذات أخطاء الكمية الكبيرة على المزيد من المعلمات، مع الحفاظ على حد أدنى من المعلمات لكل قناة لضمان هيكل مهايئ كامل الرتبة.
- داخل كل قناة، يتم اختيار أعلى المعاملات من حيث المقدار لاستهداف الخطأ بفعالية.
Refinement (تعيين القيم):
- بعد اختيار مواقع المعلمات، لا يتم أخذ القيم ببساطة من حل كثيف. بدلاً من ذلك، يتم حل مسألة المربعات الصغرى لتنقية القيم ( $c$ ) بناءً على متجهات الأساس المختارة.
- تأخذ هذه الخطوة في الاعتبار التفاعلات بين متجهات الأساس المختارة، مما يقلل خطأ مخرجات الطبقة ( $\|\Delta W_Q X - F H^{-1} X\|_F^2$ ) بشكل أكثر فعالية من التعيين المباشر للقيمة.

3. المساهمات الرئيسية

مهايئ WHA: تقديم مهايئ يعتمد على تحويل واحد وWHT، يوفر قدرة تمثيلية أعلى من LoRA وقدرة فائقة على التعامل مع القيم الشاذة مقارنة بالمهايئات القائمة على DCT/DHT.
AdaAlloc و Refinement: مخطط تهيئة قابل للحل لمسألة التقريب المتفرقة (NP-hard) عبر تخصيص المعلمات تكيفياً للقنوات المعرضة للخطأ وتنقية القيم لتقليل خطأ التهيئة.
الكفاءة الحسابية: إثبات أن نواة WHT وتصميم التحويل الواحد يقللان بشكل كبير من زمن التدريب والتهيئة مقارنة بمهايئات FT الحالية، مما يحقق سرعات مقاربة لـ LoRA.

4. النتائج التجريبية

قيم المؤلفون QWHA على نماذج LLaMA-3.1-8B، و LLaMA-3.2-3B، و Mistral-7B-v0.3 عبر اختبارات CSQA (الأسئلة الاستفهامية الشائعة) و GSM8k (الاستدلال الرياضي) تحت مستويات كمية 2-بت، و 3-بت، و 4-بت.

الدقة: يتفوق QWHA باستمرار على أفضل الأساليب المرجعية (baselines)، بما في ذلك QA-PEFT القائم على LoRA (مثل CLoQ) والمهايئات المتفرقة/القائمة على FT (مثل SHiRA، و LoCA، و SSH). وتكون فجوة الأداء أكثر وضوحاً في إعدادات البت المنخفض (2-بت و 3-بت)، حيث يحقق QWHA دقة أعلى بنسبة 2-3% من المراجع.
فعالية التهيئة: تؤكد دراسات الاستئصال (Ablation studies) أن كلاً من نواة WHT وتهيئة AdaAlloc ضروريان. فبدون التهيئة الواعية بالكمية، يكون أداء مهايئات FT أسوأ من LoRA. ومع تهيئة QWHA، فإنها تتفوق عليه بشكل كبير.
الكفاءة:
- سرعة التدريب: يحقق QWHA تسريعاً كبيراً في التدريب مقارنة بمهايئات FT الحالية (مثل SSH و LoCA) بفضل نواة WHT السريعة وتصميم التحويل الواحد. وفي بعض الإعدادات، يكون مقارباً لـ LoRA.
- الاستدلال: يتسبب QWHA في حد أدنى من العبء على الاستدلال (انخفاض بنسبة 1.9% في الإنتاجية مقارنة بـ LoRA)، بينما تعاني مهايئات FT الأخرى من عبء كبير (انخفاض بنسبة 50% تقريباً).
- الذاكرة: يقلل QWHA إجمالي استهلاك الذاكرة بنسبة ~13% مقارنة بـ CLoQ أثناء الاستدلال، ويرجع ذلك أساساً إلى الطبيعة المتفرقة للمهايئ وعمليات التشتت (scatter operations) الفعالة.

5. الأهمية والادعاءات

يدعي البحث أن QWHA يمثل تقدماً كبيراً في مجال التكيف الفعال للنماذج اللغوية الكبيرة من خلال النجاح في سد الفجوة بين القدرة التمثيلية العالية والمتانة تجاه الكمية.

تجاوز الحدود التمثيلية: يوضح العمل أن مهايئات FT، عندما يتم تصميمها بشكل صحيح مع WHT وتهيئتها بعناية، يمكن أن تتجاوز الحدود التمثيلية للمهايئات منخفضة الرتبة دون التضحية بالكفاءة.
معالجة أخطاء الكمية: تسلط الدراسة الضوء على أن النظر الصريح في تأثيرات الكمية (خاصة القيم الشاذة) أثناء مرحلة التهيئة أمر بالغ الأهمية لـ QA-PEFT. ويقلل مخطط التهيئة المقترح بفعالية من تدهور الدقة المرتبط عادةً بالكمية الشديدة.
الجدوى العملية: من خلال تقليل العبء الحسابي لمهايئات FT إلى مستويات مقاربة لـ LoRA، يجعل QWHA الضبط الدقيق عالي القدرة والواعي بالكمية خياراً عملياً لسيناريوهات النشر محدودة الموارد.

يخلص المؤلفون إلى أن QWHA يوفر إطار عمل قوياً وفعالاً ودقيقاً للضبط الدقيق للنماذج اللغوية الكبيرة المكممة، مما يقدم بديلاً قابلاً للتطبيق لنموذج LoRA المهيمن.