🤖 AI

DiaBlo: Diagonal Blocks Are Sufficient For Finetuning

تُعد DiaBlo طريقةً لضبط النماذج بدقة وكفاءة في استخدام المعلمات، حيث تقوم بتحديث الكتل القطرية فقط لمصفوفات أوزان النموذج، مما يوفر بديلاً بسيطاً ومستقراً وذا أساس نظري لتقنية LoRA، ويحقق أداءً تنافسياً مع كفاءة مماثلة في استخدام الذاكرة وسرعة التدريب.

المؤلفون الأصليون: Selcuk Gurses, Aozhong Zhang, Yanxia Deng, Xun Dong, Xin Li, Naigang Wang, Penghang Yin, Zi Yang

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Selcuk Gurses, Aozhong Zhang, Yanxia Deng, Xun Dong, Xin Li, Naigang Wang, Penghang Yin, Zi Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير، أو LLM) تعرف كل شيء تقريبًا. ولكن الآن، تريد تعليم هذه المكتبة مهارة جديدة محددة جدًا، مثل حل المسائل الرياضية أو كتابة أكواد برمجية لشركة معينة.

المشكلة:
الطريقة التقليدية لتعليم المكتبة هي الضبط الدقيق الكامل (Full Fine-Tuning). هذا يشبه توظيف فريق من 100 أمين مكتبة لإعادة كتابة كل كتاب في المكتبة لتضمين المعلومات الجديدة. هذا الأسلوب رائع، لكنه مكلف للغاية، وبطيء، ويتطلب مستودعًا هائلًا (ذاكرة) لتخزين جميع التغييرات.

"الحيلة" الحالية (LoRA):
لتوفير المال، اخترع الباحثون LoRA (التكيف منخفض الرتبة). بدلاً من إعادة كتابة الكتب، يعمل LoRA مثل إضافة بطاقة فهرس صغيرة لاصقة على مقدمة المكتبة. أنت تكتب فقط على بطاقة الفهرس، وليس على الكتب.

العيب: هذه البطاقات مكونة من طبقتين من الورق ملتصقتين ببعضهما (حاصل ضرب مصفوفة). ولكي تلتصق جيدًا، يجب أن تكون حذرًا جدًا بشأن كيفية لصقها (تهيئة خاصة) وكيفية الضغط عليها (تحسين خاص). إذا أخطأت في عملية اللصق، فقد تسقط الملاحظات، أو تصاب المكتبة بالارتباك.

الحل الجديد (DiaBlo):
يقترح مؤلفو هذه الورقة البحثية DiaBlo (الكتل القطرية). يقولون: "لماذا نلصق قطعتين من الورق معًا؟ لنكتب مباشرة على الكتب، ولكن في مربعات محددة ومرتبة فقط".

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

1. "رقعة الشطرنج" مقابل "الغراء"

تخيل أن معرفة المكتبة هي رقعة شطرنج عملاقة.

LoRA يحاول التعلم عن طريق تحريك مجموعتين منفصلتين من القطع (A و B) تتفاعلان مع بعضهما البعض. الأمر يشبه محاولة حل لغز حيث القطع مغناطيسية ولكنها تتنافر إذا لم تمسكها بإحكام. إنه أمر صعب وغير مستقر.
DiaBlo يقول: "دعونا نختار المربعات البيضاء (الكتل القطرية) من رقعة الشطرنج ونكتب قواعدنا الجديدة عليها مباشرة". نحن نتجاهل المربعات السوداء. لا نحتاج إلى غراء؛ نحن فقط نكتب على الخشب.

2. لماذا هذا أفضل؟

لا حاجة لـ "الغراء": لأن DiaBlo يكتب مباشرة على الهيكل الموجود، فإنه لا يحتاج إلى حيل "لصق" معقدة (تهيئة خاصة) للبدء في العمل. يمكنك البد Kind بالبدء في الكتابة فورًا. الأمر يشبه طلاء الجدار: لا تحتاج إلى خلط مادة كيميائية خاصة لجعل الطلاء يلتصق إذا كنت تدهن الجدار مباشرة؛ أنت فقط تدهن.
الاستقرار: بما أنه لا يوجد تفاعل معقد بين طبقتين من "الغراء"، فإن عملية التعلم أكثر سلاسة. لا يتأرجح أو ينهار كما يفعل LoRA.
الكفاءة: على الرغم من أننا نكتب على الكتب، إلا أننا نكتب فقط على جزء ضئيل جدًا من المربعات (الكتل القطرية). وهذا يعني أننا لا نزال نوفر 99% من الذاكرة والوقت، تمامًا كما يفعل LoRA.

3. "الخلطة السرية" (لماذا ينجح الأمر)

قد تتساءل: "إذا غيرنا مربعات قليلة فقط، ألن تنسى المكتبة الباقي؟"
تثبت الورقة البحثية رياضيًا أنه بالنسبة لهذه المكتبات العملاقة، فإن أهم التغييرات تحدث بالفعل في تلك الأنماط "القطرية" المحددة.

التشبيه: تخيل أوركسترا ضخمة. لتغيير صوت الأغنية، لا تحتاج إلى أن يغير كل موسيقي آلاته. تحتاج فقط إلى الكمان الأول، والكمان الثاني، والتشيلو (الكتل القطرية) ليعزفوا نوتة مختلفة قليلاً. يمكن لبقية الأوركسترا أن تبقى كما هي تمامًا، وستظل الأغنية مثالية.

4. النتائج في العالم الحقيقي

اختبر المؤلفون هذا على:

المنطق العام: جعل الذكاء الاصطناعي يفهم النكات والمنطق.
الرياضيات: حل المعادلات المعقدة.
البرمجة: كتابة برامج الكمبيوتر.
السلامة: تعليم الذكاء الاصطناعي عدم قول أشياء ضارة.

النتيجة: لم يكتفِ DiaBlo بمطابقة أداء طريقة "إعادة كتابة المكتبة بأكملها" المكلفة فحسب، بل غالبًا ما تفوق على طريقة "الملاحظات اللاصقة" الحالية (LoRA) وعلى تنويعاتها المتطورة، مع كونه بنفس السرعة والرخص في التشغيل.

الخلاصة

DiaBlo هو طريقة أبسط وأكثر قوة لتعليم نماذج الذكاء الاصباني العملاقة مهارات جديدة. بدلاً من بناء نظام "ملاحظات لاصقة" معقد وهش (LoRA)، فإنه يختار الأجزاء الأكثر أهمية في دماغ الذكاء الاصطناعي ويقوم بتحديثها مباشرة. إنه أرخص، وأسرع، وأكثر استقرارًا، ومن المثير للدهشة أنه يعمل بشكل أفضل.

في جملة واحدة: يثبت DiaBlo أنه لتعليم ذكاء اصطناعي عملاق مهارة جديدة، لا تحتاج إلى إعادة بناء الشيء بأكمله أو استخدام غراء معقد؛ أنت فقط بحاجة إلى تعديل المربعات الصحيحة والقليلة على رقعة الشطرنج.

إليك ملخص تقني مفصل لورقة البحث "DiaBlo: Diagonal Blocks Are Sufficient for Finetuning" (ICLR 2026).

1. بيان المشكلة

يعد الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) للمهام النهائية أمراً ضرورياً ولكنه مكلف حوسبياً. وبينما أصبحت طرق الضبط الدقيق الفعال للمعلمات (PEFT) مثل LoRA (التكيف منخفض الرتبة) معياراً عبر تحديث مجموعة فرعية صغيرة فقط من المعلمات، إلا أنها تواجه قيوداً محددة:

عدم استقرار التحسين: يعتمد LoRA على حاصل ضرب مصفوفتين منخفضتي الرتبة ( $AB$ ). هذا الهيكل غير المحدب يؤدي غالباً إلى تدفقات تدرج غير مستقرة، وتلاشي التدرجات، والحساسية للتهيئة الأولية.
التعقيد: للتخفيف من عدم الاستقرار، تتطلب متغيرات LoRA الحديثة (مثل DoRA وPiSSA وMiLoRA) مخططات تهيئة واستراتيجيات تحسين معقدة ومخصصة.
حدود القدرة التعبيرية: تحت قيود ميزانية المعلمات الصارمة، قد يحد قيد الرتبة المنخفضة من قدرة النموذج على التقاط التحديثات اللازمة للمهمة مقارنة بالضبط الدقيق الكامل.
مشكلات التشتت (Sparsity): غالباً ما تستخدم طرق التشتت الحالية تشتتاً غير مهيكل (قناع عشوائي)، وهو غير فعال من حيث الأجهزة ومكلف حوسبياً بسبب أنماط الوصول غير المنتظمة للذاكرة.

2. المنهجية: DiaBlo

يقترح المؤلفون DiaBlo، وهو إطار عمل لـ PEFT يقوم بتحديث الكتل القطرية فقط لمصفوفات أوزان النموذج، متجنباً عمليات ضرب المصفوفات تماماً.

الخوارزمية الأساسية

بفرض أن الطبقة الخطية هي $Y = XW$ حيث $W \in \mathbb{R}^{m_1 \times m_2}$ :

تقسيم الكتل: يتم تقسيم مصفوفة الأوزان $W$ إلى $N \times N$ من الكتل.
اختيار القطر: يتم جعل الكتل القطرية فقط ( $W_{11}, W_{22}, \dots, W_{NN}$ ) قابلة للتدريب. أما جميع الكتل خارج القطر فتكون مجمدة.
مصفوفة التكيف: يتم إدخال مصفوفة تكيف $D$ بحيث يكون $Y = X(W_0 + D)$ ، حيث $D$ هي مصفوفة قطرية كتلية تحتوي على الكتل القابلة للتدريب $D_i$ .
كفاءة التنفيذ:
- يتم تخزين $D$ كموتر (tensor) بشكل $N \times d_1 \times d_2$ .
- يتم حساب عملية التمرير الأمامي $XD$ عبر عمليات ضرب المصفوفات الدفعية (باستخدام torch.einsum)، مما يتجنب الحاجة إلى إعادة بناء المصفوفة الكاملة المتفرقة.
- تعمل عملية الانتشار العكسي (Backpropagation) بكفاءة مماثلة، حيث تحسب التدرجات لكل كتلة بشكل مستقل.

التهيئة الأولية

على عكس LoRA، الذي يتطلب تهيئة دقيقة (مثل $A$ عشوائية و $B$ صفرية) لمنع تلاشي التدرجات، يتم تهيئة DiaBlo كموتر صفري بالكامل. وبما أنه لا يتضمن ضرب المعلمات، فإنه يتجنب مشكلات التشابك الناتجة عن التفكيك منخفض الرتبة، مما يضمن استقرار التدريب منذ البداية دون الحاجة إلى حيل متخصصة.

3. المساهمات النظرية

تقدم الورقة ضمانات نظرية صارمة تدعم فعالية تحديث الكتل القطرية:

القدرة التعبيرية للمربعات الصغرى الخطية (LSQ):
- النظرية 1: في ظل افتراضات رتبة منخفضة بسيطة على مصفوفة المدخلات $X$ (رتبة $r$ )، إذا كان عدد الكتل $N \leq m_1/r$ ، فإن أي مُقلل (minimizer) لهدف Dia-Blo هو أيضاً مُقلل لهدف الضبط الدقيق الكامل.
- المقارنة: يعتبر DiaBlo أكثر تعبيراً بشكل صارم من LoRA تحت نفس ميزانية المعلمات. يتطلب LoRA رتبة لا تقل عن $r$ (مما يتطلب حوالي $(m_1+m_2)r$ من المعلمات)، بينما يحقق DiaBlo نفس الحل باستخدام $N \cdot d_1 \cdot d_2$ من المعلمات، وهو ما يمكن أن يكون أصغر بكثير.
التقارب إلى النقاط الثابتة للضبط الدقيق الكامل:
- النظرية 2: في الإعدادات غير الخطية العامة، إذا أظهرت مصفوفة التنشيط $X$ وتدرج المخرجات $g_Y$ خصائص الرتبة المنخفضة (وهو أمر ملحوظ تجريبياً في LLMs)، فإن DiaBlo يتقارب إلى نقطة ثابتة لهدف الضبط الدقيق الكامل.
- وهذا يعني أن تحديث الكتل القطرية فقط كافٍ لدفع تدرجات مصفوفة الأوزان الكاملة إلى الصفر، بشرما كان حجم الكتلة مناسباً.

4. النتائج التجريبية

تم تقييم DiaBlo عبر مهام وهياكل نماذج متنوعة (LLaMA2-7B/13B, LLaMA3-8B, Mistral-7B) ومقارنته بكل من Full Fine-Tuning و LoRA و DoRA و PiSSA و MiLoRA و SMT.

النتائج الرئيسية:

الاستدلال المنطقي (Commonsense Reasoning): تفوق DiaBlo باستمرار على LoRA ومتغيراته. في نموذج LLaMA2-7B، حقق متوسط دقة 83.5% (مطابق للضبط الدقيق الكامل) باستخدام 0.52% فقط من المعلمات القابلة للتدريب، متفوقاً على SMT (81.8%) الذي استخدم معلمات أكثر.
الاستدلال الحسابي: في مجموعات بيانات GSM8K و MATH، حقق DiaBlo دقة 43.4%، متفوقاً قليلاً على الضبط الدقيق الكامل (43.2%) ومتفوقاً بشكل كبير على LoRA (38.7%).
توليد الكود والسلامة: في HumanEval و HEx-PHI (السلامة)، حقق DiaBlo نتائج هي الأفضل بين طرق PEFT، مع درجات Pass@1 بلغت 43.2% (LLaMA3-8B) ومعدلات رفض بلغت 97.6%.
النماذج المكممة (4-bit & 2-bit): أظهر DiaBlo متانة استثنائية في إعدادات الدقة المنخفضة.
- في تكميم 2-bit، حيث تفشل معظم الطرق أو تتدهور بشكل كبير، حقق DiaBlo متوسط دقة 48.7% في المهام الحسابية، متفوقاً على خطوط الأساس QLoRA و GPTQ-LoRA.
- حقق ذلك دون الحاجة إلى تهيئة متخصصة واعية بالتكميم.
الكفاءة:
- سرعة التدريب: يضاهي DiaBlo سرعة تدريب LoRA (حوالي 170 دقيقة/دورة) وهو أسرع بكثير من DoRA (480 دقيقة/دورة).
- الذاكرة: يحافظ على بصمة ذاكرة مماثلة لـ LoRA.
الاستقرار: أظهر تحليل تباين معيار التدرج (Gradient norm variance) أن DiaBlo يتقارب بسلاسة مع تباين منخفض، بينما أظهر LoRA تبايناً وحساسية أعلى للتهيئة الأولية.

5. الأهمية والتأثير

البساភាព: يلغي DiaBlo الحاجة إلى مخططات تهيئة معقدة (مثل PiSA أو LoRA-GA) ومحسنات مخصصة، مما يوفر حلاً "جاهزاً للتشغيل" (plug-and-play) أسهل في التنفيذ والتصحيح.
صديق للأجهزة (Hardware Friendly): من خلال استخدام كتل قطرية مهيكلة بدلاً من التشتت غير المهيكل، يستفيد DiaBlo من عمليات ضرب المصفوفات الدفعية الفعالة، مما يجعله متوافقاً للغاية مع بنيات GPU الحديثة.
الرؤية النظرية: يتحدى هذا العمل ضرورة التفكيك منخفض الرتبة لـ PEFT، موضحاً أن التشتت المهيكل (الكتل القطرية) يوفر قدرة تعبيرية واستقراراً أفضل في ظل ظروف الرتبة المنخفضة الشائعة في تنشيطات LLM.
المتانة: قدرته على الأداء الجيد في إعدادات الدقة الفائقة المنخفضة (2-bit) تجعل منه أداة حاسمة لنشر LLMs على الأجهزة الطرفية ذات الموارد المحدودة.

في الختام، يمثل DiaBlo تحولاً جذرياً في مجال PEFT، حيث يثبت أن الكتل القطرية كافية للضبط الدقيق عالي الأداء، مما يوفر توازناً متفوقاً بين الدقة والاستقرار والكفاءة مقارنة بالطرق الحالية منخفضة الرتبة.