🤖 machine learning

AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery

يقدم AdaPaD إطار عمل للتفريغ المتوازي التكيفي لضبط النماذج مسبقة التدريب بكفاءة (PEFT)، والذي يقوم في آن واحد بتدريب مكونات الرتبة-1 مع تقارب خطأ ذاتي التصحيح واكتشاف ديناميكي للرتبة، محققاً أداءً تنافسياً مع أحجام محولات أصغر بكثير مقارنة بطرق LoRA الحالية.

المؤلفون الأصليون: Barbara Su, Fangshuo Liao, Anastasios Kyrillidis

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Barbara Su, Fangshuo Liao, Anastasios Kyrillidis

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك لغزاً ضخماً ومعقداً للغاية (نموذج لغوي كبير) وتريد تعليمه خدعة جديدة. أنت لا تريد إعادة بناء اللغز بالكامل، بل تريد فقط إضافة بعض القطع المخصصة (تكييف منخفض الرتبة أو ما يعرف بـ LoRA) لجعله يعمل بشكل أفضل.

المشكلة هي: كم عدد القطع المخصصة التي تحتاجها وأين يجب أن تضعها؟

معظم الطرق الحالية إما تخمن عدداً ثابتاً من القطع لكل جزء من اللغز (وهو أمر غير فعال غالباً) أو تضيف القطع واحدة تلو الأخرى، مثل طابور من الناس ينتظرون خدمتهم. إذا ارتكب الشخص الأول في الطابور خطأً، فإن هذا الخطأ سيصبح "متجمداً" في اللغز للأبد، وسيتعين على كل من خلفه العمل حول هذا الخطأ.

ADAPAD هي طريقة جديدة تغير قواعد اللعبة. إليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: طابور "الخطأ المتجمد"

تخيل فريقاً من الفنانين يحاولون رسم لوحة فنية عبر إضافة طبقات من الطلاء واحدة تلو الأخرى.

الفنان 1 يرسم ضربة فرشاة. إذا أخطأ، يظل خطؤه محبوساً.
الفنان 2 يحاول الرسم فوق الخطأ لإصلاحه، لكنه لا يستطيع سوى الرسم حول الخطأ. أخطاؤه هو أيضاً تصبح محبوسة.
الفنان 3 يتعين عليه العمل حول الخطأ السابق والخطأ الثاني معاً.
النتيجة: بحلول الوقت الذي يصل فيه الأمر إلى الفنان الأخير، تكون اللوحة مغطاة بتراكم من الأخطاء التي لا يمكن إصلاحها. كلما أضفت فنانين أكثر، ساءت الصورة النهائية لأن الأخطاء المبكرة تتراكم وتتفاقم.

2. طريقة ADAPAD: "الطاولة المستديرة" ذات التصحيح الذاتي

تقوم ADAPAD بإلغاء نظام الطابور. بدلاً من ذلك، تضع جميع الفنانين حول طاولة مستديرة وتتركهم يعملون في وقت واحد (بالتوازي).

الفريق: تخيل 10 فنانين يعملون في نفس الوقت.
السحر (التصحيح الذاتي): في كل مرة ينهي فيها فنان ضربة فرشاته، يعرضها على المجموعة. في المرة التالية التي يرسم فيها، لا ينظر فقط إلى اللوحة الأصلية الفارغة؛ بل ينظر إلى أحدث نسخة من اللوحة التي صنعها الجميع.
النتيجة: إذا ارتكب الفنان 1 خطأً في الجولة الأولى، فقد يقوم الفنان 2 بالرسم فوقه في الجولة الأولى. في الجولة الثانية، يرى الفنان 1 إصلاح الفنان 2 ويعدل ضربة فرشاته لتتناسب معه. الأخطاء لا تتجمد؛ بل يتم تصحيحها مع مرور الجولات. تصبح اللوحة أنظف وأوضح مع كل تمريرة، بدلاً من تراكم الأوساخ.

3. "التعلم المتقدم" (الإحماء)

في طريقة الطابور القديمة، يظل الفنانون اللاحقون (الفنانون من 5 إلى 10) جالسين دون عمل بانتظار انتهاء الأربعة الأوائل. وهذا هدر للوقت.

تقول ADAPAD: "لا تنتظروا!"

بينما يعمل الفنانون من 1 إلى 4، لا يكتفي الفنانون من 5 إلى 10 بالجلوس هناك. إنهم يقومون بـ تدريب خاص على جانبهم الخاص من الطاولة. إنهم يتدربون على ضربات فرشاتهم مقابل النسخة الحالية من اللوحة، ليصبحوا بارعين حقاً في مهمتهم المحددة قبل الانضمام رسمياً إلى المجموعة الرئيسية.
عندما ينضمون أخيراً إلى الطاولة المستديرة الرئيسية، يكونون قد أصبحوا خبراء وليسوا مبتدئين.

4. "اكتشاف الرتب الديناميكي" (تنمية الفريق)

عادةً، عليك أن تقرر في البداية: "سنستخدم بالضبط 5 فنانين للسماء و5 للأرض". ولكن ماذا لو كانت السماء تحتاج إلى 8 فنانين والأرض تحتاج فقط إلى 2؟

ADAPAD لا تخمن. فهي تبدأ بفريق صغير (فنان واحد فقط لكل قسم) وميزانية مشتركة (حد أقصى لعدد الفنانين المسموح بهم إجمالاً).

تراقب من يعمل بجهد أكبر ومن يحقق أكبر قدر من التحسينات.
إذا كان قسم "السماء" يعاني ويحتاج إلى مزيد من المساعدة، تقول ADAPAD: "حسناً، لنقم بترقية فنان من مرحلة التدريب إلى الفريق الرئيسي لقسم السماء".
إذا كان قسم "الأرض" يسير بشكل رائع، فإنه يظل صغيراً.
النتيجة: يتم اكتشاف حجم الفريق لكل جزء من اللغز من خلال العمل نفسه، وليس عبر تخمين بشري مفروض.

لماذا يهم هذا؟

تزعم الورقة البحثية تحقيق ثلاث انتصارات رئيسية:

جودة أفضل: لأن الأخطاء يتم تصحيحها بدلاً من تجميدها، تكون النتيجة النهائية أكثر دقة.
حجم أصغر: لأنها تضيف الفنانين فقط حيث هم بحاجة فعلية، فإن "المحول" النهائي (الكود الإضافي المضاف للنموذج) أصغر بنسبة 30% تقريباً من الطرق القياسية، مع أداء نفس المهمة.
سرعة أكبر: لأن الجميع يعملون بالتوازي (في وقت واحد) بدلاً من العمل في طابور، يمكن أن تكون العملية أسرع بمقدار 2.6 مرة على أجهزة متعددة.

باختصار: تحول ADAPAD خط التجميع الجامد والمليء بالأخطاء إلى فريق مرن وذاتي التصحيح، حيث يساعد الجميع في إصلاح أخطاء بعضهم البعض، وينمو الفريق فقط في الأماكن التي يحتاج إليها فعلياً.

ملخص تقني: ADAPAD

بيان المشكلة

يتطلب الضبط الدقيق للنماذج اللغوية الكبيرة (LLMs) عبر التكيف منخفض الرتبة (LoRA) اختيار رتبة $r$ مسبقاً قبل التدريب. تواجه الأساليب الحالية عقبتين رئيسيتين فيما يتعلق باختيار الرتبة وانتشار الخطأ:

الإنقاص المتسلسل (Sequential Deflation): تعاني الأساليب التي تستخرج مكونات الرتبة-1 بشكل متسلسل (على سبيل المثال، عبر SVD) من "الأخطاء المجمدة". فالأخطاء المرتكبة في المكونات المبكرة تظل محبوسة بشكل دائم في المتبقي للمكونات اللاحقة، مما يؤدي إلى تراكم الخطأ ضربياً عبر الفجوة الطيفية.
التحسين المشترك (Joint Optimization): توفر الأساليب التي تحسن مصفوفة الرتبة المنخفضة بالكامل بشكل مشترك (مثل dEBORA و ARD-LoRA) ضمانات للتقارب الإجمالي للتحديث، لكنها لا تقدم ضمانات لاتجاهات الرتبة-1 الفردية. وبناءً على ذلك، لا يمكنها التصديق على صحة مكونات محددة، بل تصدق فقط على مجموعها.

علاوة على ذلك، غالباً ما تعامل أساليب الرتبة التكيفية الحالية توزيع الرتب كمدخل ثابت أو تعتمد على استدلالات (heuristics) لا تعدل سعة كل وحدة ديناميكياً بناءً على ديناميكيات التدريب.

المنهجية: ADAPAD

يقترح المؤلفون ADAPAD (الإنقاص المتوازي التكيفي)، وهو إطار عمل يدرب جميع مكونات الرتبة-1 في وقت واحد مع اكتشاف توزيع الرتب الأمثل ديناميكياً. الابتكار الجوهري هو الإنقاص المتوازي مع التصحيح الذاتي.

1. الإنقاص المتوازي مع التصحيح الذاتي

خلافاً للإنقاص المتسلسل حيث يكون الهدف للمكون $k$ ثابتاً بناءً على التقريبات السابقة، يقوم ADAPAD بتعيين كل مكون رتبة-1 لعامل (worker) مخصص.

الآلية: في كل جولة اتصال $\ell$ ، يعيد العامل $k$ بناء هدف الإنقاص $Y_{k,\ell}$ باستخدام أحدث التقديرات لجميع المكونات السابقة ( $k' < k$ ).
التصحيح الذاتي: مع تحسن تقديرات المكونات السابقة عبر الجولات، تتحسن أهداف الإنقاص للعمال اللاحقين بشكل متزامن. يضمن هذا أن عدم تطابق الإنقاص (الأخطاء في الهدف) تؤول إلى الصفر بمرور الوقت بدلاً من الاستمرار كبقايا ثابتة.
التعلم المتقدم: قبل تفعيل العامل (التفعيل المتدرج)، يخضع لمرحلة "إحماء" خاصة، حيث يتدرب ضد هدف الإنقاص الحالي الخاص به دون بث التحديثات. يوفر هذا تهيئة عالية الجودة.

2. الاكتشاف الديناميكي للرتب لكل وحدة

يعامل ADAPAD توزيع الرتب كمخرج وليس كمدخل.

استراتيجية النمو: تبدأ كل وحدة برتبة دنيا (مثلاً 1) ومكون احتياطي خاص.
تسجيل الأهمية: كل $\Delta$ من الدفعات الصغيرة (mini-batches)، يقيم النظام أهمية الوحدة باستخدام حاصل ضرب الأهمية وعدم اليقين (بناءً على مقدار المعلمات وتقلب التدرج).
التخصيص: تحت ميزانية عالمية مشتركة، تقوم الوحدات ذات درجات الأهمية العالية بترقية مكوناتها الاحتياطية إلى حالة الالتزام وتوليد احتياطيات جديدة. يتوقف النمو عندما تصل الرتبة النشطة الإجمالية إلى الميزانية المحددة.

3. الهيكل الخوارزمي

تقوم الخوارزمية الأساسية (الخوارزمية 1) بموازاة الإنقاص المتسلسل غير الدقيق لنماذج الانحدار ثنائي الخطية. وهي تستخدم:

التفعيل المتدرج: يبدأ العامل $k$ عند الجولة $k$ .
البدء الدافئ (Warm-Starting): تستخدم كل تكرار المعلمات من الجولة السابقة كتهيئة.
الإسقاط (Projection): يتم إسقاط التقديرات على كرة فروبينيوس لضمان استعادة محدودة، رغم أن المؤلفين يشيرون إلى أنه في الممارسة العملية، غالباً ما يكفي تخطي الإسقاط ( $Q=\infty$ ).

الضمانات النظرية

تقدم الورقة تحليلاً نظرياً صارماً لإعداد الانحدار ثنائي الخطية $Y = W^*X + E$ :

التقارب الأسي: بعد فترة إحماء تعتمد على المكون، يتلاشى الخطأ الإجمالي لكل مكون بشكل شبه خطي (يتم تعديله أسياً بواسطة معامل خطي).
تلاشي عدم تطابق الإنقاص: تثبت الورقة أن عدم تطابق الإنقاص $\|Y_{k,\ell} - Y^*_k\|_F$ يتلاشى مع اقتراب الجولات $\ell \to \infty$ . هذه هي خاصية "التصحيح الذاتي" المميزة، والتي تتباين مع الإنقاص المتسلسل حيث يكون عدم التطابق ثابتاً وغير صفري.
حدود التقدير:
- الحالة عديمة الضجيج: يتلاشى خطأ استعادة الأوزان مع زيادة عدد الجولات.
- الحالة ذات الضجيج: ينقسم حد الخطأ إلى حد خوارزمي متلاشٍ (بسبب التصحيح الذاتي) وأرضية إحصائية غير قابلة للاختزال (تطابق حد الاضطراب الغاوسي للطرق المتسلسلة). لا تضيف الموازاة أي عقوبة ضجيج جديدة.

النتائج التجريبية

قيم المؤلفون ADAPAD عبر ثلاثة محاور:

1. تصنيف GLUE (DeBERTaV3-base)

الإعداد: تمت المقارنة مع LoRA ثابت الرتبة والأساليب التكيفية (IncreLoRA، AdaLoRA، SoRA، dEBORA) مع ميزانيات معلمات متطابقة (0.32–0.47M).
الأداء: حقق ADAPAD أعلى متوسط درجة (89.34) عبر جميع المهام الثمانية، متفوقاً على AdaLoRA (89.03) و IncreLoRA (88.99).
توزيع الرتب: خصصت الخوارزمية الرتب ديناميكياً، حيث تركزت الرتب الأعلى في طبقات Transformer النهائية وإسقاطات الوسيط في FFN، وهو ما يتوافق مع نتائج خصوصية المهمة في الدراسات السابقة.

2. كفاءة المعلمات (Qwen3-0.6B على SQuAD)

الإعداد: الضبط الدقيق على SQuAD v1.1 و v2.0.
الأداء: طابق ADAPAD أو تجاوز أداء LoRA ثابت الرتب في مقاييس F1 و Exact Match (EM) بينما استخدمت المحولات (adapters) معلمات أقل بنسبة 30.7% في المتوسط (نطاق خفض يتراوح بين 15.9% إلى 44.3%).

3. التوسع متعدد المعالجات (Multi-GPU Scaling)

الإعداد: تقسيم موازٍ للمكونات على 4 وحدات NVIDIA H200.
الأداء: قدم النهج تسريعاً يصل إلى 2.66 ضعفاً مقارنة بوحدة GPU واحدة، مما أظهر توسعاً قريباً من الخطي للتدريب المتوازي للمكونات.

الأهمية والادعاءات

تزعم الورقة أن ADAPAD تعالج أسئلة تصميم جوهرية في LoRA:

التصحيح الذاتي: إنه أول طريقة توفر ضماناً قابلاً للإثبات بأن أخطاء الإنقاص في تدريب الرتبة-1 المتوازي تتلاشى بمرور الوقت، مما يسمح بالتصديق على اتجاهات الرتبة-1 الفردية كصحيحة وليس فقط مجموعها المشترك.
الاكتشاف الديناميكي للرتب: ينقل النموذج من اعتبار الرتبة كمعلمة مدخلة (hyperparameter input) إلى اعتبارها مخرجاً يتم تعلمه مدفوعاً بأهمية الوحدة.
الكفاءة: يحقق أداءً تنافسياً أو متفوقاً بمعلمات أقل بكثير ويقدم تسريعاً كبيراً عبر الموازاة.

يشير المؤلفون إلى بعض القيود: النظرية مصاغة للانحدار ثنائي الخطية (طبقة LoRA واحدة)، وبينما تسد النتائج التجريبية الفجوة مع الخسائر غير الخطية، فإن التوسع ليشمل النماذج الكاملة غير الخطية والاتصال غير المتزامن متروك للأعمال المستقبلية. كما يقرون بأن عبء الاتصال المتزامن قد يلغي فوائد التسريع عند الوصول إلى رتب كبيرة جداً.