ملخص تقني: LoRA القابل للاستعلام: التوجيه المنظم بالتعليمات عبر ذرات التحديث المشتركة منخفضة الرتبة

بيان المشكلة

يحقق تعديل الرتبة المنخفضة القياسي (LoRA) كفاءة في المعلمات من خلال تقييد تحديثات الطبقات بأسلوب ثابت محلي للطبقة في فضاء فرعي منخفض الأبعاد ($\Delta W_\ell = \frac{\alpha}{r} B_\ell A_\ell$). ورغم قابليته للتوسع، إلا أن هذه الصيغة الثابتة تفرض قيودًا هيكلية:

1. الجمود: يتم إعادة استخدام نفس المهايئ (adapter) لكل مدخل، حتى عندما تختلف التصحيحات المثلى باختلاف الأمثلة أو الأعماق الحسابية.
2. التجزئة: تنقسم السعة القابلة للتدريب عبر طبقات مستقلة، مما يجبر النموذج على إعادة تعلم أنماط التكيف المتكررة عند أعماق مختلفة.
3. نقص السياق: لا يستخدم LoRA القياسي المعلومات المتراكمة من الطبقات السابقة لإبلاغ التحديثات في الطبقات الأعمق.

تقدم البدائل الموجودة، مثل الشبكات الفائقة (hypernetworks) التي تولد أوزانًا كثيفة من تعليمات نصية، مرونة ولكنها تعاني من توسع تربيعي في المعلمات وعدم الاستقرار. ومن ناحية أخرى، فإن طرق المشاركة الثابتة (مثل ShareLoRA) تقلل من الهدر ولكنها تظل ثابتة ولا تتكيف مع الحالة الخفية الحالية.

المنهجية

يقترح المؤلفون LoRA القابل للاستعلام (Queryable LoRA)، وهو أسلوب يتكيف مع البيانات يستبدل المهايئات الثابتة المحلية للطبقة بـ ذاكرة مشتركة عالميًا من ذرات التحديث منخفضة الرتبة وموجه كتلي (blockwise router).

البنية الأساسية

بدلاً من التحويل الثابت، يتم تجميع التحديث داخل عنق زجاجة منخفض الرتبة بشكل ديناميكي:
$$\Delta W_\ell(h_\ell; c) = \frac{\alpha}{r} B_\ell \left( I_r + g_\ell S_b(c) \right) A_\ell$$
حيث:

• $S_b(c)$ هو مشغل موجه (routed operator) يتشكل من مزيج محدب متفرق من الذرات المشتركة في فضاء الرتبة $\{C_m\}_{m=1}^M$.
• $g_\ell = \sigma(\eta_\ell)$ هو بوابة قياسية متعلمة.
• يقوم الموجه باختيار الذرات بناءً على الحالة الحالية للرتبة وملخص جاري للمجموعات السابقة.

آلية التوجيه

يتم تقسيم الطبقات إلى مجموعات $\{B_b\}$. لكل مجموعة، يتم إنشاء استعلام $q_b$ لاسترجاع التحديث المناسب:

1. بناء الاستعلام: يجمع الاستعلام بين أولوية طبقة مستقرة، وحالة فضاء الرتبة الحالية ($s_{\ell_b}$)، وتضمين تعليمات خارجي اختياري $e(c)$.
2. ملخص العمق: لالتقاط الحساب المعتمد على العمق، يقوم الموجه بالانتباه إلى ملخص جاري للمجموعات السابقة ($u_{b-1}^{att}$) باستخدام أوزان الانتباه المستمدة من الاستعلام الحالي وملخصات المجموعات السابقة.
3. تنظيم التعليمات: يتم حساب أولوية لغوية $p_m(c)$ فوق الذرات بناءً على التعليمات. تُضاف هذه الأولوية إلى لوغاريتمات التوجيه كمنظم:
   $$\tilde{\zeta}_{b,m}(c) = \zeta_{b,m} + \tau_{\text{lang}} \log p_m(c)$$
   هذا يوجه الاسترجاع نحو الذرات ذات الصلة دلاليًا دون توليد أوزان غير مقيدة.
4. الاختيار: يختار "softmax" متفرق لأعلى $k$ المزيج النهائي $S_b(c) = \sum \alpha_{b,m} C_m$.

الضمانات النظرية

تقدم الورقة ثلاث نتائج نظرية رئيسية:

1. التوصيف التبايني: ثبت أن أوزان التوجيه هي الحل الفريد لمسألة تباينية توازن بين فائدة الحالة والجزاء تجاه أولوية التعليمات (KL penalty).
2. التحكم في المعيار (Norm Control): يظل التحديث الفعال محدودًا لأنه مزيج محدب من ذرات مشتركة محدودة، مما يحافظ على استقرار التدريب الدقيق لـ LoRA القياسي.
3. تحليل التدرج: تدرج الذرات المشتركة هو مجموع مساهمات منخفضة الرتبة من جميع الطبقات في المجموعة، مما يضمن أن الذاكرة تتلقى إشرافًا مهيكلًا من كامل عمق الشبكة.

المساهمات الرئيسية

1. ذاكرة تحديث قابلة للاستعلام: بنك عالمي مشترك من الذرات منخفضة الرتبة يسمح للنموذج بتكوين فضاء المعلمات بناءً على السياق الحالي والعمق، مستبدلاً بذلك التعديلات الثابتة للطبقات.
2. تنظيم التعليمات: آلية تستخدم التعليمات اللغوية كأولوية دلالية لتوجيه اختيار الذرات، مما يضمن أن تكون التحديثات ذات صلة دلاليًا مع الحفاظ على كفاءة عنق الزجاجة منخفض الرتبة.
3. المكاسب التجريبية: أدلة على أن هذه الصيغة تحسن أداء الاختبار واستقرار التحسين في الانحدار غير الخطي الصاخب ومهام الضبط الدقيق للنماذج اللغوية الكبيرة (LLM).
4. الاستقرار النظري: براهين على أن التحديثات الديناميكية تظل محكومة بالمعيار وأن آلية التوجيه تحل مسألة تحسين مبدئية.

النتائج التجريبية

الانحدار غير الخطي الاصطناعي

تم التقييم على تسعة دوال مرجعية عشوائية غير محدبة (مثل Ackley، Dropwave، Levy).

• النتائج: تفوق النهج القابل للاستعلام بشكل كبير على LoRA الثابت وطرق PEFT الأخرى (DoRA، HyRA، RepLoRA) في الدوال ذات التباين المحلي الواضح (مثل Dropwave، حيث تكون التصحيحات الثابتة شديدة الجمود).
• الاستقرار: في البنى العميقة والضيقة (32 طبقة)، تجنبت طريقة الاستعلام حالات عدم الاستقرار الكارثية ومنصات الخسارة العالية التي لوحظت في الشبكات الفائقة والطرق الثابتة.

الضبط الدقيق للنماذج اللغوية الكبيرة (LLM)

تم التقييم في مهام عامة (GPQA-Diamond، MBPP، ARC، Super-GLUE) ومهام الاستدلال الرياضي (GSM8K، MATH، Numina-Math) باستخدام نماذج مثل Qwen0.5B و Mistral7B.

• المهام العامة: تفوق Instruction-Queryable LoRA على LoRA القياسي في كل معيار، وكان الأقوى بين الطرق في ست من أصل سبع مهام، مما يشير إلى تحسن في التعميم وليس مجرد الحفظ.
• الاستدلال الرياضي: طابقت الطريقة أو تجاوزت أقوى النماذج المرجعية في مهام الاستدلال متعدد الخطوات، مما يدعم فرضية أن الذرات الموجهة المشتركة تستفيد من التكيف عبر العمق.
• التعلم المستمر: في التدريب المتسلسل (MBPP $\to$ GSM8K $\to$ GPQA)، حافظ النموذج على الأداء في المهام السابقة مع التكيف مع المهام الجديدة، مما أظهر وصولًا ذاكرة متفرق وغير منتظم وتحكمًا في انحراف المسار.
• الكفاءة: رغم أنه أبطأ قليلاً من LoRA الثابت، إلا أن متغيرات الاستعلام كانت أسرع بكثير من النماذج الديناميكية التعبيرية مثل RepLoRA و HyRA، مع عبء حسابي ضئيل.

الأهمية والادعاءات

تدعي الورقة تقديم "حل وسط مبدئي" بين تحديثات نمط LoRA الثابتة وتحديثات المعلمات المولدة بالكامل.

• الكفاءة مقابل المرونة: تحتفظ بكفاءة المعلمات وقابلية التوسع لـ LoRA مع السماح بالتحديثات الفعالة بالتغير مع المدخل والعمق.
• الاستقرار: من خلال الاسترجاع من ذاكرة ثابتة بدلاً من توليد الأوزان، تتجنب الطريقة عدم الاستقرار والتوسع التربيعي للشبكات الفائقة التي تحول النص إلى أوزان.
• القابلية للتفسير: يوفر استخدام اللغة كأولوية دلالية آلية قابلة للتفسير لتوجيه التكيف دون تجاوز إشارات الحالة الداخلية.
• القيود: يشير المؤلفون إلى أن الميزة ليست موحدة عبر جميع المعايض، وأن التوجيه الكتلي يضيف بعض التعقيد الحسابي في التمرير الأمامي، وإن ظل منافسًا للطرق الديناميكية الأخرى. كما يحذرون من أن خفض الحاجة للضبط الدقيق الفعال قد يسهل التكيف الضار للنماذج، مما يستوجب ممارسات إصدار حذرة.