ملخص تقني: AR1-ZO

بيان المشكلة

تتناول الورقة البحثية "مفارقة الرتبة" (rank paradox) الجوهرية التي تنشأ عند الجمع بين التحسين من الدرجة الصفرية (Zeroth-Order - ZO) وتكييف الرتبة المنخفضة (Low-Rank Adaptation - LoRA) لضبط النماذج اللغوية الكبيرة (LLMs) في ظل قيود صارمة على الذاكرة.

بينما يقلل LoRA من المعلمات القابلة للتدريب عن طريق تجميد الأوزان وتعلم التحديثات ذات الرتبة المنخفضة ($\Delta W = \frac{\gamma}{r} BA$)، ويتجنب تحسين ZO (مثل MeZO) تخزين تنشيطات الانتشار العكسي عبر تقدير التدرجات باستخدام فروق المرور الأمامي القياسية، فإن الجمع بينهما يخلق عنق زجاجة في القياس. عادةً ما تقوم استعلامات ZO ذات النقطتين بتعديل جميع إحداثيات عوامل LoRA البالغ عددها $r(d_{out} + d_{in})$ في آن واحد. يتسبب هذا في فشلين حرجين مع زيادة رتبة LoRA ($r$):

1. انفجار التباين (Variance Explosion): يتوسع بُعد الاضطراب مع $r$، مما يزيد من تباين المقدر.
2. الانهيار الاتجاهي (Directional Collapse): معامل قياس LoRA القياسي $\gamma = \alpha$ (مما يعني معاملًا فعالًا قدره $\alpha/r$ لكل ذرة) يثبط إشارة الفرق المحدود. عندما يتم تعديل ذرة واحدة فقط من الرتبة-1 (كما هو الحال في التحديثات الذرية الساذجة)، فإن الإشارة النشطة تتناسب مع $1/r$، بينما يظل ضجيج التقييم المتبقي ثابتًا. وبناءً على ذلك، فإن نسبة الإشارة إلى الضجيج للفرق المحدود (FD-SNR) تتضاءل بمعدل $1/r^2$. عند الرتب العالية، تغرق المعلومات الاتجاهية في الضجيج قبل حدوث أي تعديل لمعدل التعلم، مما يجعل LoRA عالي الرتبة غير فعال تحت ميزانية المرور الأمامي المزدوج الثابتة.

غالبًا ما تعتمد الحلول الموجودة على فضاءات فرعية خارجية، أو خطافات التنشيط (activation hooks)، أو تقديرات الانحناء، أو هندسة متعددة الأوجه، وهي أمور تستلزم أعباء حسابية إضافية أو افتراضات معقدة.

المنهجية: AR1-ZO

يقترح المؤلفون AR1-ZO (التحسين من الدرجة الصفرة بالتناوب للرتبة-1)، وهي طريقة تعالج عنق الزجاجة من خلال إعادة تعريف طوبولوجيا الاستعلام وإعادة معايرة قانون القياس، دون الحاجة إلى قواعد أساسية إضافية أو عمليات مرور أمامي إضافية.

1. الاستعلام الواعي بالطوبولوجيا (Topology-Aware Querying)

بدلاً من اضطراب المهايئ بالكامل أو الفضاءات الفرعية العشوائية، يكشف AR1-ZO عن الذرة المتطابقة من الرتبة-1 $(b_k, a_k)$ ككتلة استعلام دنيا كاملة.

• الآلية: في كل خطوة، يختار المحسن مؤشر ذرة واحد $k(t)$، ويقوم باضطراب العمود $b_k$ والصف $a_k$ المقابلين فقط، ويبقي جميع الذرات الأخرى $r-1$ مجمدة.
• الأبعاد: يقلل هذا من بُعد الاضطراب اللحظي من $r(d_{out} + d_{in})$ إلى $q = d_{out} + d_{in}$، مما يجعل بُعد الاستعلام الفردي مستقلاً عن الرتبة المخزنة $r$. تصبح الرتبة $r$ تكلفة تغطية مجمعة (عدد الخطوات لزيارة جميع الذرات) بدلاً من كونها مضاعفًا للتباين في كل خطوة.

2. القياس الواعي بالطوبولوجيا ($\gamma = \alpha r$)

تحدد الورقة أن قياس LoRA القياسي $\gamma = \alpha$ (الذي ينتج $\alpha/r$ لكل ذرة) تمت معايرته للتحديثات المشتركة حيث تساهم جميع الذرات في آن واحد. في ظل الاستعلامات المتسلسلة للرتبة-1، يؤدي وراثة هذا القياس إلى تثبيط الإشارة النشطة.

• التصحيح: يقدم AR1-ZO معايرة واعية بالطوبولوجيا حيث يتم ضبط المعامل العالمي ليكون $\gamma = \alpha r$.
• الأثر: يضمن هذا أن المعامل الفعال للذرة النشطة هو $\frac{\gamma}{r} = \alpha$. وبالتالي، تظل بسط الفرق المحدود النشط ثابتًا بالنسبة للرتبة ($\Theta(1)$)، مما يعيد FD-SNR إلى مستوى ثابت بغض النظر عن $r$. هذا يمنع الانهيار الاتجاهي.

3. الخوارزمية

تتوالى دورة التحديث عبر الذرات $k=1 \dots r$. لكل خطوة:

1. أخذ عينات من الاضطرابات $z_b, z_a$ لعوامل الذرة النشطة.
2. تقييم عمليات المرور الأمامي $L(\theta + \mu P_t z)$ و $L(\theta - \mu P_t z)$ على دفعة مصغرة مزدوجة.
3. حساب مقدر التدرج باستخدام المقياس المصحح $\gamma = \alpha r$.
4. تحديث المتجهات النشطة $b_k, a_k$ فقط.

المساهمات الرئيسية

1. صياغة ذرة الرتبة-1 ككتلة استعلام: تثبت الورقة أن الزوج المتطابق $(b_k, a_k)$ هو الحد الأدنى لكتلة LoFA الأصلية. إن اضطراب جانب واحد فقط يعد غير مكتمل، بينما تجميع الذرات يعيد بُعد الرتبة. يستفيد AR1-ZO من هذا لفصل رتبة التخزين عن بُعد الاستعلام.
2. تشخيص الانهيار الاتجاهي: يثبت المؤلفون نظريًا أن التحديث الذري الساذج مع القياس القياسي يسبب اضمحلال FD-SNR النشط بمعدل $O(1/r^2)$، مما يؤدي إلى فقدان الدقة الاتجاهية (تقارب تشابه جيب التمام مع التدرج الحقيقي نحو الصفر) مع زيادة الرتبة.
3. استعادة الإشارة عبر القياس الواعي بالطوبولوجيا: تشتق الورقة وتتحقق من قاعدة القياس $\gamma = \alpha r$. يظهر التحليل النظري أن هذا يستعيد الإشارة النشطة و FD-SNR المستقلين عن الرتبة، مما يضمن بقاء المقدر معلوماتيًا حتى عند الرتب العالية.
4. الكفاءة التشغيلية: يحقق AR1-ZO هذه المكاسب تحت ميزانية "الصندوق الأسود" الصرفة (مروران أماميان لكل خطوة) دون قواعد أساسية مساعدة، أو خطافات تنشيط، أو تقدير انحناء.

النتائج التجريبية

تم التحقق من صحة الطريقة على نماذج OPT (2.7B, 13B) و Qwen3 (1.7B, 32B) عبر مهام تشمل BoolQ, CB, COPA, WIC, SQuAD, و DROP.

• استعادة الإشارة: أكدت التجارب التي مسحت رتبة LoRA $r \in \{1, \dots, 64\}$ أن القياس الساذج يسبب انهيارًا في FD-SNR والدقة الاتجاهية عند الرتب العالية (مثل $r=64$)، بينما يحافظ AR1-ZO على مقاييس مستقرة عبر النطاق بأكمله.
• التقارب: في مسارات خسارة التدريب، أظهر AR1-ZO تقاربًا سلسًا، متفوقًا على التحديث الذري الساذج و MeZO-LoRA، ومقلصًا الفجوة مع الضبط الدقيق الكامل (FT/Adam).
• الأداء في المهام النهائية: باستخدام رتبة ثابتة $r=64$ وميزانيات مرور أمامي مزدوجة متطابقة، تفوق AR1-ZO باستمرار على النماذج المرجعية (MeZO-LoRA, LOZO, ZO-Alt-naive) في جميع المهام. على سبيل المثال، في OPT-2.7B، حسن SQuAD F1 بمقدار +13.2 عن MeZO-LoRA.
• الكفاءة: طابق AR1-ZO وقت الخطوة وذروة ذاكرة VRAM مع MeZO+LoRA، مما يؤكد أن جدول التناوب وتصحيح القياس لا يسببان أي أعباء إضافية على النظام.

الأهمية والادعاءات

تدعي الورقة حل عدم تطابق القياس والطوبولوجيا في ضبط LoRA من الدرجة الصفرية (Black-box). وتجادل بأن LoRA عالي الرتبة ليس غير متوافق جوهريًا مع تحسين ZO؛ بل إن الفشل ينشأ من تطبيق قواعد قياس التحديث المشترك على قياسات المستوى الذري المتسلسلة.

من خلال معاملة ذرة الرتبة-1 كوحدة قياس أساسية وإعادة معايرة القياس ليكون $\gamma = \alpha r$، يتيح AR1-ZO استخدام مهايئات عالية الرتبة (التي توفر سعة أكبر) دون تحمل عقوبات التباين أو فقدان الإشارة المرتبطة بها عادةً. يضع المؤلفون ذلك كإجراء تصحيحي ضروري لـ "وحدة القياس" لـ LoRA-ZO من الدرجة الصفرية، مؤكدين أن الرتبة لا يجب أن تكون "ضريبة بُعد الاستعلام الواحد" إذا تم مواءمة طوبولوجيا الاستعلام والقياس. يوفر العمل أساسًا نظريًا لسبب فشل محاولات الرتب العالية السابقة، ويقدم آلية بسيطة وخالية من المعلمات لاستعادة فعاليتها.