ملخص تقني: تخصيص رتبة LoRA القائم على التدرج تحت ظل GRPO

بيان المشكلة

أصبح التكيف منخفض الرتبة (LoRA) هو المعيار للضبط الدقيق الموفر للمعلمات (PEFT) للنماذج اللغوية الكبيرة (LLMs). وبينما أثبتت الأبحاث الحديثة أن التخصيص التكيفي للرتبة — أي تعيين المزيد من المعلمات ديناميكيًا للطبقات "المهمة" وأقل للطبقات "غير المهمة" — يحسن الكفاءة بشكل كبير تحت ظروف الضبط الدقيق الخاضع للإشراف (SFT)، إلا أنه لا يزال من غير الواضح ما إذا كان هذا الارتباط بين أهمية التدرج ومتطلبات السعة ينطبق أيضًا تحت ظروف تحسين سياسة المجموعة النسبية (GRPO)، وهو خوارزمية تعلم تعزيزي (RL) رائدة في عملية المحاذاة.

تستقصي هذه الدراسة تحديدًا ما إذا كانت استراتيجيات تحليل الرتبة القائمة على التدرج، والتي نجحت في SFT، يمكن نقلها بفعالية إلى GRPO، وهو خوار_زمية تعلم تعزيزي رائدة للمحاذاة. الفرضية الأساسية هي أن هدف التعلم التعزيزي المتميز (التدرجات السياسية الموزونة بالميزة مع مكافآت ثنائية متفرقة) قد يغير بشكل جذري مشهد التدرج، مما قد يجعل قواعد التخصيص التجريبية الخاصة بـ SFT غير فعالة أو ضارة.

المنهجية

أجرى المؤلفون دراسة تجريبية باستخدام نموذج Qwen 2.5 1.5B-Instruct على مجموعة بيانات GSM8K للاستدلال الرياضي.

الإعداد التجريبي

• الأساس (Baseline): تخصيص LoRA موحد (r=32) عبر جميع طبقات الـ transformer البالغ عددها 28 وطبقات الإسقاط الـ 7 لكل طبقة (إجمالي 196 محولًا).
• الاستراتيجيات التكيفية:
  • التخصيص التناسبي: يتم تعيين الرتب بناءً على "درجة حساسية المكافأة" ($S(l)$) المحسوبة مسبقًا، والمعرفة بأنها متوسط معيار التدرج عبر خطوات التدريب.
  • التخصيص العشوائي: مجموعة ضابطة ذات رتب غير موحدة ولكن بدون توجيه تدرجي.
  • الميزانية المخفضة: سيناريو تم فيه تقليل إجمالي المعلمات بنسبة 70%.
• تكوين التدريب: GRPO مع $K=4$ من عمليات التوليد، ومعامل KL قدره $\beta=0.05$، و1,000 خطوة تدريب.
• التقييم: الدقة على 200 عينة اختبار من GSM8K، مع فترات ثقة لدرجة ويلسون بنسبة 95%.

تحليل الآلية الرئيسية

قدمت الدراسة مقياس "تحليل حساسية المكافأة" لتحديد أهمية الطبقة. ومن الأهمية بمكان أن المؤلفين حللوا مشهد التدرج ليس فقط عند نقطة البداية، بل بشكل ديناميكي أثناء التدريب لمراقبة كيفية تأثير تخصيص الرتب على تدفق التدرج ("تأثير تضخيم التدرج").

النتائج الرئيسية

1. فشل التخصيص التكيفي في التعلم التعزيزي (RL)

على عكس نتائج SFT، أدى تخصيص الرتب التكيفي إلى تدهور الأداء تحت ظل GRPO.

• التخصيص الموحد: حقق دقة بنسبة 74.5%.
• التخصيص التناسبي (المدرك للتدرج): حقق دقة بنسبة 70.0% (انخفاض قدره 4.5 نقطة) رغم استخدام نفس ميزانية المعلمات (36.9 مليون معلمة).
• التخصيص العشوائي: كان الأداء أسوأ عند 67.5%، مما يؤكد أنه بينما تحدد إشارة التدرج الطبقات "المهمة"، فإن الانحراف عن التوحيد يعد أمرًا ضارًا.

2. مشهد التدرج المسطح

حددت الدراسة اختلافًا هيكليًا جوهريًا بين SFT وGRPO:

• SFT: أهمية التدرج مركزة للغاية؛ حيث تحمل أعلى 30% من الطبقات أكثر من 80% من الإشارة، وغالبًا ما تتجاوز نسب الأهمية القصوى/الدنيا 10 أضعاف.
• GRPO: مشهد التدرج أكثر تسطحًا بشكل ملحوظ. كانت نسبة أهمية الطبقة القصوى/الدنيا 2.17× فقط. حتى "أبرد" الطبقات ساهمت بنسبة 46% من إشارة "أحرها". يشير هذا إلى أنه تحت ظروف RL، جميع الطبقات تحمل عبء العمل، ولا توجد طبقة خاملة حقًا.

3. تأثير تضخيم التدرج

الاكتشاف الجديد لهذا العمل هو أن التخصيص غير الموحد يخلق حلقة تغذية راجعة إيجابية تشوه مشهد التدرج:

• عندما يتم تخصيص الرتب بشكل غير موحد، فإن انتشار الأهمية يتسع بدلاً من أن يستقر.
• الآلية: الطبقات التي تم تخصيص رتب أعلى لها تمتص المزيد من التدرج، فتظهر وكأنها أكثر "أهمية"، بينما يتم إسكات الطبقات ذات الرتب المنخفضة تدريجيًا.
• الدليل: ارتفعت نسبة الأهمية القصوى/الدنيا من 2.17× (في التوزيع الموحد) إلى 3.00× (في التناسب) و 3.57× (في الميزانية المخفضة).
• السببية: هذا التأثير سببي وليس ارتباطيًا. حتى في مجموعة التحكم التخصيص العشوائي، حيث لم تكن الرتب مرتبطة بأي علاقة بأهمية التدرج الأولية، ظهر ارتباط قوي ($r > 0.97$) بين الرتب المخصصة وتغير التدرج الناتج. وهذا يعني أن الرتبة هي التي تحدد أهمية التدرج في GRPO، مما يبطل نموذج "التحليل ثم إعادة التدريب".

4. فجوة التعميم

كانت منحنيات مكافأة التدريب متطابقة تقريبًا في جميع التكوينات (وصلت إلى ~0.74–0.77 من الصحة). ظهر تدهور الأداء في الطرق التكيفية فقط عند وقت التقييم. يشير هذا إلى أن التخصيص غير الموحد يضر بالتعميم على المشكلات غير المرئية، حتى لو تعلم النموذج توزيع التدريب بنفس القدر من الجودة.

الأهمية والادعاءات

تخلص الورقة إلى أن أهمية التدرج لا تتنبأ بمتطلبات السعة تحت ظروف RL. تكمن الأهمية الأساسية لهذا العمل في:

1. تحدي قابلية نقل قواعد SFT: إنها تثبت أن الاستراتيجيات التي ثبتت فعاليتها لـ SFT (مثل AdaLoRA أو GoRA) لا ينبغي تطبيقها بسذاجة على تدريب المحاذاة القائم على RL.
2. تحديد نمط فشل جديد: يكشف "تأثير تضخيم التدرج" عن آلية حيث يضر التخصيص غير الموحد بديناميكيات التدريب من خلال إسكات الطبقات الهيكلية الضرورية (مثل تلك التي تتعامل مع التنسيق أو الدقة الرقمية) التي تولد تدرجات صغيرة ولكنها حاسمة.
3. توجيه عملي: يجب على الممارسين تفضيل تخصيص الرتب الموحد لتدريب GRPO لضمان التعميم القوي، حيث يتطلب مشهد التدرج المسطح تحت ظروف RL توزيع السعة بالتساوي عبر جميع الطبقات.

يظل المؤلفون متواضعين فيما يتعلق بالتعميم، مشيرين إلى أن النتائج محدودة حاليًا بحجم نموذج واحد، ومجموعة بيانات واحدة، وخوارزمية RL واحدة، ويدعون إلى مزيد من التكرار مع نطاقات أكبر ومجالات متنوعة.