ملخص تقني: الضبط الدقيق الخاضع للإشراف المحافظ على الدوران (RPSFT)

بيان المشكلة

يُعد الضبط الدقيق الخاضع للإشراف (SFT) مرحلة قياسية لما بعد التدريب للنماذج اللغوية الكبيرة (LLMs) تُستخدم لتكييف النماذج مع مهام محددة. ومع ذلك، غالبًا ما يؤدي SFT إلى تدهور في التعميم خارج النطاق (OOD)، وهي ظاهرة مرتبطة بـ "النسيان الكارثي". تشير الأبحاث السابقة إلى أن هذا التدهور ناتج عن الانجراف الهندسي المفرط، وتحديدًا دوران الفضاءات الجزئية المنفردة المهيمنة داخل مصفوفات الأوزان سابقة التدريب. ترتبط هذه الاتجاهات المهيمنة بالهياكل ذات التباين العالي والمنحنى العالي الضرورية للقدرات العامة، إلا أن تحديد الاتجاهات المحددة الحساسة للخسارة باستخدام معلومات هسيان (Hessian) أو فيشر (Fisher) أمر مستعصٍ حاسبياً في مقاييس النماذج اللغوية الكبيرة الحديثة.

المنهجية: الضبط الدقيق الخاضع للإشراف المحافظ على الدوران (RPSFT)

يقترح المؤلفون الضبط الدقيق الخاضع للإشراف المحافظ على الدوران (RPSFT)، وهو طريقة تنظيم مصممة للحد من الانجراف الهندسي غير الضروري مع الاحتفاظ بالتكيف مع المهمة.

الآلية الجوهرية

يعمل RPSFT بناءً على فرضية أن الفضاءات الجزئية المنفردة المهيمنة للأوزان سابقة التدريب تتداخل بشكل كبير مع اتجاهات "فيشر" الحساسة (الاتجاهات التي تسبب تغيراتها زيادات كبيرة في الخسارة للقدرات المحتفظ بها). بدلاً من حساب مصفوفة فيشر المكلفة، يستخدم RPSFT تحليل القيمة المفردة (SVD) لنموذج ما قبل التدريب كوكيل هيكلي.

لكل مصفوفة أوزان مختارة $W_0$ في النموذج سابقة التدريب، تقوم الطريقة بما يلي:

1. حساب مسبق لـ SVD المبتور: $W_0 = U_0 \Sigma_0 V_0^\top$.
2. تخزين مؤقت لقواعد المتجهات المنفردة اليسرى واليمنى من أعلى-$k$: $U_0^{(k)}$ و $V_0^{(k)}$.
3. إضافة حد تنظيم إلى دالة خسارة SFT القياسية:
   $$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U_{0, \ell}^{(k)})^\top (W_\ell - W_{0, \ell}) V_{0, \ell}^{(k)} \|_F^2$$
   حيث $\lambda$ هي قوة التنظيم و $\mathcal{M}$ هي مجموعة الطبقات المختارة.

الخيارات التصميمية الرئيسية

• المرساة المسقطة (Projected Anchor): يستهدف الجزاء تحديداً كتلة $k \times k$ من مصفوفة الأوزان المسقطة على قواعد المنفردة سابقة التدريب. هذا "يرسي" الفضاء الجزئي المهيمن، مما يمنعه من الدوران.
• الحرية المتكاملة: على عكس تثبيت فضاء الأوزان الكامل (مثل تنظيم L2 حول النموذج الأساسي)، يترك RPSFT الاتجاهات المكملة (المتعامدة مع متجهات المنفردة العليا-$k$) حرة للتكيف. وهذا يسمح للنموذج بتعلم ميزات خاصة بالمهمة دون أن يكون مقيداً بشكل مفرط.
• الكفاءة الحسابية: تتطلب الطريقة تخزين المتجهات المنفردة العليا-$k$ والمرجع فقط. التكلفة الحسابية الإضافية خطية بالنسبة للرتبة المحمية $k$ وضئيلة مقارنة بتحديث المعلمات الكامل، مما يجعلها قابلة للتنفيذ في الضبط الدقيق لكامل المعلمات.

المساهمات الرئيسية

1. وكيل فعال لحساسية فيشر: يثبت البحث أن الفضاءات الجزئية المنفردة المهيمنة سابقة التدريب تعمل كوكيل هيكلي منخفض الرتبة لاتجاهات "فيشر" الحساسة. تظهر التشخيصات التجريبية أن كتلة صغيرة من أعلى-$k$ (على سبيل المثال، رتبة 768) تلتقط جزءاً كبيراً (حوالي 20%) من طاقة التدرج المسقطة على فيشر، مما يؤكد استخدام SVD كبديل رخيص لتقدير فيشر.
2. منظم بسيط لـ SFT: يتكامل RPSFT مباشرة في مسارات SFT القياسية دون الحاجة إلى بيانات إضافية، أو حدود للمهام، أو تغييرات معمارية معقدة. إنه يعمل كقيد ناعم بدلاً من آلية إسقاط صلبة أو آلية تجميد.
3. تحسين المقايضة بين ID و OOD: عبر عائلات نماذج متعددة (Llama-3.1-8B, Qwen2.5-7B, Qwen2.5-3B) وأحجام مختلفة، يحسن RPSFT باستمرار المقايضة بين أداء المهمة داخل النطاق (ID) والتعميم خارج النطاق (OOD) مقارنة بـ SFT القياسي والأساليب القوية مثل الضبط الدقيق الديناميكي (DFT) و SFT المرجح بالأهمية (IW).
4. بدايات أقوى لتعلم التعزيز (RL): توفر النماذج التي تم ضبطها باستخدام RPSFT بدايات متفوقة لعمليات الضبط الدقيق لتعلم التعزيز (RLFT) باستخدام DAPO. فهي تحقق أداءً نهائياً أعلى أو منافساً في RL، مما يشير إلى أن الحفاظ على الهندسة سابقة التدريب يسهل عملية التحسين اللاحقة.

النتائج التجريبية

قيم المؤلفون RPSFT على بيانات الاستدلال الرياضي (OpenR1-Math) واختبروا الأداء على:

• داخل النطاق (ID): اختبارات الرياضيات (AIME, AMC, MATH-500, إلخ).
• خارج النطاق (OOD): اختبارات الاستدلال العام، السلامة، والمعرفة (GPQA, MMLU-Pro, TruthfulQA, إلخ).

النتائج الرئيسية:

• الأداء: حقق RPSFT أفضل متوسطات الأداء ومعدلات النجاح داخل النطاق (ID) عبر جميع أحجام النماذج. والأهم من ذلك، أنه قلل من نسيان OOD مقارنة بـ SFT التقليدي. على سبيل المثال، في Llama-8B، حسن RPSFT الأداء خارج النطاق (OOD) مقارنة بالنموذج الأساسي، بينما أدى SFT القياسي إلى تدهوره. وفي نماذج Qwen، خفف RPSFF من تدهور OOD الذي لوحظ في SFT القياسي دون التضحية بمكاسب ID.
• الاستقرار الهندسي: أظهر تحليل دوران فضاء الأوزان أن RPSFT يقلل بشكل كبير من دوران الفضاءات الجزئية اليسرى المهيمنة مقارنة بـ SFT و DFT و IW.
• الحفاظ على التمثيل: كشف تحليل انجراف الحالة المخفية (قياس إزاحة المركز في فضاء PCA) أن RPSFT يبقي تمثيلات النموذج المضبوط أقرب إلى النموذج الأساسي من الطرق الأخرى، وخاصة DFT التي أظهرت أكبر قدر من الانجراف.
• الحساسية للمعلمات الفائقة: الطريقة قوية تجاه الرتب المحمية المتوسطة ($k$). وجد المؤلفون أن $k=768$ (حوالي 5% من رتبة المصفوفة) هو افتراضي عملي يلتقط طاقة فيشر الكافية مع السماح بالتكيف. وقد وُجد أن الرتب الكبيرة جداً (التي تقترب من تثبيت L2 كامل الرتبة) تعيق التكيف مع المهمة.

الأهمية والادعاءات

يزعم البحث أن RPSFT يقدم نهجاً عملياً ومبنياً على أسس نظرية للتخفيف من مقايضة النسيان والتكيف في مرحلة ما بعد التدريب للنماذج اللغوية الكبيرة. من خلال التحكم الصريح في دوران الفضاءات الجزئية المهيمنة سابقة التدريب، يعمل RPSFT على استقرار القدرات "عامة الأغراض" المشفرة أثناء مرحلة ما قبل التدريب مع السماح بالتحديثات الضرورية الخاصة بالمهمة.

يؤكد المؤلفون أن عملهم يوفر أدلة تجريبية ونظرية على أن:

1. الحفاظ على الفضاءات الجزئية المهيمنة سابقة التدريب يقلل من الانجراف الهندسي.
2. هذا الحفاظ يحمي تمثيلات الحالة المخفية من النسيان الكارثي.
3. هذا الاستقرار يؤدي إلى بدايات أفضل لتعلم التعزيز (RL) لاحقاً، مما يشير إلى أن فوائد RPSFT تمتد إلى ما بعد مرحلة SFT.

يخلص البحث إلى أن RPSFT هو منظم بسيط وفعال يمكن نشره في مسارات الضبط الدقيق القياسية لتعزيز متانة النماذج اللغوية الكبيرة ضد تدهور OOD. ويُقترح في العمل المستقبلي استكشاف التنظيم الانتقائي للطبقات والتطبيق على مقاييس أكبر وغير رياضية من البيانات.