ملخص تقني: الضبط الدقيق دون نسيان عبر معدلات تعلم متكيفة مع الخسارة

بيان المشكلة

غالبًا ما يؤدي الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات جديدة خاصة بمهمة معينة إلى النسيان الكارثي (Catastrophic Forgetting)، حيث تتدهور القدرات التي اكتُسبت أثناء مرحلة ما قبل التدريب (مثل الاستدلال العام، والمواءمة الأمنية، والواقعية) بشكل كبير. تندرج استراتيجيات التخفيف الحالية عمومًا تحت فئتين:

1. إعادة تشغيل البيانات (Data Replay): خلط بيانات ما قبل التدريب مع بيانات المهمة أثناء الضبط الدقيق. وهذا غالبًا ما يكون غير ممكن لأن بيانات ما قبل التدريب للنماذج الحديثة هي بيانات مملوكة لجهات معينة أو غير متاحة.
2. تعديل الهدف (Objective Modification): كبح تأثير الرموز (Tokens) أو التسلسلات "الصعبة" (تلك التي تُسند إليها خسارة عالية من قبل النموذج المدرب مسبقًا) أثناء الضبط الدقيق. وتشمل الطرق المتبعة تقليل وزن التسلسلات ذات الخسارة العالية (FLOW)، أو حجب الرموز ذات الإنتروبيا العالية (STM)، أو إعادة وزن الخسائر (TALR, DFT).

تحدد الورقة البحثية خللًا حرجًا في نهج تعديل الهدف: في السيناريوهات التي تتطلب اكتساب معرفة جديدة (مثل تعلم حقائق جديدة) أو التكيف مع لغة ذات موارد منخفضة، تكون الرموز "الصعبة" هي تحديدًا تلك الضرورية لتعلم المهمة الجديدة. إن كبح هذه الرموز يحسن مقاييس النسيان ولكنه يضعف أداء المهمة المستهدفة بشكل حاد، مما يخلق مقايضة (Pareto trade-off) سيئة.

المنهجية: FINCH

يقترح المؤلفون FINCH (جدول عكسي للخسارة مدرك للنسيان)، وهو أسلوب يتحكم في النسيان ليس عن طريق تغيير هدف التدريب أو توزيع البيانات، بل عن طريق تكييف معدل التعلم (Learning Rate) على أساس كل خطوة.

الأساس النظري

الرؤية الجوهرية هي وجود حد نظري للنسيان لكل خطوة. استنتج المؤلفون أن الزيادة في الخسارة للمهام القديمة ($\Delta L_{old}$) عند أي خطوة تدريب $i$ محكومة بضرب معدل التعلم ($\eta_i$) في الجذر التربيعي لخسارة الدفعة الصغيرة الحالية ($L_{B_i}$):
$$\Delta L_{old}(p_i) \leq C_1 \eta_i \sqrt{L_{B_i}(\theta_i)} + C_2 \eta_i^2 L_{B_i}(\theta_i)$$
وهذا يعني أن الخطوات ذات خسارة التدريب العالية (التي تحدث عادةً في وقت مبكر من الضبط الدقيق أو على العينات الصعبة) هي المحركات الرئيسية للنسيان.

الجدول المتكيف

للحفاظ على حد نسيان موحد لكل خطوة طوال عملية التدريب، يضبط FINCH معدل التعلم بشكل يتناسب عكسيًا مع الجذر التربيعي لخسارة الدفعة الصغيرة:
$$\eta_i = \frac{\kappa}{\sqrt{L_{B_i}(\theta_i)}}$$
من الناحية العملية، يتم تنفيذ ذلك باستخدام المتوسط المتحرك الأسي (EMA) لخسائر الدفعات الصغيرة ($\bar{L}_i$) لضمان الاستقرار، مع وضع حد أقصى لمعدل التعلم ($\eta_{max}$) وإضافة قيمة إبسيلون صغيرة للاستقرار العددي:
$$\eta_i = \min\left( \frac{\eta_{base}}{\sqrt{\bar{L}_i + \epsilon}}, \eta_{max} \right)$$
الآلية الرئيسية:

• الدفعات ذات الخسارة العالية: يتم تقليل معدل التعلم، مما يقلل من حجم التحديثات التي قد تضر بالقدرات المحتفظ بها.
• الدفعات ذات الخسارة المنخفضة: مع تقارب النموذج وانخفاض الخسارة، يزداد معدل التعلم، مما يسمح بتحسين فعال.
• الحفاظ على الهدف: على عكس الطرق الأخرى، يترك FINCH هدف التدريب (Cross-entropy) دون تغيير. لا تزال الرموز ذات الخسارة العالية تساهم في التعلم، مما يضمن قدرة النموذج على اكتساب معرفة جديدة.

المساهمات الرئيسية

1. الحد النظري: تثبت الورقة وجود رابط نظري بين النسيان لكل خطوة، ومعدل التعلم، وخسارة التدريب، موضحة أن النسيان محكوم بـ $\eta \sqrt{L}$.
2. خوارزمية FINCH: جدول معدل تعلم بسيط غير معتمد على البيانات، لا يتطلب الوصول إلى بيانات ما قبل التدريب ولا يتطلب تعديل هدف الضبط الدقيق.
3. تحسين باريتو (Pareto Optimization): يحقق FINCH مقايضة متفوقة بين دقة المهمة المستهدفة والحفاظ على القدرات العامة مقارنة بالنماذج المرجعية المتطورة.

النتائج التجريبية

قيم المؤلفون FINCH في ثلاث حالات حيث تمتلك النماذج المدربة مسبقًا تغطية محدودة: اكتساب المعرفة (TOFU)، الاستدلال العلمي (SciKnowEval)، والتكيف مع لغة ذات موارد منخفضة (Galician Alpaca). أُجريت التجارب على نماذج Qwen3-4B و Llama-3-8B.

مقاييس الأداء

• تقليل النسيان: يقلل FINCH متوسط النسيان بنسبة 93% مقارنة بالضبط الدقيق الخاضع للإشراف (SFT) القياسي عبر جميع المهام.
• دقة المهمة المستهدفة: يطابق FINCH أو يتجاوز دقة المهمة المستهدفة لـ SFT و LoRA. على سبيل المثال، في اكتساب المعرفة باستخدام Qwen3-4B، يحقق FINCH دقة بنسبة 83.3% (مماثل لدقة SFT البالغة 83.5%) بينما يقلل متوسط تدهور المعايير من -9.6 إلى +0.1.
• الحفاظ على الموثوقية:
  • الواقعية (Factuality): في TruthfulQA، يقلل FINCH التدهور بمقدار 5 أضعاف مقارنة بـ SFT (من -13.9 إلى -2.6 نقطة).
  • كشف الهلوسة: في HaluEval، يعكس FINCH التدهور الذي شوهد في SFT، محققًا تحسنًا قدره +3.3 نقطة.
  • المعايرة (Calibration): يحافظ FINCH على معايرة الثقة (المقاسة بمعامل Brier) بشكل أفضل من SFT القياسي، رغم بقاء بعض التدهور.

المقارنة مع النماذج المرجعية

• طرق تعديل الهدف (FLOW, DFT, STM): غالبًا ما تقلل هذه الطرق من النسيان ولكنها تفشل في تعلم المهمة الجديدة بفعالية، مما يؤدي إلى دقة أقل بكثير في المهمة المستهدفة.
• الطرق الفعالة في المعلمات (LoRA): رغم فعاليتها في تقليل النسيان، إلا أن LoRA لا تزال تتسبب في تدهور كبير في القدرات العامة مقارنة بـ FINCH.
• معدل التعلم الصغير الثابت: مجرد خفض معدل التعلم يقلل من النسيان ولكنه يفشل في الوصول إلى دقة تنافسية في المهمة الجديدة، مما يؤكد أن الطبيعة "المتكيفة" لـ FINCH هي أمر بالغ الأهمية.

الأهمية والادعاءات

تدعي الورقة أن جداول معدل التعلم هي أداة غير مستغلة كفاية لتشكيل سلوك النموذج أثناء الضبط الدقيق. من خلال ضبط حجم الخطوة ديناميكيًا بناءً على صعوبة الدفعة الحالية (كما تعكسها الخسارة)، يسمح FINCH للنماذج بتعلم معلومات جديدة وصعبة دون الكتابة فوق معرفة ما قبل التدريب بشكل كارثي.

يؤكد المؤلفون أن نهجهم غير معتمد على البيانات (data-oblivious)، مما يجعله عمليًا للنماذج اللغوية الكبيرة الحديثة حيث تكون بيانات ما قبل التدريب غير متاحة. ويخلصون إلى أن FINCH يوفر حلاً مثاليًا لباريتو (Pareto-optimal)، حيث يحقق أداءً عاليًا في المهمة المستهدفة مع الحفاظ في الوقت نفسه على الواقعية، وكشف الهلوسة، وقدرات الاستدلال العام، متفوقًا على الطرق التي تحاول التخفيف من النسيان عن طريق كبح الأمثلة الصعبة.

القيود المعترف بها:

• التحليل النظري مشتق لـ SGD، رغم أن التجارب استخدمت AdamW.
• بينما يقلل FINCH من تدهور المعايرة، فإنه لا يحافظ تمامًا على معايرة النموذج المدرب مسبقًا.
• التجارب محدودة بنماذج تصل إلى 8 مليار معلمة بسبب القيود الحسابية.