🤖 machine learning

Robust Policy Optimization to Prevent Catastrophic Forgetting

تقدم هذه الورقة البحثية "تحسين السياسة المتينة بالضبط الدقيق" (FRPO)، وهو إطار عمل للتعلم المعزز من التغذية الراجعة البشرية (RLHF) يتسم بالمتانة، حيث يستخدم صياغة "الحد الأقصى-الحد الأدنى" (max-min) لتحسين استقرار المكافأة عبر نطاق مجاور من تحولات السياسة المحتملة، مما يمنع بفعالية النسيان الكارثي للسلوكيات الآمنة وغيرها من السلوكيات المتعلمة أثناء عملية الضبط الدقيق اللاحقة للمهام النهائية دون تكبد تكاليف حوسبية إضافية.

المؤلفون الأصليون: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mahdi Sabbaghi, George Pappas, Adel Javanmard, Hamed Hassani

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً نابغاً، لنسمّه "الذكاء الاصطناعي". لقد أمضيت سنوات في تدريبه ليكون مفيداً، مهذباً، وآمناً. هو يعرف كيف يجيب على الأسئلة دون أن يكون فظاً، ويعرف متى يرفض الطلبات الخطيرة (مثل "كيفية صنع قنبلة"). هذه هي مرحلة "تدريب السلامة".

الآن، تريد تعليم هذا الطالب نفسه مهارة جديدة محددة، مثل الرياضيات المتقدمة أو البرمجة. تبدأ فصلاً دراسياً جديداً (الضبط الدقيق/Fine-tuning). ولكن هنا تكمن المشكلة: بينما يتعلم الطالب قواعد الرياضيات الجديدة، يبدأ في نسيان قواعد السلامة القديمة. فجأة، عندما يُسأل سؤالاً رياضياً، قد يعطي بالخطأ إجابة خطيرة لأنه ركز بشدة على الرياضيات لدرجة أنه نسي تدريب "عدم إلحاق الضرر". في الورقة البحثية، يُطلق على هذا اسم "النسيان الكارثي" (Catastrophic Forgetting).

معظم المحاولات السابقة لإصلاح ذلك كانت تشبه قولك للطالب: "مهلاً، لا تنسَ قواعد السلامة الخاصة بك أثناء قيامك بالرياضيات!" بعد أن بدأ فصل الرياضيات بالفعل. وتجادل الورقة بأن هذا كان متأخراً جداً. بدلاً من ذلك، يجب عليك تعليم الطالب أن يكون قوياً (Robust) قبل أن يبدأ فصل الرياضيات حتى.

الفكرة الجوهرية: البحث عن "البقعة المسطحة"

يقترح المؤلفون طريقة تدريب جديدة تسمى FRPO (تحسين سياسة الضبط الدقيق القوية). لفهم كيفية عملها، تخيل مشهداً من التلال والوديان:

الطريقة القديمة (التدريب القياسي): يبحث الطالب عن أعلى قمة في المشهد. تمثل هذه القمة أعلى درجة ممكنة للمهمة الحالية. ومع ذلك، قد تكون هذه القمة عبارة عن جبل حاد يشبه الإبرة. إذا اتخذ الطالب ولو خطوة واحدة في أي اتجاه (مثل تعلم قاعدة رياضية جديدة)، فسوف ينزلق مباشرة عن القمة ويسقط في منحدر، فاقداً كل مهارات السلامة لديه.
طريقة FRPO: بدلاً من البحث عن أعلى نقطة إبرية منفردة، تُعلم FRPO الطالب كيفية العث تجد هضبة عريضة ومسطحة لا تزال مرتفعة جداً. على هذه الهضبة، يمكن للطالب اتخاذ بضع خطوات في أي اتجاه (تعلم مهارات جديدة) دون السقوط من الحافة. تظل المكافأة (السلامة) عالية حتى أثناء تحركه في الأرجاء.

كيف يعمل الأمر (لعبة "ماذا لو")

تستخدم الورقة البحثية خدعة رياضية ذكية للعثور على هذه الهضبات المسطحة. بدلاً من مجرد السؤال: "ما مدى جودة الطالب الآن؟"، تسأل FRPO:

"ما هو أسوأ سجل ممكن يمكن أن يحصل عليه هذا الطالب إذا أجرينا تغييرات صغيرة ومعقولة على سلوكه (مثل ما قد يفعله فصل رياضيات نموذجي)؟"

ثم تحاول الخوارزمية تعظيم ذلك السجل في الحالة الأسوأ. إنها تجبر الطالب على تعلم استراتيجية تكون آمنة حتى لو تغيرت الأمور قليلاً. الأمر يشبه تدريب رياضي ليس فقط على الجري بسرعة في مضمار مثالي، بل على الجري بسرعة حتى لو أصبح المضمار وعراً أو عاصفاً قليلاً.

النتائج: سلامة راسخة

اختبر الباحثون هذا على نماذج لغوية كبيرة (الطلاب) في سيناريوهين رئيسيين:

تدريب السلامة: قاموا بتدريب النماذج لتكون آمنة، ثم حاولوا "ضبطها دقيقاً" على مسائل رياضية (GSM8K) أو تعليمات عامة (Alpaca).
- النتيجة: فقدت النماذج المدربة بالطريقة القياسية قواعد السلامة الخاصة بها وأصبحت خطيرة. أما النماذج المدربة بطريقة FRPO، فقد حافظت على حواجز السلامة سليمة مع تعلم الرياضيات أيضاً. لم يكتفوا فقط بـ "عدم النسيان"؛ بل حافظوا فعلياً على قدرتهم على قول "لا" للطلبات السيئة حتى بعد تعلم مهارات جديدة.
تدريب الرياضيات: قاموا بتدريب النماذج لتكون جيدة في الرياضيات، ثم حاولوا تعليمها البرمجة.
- النتيجة: عادةً، جعل خبير الرياضيات يتعلم البرمجة يجعله أسوأ في الرياضيات. ومع ذلك، حافظت نماذج FRPO على دقة الرياضيات أعلى بكثير (بنسبة 22% أفضل تقريباً) من النماذج القياسية بعد تعلم البرمجة.

لماذا يهم هذا الأمر

تدعي الورقة أنه من خلال تغيير كيفية تدريب النموذج الأساسي في البداية (جعله "مسطحاً" وقوياً)، فإننا لا نحتاج إلى إصلاحات معقدة ومكلفة لاحقاً. لا نحتاج إلى حفظ بيانات قديمة لـ "الاستذكار" معها، أو استخدام وحدات برمجية خاصة لقفل أجزاء من الدماغ. نحن فقط نبني النموذج ليكون متيناً منذ البداية.

باختصار: تعلم FRPO نماذج الذكاء الاصطناعي كيفية العثور على "منطقة آمنة" واسعة بما يكفي للسماح لها بتعلم أشياء جديدة دون السقوط من فوق منحدر. الأمر يتعلق ببناء أساس لا يتصدع عندما تضيف غرفة جديدة إلى المنزل.

ملخص تقني: تحسين السياسة القوي لمنع النسيان الكارثي

بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) عادةً عبر مسارات متعددة المراحل، تبدأ بالتعلم التعزيزي من التغذية الراجعة البشرية (RLHF) لمواءمة النماذج مع معايير السلامة والمساعدة، يتبعها الضبط الدقيق لمهام محددة لاحقة (مثل الاستدلال الرياضي أو البرمجة). وتتمثل الثغرة الحرجة في هذا النموذج في النسيان الكارثي (catastrophic forgetting): حيث يمكن حتى للتحديثات الطفيفة اللاحقة أن تؤدي إلى تدهور السلوكيات المتعلمة سابقاً، مثل حواجز الحماية الخاصة بالسلامة.

ركزت الأبحاث السابقة بشكل كبير على استراتيجيات التخفيف أثناء المهام اللاحقة (مثل إعادة التدريب، أو الضبط الدقيق الفعال للمعلمات، أو التنظيم، أو دمج النماذج) للحفاظ على القدرات بعد حدوثها. ومع ذلك، يرى المؤلفون أن هذه الأساليب غير كافية لأنها تعتمد على إجراءات محددة للمهام اللاحقة. فإذا تعرض النموذج لاحقاً لعملية "ضبط دقيق عادي" ينحرف عن تلك البروتوكولات المحددة، تظل السلوكيات المتعلمة سابقاً هشة. التحدّد الجوهري هو ضمان أن تكون السياسة الأساسية نفسها قوية تجاه التكيف المستقبلي، بغض النظر عن المهمة اللاحقة أو الخوارزمية المستخدمة.

المنهجية: تحسين السياسة القوي للضبط الدقيق (FRPO)

يقترح المؤلفون تحسين السياسة القوي للضبط الدقيق (FRPO)، وهو إطار عمل مصمم لتحسين السياسة الأساسية من أجل الاستقرار ضد التحولات اللاحقة.

1. صياغة المشعة: القوة بنمط (الحد الأقصى-الأدنى)

يصيغ المؤلفون المشكلة كمسأًلة تحسين (الحد الأقصى-الأدنى) (max-min optimization). فبدلاً من تعظيم المكافأة المتوقعة فقط عند السياسة الحالية $\pi_\theta$ ، يسعى الهدف إلى تعظيم الحد الأدنى للمكافأة التي يمكن تحقيقها بواسطة أي سياسة لاحقة $Q$ تقع ضمن جوار محدد بـ KL لـ $\pi_\theta$ .

تُعرف مشكلة التحسين كالتالي:
$\max_{\pi_\theta} \left( \inf_{Q: \mathbb{E}[\text{KL}(Q \parallel \pi_\theta)] \le \rho} \mathbb{E}_{x,y \sim Q}[r(x,y)] - \beta \text{KL}(\pi_\theta \parallel \pi_{\text{ref}}) \right)$

هنا، تمثل $\rho$ نصف قطر جوار KL، مما يعكس القيود المعيارية في الضبط الدقيق اللاحق (مثل مناطق الثقة، أو معدلات التعلم الصغيرة، أو قيود LoRA). يتم فرض القيد بالتوقع عبر توزيع المطالبات (prompts)، مما يسمح بتحولات كبيرة في المطالبات ذات الصلة بالمهمة مع الحفاظ على القرب المتوسط من السياسة الأساسية.

2. الاشتقاق النظري

باستخدام نظرية الثنائية للتحسين القوي للتوزيع (تحديداً تحت قيد تباعد $f$ )، يشتق المؤلفون شكلاً ثنائياً لمشكلة التصغير الداخلية.

هدف المخاطرة الإنتروبية: يكشف الشكل الثنائي أن الهدف القوي يعادل تحسين هدف المخاطرة الإنتروبية (entropic risk objective). تحول عملية التصغير الداخلية لـ $Q$ المشكلة إلى تعظيم:
$-\lambda \log \mathbb{E}_{y \sim \pi_\theta} \left[ e^{-r(x,y)/\lambda} \right]$
حيث $\lambda$ هو معلمة فائقة قابلة للضبط تتحكم في الحساسية للمخاطر.
التفسير: تعاقب هذه الوظيفة المسارات ذات المكافأة المنخفضة بشكل أكبر من تعظيم المكافأة المتوقعة القياسي. إنها تسعى فعلياً لإيجاد مناطق "مسطحة" في مشهد المكافأة داخل مساحة السياسة، مما يضمن أن الاضطرابات الصغيرة (الضبط الدقيق اللاحق) لا تؤدي إلى انخقات حادة في الأداء.
الحالة الحدية: عندما تؤول $\lambda \to \infty$ ، تستعيد الوظيفة هدف GRPO القياسي (Group Relative Policy Optimization)، والذي يعظم المكافأة المتوقعة.

3. التنفيذ الخوارزمي

قام المؤلفون بتكييف خوارزمية GRPO لتحسين هذا الهدف الجديد دون إدخال عبء حسابي إضافي (أي لا توجد ناقد متعلم أو عمليات تمرير أمامي إضافية).

أخذ العينات بالأهمية (Importance Sampling): يتم تقدير التوقع تحت السياسة الجديدة باستخدام عينات من سياسة متأخرة $\pi_{\text{old}}$ عبر أخذ العينات بالأهمية.
التقليم والقواعد المرجعية (Clipping and Baselines): لضمان الاستقرار، تستخدم الخوارزمية تقليماً بأسلوب PPO على نسب الأهمية. والأهم من ذلك، اشتق المؤلفون حداً مرجعياً (baseline term) لإلغاء التباين العالي في تدرج دالة التجزئة (log-partition function) عندما تكون $\lambda$ كبيرة.
تقليل الانحياز: يؤدي التقدير بطريقة مونت كارلو لدالة التجزئة إلى انحياز قدره $O(1/G)$ (حيث $G$ هو حجم المجموعة). استخدم المؤلفون تقنية جاكنايف (jackknife technique) (تقدير ترك عنصر واحد) لتقليل هذا الانحياز إلى $O(1/G^2)$ ، مما يضمن التقارب المستقر حتى مع أحجام المجموعات الصغيرة.

المساهمات الرئيسية

إطار عمل RLHF قوي: يقدم البحث إطار عمل (max-min) يأخذ في الاعتبار جميع التحولات اللاحقة ضمن كرة KL. ويوضح أن هذه الصياغة مكافئة رياضياً لتحسين هدف المخاطرة الإنتروبية، مما يوفر أساساً نظرياً لتسطيح المكافأة في مساحة السياسة.
خوارزمية FRPO: بديل عملي وجاهز للاستخدام لخوارزمية GRPO، لا يتطلب أي حسابات إضافية. يتكامل بسلاسة مع مسارات RLHF الحالية، ويتضمن حداً مرجعياً مشتقاً للاستقرار، ويستعيد هدف GRPO القياسي عندما تؤول $\lambda \to \infty$ .
التحقق التجريبي: تم تقييم الطريقة عبر سيناريوهات متنوعة، بما في ذلك مواءمة السلامة والاستدلال الرياضي، مما أظهر حفاظاً متفوقاً على القدرات السابقة مقارنة بالضبط الدقيق القياسي والأساليب الأخرى للقوة.

النتائج التجريبية

قيم المؤلفون FRPO في سيناريوهين رئيسيين: تدريب السلامة والاستدلال الرياضي.

1. تدريب السلامة (حواجز الحماية)

الإعداد: تم تدريب النماذج (Mistral-v0.1 و Qwen2.5) على مجموعة بيانات سلامة باستخدام FRPO مع قيم $\lambda$ متفاوتة، ثم تم ضبطها دقيقاً على مهام لاحقة (Alpaca لاتباع التعليمات، و GSM8K للرياضيات، و UltraFeedback لـ RL).
النتائج:
- حافظت النماذج المدربة بـ FRPO ( $\lambda \approx 0.2$ ) على معدلات رفض سلامة أعلى بكثير ودرجات ضرر أقل (StrongREJECT) بعد الضبط الدقيق مقارنة بـ GRPO القياسي.
- نجحت الطريقة في الحفاظ على حواجز حماية السلامة حتى في ظل إعدادات الضبط الدقيق العدوانية (SFT بكامل المعلمات، ومعدلات تعلم مختلفة، و LoRA).
- تحليل المقايضة: بينما حافظت قيم $\lambda$ الأصغر على السلامة بشكل أفضل، فإن القيم الأكبر حسنت المساعدة (helpfulness) قليلاً على حساب السلامة. وُجد أن $\lambda$ المثلى تعتمد على المهمة ولكنها عموماً منخفضة لأجل السلامة.
- الأداء اللاحق: من المهم ملاحظة أن FRPO لم يضعف أداء المهام اللاحقة (مثل دقة GSM8K، ودرجات MMLU) مقارنة بـ GRPO، مما يؤكد أن الاحتفاظ بالسلامة لم يكن ناتجاً عن فشل في تعلم المهمة الجديدة.

2. التعلم المستمر (من الرياضيات إلى البرمجة)

الإعداد: تم تدريب النماذج أولاً على الاستدلال الرياضي (مجموعة بيانات MATH) ثم تم ضبطها دقيقاً على توليد الكود (OpenCodeInstruct).
النتائج:
- حافظت FRPO مع $\lambda = 2.0$ (المُحسنة للتباين العالي في مكافآت الرياضيات) على الدقة الرياضية بشكل أفضل بكثير من GRPO.
- على وجه التحديد، حافظت FRPO على دقة أعلى بنسبة 22% في اختبار MATH500 بعد الضبط الدقيق للكود مقارنة بـ GRPO، مع تحقيق مكاسب مماثلة في معايير البرمجة (MBPP+).

3. دراسات الاستئصال (Ablation Studies)

المقارنة مع SAM: قارن المؤلفون FRPO مع تقنية تقليل الحدة (SAM). وبينما قدمت SAM (التي تعمل في مساحة المعلمات) بعض التحسن مقارنة بـ GRPO، كانت FRPO (التي تعمل في مساحة السياسة/KL) هي الأفضل. لاحظ المؤلفون أن كرة L2 لـ SAM في مساحة المعلمات لا تستوعب بالكامل تحولات السياسة اللاحقة، بينما تقيد كرة KL مباشرة تحولات توزيع المخرجات.
دور $\lambda$ : أكدت التجارب أن $\lambda$ تتحكم في المقايضة بين متوسط المكافأة والتباين. ترتبط $\lambda$ المثلى بالانحراف المعياري للمكافآت ونصف قطر KL ( $\rho$ ).

الأهمية والادعاءات

يزعم البحث أن القوة تجاه الضبط الدقيق اللاحق يجب أن تُدمج مباشرة في السياسة الأساسية أثناء عملية RLHF، بدلاً من الاعتماد على التدخلات اللاحقة. من خلال التحسين من أجل استقرار المكافأة ضمن جوار محدد بـ KL، تحدد FRPO السياسات التي تقع في مناطق "تسطيح المكافأة"، مما يجعلها مقاومة بطبيعتها للنسيان الكارثي.

يضع المؤلفون FRPO كحل عام لـ:

العمل عبر مجالات متنوعة (السلامة، الرياضيات، البرمجة).
عدم اشتراط أي تكلفة حسابية إضافية مقارنة بـ GRPO القياسي.
توفير نهج مبدئي ومؤسس رياضياً للتعلم المستمر في النماذج اللغوية الكبيرة، وهو مستقل عن بروتوكول الضبط الدقيق اللاحق المحدد.

يشير العمل إلى أن مبدأ التحسين من أجل قوة التكيف المستقبلي قد يمتد إلى ما وراء RLHF ليشمل مرحلة ما قبل التدريب (Pretraining) والضبط الدقيق الخاضع للإشراف (SFT)، مما يفتح آفاقاً جديدة لأبحاث المواءمة والتعلم المستمر.