💬 NLP

Patch the Distribution Mismatch: RL Rewriting Agent for Stable Off-Policy SFT

تقترح هذه الورقة وكيل إعادة كتابة يعتمد على التعلم المعزز (RL) يعمل على تحسين سياسة إعادة كتابة البيانات لمواءمة بيانات التدريب اللاحقة مع توزيع التوليد الطبيعي للنموذج مع الحفاظ على التنوع واتساق المهام، مما يقلل من النسيان الكارثي أثناء الضبط الدقيق الخاضع للإشراف.

المؤلفون الأصليون: Jiacheng Wang, Ping Jian, Zhen Yang, Zirong Chen, Keren Liao, Zhongbin Guo

نُشر 2026-02-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiacheng Wang, Ping Jian, Zhen Yang, Zirong Chen, Keren Liao, Zhongbin Guo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "معالجة عدم تطابق التوزيع" (Patch the Distribution Mismatch)، مترجمة إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

المشكلة الكبرى: "الصدمة الثقافية" للذكاء الاصطناعي

تخيل أن لديك طباخاً بارعاً ومسافراً (وهو النموذج اللغوي الكبير أو LLM) قام بطبخ ملايين الأطباق من جميع أنحاء العالم. إنه بارع في الطبخ العام.

الآن، تريد من هذا الطباخ أن يتخصص في نوع واحد محدد من المأكولات، لنقل مثلاً "نودلز سيشوان الحارة" (هذه هي المهمة النهائية/المنشودة). لتعليمه ذلك، تعطيه مجموعة من بطاقات الوصفات المكتوبة بواسطة شيف خبير، صارم، ومن مدرسة قديمة (هذه هي بيانات الخبير).

المشكلة:
وصفات الشيف الخبير مكتوبة بأسلوب محدد جداً، جامد ورسمي، لم يره الطباخ الآلي من قبل. عندما يحاول الطهاخ الآلي تعلم هذه الوصفات الجديدة، يصاب بالارتباك؛ فهو يحاول إجبار أسلوب طبخه القديم والعام على التكيف مع هذه التعليمات الجديدة والجامدة.

والنتيجة؟

يتعلم الطبق الجديد بشكل سيء لأن التعليمات تبدو له "غريبة" وغير مألوفة.
ينسى كيف يطبخ كل شيء آخر. يصبح مهووساً بهذا الأسلوب الجديد والغريب لدرجة أنه ينسى كيف يصنع شطيرة بسيطة أو حساءً كلاسيكياً. وهذا ما يسمى "النسيان الكارثي" (Catastrophic Forgetting).

من الناحية التقنية، "الأسلوب" الخاص بالبيانات الجديدة لا يتوافق مع "الأسلوب" الذي يستخدمه الذكاء الاصطناعي طبيعياً لتوليد الإجابات. هذا عدم التطابق يسبب عدم استقرار في عملية التدريب.

الحل القديم: "إعادة كتابة الوصفة" (لكن بطريقة سيئة)

أدرك الباحثون: "إذا كانت الوصفات غريبة جداً، فلنعد كتابتها لتبدو أكثر شبهاً بأسلوب الذكاء الاصطناعي الطبيعي قبل تعليمه إياها".

حاولت الطرق السابقة القيام بذلك عبر إعطاء الذكاء الاصطناعي قالبًا ثابتًا (مثل نموذج "املأ الفراغات").

التشبيه: تخيل أنك تقول للذكاء الاصطناٍ: "خذ هذه الوصفة وأعد كتابتها باستخدام هذه الجمل الثلاث الافتتاحية فقط".
العيب: جعل هذا الأمر كل الوصفات المعاد كتابتها تبدو آلية ومتطابقة تماماً. كان الأمر أشبه بإجبار كل طبق على أن يبدو كنموذج بلاستيكي. تعلم الذكاق الاصطناعي التنسيق ولكن ليس النكهة، وظل ينسى مهاراته القديمة لأن الوصفات "المعاد كتابتها" لم تكن تبدو طبيعية.

الحل الجديد: "وكيل إعادة الكتابة بنظام التعلم التعزيزي" (RL Rewriting Agent)

تقترح هذه الورقة طريقة أكثر ذكاءً. بدلاً من استخدام قالب جامد، قاموا ببناء محرر ذكاء اصطناعي متخصص (وكيل إعادة الكتابة).

فكر في هذا الوكيل كأنه كشاف مواهب يعرف تماماً كيف يفكر ويتحدث الطباخ الرئيسي. مهمته هي أخذ وصفات الشيف الخبير الجامدة وإعادة كتابتها بأسلوب يحبه الطباخ الرئيسي، مع الحفاظ على صحة التعليمات.

إليك كيف يعمل الوكيل، باستخدام ثلاث قواعد بسيطة (المكافآت):

1. بوابة "الحقيقة" (اتساق المهمة)

القاعدة: "يجب ألا تغير الإجابة".
التشبيه: إذا كانت الوصفة الأصلية تقول "أضف بيضتين"، فلا يمكن للنسخة المعاد كتابتها أن تقول "أضف 3 بيضات". إذا أخطأ الوكيل في الحسابات أو المنطق، يحصل على درجة صفر ويتم استبعاده. هذه بوابة صارمة؛ لا مجال للغش.

2. درجة "التدفق الطبيعي" (محاذاة التوزيع)

القاعدة: "أعد الكتابة بحيث تبدو كما لو كان الطباخ سيقولها بشكل طبيعي".
التشبيه: يتحقق الوكيل: "هل تبدو هذه الجملة كأنها لشيف بشري يتحدث، أم أنها تبدو كروبوت يقرأ دليلاً إرشادياً؟". هو يكافئ النسخ التي تتدفق بشكل طبيعي، تماماً مثل الأسلوب المفضل للطباخ. هذا يضمن عدم تعرض الطباخ لـ "صدمة ثقافية" أثناء التعلم.

3. مكافأة "التنوع" (التنوع)

القاعدة: "لا تجعل كل الوصفات تبدو متشابهة".
التشبيه: إذا أعاد الوكيل كتابة 10 وصفات، فلا ينبغي أن تبدأ جميعها بـ "أولاً، خذ الوعاء". يجب أن تكون لها هياكل وصياغات مختلفة. هذا يمنع الطباخ من الشعور بالملل أو الوقوع في فخ التكرار (مشكلة تسمى انهيار النمط - Mode Collapse).

كيف دربوا الوكيل (اللعبة)

لم يكتفوا بإخبار الوكيل بما يجب فعله، بل تركوه يلعب لعبة ليتعلم.

استخدموا طريقة تسمى التعلم التعزيزي (Reinforcement Learning - RL).
حاول الوكيل إعادة كتابة الوصفات.
إذا كانت النسخة المعاد كتابتها صحيحة (حافظت على الإجابة الصحيحة)، وطبيعية (بدت كأنها من كلام الطباخ)، ومتنوعة (لم تبدُ آلية)، فإنه يحصل على نجمة ذهبية (مكافأة).
إذا فشل في أي منها، فلا يحصل على أي نقاط.
مع مرور الوقت، تعلم الوكيل التوازن المثالي: "كيف أعيد كتابة هذا بحيث يكون صحيحاً، وطبيعياً، وغير ممل؟".

النتيجة: طباخ سعيد

عندما استخدموا هذا الوكيل لتجهيز بيانات التدريب:

تعلم الطباخ نودلز سيشوان الجديدة ببراعة (أداء عالٍ في المهمة الجديدة).
تذكر الطباخ كيفية صنع الشطائر والحساء (لا يوجد نسيان كارثي).
كان التدريب أكثر سلاسة وسرعة لأن الوصفات أخيراً "تفاعلت" مع عقل الطباخ.

ملخص في جملة واحدة

بدلاً من إجبار ذكاء اصطناعي ذكي على التعلم من تعليمات جامدة وغير طبيعية (مما يجعله ينسى كل شيء آخر)، تعلم هذه الورقة "وكيل تحرير" ذكياً لإعادة كتابة تلك التعليمات بأسلوب طبيعي ومتنوع يحبه الذكاء الاصطناعي الرئيسي بالفعل، مما يسمح له بتعلم مهارات جديدة دون فقدان مهاراته القديمة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Patch the Distribution Mismatch: RL Rewriting Agent for Stable Off-Policy SFT".

1. بيان المشكلة

تتناول الورقة مشكلة النسيان الكارثي (Catastrophic Forgetting) الذي يحدث عندما يتم تكييف النماذج اللغوية الكبيرة (LLMs) مع مهام محددة عبر الضبط الدقيق الخاضع للإشراف (SFT).

الصراع الجوهري: عندما تُظهر البيانات الموجهة (downstream data) انزياحاً توزيعياً كبيراً عن توزيع ما قبل التدريب الخاص بالنموذج، يعمل الـ SFT القياسي كإشارة تعلم خارج السياسة (off-policy learning signal). غالباً ما تكون احتمالية ظهور النماذج الخبيرة ( $y^*$ ) منخفضة تحت سياسة النموذج الحالية ( $\pi_\theta$ )، مما يؤدي إلى تحديثات تدرج عالية التباين، وعدم استقرار في التدريب، وتآكل القدرات العامة.
محدودية الحلول الحالية:
- SFT القياسي: يقوم بالضبط الدقيق مباشرة على البيانات الخبيرة، مما يسبب نسياناً شديداً.
- إعادة كتابة البيانات الموجودة (مثل SDFT و Mind the Gap): تحاول هذه الطرق إعادة كتابة البيانات الموجهة لتكون أكثر "تطابقاً مع التوزيع" (in-distribution) قبل عملية الـ SFT. ومع ذلك، فهي تعتمد عادةً على قوالب مطالبات (prompts) ثابتة لاستحثاث توزيع شرطي $\pi_0(\cdot | x, y^*, x_{prompt})$ .
- عدم التطابق (The Mismatch): التوزيع المستهدف لعملية الـ SFT هو بطبيعته $\pi_0(\cdot | x)$ (أسلوب الإجابة على الأسئلة - QA-style completion). وغالباً ما تفشل عمليات إعادة الكتابة المولدة عبر مطالبات ثابتة في التوافق مع هذا التوزيع الطبيعي، مما يؤدي إلى إدخال صياغات نمطية وتسبب في انهيار التنوع (Diversity Collapse/Mode Collapse)، وبالتالي لا تعالج الفجوة التوزيعية إلا جزئياً.

2. المنهجية

يقترح المؤلفون وكيل إعادة كتابة يعتمد على التعلم المعزز (RL-based Data Rewriting Agent) ( $R_\phi$ ) يتعلم كيفية إعادة كتابة أهداف الإشراف لتتطابق بشكل أفضل مع توزيع التوليد الطبيعي للنموذج الأساسي مع الحفاظ على صحة المهمة وتنوعها.

أ. نظرة عامة على الإطار العملي

تتكون العملية من مرحلتين:

المرحلة الأولى: تدريب وكيل إعادة الكتابة باستخدام RL.
- البنية: يتم تدريب محول LoRA خفيف الوزن فوق نموذج أساسي مُدرب على اتباع التعليمات ومجمد ( $\pi_0$ ). يعمل هذا بمثابة "رقعة" (patch) لتصحيح الانحرافات المحلية دون الإفراط في التخصيص أو إزاحة النموذج بأكمله.
- التحسين: يستخدم خوارزمية Group Relative Policy Optimization (GRPO)، وهي خوارزمية من نوع PPO تلغي الحاجة إلى شبكة قيمة منفصلة من خلال تقدير خطوط الأساس (baselines) من مجموعات من المخرجات التي تم أخذ عينات منها.
المرحلة الثانية: بناء مجموعة البيانات والضبط الدقيق (SFT) للمهمة الموجهة.
- يقوم الوكيل المدرب بتوليد بيانات معاد كتابتها.
- يتم استخدام مسار (التوليد-التحقق-الرجوع للأساس) Generate-Verify-Fallback: إذا اجتازت إعادة الكتابة فحص الاتساق مع المهمة، تُستخدم؛ وإلا، يتم الاحتفاظ بالنموذج الخبير الأصلي لضمان عدم فقدان أي إشراف.
- يتم إجراء SFT قياسي على مجموعة البيانات المنشأة هذه.

ب. الهدف الموحد (دالة المكافأة)

يتم تحسين الوكيل لتعظيم إشارة مكافأة موحدة توازن بين ثلاثة معايير:

الاتساق مع المهمة (بوابة صلبة - Hard Gate): مكافأة ثنائية ( $r_{task} \in \{0, 1\}$ ) تعمل كقيد صلب. تتحقق من كل من صحة الإجابة النهائية (قائمة على القواعد) وصحة الاستنتاج (باستخدام نموذج لغوي كحكم). لا تُحسب مكافآت التوافق والتنوع إلا إذا كانت $r_{task}=1$ .
التوافق التوزيعي ( $r_{dist}$ ): يشجع إعادة الكتابة لتكون ذات احتمالية عالية تحت توزيع أسلوب الأسئلة والأجوبة (QA-style distribution) $\pi_0(\cdot | x)$ $π_{0} (\cdot ∣ x)$ (الاشتراط فقط على المدخل $x$ $x$ ، وليس المطالبة أو المرجع الحل).
- تُحسب عبر السلب اللوغاريتمي (NLL) الموحد بطول النص تحت النموذج المجمد $\pi_0$ .
- يتم تطبيعها عبر التبييض المجموعاتي (group-wise whitening) لاستقرار التدريب.
التنوع ( $r_{div}$ ): يمنع انهيار النمط (mode collapse) من خلال تشجيع التنوع الدلالي بين عمليات إعادة الكتابة الممكنة لنفس المدخل.
- يُحسب كمساهمة هامشية لإعادة الكتابة في المسافة الدلالية الزوجية (باستخدام التضمينات/embeddings) لمجموعة إعادة الكتابة الصالحة.

3. المساهمات الرئيسية

رؤية عدم تطابق التوزيع: حدد المؤلفون أن طرق إعادة كتابة البيانات الحالية تفشل لأنها تحسن توزيعاً مستحثاً بالمطالبة بدلاً من توزيع التوليد الطبيعي للنموذك (أسلوب الأسئلة والأجوبة).
وكيل إعادة كتابة قائم على RL: اقترحوا إطار عمل جديداً يصنف إعادة كتابة البيانات كمسألة تعلم سياسة، باستخدام GRPO لتحسين التوافق والتنوع والاتساق في آن واحد.
هدف موحد مع بوابة صلبة: تصميم مكافأة يفرض الاتساق مع المهمة كقيد صلب بينما يستخدم مكافآت ناعمة للتوافق والتنوع، مما يمنع الوكيل من "الغش" عبر توليد مخرجات غير صالحة ولكن ذات مكافأة عالية.
كفاءة المعاملات: يضمن استخدام LoRA على نموذج أساسي مجمد أن تكون سياسة إعادة الكتابة بمثابة "رقعة" مستهدفة تتجنب الانزياح الكارثي للقدرات العامة للنموذج.

4. النتائج التجريبية

أُجريت التجارب على نماذج Llama-3.2 (1B, 3B) و Mistral-7B، باستخدام الاستنتاج الرياضي كمهمة موجهة، ومعايير النطاق العام (مثل MMLU، إلخ) لقياس النسيان.

الأداء مقابل مقايضة النسيان:
- SFT القياسي: حقق أعلى مكاسب في الرياضيات ولكنه عانى من أشد حالات النسيان (على سبيل المثال، انخفاض بنسبة ~17-19% في المعايير العامة).
- إعادة الكتابة كخط أساس (SDFT, Mind the Gap): قللت من النسيان قليلاً ولكنها أعطت مكاسب أقل في الرياضيات، مما يشير إلى فشلها في تحسين الفجوة التوزيعية بالكامل.
- الطريقة المقترحة (الوكيل المعاد للكتابة): حققت مكاسب رياضية مقاربة لـ SFT القياسي (على سبيل المثال، +55.23% مقابل +54.19% على Mistral-7B) مع تقليل النسيان بشكل كبير (تقليل انخفاض المعايير العامة من ~19% إلى ~7.35%).
استقرار التدريب: أظهرت منحنيات خسارة تدريب SFT أن النماذج المدربة على البيانات المعاد كتابتها بواسطة الوكيل بدأت بخسارة أقل واستقرت عند مستوى ثابت أكثر مقارنة بالخطوط المرجعية، مما يؤكد التوافق التوزيعي الأفضل.
دراسات الاستئصال (Ablation Studies):
- إزالة مكافأة التوافق التوزيعي تسببت في أكبر انخفاض في القدرة على التعميم، مما يثبت دورها الحاسم في منع النسيان.
- إزالة مكافأة التنوع أثرت سلباً على أداء الرياضيات في النطاق، مما يؤكد الحاجة لمنع انهيار النمط.
- البوابة الصلبة (Hard gating) كانت متفوقة على التشكيل الناعم (soft shaping)، حيث أدى تطبيق المكافآت المساعدة على إعادة الكتابة غير الصالحة إلى إدخال الضجيج.

5. الأهمية

يوفر هذا العمل حلاً قوياً لـ معضلة الاستقرار واللدونة (stability-plasticity dilemma) في تكييف النماذج اللغوية الكبيرة. من خلال نقل نقطة التدخل من خوارزمية التحسين (مثل قيود PPO) إلى مصدر البيانات (إعادة كتابة أهداف الإشراف)، تقوم الطريقة استباقياً بتضييق الفجوة التوزيعية.

الأثر العملي: يسمح للممارسين بضبط النماذج بدقة على بيانات متخصصة (مثل الرياضيات أو البرمجة) دون التضحية بقدراتها العامة في المحادثة أو الاستنتاج، وهو مطلب حاسم لنشر النماذج اللغوية الكبيرة في سيناريوهات العالم الحقيقي.
المساهمة النظرية: يثبت أن تحسين توزيع بيانات الإشراف عبر RL هو استراتيجية أكثر فعالية لتخفيف النسيان الكارثي من مجرد تقييد تحديثات الضبط الدقيق.

باختصار، تقدم الورقة نهجاً يركز على البيانات ويعتمد على RL لـ "رقع" عدم تطابق التوزيع بين النماذج الخبيرة وأسلوب التوليد الطبيعي للنموذج، مما يؤدي إلى ضبط دقيق مستقر مع حد أدنى من النسيان الكارثي.