💻 computer science

OP-GRPO: Efficient Off-Policy GRPO for Flow-Matching Models

يُعد OP-GRPO أول إطار عمل للتعلم التعزيزي خارج السياسة (off-policy) لنماذج مطابقة التدفق (flow-matching)، والذي يعزز كفاءة التدريب من خلال استخدام مخزن استرجاع (replay buffer) مع اختيار مسارات عالية الجودة، وأخذ عينات الأهمية على مستوى التسلسل، وبتر الخطوات المتأخرة لتحقيق أداء فائق بعدد خطوات تدريب أقل بكثير من GRPO القائم على السياسة (on-policy).

المؤلفون الأصليون: Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

نُشر 2026-04-07

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Liyu Zhang, Kehan Li, Tingrui Han, Tao Zhao, Yuxuan Sheng, Shibo He, Chao Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم فناناً موهوباً (الذكاء الاصطناعي) كيف يرسم لوحات أفضل. الفنان يعرف بالفعل كيف يرسم، لكنك تريد تحسين أسلوبه، وجعله يتبع التعليمات بدقة أكبر، وجعل فنه أكثر جمالاً.

في عالم الذكاء الاصطناعي، تسمى هذه العملية التعلم المعزز (Reinforcement Learning). الورقة البحثية التي شاركتها تقدم طريقة جديدة، فائقة الكفاءة، لتعليم هذا الفنان، تسمى OP-GRPO.

إليك تفصيل المشكلة والحل، باستخدام تشبيهات بسيطة.

المشكلة: "الطالب المسرف"

حالياً، الطريقة القياسية لتعليم هؤلاء الفنانين من الذكاء الاصطناعي (المسماة نماذج مطابقة التدفق - Flow-Matching Models) تشبه معلماً صارماً ومسرفاً للغاية.

الطريقة القديمة (On-Policy/Flow-GRPO):
تخيل أن المعلم يطلب من الطالب رسم 10 لوحات. ينظر المعلم إليها، ويختار الأفضل منها، ثم يقول: "عمل جيد!". بعد ذلك، يقوم المعلم برمي جميع اللوحات العشر في القمامة ويطلب من الطالب البدء من جديد بـ 10 لوحات بيضاء فارغة.

المشكلة: حتى لو رسم الطالب لوحة فنية رائعة بالصدفة في المحاولة الثالثة، يتم رميها. يجب على الطالب إعادة تعلم كل شيء من الصفر في كل مرة. هذا يستغرق وقتاً طويلاً ويهدر الكثير من الطاقة (قوة الحوسبة).

مشكلة "الوضع الصعب":
أحياناً تكون المهمة صعبة حقاً (مثل رسم مشهد معقد بنص محدد). قد يفشل الطالب 99 مرة وينجح مرة واحدة فقط. إذا رمى المعلم ذلك النجاح الوحيد فوراً، سيشعر الطالب بالإحباط ويتوقف عن التعلم لأنه سيعتقد: "لا أستطيع فعل ذلك".

الحل: "المتحف الذكي" (OP-GRPO)

ابتكر المؤلفون OP-GRPO. فكر في هذا كـ متحف ذكي أو مخزن إعادة التشغيل (Replay Buffer).

بدلاً من رمي اللوحات، يحتفظ المعلم بمتحف خاص لأفضل أعمال الطالب. إليك كيف يعمل OP-GRPO في ثلاث خطوات بسيطة:

1. "متحف أفضل ما في العالمين" (Replay Buffer)

كيف يعمل: عندما يرسم الطالب مجموعة من الصور، لا يكتفي المعلم بالنظر إليها ورميها. بدلاً من ذلك، يختار المعلم الأفضل ويضعهم في المتحف.
السحر: في الدرس التالي، لا يطلب المعلم لوحات جديدة فحسب، بل يقول: "ارسم 9 لوحات جديدة، ولكن بالنسبة للوحة العاشرة، انظر إلى هذه التحفة الفنية من المتحف وحاول أن تطور عليها".
النتيجة: يتعلم الطالب من نجاحاته الماضية بدلاً من البدء من الصفر في كل مرة. هذا يوفر وقتاً هائلاً.

2. إصلاح "الترجمة" (Sequence-Level Correction)

المشكلة: إذا نظر الطالب إلى لوحة من الأسبوع الماضي (المتحف) ليتعلم منها اليوم، فهناك خطر. قد يكون أسلوب الطالب قد تغير قليلاً. إذا حاول نسخ اللوحة القديمة بدقة شديدة، فقد يصاب بالارتباك أو يرتكب أخطاء لأن "قواعد" اللوحة القديمة لا تتطابق تماماً مع أسلوب اليوم.
الإصلاح: يستخدم المعلم مترجماً خاصاً. يقوم هذا المترجم بتعديل التغذية الراجعة بحيث يفهم الطالب: "هذه اللوحة القديمة رائعة، ولكن تذكر، أنت ترسم اليوم بمهارات اليوم".
لماذا يهم هذا: بدون هذا المترجم، يصاب الطالب بالارتباك وتنهار عملية التدريب. مع وجوده، يتعلم الطالب بأمان من الأمثلة القديمة.

3. خدعة "قطع النهاية" (Trajectory Truncation)

المشكلة: في الرسم بالذكاء الاصطناعي، تحدث العملية عبر خطوات.
- الخطوة 1: فوضى ضبابية.
- الخطوة 50: شبه مكتملة.
- الخطوة 100: الصورة النهائية المثالية.
  وجد الورقة البحثية أن النظر إلى الخطوات الأخيرة جداً (من الخطوة 99 إلى 100) للوحة قديمة هو أمر خطير في الواقع. تصبح الرياضيات معقدة وغير مستقرة هناك، مثل محاولة موازنة قلم رصاص على سنه.
الإصلاح: يقول المعلم: "سنستخدم اللوحة القديمة حتى الخطوة 90. أما بالنسبة للخطوات العشر الأخيرة، فستقوم برسمها بشكل جديد تماماً الآن".
النتيجة: هذا يحافظ على استقرار التدريب ويمنع الذكاء الاصطناعي من الشعور بـ "الدوار" من العمليات الحسابية.

النتائج: أسرع وأفضل

اختبرت الورقة البحثية هذه الطة الجديدة في إنشاء الصور (مثل Stable Diffusion) والفيديوهات.

السرعة: وصلت الطريقة الجديدة (OP-GRPO) إلى نفس الجودة التي وصلت إليها الطريقة القديمة باستخدام 34% فقط من الوقت. إنه يشبه إنهاء ماراثون في ساعة واحدة بدلاً من 3 ساعات.
الجودة: كانت الصور والفيديوهات بنفس الجودة، أو حتى أفضل، خاصة في المهام الصعبة مثل كتابة النصوص داخل الصورة أو اتباع تعليمات معقدة.

الملخص

OP-GRPO يشبه ترقية المعلم من أسلوب "ارمِها في القمامة" إلى أسلوب "تنسيق متحف".

احفظ أفضل الأعمال (لا ترمِها).
ترجم التغذية الراجعة حتى لا يرتبك الطالب من الأمثلة القديمة.
توقف عن النظر إلى النهاية تماماً للأمثلة القديمة لتجنب الأخطاء الرياضية.

النتيجة؟ يتعلم الذكاء الاصطناعي بشكل أسرع، ويستهلك طاقة أقل، ويصبح فناناً ماهراً في وقت قياسي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "OP-GRPO: Efficient Off-Policy GRPO for Flow-Matching Models" (تحسين GRPO خارج السياسة بكفاءة لنماذج مطابقة التدفق).

1. بيان المشكلة

أصبحت نماذج مطابقة التدفق (Flow-matching models) نموذجاً مهيمناً في الذكاء الاصطنا جنبي (مثل Stable Diffusion 3.5 و Wan)، حيث توفر كفاءة أعلى في أخذ العينات ودقة بصرية فائقة مقارنة بنماذج الانتشار التقليدية. ومع ذلك، فإن محاذاة هذه النماذج مع التفضيلات البشرية باستخدام تحسين السياسة النسبي للمجموعات (GRPO) تواجه اختناقات كبيرة في الكفاءة:

كفاءة منخفضة في أخذ العينات: نظام GRPO القياسي هو نظام داخل السياسة (on-policy) بشكل صارم. فهو يتخلص من جميع المسارات المولدة بعد دورة تدريب واحدة، حتى لو كانت عالية الجودة. يؤدي هذا إلى هدر حسابي هائل، حيث يشكل أخذ عينات المسار جزءاً كبيراً من التكلفة.
تدهور المكافأة: في المهام الصعبة، غالباً ما تفشل النماذج في إنتاج مسارات ناجحة، مما يؤدي إلى انهيار المكافآت لتصبح قريبة من الصفر. ينتج عن ذلك تلاشي التدرجات وتوقف التعلم.
تحديات التعلم خارج السياسة (Off-Policy): مجرد إعادة استخدام المسارات القديمة (خارج السياسة) في نماذج مطابقة التدفق يطرح مشكلتين حرجتين:
1. انزياح التوزيع: إعادة استخدام البيانات من سياسة قديمة ( $\pi_{off}$ ) بدلاً من السياسة الحالية ( $\pi_{old}$ ) يشوه نسب أخذ العينات بالأهمية (importance sampling ratios)، مما يكسر آلية القص (clipping mechanism) التي تضمن استقرار التدريب في GRPO.
2. عدم الاستقرار العددي: مع اقتراب عملية إزالة الضجيج من الخطوات النهائية (نظام الضجيج المنخفض)، يصبح توزيع الانتقال شبه حتمي. يتسبب هذا في جعل أوزان الأهمية سيئة التكييف (كبيرة جداً أو صغيرة جداً)، مما يؤدي إلى تحديثات غير مستقرة.

2. المنهجية: OP-GRPO

يقترح المؤلفون OP-GRPO، وهو أول إطار عمل لـ GRPO خارج السياسة مصمم خصيصاً لنماذج مطابقة التدفق. يتكون الإطار من ثلاثة مكونات أساسية:

أ. مخزن إعادة التشغيل عالي الجودة (High-Quality Replay Buffer)

بدلاً من التخلص من المسارات، يحتفظ OP-GRPO بمخزن إعادة تشغيل ( $\mathcal{B}_{off}$ ) لتخزين وإعادة استخدام العينات عالية الجودة.

استراتيجية الاختيار: أثناء عملية التوليد (rollout)، يختار النظام المسار صاحب أعلى مكافأة من المجموعة للاحتفاظ به في المخزن.
التفرد والاضمحلال: لمنع المخزن من الانهيار في عينات متكررة، يفرض النظام قيد التفرد (مسار واحد لكل مطالبة شرطية) ويطبق اضمحلال المكافأة التدريجي. تصبح العينات الأقدم أسهل في الاستبدال، مما يضمن بقاء المخزن قريباً من توزيع السياسة الحالي.
التوليد الهجين (Hybrid Rollout): في كل دفعة تدريبية، يتم أخذ المطالبات من مجموعة البيانات، ولكن يتم استبدال جزء من المسارات المولدة بعينات من مخزن إعادة التشغيل (على سبيل المثال: $G-1$ من العينات الجديدة + 1 عينة من المخزن).

ب. تصحيح أخذ العينات بالأهمية على مستوى التسلسل

إن تطبيق أخذ العينات بالأهمية القياسي مباشرة على البيانات خارج السياسة في GRPO يفشل لأن العملية تلغي السياسة المرجعية ( $\pi_{old}$ ) في النسبة، مما يجعل آلية القص تقيس خللاً خاطئاً (بين السياسة الحالية والبيانات القديمة خارج السياسة).

الحل: يحافظ OP-GRPO على نسبة الأهمية لكل خطوة القياسية بين السياسة الحالية ( $\pi_\theta$ ) والسياسة المرجعية ( $\pi_{old}$ ) للحفاظ على منطق القص.
حد التصحيح: لتعويض انزياح التوزيع الناتج عن البيانات خارج السياسة، يتم تطبيق حد تصحيح على مستوى التسلسل كعامل ضرب في دالة الهدف:
$\frac{P_{\pi_{old}}(\tau)}{P_{\pi_{off}}(\tau)} = \prod_{t=1}^{T} \frac{p_{\theta_{old}}(z_{t-1} | z_t, c)}{p_{\theta_{off}}(z_{t-1} | z_t, c)}$
النتيجة: يقلل هذا النهج من معدل القص للعينات خارج السياسة من أكثر من 40% (في النهج الساذج) إلى 11.8%، مما يحسن استغلال العينات بشكل كبير مع الحفاظ على الاستقرار.

ج. قطع المسار من أجل الاستقرار العددي (Trajectory Truncation)

حدد المؤلفون أن سوء التكييف في أوزان الأهمية يحدث بشكل أساسي في خطوات إزالة الضجيج المتأخرة (نظام الضجيج المنخفض) حيث يصبح توزيع الانتقال حتمياً تقريباً.

استراتيجية القطع: يتم استخدام المسار خارج السياسة فقط حتى خطوة قطع محددة ( $t_{off}$ ). بالنسبة للخطوات المتبقية ( $t_{off} \to 0$ )، يتم إعادة توليد المسار باستخدام السياسة الحالية.
الفائدة: يقضي هذا على حدود الاحتمال اللوغاريتمي غير المستقرة عددياً في نظام الضجيج المنخفض دون التأثير بشكل كبير على الجودة الإدراكية، حيث تساهم الخطوات المتأخرة بشكل ضئيل في الدقة البصرية.

3. المساهمات الرئيسية

أول GRPO خارج السياسة لمطابقة التدفق: يقدم إطار عمل يكسر قيد "داخل السياسة" لـ GRPO في نماذج مطابقة التدفق، مما يسمح بإعادة استخدام المسارات.
تصحيح التوزيع المستقر: يقترح تصحيحاً لأخذ العينات بالأهمية على مستوى التسلسل يفصل تعويض انزياح التوزيع عن آلية قص GRPO، مما يضمن تحديثات مستقرة للسياسة.
القطع النظري والتجريبي: يثبت نظرياً وتجريبياً أن خطوات إزالة الضنوخ المتأخرة تسبب عدم استقرار عددي في الإعدادات خارج السياسة، ويقترح استراتيجية قطع للتخفيف من ذلك.
مكاسب الكفاءة: يحقق أداءً مماثلاً أو متفوقاً على النماذج المرجعية (baselines) داخل السياسة باستخدام خطوات تدريبية أقل بكثير.

4. النتائج التجريبية

تم تقييم الطريقة على Stable Diffusion 3.5-Medium (SD3.5-M) لتوليد الصور و Wan2.1-1.4B لتوليد الفيديو عبر ثلاث مهام: توليد الصور التركيبي، عرض النصوص البصرية، ومحاذاة التفضيلات البشرية.

كفاءة التدريب: يتطلب OP-GRPO فقط 34.2% من خطوات التدريب التي يحتاجها Flow-GRPO (داخل السياسة) للوصول إلى نفس الأداء النهائي. في توليد الفيديو، تتسع فجوة الكفاءة هذه لتصل إلى 30.1% من وقت التدريب.
الأداء:
- يتفوق OP-GRPO باستمرار على Flow-GRPO في مراحل التدريب المتوسطة.
- يحقق أداءً مماثلاً أو متفوقاً في الأداء النهائي (على سبيل المثال، درجات PickScore أعلى، دقة OCR أفضل، ودرجات جمالية محسنة) مقارنة بالنموذج المرجعي داخل السياسة.
- التعميم: تظهر النماذج المدربة باستخدام OP-GRPO قدرة أفضل على التعميم في المقاييس غير المرئية (مثل ++T2I-CompBench) ولا تفرط في التخصيص (overfitting) لمكافآت مهام محددة.
دراسات الاستئصال (Ablation Studies):
- إزالة تصحيح التسلسل تؤدي إلى تباعد التدريب.
- إزالة قطع المسار تسبب عدم استقرار بسبب الأوزان سيئة التكييف.
- وُجد أن نسبة العينات خارج السياسة تبلغ حوالي 25% تقدم أفضل توازن بين سرعة التقارب والاستقرار.

5. الأهمية

يعالج هذا العمل عقبة حرجة في مرحلة ما بعد التدريب للنماذج التوليدية واسعة النطاق. من خلال تمكين التعلم خارج السياسة (off-policy learning) في نماذج مطابقة التدفق، يقلل OP-GRPO بشكل كبير من التكلفة الحسابية (ساعات GPU) المطلوبة للمحاذاة. إنه يجعل تدريب نماذج الصور والفيديو عالية الدقة أكثر قابلية للتوسع والوصول. علاوة على ذلك، فإن التقنيات المقترحة للتعامل مع انزياح التوزيع وعدم الاستقرار العددي في العمليات التوليدية المستمرة توفر أساساً نظرياً قوياً لتطبيقات التعلم التعزيزي المستقبلية في نماذج الانتشار والمطابقة للتدفق.